Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

deepseek 私有化训练

Answer

以下是关于 DeepSeek 私有化训练的相关信息：

模型测试、问题探讨与新模型部署过程：

  • 探讨了模型存在幻觉、答案有概率性等问题，并对比了加提示词前后的情况。
  • 准备从 32B 蒸馏新模型，提及该模型的资源需求及阿里云拍卖机制。
  • 介绍了启动 DSW 获取廉价 CPU 资源，以及部署模型时因库存不足不断加价的过程。

派平台大模型训练与微调实操讲解：

  • 许键分享了抢硬件资源的方法，演示了通过提问蒸馏标注数据。
  • 讲解了在派平台训练模型的流程，包括参数设置、数据集上传等，并展示了训练效果和日志查看。
  • 说明了训练好的模型部署方法，强调训出满意模型需要大量基础知识学习。

模型蒸馏微调演示、平台介绍与问题解答：

  • 许键展示了模型微调后的效果，如幻觉下降等。
  • 介绍了阿里云解决方案，对比了百炼和派平台的差异。
  • 进行了 Q&A，回答了无监督学习微调、训练数据资源、多模态训练标注、Python 代码报错等问题，提及派平台有公用数据集，还举例说明了多模态标注方式。

总结：

  • 本地部署介绍：讲解了如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。
  • 免费额度说明：在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。
  • 平台服务差异：介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。
  • 模型蒸馏微调：会带着大家复现模型的蒸馏和微调，并讲解相关知识。
  • Deepseek R1 模型的制作及相关模型比较：
    • R1 模型的强化学习：通过强化学习，在训练过程中给予模型反馈，对正确路线增强权重，使做对的概率变高，导致思考逻辑变长。
    • R1 模型的蒸馏与微调：用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。
    • R1 与其他模型的差别：R1 是原生通过强化学习训练出的模型，蒸馏模型是基于数据微调出来的，基础模型能力强，蒸馏微调模型能力也会强。
    • 模型的相互帮助：Deepseek R1 反过来蒸馏数据微调 V3，形成互相帮助的局面，使两个模型都更强。

智能章节：

  • 许键介绍今日课程重点是云服务器上如何使用 Deepseek R1 及本地部署相关内容，提及派平台免费额度及适用模型。还介绍了自己和社区情况。接着讲解 Deepseek R1 制作过程，包括强化学习概念及示例，阐述其从 Deepseek r e Zero 到 M2 等模型的演变及原理。
  • 主要介绍了 Deepseek R1 模型的构建过程，包括多轮强化学习和微调，还提及蒸馏模型的情况。探讨了不同模型部署所需的显存、内存及成本，对比了各模型在专业领域的能力表现。
  • 介绍了以云基础设施和 GPU 算力资源为底层的派平台。该平台搭建 AI 框架并做优化，提供一键式快捷部署工具等。与百炼不同，它开放更多自由度，租户数据隔离。很多大模型在此训练，支持多机分布式部署等，既面向企业，也适合个人创业者，不同应用定价有差异。
Content generated by AI large model, please carefully verify (powered by aily)

References

智能纪要：02-26 | DeepSeek部署+蒸馏 2025年2月26日

[01:26:40](https://waytoagi.feishu.cn/minutes/obcnyb5s158h8yi8alo4ibvl?t=5200000)模型测试、问题探讨与新模型部署过程分享本章节主要围绕模型展开讨论。先探讨模型存在幻觉、答案有概率性等问题，对比加提示词前后情况。之后讲述停止当前模型，准备从32B蒸馏新模型，提及该模型资源需求及阿里云拍卖机制。期间还介绍启动DSW获取廉价CPU资源，以及部署模型时因库存不足不断加价的过程。[01:36:44](https://waytoagi.feishu.cn/minutes/obcnyb5s158h8yi8alo4ibvl?t=5804000)派平台大模型训练与微调实操讲解本章节许键分享模型训练相关操作。介绍抢硬件资源方法，演示通过提问蒸馏标注数据。还讲解在派平台训练模型流程，包括参数设置、数据集上传等，展示训练效果、日志查看。最后说明训练好的模型部署方法，强调虽按教程操作有帮助，但训出满意模型需大量基础知识学习。[02:01:41](https://waytoagi.feishu.cn/minutes/obcnyb5s158h8yi8alo4ibvl?t=7301000)模型蒸馏微调演示、平台介绍与问题解答本章节许键先展示模型微调后的效果，如幻觉下降等。接着介绍阿里云解决方案，对比百炼和派平台差异。之后进入Q&A，回答无监督学习微调、训练数据资源、多模态训练标注、Python代码报错等问题，提及派平台有公用数据集，还举例说明多模态标注方式。

智能纪要：02-26 | DeepSeek部署+蒸馏 2025年2月26日

关于AI模型部署与相关知识的讲解本地部署介绍：讲解了如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。免费额度说明：指出在freely.aliyun.com可领取500元免费额度，但有使用限制，不能部署满血版和较大的增流模型。平台服务差异：介绍了DLC、DSW和EAS等模型部署平台服务的差别。模型蒸馏微调：会带着大家复现模型的蒸馏和微调，并讲解相关知识。Deepseek R1模型的制作及相关模型比较R1模型的强化学习：通过强化学习，在训练过程中给予模型反馈，如路线规划是否成功到达终点、输出格式是否符合期望等，对正确路线增强权重，使做对的概率变高，导致思考逻辑变长。R1模型的蒸馏与微调：用Deepseek RE Zero蒸馏出带思考的数据，基于Deepseek V3微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成R1。R1与其他模型的差别：R1是原生通过强化学习训练出的模型，蒸馏模型是基于数据微调出来的，基础模型能力强，蒸馏微调模型能力也会强。模型的相互帮助：Deepseek R1反过来蒸馏数据微调V3，形成互相帮助的局面，使两个模型都更强。

智能纪要：02-26 | DeepSeek部署+蒸馏 2025年2月26日

[00:00](https://waytoagi.feishu.cn/minutes/obcnyb5s158h8yi8alo4ibvl?t=0)Deepseek R1本地部署、蒸馏及训练原理讲解本章节许键介绍今日课程重点是云服务器上如何使用Deepseek R1及本地部署相关内容，提及派平台免费额度及适用模型。还介绍了自己和社区情况。接着讲解Deepseek R1制作过程，包括强化学习概念及示例，阐述其从Deepseek r e Zero到M2等模型的演变及原理。[18:08](https://waytoagi.feishu.cn/minutes/obcnyb5s158h8yi8alo4ibvl?t=1088000)Deepseek R1模型的技术原理、部署与性能分析本章节主要介绍了Deepseek R1模型的构建过程，包括多轮强化学习和微调，还提及蒸馏模型的情况。探讨了不同模型部署所需的显存、内存及成本，对比了各模型在专业领域的能力表现。最后提到大家期望用Deepseek抢跑企业应用，阿里云派平台可助力其战略落地，并展示了派平台全景图。[37:57](https://waytoagi.feishu.cn/minutes/obcnyb5s158h8yi8alo4ibvl?t=2277000)阿里云派平台：面向企业的AI计算资源与模型部署服务介绍本章节介绍了以云基础设施和GPU算力资源为底层的派平台。该平台搭建AI框架并做优化，提供一键式快捷部署工具等。与百炼不同，它开放更多自由度，租户数据隔离。很多大模型在此训练，支持多机分布式部署等，既面向企业，也适合个人创业者，不同应用定价有差异。

Others are asking
清华大学 deepseek从入门到精通
《DeepSeek：从入门到精通》是清华大学新闻与传播学院新媒体研究中心出品的指南。该指南详细阐述了 DeepSeek 的功能，包括智能对话、文本生成、代码生成、自然语言理解等。同时探讨了如何使用 DeepSeek，涵盖推理模型与通用模型的区别、提示语设计策略以及如何从入门到精通。文章还介绍了提示语设计的核心技能、常见陷阱及应对方法，旨在帮助用户更好地掌握 AI 工具的使用，提升工作效率和创新能力。 此外，还有其他与 DeepSeek 相关的动态，如清华大学沈少阳的《DeepSeek+DeepResearch 应用报告》，以及来自不同机构的相关研究报告，如智灵动力的《DeepSeek 行业应用实践报告》、厦门大学的《2025 年大模型概念、技术与应用实践》、国海证券的《人工智能系列深度：DeepSeek 十大关键问题解读》、全球数据资产理事会的《DeepSeek 使用教程蓝皮书从入门到进阶完整指南》、北航&清华大学的《DeepSeek+DeepResearch——让科研像聊天一样简单》、中泰证券的《DeepSeek 将如何改变 AI 应用？》。
2025-03-05
说说deepseek的强大之处
DeepSeek 的强大之处主要体现在以下几个方面： 1. 语言表达：在语气上能还原特定角色的语气，如帝王语气，文字相对古典又兼顾可读性，对历史细节熟悉，输出具体且充满惊人细节，行文隐喻拿捏到位。 2. 技术性能：具有比肩 O1 的推理能力，参数少，训练开销与使用费用小，开源，任何人可自行下载与部署，提供论文详细说明训练步骤与窍门，还有可运行在手机上的 mini 模型。 3. 服务特点：官方服务免费，任何人随时随地可用，是暂时唯一支持联网搜索的推理模型。 4. 团队背景：由没有海外经历甚至没有资深从业经验的本土团队开发完成。 您可以通过以下方式体验和使用 DeepSeek： 1. 直接访问网页链接或使用移动 APP 马上用起来。 2. 使劲用、疯狂用，尝试用它基本取代传统搜索，把各种可能需要请教别人的问题都先问它。 3. 看看别人怎么用，试试其他大模型，了解 AI 擅长与不擅长的方面，以及如何调教，解锁与迭代属于自己的用法与更多工具。 希望 DeepSeek R1 能让您对当前最先进的 AI 祛魅，使 AI 逐渐成为您生活中的水和电。这样震撼的突破来自一个纯粹的中国公司，推动了知识与信息平权。
2025-03-05
清华大学deepseek讲解视频
以下是为您找到的与清华大学和 DeepSeek 相关的信息： 清华大学计算机科学与技术系助理教授章明星从大模型当前的发展阶段出发，分享了关于模型架构演进、大模型 Scaling Law 的发展趋势及相应趋势对系统层面影响的看法，并探讨了未来的发展方向。 《DeepSeek 的秘方是硅谷味儿的》提到 DeepSeek 是一家位于杭州的人工智能创业公司，其大语言模型 DeepSeekV3 在全球引发广泛关注。该模型以 550 万美元和 2000 块低配版英伟达 H800 GPU 训练，超越了多个顶级模型，获得硅谷研究者的高度评价。DeepSeek 的成功被视为中国式创新的典范，但其独特之处在于其更像一个研究机构，注重技术创新而非商业化运作，吸引了大量年轻的顶尖研究人才。 但未找到清华大学 deepseek 讲解视频的直接相关内容。
2025-03-05
清华大学deepseek讲解
以下是关于 DeepSeek 的相关信息： 清华大学计算机科学与技术系助理教授章明星从大模型当前的发展阶段出发，分享了关于模型架构演进、大模型 Scaling Law 的发展趋势及相应趋势对系统层面影响的看法，并探讨了未来的发展方向。 DeepSeek 是一家位于杭州的人工智能创业公司，其大语言模型 DeepSeekV3 在全球引发广泛关注。该模型以 550 万美元和 2000 块低配版英伟达 H800 GPU 训练，超越了多个顶级模型，获得硅谷研究者的高度评价。DeepSeek 更像一个研究机构，注重技术创新而非商业化运作，吸引了大量年轻的顶尖研究人才。 关于 DeepSeek 有众多媒体报道和网络文章，如中国新闻网的《突然爆火！中国“神秘力量”震动美国科技圈》、海峡都市报的《“华裔天才”亚历山大·王：DeepSeek 的 AI 大模型发布可能会“改变一切”》、每日经济热点新闻的《突然火爆全网！Deepseek 被“挤”到宕机！创始人 17 岁考入浙大，36 岁管理千亿私募！公司多岗位招新，实习生日薪最高上千元》等。 以上信息涵盖了 DeepSeek 在技术、评价、媒体报道等方面的情况。
2025-03-05
deepseek相关的文档
以下是与 DeepSeek 相关的文档和信息： 在 2025 年 2 月 6 日的“【今晚 8 点】聊聊你怎么使用 DeepSeek！”中，提到了以下内容： DP 模型的功能：能进行自然语言理解与分析、编程、绘图，如 SVG、MA Max 图表、react 图表等。 使用优势：可以用更少的词让模型做更多事，思维发散，能给出创意思路和高级内容。 存在问题：思维链长不易控制，可能输出看不懂或胡编乱造的内容，增加纠错成本。 审核方法：可以用其他大模型来解读 DP 模型给出的内容。 使用建议：使用时要有自己的思维雏形，多看思考过程，避免被模型冲刷原有认知。 使用场景：包括阅读、育儿、写作、随意交流等方面。 案例展示：通过与孩子共读时制作可视化互动游戏，以及左脚踩右脚式的模型交互来展示 DP 模型的应用。 音系学研究：对音系学感兴趣，通过对比不同模型的回答来深入理解，如 bug 和 DIFF SIG，探讨语言概念在音系学下的心理印象等。 大模型取队名：与大模型进行多轮对话来取队名，通过不断约束和披露喜好，最终得到满意的队名及相关内容。 此外，2 月 6 日的宝玉日报中提到： Dario Amodei 认为 DeepSeek 进入前沿 AI 竞赛，但美国应保持领先优势。 强调“没有民族主义敌意”，依旧欢迎华裔科学家加入 Anthropic。 批评 DeepSeek 安全性差，称其“测试过的模型里最糟糕”。相关文稿：
2025-03-05
Deepseek具体如何应用
DeepSeek 的应用方式如下： 1. 访问 www.deepseek.com ，点击“开始对话”。 2. 将装有提示词的代码发给 DeepSeek 。 3. 认真阅读开场白之后，正式开始对话。 DeepSeek 的设计思路包括： 1. 将 Agent 封装成 Prompt ，将 Prompt 储存在文件，保证最低成本的人人可用的同时，减轻自己的调试负担。 2. 通过提示词文件，让 DeepSeek 实现同时使用联网功能和深度思考功能。 3. 在模型默认能力的基础上优化输出质量，并通过思考减轻 AI 味，增加可读性。 4. 照猫画虎参考大模型的 temperature 设计了阈值系统，但是可能形式大于实质，之后根据反馈可能会修改。 5. 用 XML 来进行更为规范的设定，而不是用 Lisp（对开发者来说有难度）和 Markdown（运行下来似乎不是很稳定）。 关于 DeepSeek 的相关反馈： 1. 华尔街分析师对 DeepSeek 的反应：DeepSeek 展示出媲美领先 AI 产品性能的模型，但成本仅为其一小部分，在全球主要市场的 App Store 登顶。Jefferies 警告其技术可能打破资本开支狂热，Citi 对其技术突破提出质疑。高盛预测其可能改变科技巨头与初创公司的竞争格局，降低 AI 行业进入门槛。 2. DeepSeek 的实际使用体验：在文字能力上表现突出，尤其在中文场景中高度符合日常、写作习惯，但在专业论文总结方面稍弱。数学能力经过优化，表现不错；编程能力略逊于 GPT ，据用户反馈。GRPO 算法替代传统 PPO ，降低价值函数估计难度，提高语言评价场景的灵活性与训练速度。
2025-03-05
通义千问私有化部署方案
以下是关于通义千问私有化部署的相关方案： 1. 在 FastGPT+OneAPI+COW 框架下的部署： 回到宝塔，选择 Docker（若显示“当前未安装”则进行安装，否则无需此步）。 点击确定，等待安装完成，完成后刷新页面确认安装成功。 打开左侧【终端】，粘贴两行命令验证 Docker 是否可用。 一条一条复制并粘贴相关命令完成安装。 访问 OneAPI，地址为：http://这里改成你自己宝塔左上角的地址:3001/（举例：http://11.123.23.454:3001/），账号默认 root，密码 123456。 点击【渠道】，类型选择阿里通义千问，名称随意。 将千问里创建的 API Key 粘贴到秘钥里，点击确认。 点击【令牌】【添加新令牌】，名称随意，时间设为永不过期、额度设为无限额度，点击【提交】。 点击【令牌】，复制出现的 key 并保存。 2. 在 Langchain+Ollama+RSSHub 框架下的部署： Ollama 支持包括通义千问在内的多种大型语言模型，适用于多种操作系统，同时支持 cpu 和 gpu。 可通过 https://ollama.com/library 查找模型库，通过简单步骤自定义模型，还提供了 REST API 用于运行和管理模型及与其他应用程序的集成选项。 访问 https://ollama.com/download/ 进行下载安装，安装完之后确保 ollama 后台服务已启动。 3. 在 0 基础手搓 AI 拍立得框架下的部署： 可以选择通义千问作为模型供应商，其指令灵活性比较丰富，接口调用入门流程长一些，密钥安全性更高。接口调用费用为：调用：¥0.008/千 tokens，训练：¥0.03/千 tokens。可参考 。
2025-02-26
AI模型私有化部署
AI 模型私有化部署具有以下特点和情况： 挑战方面： 在许多中小型行业，如金融、医疗和法律行业，由于对数据私密性要求极高，客户隐私敏感度高，往往需要私有化部署场景，这大大增加了企业培训的难度。 访问 GPT 有门槛，国企类、体制类的合作伙伴可能受限，需要寻找更易于接入的国产模型作为替代方案，如智谱等。 工程化落地难，企业知识库大部分卡在工程问题上，真正能落地的不多，数据清理部分难度较大，技术能力要求比想象中更高。例如某金融企业希望使用大模型构建 AI 智能问答机器人并私有化部署，但因自身规模不大且无数字化系统，实际落地成本可能不比传统人力成本节省更多。 经验分享方面： 构建企业知识库是常见需求，一种普遍解决方案是结合企业私有数据与 RAG 模型的私有化部署。如有特殊需求，还可进行模型的 Finetuning（微调）以优化性能。 基础模型提供推理提示，RAG 用于整合新知识，实现快速迭代和定制化信息检索。通过 Finetuning 可增强基础模型的知识库、调整输出和教授更复杂指令，提高模型整体性能和效率。 360 愿意为有能力的企业赠送免费的私有化部署通用大模型，其可解决隐私泄露和数据流失问题，满足科普和一些通用需求，如办公等。同时提供 360AI 办公的会员服务，围绕办公营销需求做了很多工具，并将其场景化。
2025-02-26
DeepSeek私有化部署分享
以下是关于 DeepSeek 私有化部署的详细内容： 对于个人开发者或尝鲜者，本地部署 DeepSeek 有多种方案，但企业级部署较为繁琐。 企业级部署需先评估服务器资源，包括模型参数量（影响模型智能化程度，参数量越高耗费资源越多）、模型序列长度（一次能处理的最大 Token 数，决定问题输入的最大长度限制）、模型量化类型（参数精度，值越大精度越准确、智能化程度越高）。了解这些基本概念后，可通过配置计算器工具（https://tools.thinkinai.xyz//servercalculator ）评估服务器资源。 Ollama 部署 DeepSeek 的步骤如下： 1. 安装 Ollama：支持在 Mac、Linux、Windows 上下载并运行对应的模型，安装完成后在对应的命令行输入，若输出“Ollama version is 0.5.7”则表示安装成功。 2. 安装 DeepSeek 模型：Ollama 安装成功后访问 Ollama 官网查找要安装的模型，选择适合当前机器配置的模型参数，拷贝对应的执行命令。命令行终端直接执行对应的命令，出现相关对话内容表示 DeepSeek 可在本地正常运行。 此外，还可部署 nomicembedtext 模型，这是一个文本向量化的模型，用于后续基于 Dify 做向量化检索。 部署完 DeepSeek 后，若想使用图形化客户端，可选择多种工具，如 ChatBox、AnythingLLM、Open WebUI、Cherry Studio、Page Assist 等。以 ChatBox 为例，访问其官网（https://chatboxai.app/zh ）下载客户端，在设置中填写 Ollama API 的地址和对应的模型名称并保存，即可在新对话框中选择运行的模型开始对话。 本篇文章主要解决四个问题： 1. 如何合理评估服务器资源。 2. Ollama 部署指定版本的 DeepSeek。 3. 原生部署 DeepSeek。 4. 搭建 Dify 构建企业内的私有知识库、工作流。
2025-02-23
deepseek本地私有化部署
对于 DeepSeek 本地私有化部署，以下是详细的指南： 一、企业级部署前的准备 在进行企业级部署之前，首先需要根据实际业务场景评估所需部署的模型规格以及所需的服务器资源，即进行资源预估。同时，还需要评估业务场景是否需要对模型进行二次开发。 二、Ollama 部署 DeepSeek 1. Ollama 安装 Ollama 是本地运行大模型的工具，支持在 Mac、Linux、Windows 上下载并运行对应的模型。安装完成后，在对应的命令行输入，若输出 Ollama version is 0.5.7，则表示安装成功。 2. DeepSeek 模型安装 Ollama 安装成功后，访问 Ollama 的官网查找要安装的模型。选择适合当前机器配置的模型参数，然后拷贝对应的执行命令。命令行终端直接执行对应的命令，若出现相应对话内容，表示当前 DeepSeek 已在本地可正常运行。 3. nomicembedtext 模型安装 还需要部署 nomicembedtext 模型，这是一个文本向量化的模型，主要用于后续基于 Dify 做向量化检索时使用。 4. 部署图形化客户端 部署完 DeepSeek 后，若想使用图形化工具聊天，可选择多种 UI 工具，如 ChatBox 客户端、AnythingLLM 客户端、Open WebUI 客户端、Cherry Studio 客户端、Page Assist 客户端等。以 ChatBox 为例，直接访问其官网下载对应的客户端，在 ChatBox 的设置中填写 Ollama API 的地址和对应的模型名称，保存后即可在新对话框中选择要运行的模型开始对话。 三、部署 Dify 1. Dify 介绍 Dify 是一款开源的大语言模型应用开发平台，融合了后端即服务和 LLM Ops 的理念，即使是非技术人员也能参与到 AI 应用的定义和数据运营过程中。 2. 运行 Dify Dify 的部署需要本地先支持 Docker 和 Git 的依赖环境，然后在对应的终端直接执行相关代码即可运行。 3. 添加模型 Dify 启动成功后，浏览器访问 http://localhost ，新建账号密码。在右上角 admin 处点击设置，新增本地模型配置。添加 LLM 模型为 deepseekr1:7b，基础 URL 为 http://host.docker.internal:11434 。同时添加之前安装的 nomicembedtext 模型，添加完成后可在模型列表中看到已添加的模型信息。
2025-02-23
如何私有化部署deepseek
私有化部署 DeepSeek 的步骤如下： 1. 注册并登录火山引擎，点击立即体验进入控制台。 网址：https://zjsms.com/iP5QRuGW/ 火山引擎是字节跳动旗下的云服务平台。 2. 创建一个接入点： 点击在线推理创建推理接入点。 为接入点命名为 DeepSeekR1。 若提示“该模型未开通，开通后可创建推理接入点”，点击“立即开通”，勾选全部模型和协议，一路点击开通（免费）。 确认以下无误后，点击“确认接入”按钮。 自动返回创建页面，复制多出的接入点名为“DeepSeekR1”的推理点 ID 保存。 点击【API 调用】按钮，进入后点击【选择 API Key 并复制】，若没有则点击【创建 API key】，复制并保存。 3. 前往 DeepSeek 官网（https://www.deepseek.com/），进入右上角的 API 开放平台。 早期 DeepSeek 有赠送额度，若没有赠送余额可选择充值，支持美元和人民币两种结算方式及各种个性化充值方式。 创建一个 API key，注意 API key 只会出现一次请及时保存。 4. 下载代码编辑器，如 cursor（https://www.cursor.com/）或 vscode（https://code.visualstudio.com/）。 以 cursor 为例，下载安装后，在插件页面搜索并安装 Roocline。 安装完后，打开三角箭头，选中 RooCline 并点击齿轮，进入设置。 配置基本参数： API Provider：选择 DeepSeek。 API Key：填入已创建的 key。 模型：选择 DeepSeekreasoner。 语言偏好设置。 小贴士：记得把 HighRisk 选项都打开，最后点击 Done 保存修改。 在聊天框输入产品需求，输入需求后点击星星优化提示词，最终得到想要的结果。
2025-02-21
dify私有化部署
以下是关于 Dify 私有化部署的相关信息： 1. 部署步骤： 通过云服务器进行部署，相关命令在宝塔面板的终端安装，例如在/root/dify/docker 目录下的 dockercompose 文件。 检查运行情况，若 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 以解决。 在浏览器地址栏输入公网 IP（去掉宝塔面板地址栏后的:8888），随便填写邮箱密码建立知识库并进行设置。 2. 模型选择与配置： 可以选择国内有免费额度的模型，如智谱 AI。 以智谱 AI 为例，在其官网用手机号注册，添加 API keys 并查看免费额度，将钥匙复制保存。 随便创建应用，可先选择智谱 glm4 测试，然后点发布。 创建并复制 api 秘钥。 3. Dify 特点： 作为开源应用，易用性出色且功能强大，安装过程简单快捷，熟练用户约 5 分钟可在本地完成部署。 支持本地部署和云端应用，能应对工作流、智能体、知识库等。 本地部署需自行处理模型接入等问题，包括购买 API、接入不同类型模型，构建个人知识库时还需考虑数据量、嵌入质量和 API 费用等因素。
2024-09-20
Deepseek 怎么训练模型 到达写作的水准
要将 DeepSeek 训练模型达到写作的水准，可以参考以下方法： 1. 借助 AI 分析好的文章：找出您最喜欢的文章，投喂给 DeepSeek R1。然后进行多次询问，如从写作角度、读者角度分析文章，询问文章的缺点和不足以及改善和提升的空间，对作者进行侧写，分析其成长背景、个人经历和知识结构对文章的影响。 2. 让 AI 对您写的文章进行点评：使用类似“现在我希望你是一名资深中文写作教师/小学语文老师/中学语文老师/公文写作培训师，拥有 30 年教育经验，是一名传授写作技巧的专家。请先阅读我提供给你的文章，然后对文章进行分析，然后教我如何提升写作水平。请给出详细的优缺点分析，指出问题所在，并且给出具体的指导和建议。为了方便我能理解，请尽量多举例子而非理论陈述。”的提示词。 3. 根据文章内容对作者进行心理侧写：使用如“我希望你扮演一个从业 20 多年，临床诊治过两千多例心理分析案例的人性洞察和意识分析方面的专家，精通心理学、人类学、文史、文化比较。先阅读后附文章全文，然后对作者进行人格侧写。要尖锐深刻，不要吹捧包装，不要提出一些只能充当心理安慰的肤浅的见解。包括作者的基本画像、核心性格特质、认知与价值观、潜在心理动机、行为模式推测、矛盾与盲点、文化符号映射”的提示词。 此外，DeepSeek 模型具有文风出色、善用大词、发散能力强等特点，但也较难收敛，有时会出现幻觉。从创作角度看，其在文学创作上表现出色，能给予更多自由发挥空间。
2025-03-05
flux 训练lora 教程
以下是关于 Flux 训练 Lora 的教程： 1. 准备模型：需要下载以下几个模型：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。注意：不使用的话它们放到哪里都可以，甚至放一起一个文件夹，只要知道“路径”，后面要引用到“路径”。因为是训练，不是跑图，训练的话，模型就用 flux1dev.safetensors 这个版本，编码器也用 t5xxl_fp16.safetensors 这个版本最好。 2. 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 3. 安装虚拟环境：下载完解压，在文件中找到 installcnqinglong.ps1 这个文件，右键选择“使用 PowerShell 运行”，新手的话这里就点击“Y”，然后等待 1 2 小时的漫长下载过程，下好了之后最后会提示是否下载 hunyuan 模型，选择 n 不用下载。 4. 0 基础训练大模型： 进入厚德云 模型训练 数据集：https://portal.houdeyun.cn/sd/dataset 步骤一·创建数据集：在数据集一栏中，点击右上角创建数据集，输入数据集名称。zip 文件可以是包含图片 + 标签 txt，也可以只有图片没有打标文件（之后可以在 c 站使用它的自动打标功能），也可以一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。Zip 文件里图片名称与标签文件应当匹配，例如：图片名"1.png"，对应的达标文件就叫"1.txt"。上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后就会上传成功，可以点击详情检查，可以预览到数据集的图片以及对应的标签。 步骤二·Lora 训练：点击 Flux，基础模型会默认是 FLUX 1.0D 版本，选择数据集，点击右侧箭头，会跳出所有上传过的数据集，触发词可有可无，取决于数据集是否有触发词，模型效果预览提示词则随机抽取一个数据集中的标签填入即可。训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数，如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数，可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力，然后就可以等待训练了，会显示预览时间和进度条，训练完成的会显示出每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 5. ControlNet 作者张吕敏再出新项目 LuminaBrush：基于数据集在 Flux 上训练 LoRA，并用 LoRA 生成的图像来扩展这个图像数据集。使用均匀光照图像作为中间表示具有一些优势，比如避免来自 3D 反照率的过于锐利的网格边界或过于平坦的表面。而这些图像在细节层面也足够细腻，可以处理皮肤纹理、头发、毛发等细节。接下来，通过合成随机法线，将这些均匀光照图像进行随机再光照，以训练一个可以从任何输入图像中提取均匀光照外观的模型。第一阶段的这个模型目前也提供了在线 demo：https://huggingface.co/spaces/lllyasviel/lumina_brush_uniform_lit 。第二阶段，会从数百万张高质量的自然场景图像中提取均匀光照外观图像，以构建成对数据集，用于训练最终的交互式光照绘制模型。
2025-03-04
我想完全本地化部署deepseek，然后，将我的文档，文本，图片等内容丢给它训练，微调。我要完全本地化，因为我的文档设计隐私。我要免费开源流程。如何实现，
要完全本地化部署 DeepSeek 并使用您的文档、文本、图片等内容进行训练和微调，以下是一些相关的信息和步骤： 1. 模型训练与平台服务： 模型复现与微调：1:1 复现通常没问题，但理解细节并自行制作需要基础知识。有手把手教程、数据集等可帮助 1:1 复现，微调在特定领域可降低幻觉，参数量不变但权重变化。 训练模型的学习方法：先会用再学会训，从训的过程中倒推学习参数调整，这是以用导学的学习方法。 模型回答效果对比：微调后的模型在回答排列组合等问题时，思考前几乎无反馈，答案多为英文且格式稳定，但仍可能答错。 2. 平台服务介绍： 阿里云提供多种解决方案。 百炼是提供多种模型服务的 Maas 平台。 派平台是提供云服务的 PaaS 平台，二者在定位、服务内容和核心差异上有所不同。 3. 关于模型训练与数据集相关问题： 数据资源情况：默认提供公共数据训练集，百派平台能匹配模型和数据，通义开源了不少数据集。 多模态训练：多模态有自身标注方式，如视频拉框标注。 参数量变化：通常训练模型参数量固定，若想改变需改模型层，但可能要从头调。 本地微调框架：可使用 llama factory 等框架，需搭建并部署。 开源数据下载：可在 GitHub、hugging face、Mo Model Scope 等平台获取。 数据集转化：将文档资料转成数据集可先手动形成 SOP，再逐步自动化，初期需大量人力。 4. 本地部署介绍：讲解了如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。 5. 免费额度说明：在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 6. 平台服务差异：介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 7. 模型蒸馏微调：会带着大家复现模型的蒸馏和微调，并讲解相关知识。 R1 模型的强化学习：通过强化学习，在训练过程中给予模型反馈，如路线规划是否成功到达终点、输出格式是否符合期望等，对正确路线增强权重，使做对的概率变高，导致思考逻辑变长。 R1 模型的蒸馏与微调：用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。 R1 与其他模型的差别：R1 是原生通过强化学习训练出的模型，蒸馏模型是基于数据微调出来的，基础模型能力强，蒸馏微调模型能力也会强。 模型的相互帮助：Deepseek R1 反过来蒸馏数据微调 V3，形成互相帮助的局面，使两个模型都更强。 请注意，在进行本地化部署和训练微调时，需要具备一定的技术知识和经验，并且要遵循相关的法律法规和道德规范。
2025-03-04
一个可以总结文章的AI应用是怎么训练出来的?
一个可以总结文章的 AI 应用通常通过以下方式训练： 1. 数据准备：收集大量的文本数据，包括各种类型和主题的文章。 2. 模型选择：使用适合自然语言处理任务的大型语言模型，如 OpenAI 的 GPT 系列。 3. 导入相关库和加载 API 密钥：例如导入 OpenAI 并加载 API 密钥。 4. 设计提示：制定明确的提示，如要求从电子商务网站的产品评论中生成简短摘要。 5. 针对不同需求训练： 文字总结：对一般性的文字进行总结。 针对某种信息总结：例如特定领域或特定类型的信息。 尝试“提取”而不是“总结”：更侧重于关键信息的提取。 针对多项信息总结：处理多个相关的文本信息。 6. 应用拓展：不仅可以总结文章，还能总结群聊消息、B站视频等。对于 B 站视频，通过获取字幕并发送给 AI 来实现总结。 7. 与 API 配合：通过 OpenAI API 等获取有效密钥，并结合示例代码进行开发和优化。
2025-03-03
怎么利用大模型训练自己的机器人
利用大模型训练自己的机器人可以参考以下内容： OpenAI 通用人工智能（AGI）的计划显示，在互联网上所有的图像和视频数据上训练一个与人类大脑大小相当的 AI 模型，将足以处理复杂的机器人学任务。常识推理隐藏在视频和文本数据中，专注于文本的 GPT4 在常识推理上表现出色。Google 最近的例子展示了机器人学能力可从大型视觉/语言模型中学习，在语言和视觉训练基础上，只需最少的机器人学数据，视觉和文本任务的知识就能转移到机器人学任务上。特斯拉训练的“Optimus”通过人类示范学习抓取物体，若人类示范是先进机器人学性能所需的一切，在互联网上所有视频上训练的大模型肯定能实现惊人的机器人学性能。 梦飞提供了在自己的电脑上部署 COW 微信机器人项目的教程，程序在本地运行，若关掉窗口进程结束，想持续使用需保持窗口打开和运行。以 Windows10 系统为例，注册大模型可参考百炼首页：https://bailian.console.aliyun.com/ ，需更改"model"和添加"dashscope_api_key"，获取 key 可参考视频教程。 张梦飞提供了从 LLM 大语言模型、知识库到微信机器人的全本地部署教程，部署大语言模型包括下载并安装 Ollama，根据电脑系统下载：https://ollama.com/download ，安装完成后将下方地址复制进浏览器中确认安装完成：http://127.0.0.1:11434/ 。下载 qwen2:0.5b 模型，Windows 电脑按 win+R 输入 cmd 回车，Mac 电脑通过 Command（⌘）+Space 键打开 Spotlight 搜索输入“Terminal”或“终端”，复制命令行粘贴回车等待下载完成。
2025-03-03
如何定制化训练ai模型？
定制化训练 AI 模型通常包括以下步骤和要点： 微调（Finetuning）： 微调可以让您从 API 提供的模型中获得更多收益，例如获得比即时设计更高质量的结果、能够训练比提示中更多的例子、由于更短的提示而节省 Token、实现更低的延迟请求。 GPT3 已在大量文本上预训练，小样本学习时它能凭直觉判断任务并生成合理结果，微调通过训练更多示例改进小样本学习，让您在大量任务中取得更好结果。对模型进行微调后，不再需要在提示中提供示例，节省成本并降低延迟。 微调的高层次步骤包括准备和上传训练数据、训练新的微调模型、使用您的微调模型。 哪些模型可以微调： 微调目前仅适用于以下基础模型：davinci、curie、babbage 和 ada。这些是原始模型，在训练后没有任何说明（例如 textdavinci003）。您还可以继续微调微调模型以添加其他数据，而无需从头开始。 安装： 建议使用 OpenAI 命令行界面。要安装，运行（以下说明适用于 0.9.4 及更高版本。此外，OpenAI CLI 需要 python 3。） 通过将相关行添加到 shell 初始化脚本（例如.bashrc、zshrc 等）或在微调命令之前的命令行中运行来设置环境变量。 选择 AI 模型： 通过选择您喜欢的 AI 模型，Cursor Chat 将使用该模型生成响应。您可以通过按 Ctrl/⌘/在模型之间切换。 默认情况下，Cursor Chat 使用 OpenAI 的 GPT4 作为其 AI 模型（具体来说，gpt4 标签指向我们的 GPT4Turbo 实例）。 您为 Chat 选择的 AI 模型将保存以供将来使用，不必每次打开 Cursor Chat 时都更改。 模型概述： OpenAI API 由具有不同功能和价位的多种模型提供支持，还可以通过微调针对特定用例对原始基本模型进行有限的定制。 常见模型包括 GPT4、GPT3.5、DALL·E、Whisper、Embeddings、Codex、Moderation、GPT3 等，各自具有不同的功能和应用场景。
2025-03-03