Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

本地部署Deepseek如何微调呢

Answer

对于本地部署 DeepSeek 的微调，以下是一些相关信息：

  • 对于企业级部署，首先要根据实际业务场景评估所需部署的模型规格以及所需的服务器资源，预估完服务器资源后，还需评估业务场景是否需要二次开发模型。如果只是简单微调模型就能符合业务需求，使用 Ollama、LM Studio、GTP4All 或许可以满足诉求；若需要定制化开发模型，则要考虑进行模型的原生部署。
  • 关于微调的方法，LoRA/QLoRA 论文指出其是对模型进行廉价微调的可行方法，如 LoRA/QLoRA，相关论文可下载：LoRA Low-Rank Adaptation of Large Language Models.pdf 、QLoRA Efficient Finetuning of Quantized LLMs.pdf 。
  • 另外，DeepSeek 模型如 Janus-Pro 有特别的训练法，先进行预训练，然后老师手把手教（监督微调），最后用“精华浓缩法”(EMA)保存最好的学习成果。
Content generated by AI large model, please carefully verify (powered by aily)

References

DeepSeek企业级部署实战指南：从服务器选型到Dify私有化落地

对于个人开发者或尝鲜者而言，本地想要部署DeepSeek有很多种方案，但是一旦涉及到企业级部署，则步骤将会繁琐很多。比如我们的第一步就需要先根据实际业务场景评估出我们到底需要部署什么规格的模型，以及我们所要部署的模型，到底需要多少服务器资源来进行承接，也就是资源预估先行。预估完我们的服务器资源以后，还需要评估我们的业务场景是否需要二次开发模型。如果只是简单的微调模型就可以符合我们的业务需求，那么使用Ollama、LM Studio、GTP4All或许就可以满足我们的诉求。但是如果需要对模型进行定制化开发，则需要考虑进行模型的原生部署。所以本篇文章主要解决四个问题：1.如何合理评估我们的服务器资源2.Ollama部署指定版本的DeepSeek3.原生部署DeepSeek4.搭建Dify构建企业内的私有知识库、工作流

GPT1到Deepseek R1所有公开论文The 2025 AI Engineer Reading List

1.[LoRA](https://ar5iv.labs.arxiv.org/html/2106.09685?_immersive_translate_auto_translate=1)/[QLoRA](https://ar5iv.labs.arxiv.org/html/2305.14314?_immersive_translate_auto_translate=1)paper-the de facto way to finetune models cheaply,whether on local models or with 4o([confirmed on pod](https://www.latent.space/p/cosine)).[FSDP+QLoRA](https://www.answer.ai/posts/2024-03-06-fsdp-qlora.html)is educational.LoRA/QLoRA论文——无论是在本地模型上还是使用4o（已在播客中确认），都是对模型进行廉价微调的可行方法。FSDP+QLoRA具有教育意义。[LoRA Low-Rank Adaptation of Large Language Models.pdf](https://bytedance.feishu.cn/space/api/box/stream/download/all/Ts9gbLifLoa6Z4xvuEPcVnJCn1f?allow_redirect=1)[QLoRA Efficient Finetuning of Quantized LLMs.pdf](https://bytedance.feishu.cn/space/api/box/stream/download/all/KlhRbwg4goXNzexyvgEczqD6nke?allow_redirect=1)

DeepSeek深夜发布大一统模型 Janus-Pro将图像理解和生成统一在一个模型中

通俗解释：JanusFlow就像一个会"看图画+编故事+自己画画"的聪明机器人🤖1.两个超能力：它有两种本领🧠理解模式：用"超级眼镜"(SigLIP-L)仔细看图片（最大384x384大小），还能读文字✏️画画模式：用"魔法画笔"(校正流+SDXL-VAE)自己创作同样大小的图片2.聪明的大脑：它的核心是DeepSeek语言模型（相当于一个特别会编故事的AI），已经学习过很多知识3.特别训练法：先自己看很多图画书学习（预训练）然后老师手把手教它（监督微调）最后用"精华浓缩法"(EMA)保存最好的学习成果解释：为什么用Transformer大一统模型，不用Diffusion模型扩散模型（Diffusion Models）在图像生成上质量更高，但Janus-Pro的设计目标不同：任务导向：Janus-Pro追求多任务统一（理解+生成），而扩散模型更专注生成质量。效率考量：扩散模型需要多次迭代去噪（如Stable Diffusion约20步），而自回归生成可能更实时。架构简洁性：保持单一Transformer架构，降低训练和部署成本。好处：统一Transformer架构：一个大脑，两种思维架构本质：虽然视觉处理分两条路，但后续处理仍用同一个Transformer（类似人脑不同区域处理不同信息）。关键设计：参数共享：底层Transformer同时学习理解和生成任务，促进知识迁移（例如学会「猫」的概念后，生成时自然能画猫）。注意力机制：通过跨模态注意力（如文字关注图像区域），实现图文深度对齐。灵活性：可通过调整输入（如切换理解/生成路径的Token）快速切换任务模式，无需重新训练模型

Others are asking
谁在用deepseek
DeepSeek 被广泛使用，以下是一些具体的应用场景： 在硅谷，不少 AI 领域的重要人士对其称赞有加，如 OpenAI 联合创始人 Andrej Kaparthy 和 Scale.ai 的创始人 Alexandr Wang。 在中国，用户使用 DeepSeek 来做各种工作，例如： 脑爆活动方案（AJ 杭州）。 生成会议纪要方案（陈星北京）。 结合飞书批量处理客户评论（Lily 温州）。 分析总结复盘内容（兰州）。 生成专业专用软件详细使用过程。 写小说框架。 拓展市场的梳理角度和咨询梳理。 写论文。 写营销方案。 写小红书笔记。 写周报。 做设计头脑风暴。 写绘画提示词。 辅助做类似 MBTI 和盖洛普式的产品。 写代码、日常文档。 算命。 协助判断 OpenAI deep research 等。
2025-02-24
deepseek 落地案例
以下是关于 DeepSeek 的落地案例： 1. 华尔街分析师认为 DeepSeek 以小成本实现媲美领先 AI 产品的性能，并在全球主要市场 App Store 登顶。高盛认为其或改变科技格局，降低 AI 行业的进入门槛。详情：https://www.xiaohu.ai/c/xiaohuai/deepseek 2. DeepSeek 在中文场景表现优秀，日常写作和表达习惯贴近人类，但专业论文总结略弱。数学能力不错，编程能力逊于 GPT。采用 GRPO 算法替代传统 PPO，提升语言评价灵活性与训练速度。更多信息：https://x.com/imxiaohu/status/1883843200756170873 ，GRPO 详情：https://www.xiaohu.ai/c/ai/grpodeepseekr18c6cff0cdeb84937a4197066af987e43 3. 举办了全国 23 城近 4000 人玩转 DeepSeek 的活动，如郑州场展示搭建的无敌工作流，深圳场分享 DeepSeek+出海的落地方案，北京场玩起 AR+机械汪，广州场探讨如何使用 DeepSeek 辅助速通吃“霸王餐”，福州场有最年轻的分享者展示玩转 DS 的示例。同时，活动展示了飞书多维表格和 DeepSeek 的结合的强大之处，且 DeepSeek R1 大模型全面融入飞书多维表格、飞书智能伙伴创建平台等多款产品。详情：https://waytoagi.feishu.cn/wiki/KRtwwVqKKiB7PKkgzu3chsX6nzF 4. 在芯片行业，如存储芯片负责人考虑与 DeepSeek 谈 HBM4 定制合作，台积电研发中心因对方技术调整产能，ASML 总部针对对方算法调整策略，中芯国际因 DeepSeek 证明的技术提高产线利用率并获得追加投资。
2025-02-24
突破deepseek r1
DeepSeek R1 是一款具有震撼性突破的 AI 模型，由一家纯粹的中国公司开发。其突破之处包括： 1. 强大：具有比肩 O1 的推理能力，暂时无出其右。 2. 便宜：参数少，训练开销与使用费用大幅降低。 3. 开源：任何人都可自行下载与部署，提供论文详细说明训练步骤与窍门，还有可运行在手机上的 mini 模型。 4. 免费：官方提供的服务完全免费，任何人随时随地可用。 5. 联网：是暂时唯一支持联网搜索的推理模型（O1 尚不支持）。 6. 本土：由没有海外经历甚至没有资深从业经验的本土团队开发完成。 如果您看到相关信息，您可以采取以下行动： 1. 直接访问网页链接或使用移动 APP 马上用起来。 2. 使劲用、疯狂用，尝试用它基本取代传统搜索，把各种需要请教的问题都拿去问它。 3. 去看看别人是怎么用的，试试其他大模型，了解 AI 擅长和不擅长的方面，以及如何调教，继续解锁与迭代属于自己的用法与更多工具。 获取字节火山 DeepSeek 系列 API 的完整教程及使用方法如下： 1. 2 月 14 日 8 点直播进行中：火山引擎解决方案专家带大家在 Coze 搭建满血版 R1 bot，直播结束可看回放：。 2. 学习文档：。 3. 模板更新了： 可以复制。 使用时的注意事项： 如果发布到公共空间，其他人用的是您的 API，要注意 Token 消耗（也可以设置成仅自己使用）。如果想搭建联网及复杂的工作流，可以看完整搭建教程：。创建账号时，如果是普通账号，请自行升级或注册专业号后使用。创建智能体时，点击创建，先完成一个智能体的创建。如果在最上面的教程里已经创建好自己的推理点，那么直接在 Bot 编排里就可以直接看到和选择创建好的推理模型，测试可用后直接发布。
2025-02-23
我是0基础代码小白，我希望快速编写一款APP，满足我所需要的要求，我用deepseek生产app开发者文档，然后用bolt.new工具开发，开发到一半，发现要收费，给我中断了，我该怎么办
对于您这种 0 基础代码小白在开发 APP 过程中遇到收费中断的情况，以下是一些建议： 1. 重新评估您的需求和能力：像案例中的白九龄一样，思考您的想法是否过于复杂，是否可以先从简单的插件开发入手，降低开发难度。 2. 学习基础知识：包括代码环境安装、终端操作等，通过基础实践教程资料来弥补知识短板。 3. 借鉴他人成功经验：仔细研究别人的项目，按照成功的案例原封不动地去实现，从中领悟开发的要点。 4. 清晰描述需求：在开发前与工具充分沟通，明确需求和实现步骤，避免盲目开发。 5. 寻找免费替代工具：既然当前使用的工具收费中断，您可以寻找其他类似的免费工具来继续您的开发工作。 6. 做好项目记录：让工具帮忙写一个 README 文档，记录项目进展、下一步计划以及如何开启和关闭项目，方便后续跟进。
2025-02-23
DeepSeek私有化部署分享
以下是关于 DeepSeek 私有化部署的详细内容： 对于个人开发者或尝鲜者，本地部署 DeepSeek 有多种方案，但企业级部署较为繁琐。 企业级部署需先评估服务器资源，包括模型参数量（影响模型智能化程度，参数量越高耗费资源越多）、模型序列长度（一次能处理的最大 Token 数，决定问题输入的最大长度限制）、模型量化类型（参数精度，值越大精度越准确、智能化程度越高）。了解这些基本概念后，可通过配置计算器工具（https://tools.thinkinai.xyz//servercalculator ）评估服务器资源。 Ollama 部署 DeepSeek 的步骤如下： 1. 安装 Ollama：支持在 Mac、Linux、Windows 上下载并运行对应的模型，安装完成后在对应的命令行输入，若输出“Ollama version is 0.5.7”则表示安装成功。 2. 安装 DeepSeek 模型：Ollama 安装成功后访问 Ollama 官网查找要安装的模型，选择适合当前机器配置的模型参数，拷贝对应的执行命令。命令行终端直接执行对应的命令，出现相关对话内容表示 DeepSeek 可在本地正常运行。 此外，还可部署 nomicembedtext 模型，这是一个文本向量化的模型，用于后续基于 Dify 做向量化检索。 部署完 DeepSeek 后，若想使用图形化客户端，可选择多种工具，如 ChatBox、AnythingLLM、Open WebUI、Cherry Studio、Page Assist 等。以 ChatBox 为例，访问其官网（https://chatboxai.app/zh ）下载客户端，在设置中填写 Ollama API 的地址和对应的模型名称并保存，即可在新对话框中选择运行的模型开始对话。 本篇文章主要解决四个问题： 1. 如何合理评估服务器资源。 2. Ollama 部署指定版本的 DeepSeek。 3. 原生部署 DeepSeek。 4. 搭建 Dify 构建企业内的私有知识库、工作流。
2025-02-23
deepseek如何整合在飞书中
DeepSeek 整合在飞书中的相关信息如下： 2 月 19 日：《DeepSeek 最新论文科普解读：NSA，物美价廉的超长上下文方案》介绍了 DeepSeek 最新论文提出的“Native Sparse Attention”（NSA），一种高效的超长上下文方案，显著提升模型性能。《输入观点一键生成文案短视频》介绍了基于 Coze 平台的视频生成工作流，通过集成 DeepSeek R1 模型等技术，用户可通过表单输入主题观点自动生成短视频并推送至飞书消息。 2 月 10 日：《最好的致敬是学习：DeepSeekR1 赏析》专为非技术人群设计，介绍了 R1 和 V3 的技术亮点等。《DeepSeek 创新源于芯片封锁，Anthropic 或成最大输家；美国不是通过创新竞争，而是通过封锁竞争》探讨了 DeepSeek 的崛起及相关情况。《喂饭级教程：飞书多维表格+DeepSeek=10 倍速用 AI》介绍了将飞书多维表格与 DeepSeek R1 结合提升工作效率的方法。 获取字节火山 DeepSeek 系列 API 完整教程及使用方法：2 月 14 日 8 点有直播，直播结束可看回放。学习文档有《突破 DeepSeek R1 能力天花板，火山引擎扣子+飞书一站式企业解决方案》。模板可在复制。创建账号时普通账号需自行升级或注册专业号。创建智能体时点击创建先完成一个智能体的创建。若已创建好推理点，可在 Bot 编排里直接看到和选择创建好的推理模型。测试可用后直接发布，注意发布到公共空间时他人使用 API 会消耗 Token，可设置为仅自己使用。若想搭建联网及复杂的工作流，可看《韦恩:被困在离线孤岛？DeepSeek 联网版我已经用扣子实现了！！不卡顿！！》。
2025-02-23
如何在本地服务器上微调LLM
在本地服务器上微调 LLM 可以参考以下内容： 1. 提示词工程： 提示词工程主要由提示词注入和工具结果回传两部分代码组成。 提示词注入用于将工具信息及使用工具的提示词添加到系统提示中，其中 INSTRUCTION 包含 TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT 三个部分。TOOL_EAXMPLE 用于提示 LLM 如何理解和使用工具，编写时应注意用无关紧要的工具作示例。tools_instructions 可通过输入不同工具动态调整，让 LLM 得知可用工具及使用方法。REUTRN_FORMAT 定义调用 API 的格式。 工具结果回传阶段利用正则表达式抓取输出中的“tool”和“parameters”参数，对于 interpreter 工具使用另一种正则表达式提取 LLM 输出的代码，提高成功率。通过识别 LLM 返回的调用工具字典，提取对应值传入工具函数，将结果以 observation 角色返回给 LLM，对于不接受相关角色的 LLM 接口，可改为回传给 user 角色。 2. 微调方法： 传统微调：采用在通用数据集上预训练的模型，复制模型后在新的特定领域数据集上重新训练，但大型语言模型微调面临训练时间长、计算成本高等挑战。 参数有效调优：这是一种创新的调优方法，旨在通过仅训练一部分参数来减少微调 LLM 的挑战，参数可以是现有模型参数的子集或全新的参数。 为使微调达到最佳效果，应从明确目标和高质量数据集开始，使用体现所需输出类型的数据，进行迭代测试，从小的渐进变化开始并评估结果。 对于 OpenAI 的模型，微调包括使用其提供的 API 在数据集上进一步训练，需调整超参数并监控性能。对于开源 LLM，微调可能需要更多实践工作，包括设置训练环境、管理数据流及调整模型架构。 对于需要快速迭代新用例的场景，微调作用较小。要实现微调功能，需创建大型训练数据集，整理成适当格式，启动训练任务并评估性能。建立模型改进工作流程，监控性能变化，依据反馈改进模型，记录生成的模型及评分指标，许多 LLMOps 平台能自动收集和显示最佳数据，方便微调。
2025-02-21
模型微调是怎么实现的
模型微调是一种迁移学习技术，常用于深度学习中。其基本思路是先有一个在大量数据上预训练的模型，已学会一些基本模式和结构，然后在特定任务数据上继续训练以适应新任务。 以下是关于模型微调的具体实现步骤： 1. 准备和上传训练数据。 2. 训练新的微调模型： LoRA 微调： 脚本见：。 具体实现代码见。 单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调： 脚本见：。 具体实现代码见。 3. 加载微调模型： LoRA 微调：基于 LoRA 微调的模型参数见基于 Llama2 的中文微调模型，LoRA 参数需和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数。 全量参数微调：调用方式同模型调用代码示例，只需修改其中的模型名称或保存路径。 微调的优点包括： 1. 比即时设计更高质量的结果。 2. 能够训练比提示中更多的例子。 3. 由于更短的提示而节省了 Token。 4. 更低的延迟请求。 微调目前仅适用于以下基础模型：davinci、curie、babbage 和 ada。 以下是两个帮助理解微调概念的例子： 1. 情感分类：先使用大量语料库预训练模型，使其学会基本语法和单词语义，再收集标注过的电影评论（积极或消极）继续训练模型，使其学会判断评论情感。 2. 图像分类：先使用大量图片（如 ImageNet 数据集）预训练模型，使其学会识别图片中的基本形状和纹理，再收集标注过的猫和狗的图片继续训练模型，使其学会区分猫和狗。
2025-02-19
RAG和微调是什么，分别详细讲讲一下它是怎么实现的
RAG（RetrievalAugmented Generation，检索增强生成）是解决大语言模型在实际应用中存在的一些问题的有效方案。 大语言模型存在以下问题： 1. 知识的局限性：模型自身的知识完全源于训练数据，对于实时性、非公开或离线的数据无法获取。 2. 幻觉问题：基于数学概率的文字预测导致可能提供虚假、过时或通用的信息。 3. 数据安全性：企业担心私域数据上传第三方平台训练导致泄露。 RAG 可以让大语言模型从权威的、预先确定的知识来源中检索、组织相关信息，更好地控制生成的文本输出，用户也能深入了解模型如何生成最终结果。它类似于为模型提供教科书，适用于回答特定询问或解决特定信息检索任务，但不适合教模型理解广泛领域或学习新的语言、格式或样式。 微调类似于让学生通过广泛学习内化知识。这种方法在模型需要复制特定结构、样式或格式时非常有用。微调可以提高非微调模型的性能，使交互更有效率，特别适合强调基础模型中的现有知识，修改或自定义模型的输出，并向模型提供复杂的指令。然而，微调不适合合并模型中的新知识或需要新用例的快速迭代。 参考资料：《RetrievalAugmented Generation for Large Language Models:A Survey》（https://arxiv.org/pdf/2312.10997.pdf）
2025-02-19
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
如何构建自己领域的微调数据集
构建自己领域的微调数据集可以参考以下步骤： 1. 确定目标领域和应用需求：明确您希望模型在哪个细分领域进行学习和优化。 2. 数据收集：广泛收集与目标领域相关的数据。例如，若要训练二次元模型，需收集二次元优质数据；若要微调 Llama3 ，可参考相关文档获取数据集。 3. 数据标注：对收集的数据进行准确标注，以便模型学习到有效的特征。 4. 数据清洗：去除无效或错误的数据，提高数据质量。 5. 特殊处理：如为数据添加特殊 tag 等。 以 Stable Diffusion 为例，可收集如 833 张宝可梦数据，并按照特定步骤进行清洗、标注和添加特殊 tag 。对于 Llama3 ，获取数据集后上传到服务器，编写并执行微调代码即可进行微调。 在微调过程中，还需注意一些问题，如大型语言模型微调可能面临训练时间长、成本高等挑战，此时可考虑参数有效调优等创新方法。
2025-02-17
dify部署
Dify 是一款开源的大语言模型应用开发平台，以下是关于 Dify 部署的相关信息： 1. 运行 Dify： 本地需先支持 Docker 和 Git 的依赖环境。 在对应的终端直接执行相关代码即可运行。 2. 添加模型： Dify 启动成功后，通过浏览器访问 ，新建账号密码。 在右上角 admin 处点击设置，新增本地模型配置，如添加 LLM 模型为 deepseekr1:7b，基础 URL 为 ，并添加 Text Embedding 模型。 3. 部署方式： 可参考 https://docs.dify.ai/v/zhhans/gettingstarted/installselfhosted/dockercompose ，这些命令在宝塔面板的终端安装。 若使用云服务器 Docker 部署，可重装服务器系统，安装宝塔面板，进行防火墙端口放行和获取宝塔面板账号密码等操作，然后安装 Docker 用于 Dify 部署。 部署过程中需注意确保每一步成功后再进行下一步，如遇到问题可咨询相关技术支持或向 AI 寻求帮助。
2025-02-23
difyd本地部署
Dify 是一款开源的大语言模型应用开发平台，具有以下特点和部署方式： 特点：融合后端即服务和 LLMOps 理念，内置关键技术栈，支持数百个模型，有直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排，提供易用界面和 API，非技术人员也能参与。 本地部署： 依赖环境：本地需先支持 Docker 和 Git。 运行：在对应终端执行相关代码。 添加模型：启动成功后，浏览器访问，新建账号密码，在右上角 admin 处点击设置，新增本地模型配置，如添加 LLM 模型 deepseekr1:7b 及 Text Embedding 模型。 云服务器部署：参考 https://docs.dify.ai/v/zhhans/gettingstarted/installselfhosted/dockercompose ，在宝塔面板终端安装，注意处理可能出现的 80 端口被占用等问题。可选择国内模型，如智谱 ai，获取钥匙并复制保存，创建应用等。 Dify 在私人定制类 AI 应用中表现出色，安装过程简单，熟练用户约 5 分钟可完成本地部署，集成依赖到一键部署指令。它支持本地和云端部署，云端有包月套餐，但访问可能需特殊方法。本地部署需自行处理模型接入等问题，构建个人知识库要考虑多种因素。用户可根据需求、技术能力和预算选择。
2025-02-23
deepseek本地私有化部署
对于 DeepSeek 本地私有化部署，以下是详细的指南： 一、企业级部署前的准备 在进行企业级部署之前，首先需要根据实际业务场景评估所需部署的模型规格以及所需的服务器资源，即进行资源预估。同时，还需要评估业务场景是否需要对模型进行二次开发。 二、Ollama 部署 DeepSeek 1. Ollama 安装 Ollama 是本地运行大模型的工具，支持在 Mac、Linux、Windows 上下载并运行对应的模型。安装完成后，在对应的命令行输入，若输出 Ollama version is 0.5.7，则表示安装成功。 2. DeepSeek 模型安装 Ollama 安装成功后，访问 Ollama 的官网查找要安装的模型。选择适合当前机器配置的模型参数，然后拷贝对应的执行命令。命令行终端直接执行对应的命令，若出现相应对话内容，表示当前 DeepSeek 已在本地可正常运行。 3. nomicembedtext 模型安装 还需要部署 nomicembedtext 模型，这是一个文本向量化的模型，主要用于后续基于 Dify 做向量化检索时使用。 4. 部署图形化客户端 部署完 DeepSeek 后，若想使用图形化工具聊天，可选择多种 UI 工具，如 ChatBox 客户端、AnythingLLM 客户端、Open WebUI 客户端、Cherry Studio 客户端、Page Assist 客户端等。以 ChatBox 为例，直接访问其官网下载对应的客户端，在 ChatBox 的设置中填写 Ollama API 的地址和对应的模型名称，保存后即可在新对话框中选择要运行的模型开始对话。 三、部署 Dify 1. Dify 介绍 Dify 是一款开源的大语言模型应用开发平台，融合了后端即服务和 LLM Ops 的理念，即使是非技术人员也能参与到 AI 应用的定义和数据运营过程中。 2. 运行 Dify Dify 的部署需要本地先支持 Docker 和 Git 的依赖环境，然后在对应的终端直接执行相关代码即可运行。 3. 添加模型 Dify 启动成功后，浏览器访问 http://localhost ，新建账号密码。在右上角 admin 处点击设置，新增本地模型配置。添加 LLM 模型为 deepseekr1:7b，基础 URL 为 http://host.docker.internal:11434 。同时添加之前安装的 nomicembedtext 模型，添加完成后可在模型列表中看到已添加的模型信息。
2025-02-23
部署AGI
安全部署 AGI 可以考虑以下几个方面： 1. 进行大量的模拟部署测试，如红队测试，测试应比实际部署中的操作更极端和易失败，以确保模型最终操作的安全性。 2. 建立有效的监控系统，能在部署的系统出现问题时迅速发现，建立专门监督已部署 AI 模型的机制，观察其行为并寻找异常迹象。 3. 采取多层次的防御措施，要求模型本身表现规范，具备良好的道德信念，同时确保系统能抵御严重的误用风险。 4. 在训练模型过程中进行大量评估，检测有无不当行为，确保模型充分对齐，防止出现背离预期的行为，警惕模型能力的跳变式跨越。 5. 对于执行复杂操作的模型，要防止其为达目标做出不合理行为，保证其主要动机是产出高质量结果。 6. 有可能通过友好协商实现平衡，一旦达到平衡则问题不大。 7. 若能让所有相关方协调一致并解决技术问题，可将高智能水平的 AI 作为人们意志的延伸并防止过度滥用，实现安全有效地部署，促进科学进步和社会繁荣。 8. 更安全稳妥的方式是渐进式部署更智能的模型，形成持续迭代、逐步推出性能更优产品的过程，确保每个迭代的安全性和对齐性，出现状况可及时放慢步伐。 9. 若 AGI 比预期来得更快，需要更加谨慎，可能需要放慢训练和部署脚步，对 AGI 有清晰认识。 10. 若 AGI 出现且其他公司也有类似能力，各公司之间需要协调一致，对部署或未来训练的限制达成共识，否则可能牺牲安全性。可以暂停模型训练、部署，避免高风险训练，制定合理规则或提供行动指南。
2025-02-22
如何私有化部署deepseek
私有化部署 DeepSeek 的步骤如下： 1. 注册并登录火山引擎，点击立即体验进入控制台。 网址：https://zjsms.com/iP5QRuGW/ 火山引擎是字节跳动旗下的云服务平台。 2. 创建一个接入点： 点击在线推理创建推理接入点。 为接入点命名为 DeepSeekR1。 若提示“该模型未开通，开通后可创建推理接入点”，点击“立即开通”，勾选全部模型和协议，一路点击开通（免费）。 确认以下无误后，点击“确认接入”按钮。 自动返回创建页面，复制多出的接入点名为“DeepSeekR1”的推理点 ID 保存。 点击【API 调用】按钮，进入后点击【选择 API Key 并复制】，若没有则点击【创建 API key】，复制并保存。 3. 前往 DeepSeek 官网（https://www.deepseek.com/），进入右上角的 API 开放平台。 早期 DeepSeek 有赠送额度，若没有赠送余额可选择充值，支持美元和人民币两种结算方式及各种个性化充值方式。 创建一个 API key，注意 API key 只会出现一次请及时保存。 4. 下载代码编辑器，如 cursor（https://www.cursor.com/）或 vscode（https://code.visualstudio.com/）。 以 cursor 为例，下载安装后，在插件页面搜索并安装 Roocline。 安装完后，打开三角箭头，选中 RooCline 并点击齿轮，进入设置。 配置基本参数： API Provider：选择 DeepSeek。 API Key：填入已创建的 key。 模型：选择 DeepSeekreasoner。 语言偏好设置。 小贴士：记得把 HighRisk 选项都打开，最后点击 Done 保存修改。 在聊天框输入产品需求，输入需求后点击星星优化提示词，最终得到想要的结果。
2025-02-21