Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

difyd本地部署

Answer

Dify 是一款开源的大语言模型应用开发平台，具有以下特点和部署方式：

  • 特点：融合后端即服务和 LLMOps 理念，内置关键技术栈，支持数百个模型，有直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排，提供易用界面和 API，非技术人员也能参与。
  • 本地部署：
    • 依赖环境：本地需先支持 Docker 和 Git。
    • 运行：在对应终端执行相关代码。
    • 添加模型：启动成功后，浏览器访问http://localhost，新建账号密码，在右上角 admin 处点击设置，新增本地模型配置，如添加 LLM 模型 deepseek-r1:7b 及 Text Embedding 模型。
  • 云服务器部署：参考 https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted/docker-compose ，在宝塔面板终端安装，注意处理可能出现的 80 端口被占用等问题。可选择国内模型，如智谱 ai，获取钥匙并复制保存，创建应用等。

Dify 在私人定制类 AI 应用中表现出色，安装过程简单，熟练用户约 5 分钟可完成本地部署，集成依赖到一键部署指令。它支持本地和云端部署，云端有包月套餐，但访问可能需特殊方法。本地部署需自行处理模型接入等问题，构建个人知识库要考虑多种因素。用户可根据需求、技术能力和预算选择。

Content generated by AI large model, please carefully verify (powered by aily)

References

DeepSeek企业级部署实战指南：从服务器选型到Dify私有化落地

Dify是一款开源的大语言模型(LLM)应用开发平台。它融合了后端即服务（Backend as Service）和LLMOps的理念，使开发者可以快速搭建生产级的生成式AI应用。即使你是非技术人员，也能参与到AI应用的定义和数据运营过程中。由于Dify内置了构建LLM应用所需的关键技术栈，包括对数百个模型的支持、直观的Prompt编排界面、高质量的RAG引擎、稳健的Agent框架、灵活的流程编排，并同时提供了一套易用的界面和API。这为开发者节省了许多重复造轮子的时间，使其可以专注在创新和业务需求上。简单来说如果你想使用模型构建自己的RAG知识引擎或者流程编排，那你少不写一堆LangChain的代码，但是Dify将这块业务进行了封装，你只需要在可视化的页面上操作，便可以实现相同的效果，快速的构建出自己的AI应用。[heading2]运行Dify[content]Dify的部署需要我们本地先支持Docker和Git的依赖环境，然后我们在对应的终端直接执行下面的代码，便可以直接运行Dify[heading2]添加模型[content]Dify启动成功后，我们直接浏览器访问：[http://localhost](http://localhost/)此时进入到Dify的主页面会提示新建账号密码，账号密码新建完成后，在右上角admin处点击设置，然后新增我们的本地模型配置。此处添加LLM模型为deepseek-r1:7b，基础URL为：[http://host.docker.internal:11434](http://host.docker.internal:11434/)添加完LLM模型后，我们再新增一个Text Embedding模型，还记得最开始我们使用ollama还安装了一套nomic-embed-text模型吗？对的，就是在这里使用的。两个模型都添加完以后，就可以在模型列表中看到我们已经添加的模型信息了

马上观看看：通过云服务器，dify，智能微秘书来免费搭建微信机器人

https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted/docker-compose这些命令都是在宝塔面板的终端安装。如果你想学习这些命令是什么就还是直接给AI就可以。比如cd dify/docker是啥意思。这个docker-compose文件就是在这个/root/dify/docker目录下。这里边以后可以修改，可以学习里边的文件是什么意思。检查一下一共有7个在运行。docker compose ps如果nginx这个容器无法运行。把终端里输出的代码粘贴给AI，可能是80端口被占用了。按照AI的方法，检查谁占用的，都停止掉就可以了。也可以用别的方法，我是用这种方法。记住要一步步来，确保前一步成功再下一步，怎么确保就是把代码复制问AI。现在可以在浏览器的地址栏里，输入你的公网ip就可以。可以上腾讯云服务器上查，你的宝塔面板上的地址栏也有显示，去掉后面的:8888就是。进去以后邮箱密码随便填一下。随便建立一个知识库，知识库中选择设置。这时候你就可以选择模型了，国内的模型都有免费额度，随便选，你也可以都选。拿智谱ai举例。点设置，点从智谱ai获取钥匙，直接会进入智谱的官网。用手机号注册，添加API keys，复制一下。然后看一下有多少免费额度，智谱是资源包管理里边看，赠送500万一个月。这些大模型有的限制时间，有的不限制。有的给tokens额度有的给钱。最后把网址收藏一下。回到上面的图，把钥匙复制，保存就可以了。然后随便创建个应用。可以先选择智谱glm-4测试一下，聊两句，看有回应没，然后点发布。选择第二个，如图：点击api秘钥，创建一个，复制。

给小白的AI产品推荐

在私人定制类AI应用中，Dify无疑是一个值得关注的佼佼者。作为一个开源的应用，Dify以其出色的易用性和强大的功能赢得了用户的青睐。它的安装过程简单快捷，熟练用户仅需约5分钟就能在本地完成部署，这在众多开源项目中实属罕见。Dify将所需依赖集成到一键部署指令中，大大降低了使用门槛。Dify不仅支持本地部署，还推出了云端应用，为用户提供了更多选择。无论是工作流、智能体还是知识库，Dify都能轻松应对。对于想要深入体验AI定制化的进阶用户来说，Dify无疑是理想之选。然而，本地部署仍需用户自行处理模型接入等问题，包括购买API、接入不同类型的模型如embedding模型、语言模型和rewriter模型等,学习曲线相对陡峭。此外，构建个人知识库时还需考虑数据量、嵌入质量和API费用等因素。对于偏好云端使用的用户，Dify提供了包月套餐，最高价格为59-159美刀/月。不过，但值得注意的是，访问Dify云端服务可能需要特殊方法。总的来说，Dify为用户提供了高度定制化的AI使用体验，无论是技术能力较强还是追求便利的用户，都能在Dify中找到适合自己的使用方式。在选择时，用户需要根据个人需求、技术能力和预算做出权衡。

Others are asking
DeepSeek私有化部署分享
以下是关于 DeepSeek 私有化部署的详细内容： 对于个人开发者或尝鲜者，本地部署 DeepSeek 有多种方案，但企业级部署较为繁琐。 企业级部署需先评估服务器资源，包括模型参数量（影响模型智能化程度，参数量越高耗费资源越多）、模型序列长度（一次能处理的最大 Token 数，决定问题输入的最大长度限制）、模型量化类型（参数精度，值越大精度越准确、智能化程度越高）。了解这些基本概念后，可通过配置计算器工具（https://tools.thinkinai.xyz//servercalculator ）评估服务器资源。 Ollama 部署 DeepSeek 的步骤如下： 1. 安装 Ollama：支持在 Mac、Linux、Windows 上下载并运行对应的模型，安装完成后在对应的命令行输入，若输出“Ollama version is 0.5.7”则表示安装成功。 2. 安装 DeepSeek 模型：Ollama 安装成功后访问 Ollama 官网查找要安装的模型，选择适合当前机器配置的模型参数，拷贝对应的执行命令。命令行终端直接执行对应的命令，出现相关对话内容表示 DeepSeek 可在本地正常运行。 此外，还可部署 nomicembedtext 模型，这是一个文本向量化的模型，用于后续基于 Dify 做向量化检索。 部署完 DeepSeek 后，若想使用图形化客户端，可选择多种工具，如 ChatBox、AnythingLLM、Open WebUI、Cherry Studio、Page Assist 等。以 ChatBox 为例，访问其官网（https://chatboxai.app/zh ）下载客户端，在设置中填写 Ollama API 的地址和对应的模型名称并保存，即可在新对话框中选择运行的模型开始对话。 本篇文章主要解决四个问题： 1. 如何合理评估服务器资源。 2. Ollama 部署指定版本的 DeepSeek。 3. 原生部署 DeepSeek。 4. 搭建 Dify 构建企业内的私有知识库、工作流。
2025-02-23
dify部署
Dify 是一款开源的大语言模型应用开发平台，以下是关于 Dify 部署的相关信息： 1. 运行 Dify： 本地需先支持 Docker 和 Git 的依赖环境。 在对应的终端直接执行相关代码即可运行。 2. 添加模型： Dify 启动成功后，通过浏览器访问 ，新建账号密码。 在右上角 admin 处点击设置，新增本地模型配置，如添加 LLM 模型为 deepseekr1:7b，基础 URL 为 ，并添加 Text Embedding 模型。 3. 部署方式： 可参考 https://docs.dify.ai/v/zhhans/gettingstarted/installselfhosted/dockercompose ，这些命令在宝塔面板的终端安装。 若使用云服务器 Docker 部署，可重装服务器系统，安装宝塔面板，进行防火墙端口放行和获取宝塔面板账号密码等操作，然后安装 Docker 用于 Dify 部署。 部署过程中需注意确保每一步成功后再进行下一步，如遇到问题可咨询相关技术支持或向 AI 寻求帮助。
2025-02-23
deepseek本地私有化部署
对于 DeepSeek 本地私有化部署，以下是详细的指南： 一、企业级部署前的准备 在进行企业级部署之前，首先需要根据实际业务场景评估所需部署的模型规格以及所需的服务器资源，即进行资源预估。同时，还需要评估业务场景是否需要对模型进行二次开发。 二、Ollama 部署 DeepSeek 1. Ollama 安装 Ollama 是本地运行大模型的工具，支持在 Mac、Linux、Windows 上下载并运行对应的模型。安装完成后，在对应的命令行输入，若输出 Ollama version is 0.5.7，则表示安装成功。 2. DeepSeek 模型安装 Ollama 安装成功后，访问 Ollama 的官网查找要安装的模型。选择适合当前机器配置的模型参数，然后拷贝对应的执行命令。命令行终端直接执行对应的命令，若出现相应对话内容，表示当前 DeepSeek 已在本地可正常运行。 3. nomicembedtext 模型安装 还需要部署 nomicembedtext 模型，这是一个文本向量化的模型，主要用于后续基于 Dify 做向量化检索时使用。 4. 部署图形化客户端 部署完 DeepSeek 后，若想使用图形化工具聊天，可选择多种 UI 工具，如 ChatBox 客户端、AnythingLLM 客户端、Open WebUI 客户端、Cherry Studio 客户端、Page Assist 客户端等。以 ChatBox 为例，直接访问其官网下载对应的客户端，在 ChatBox 的设置中填写 Ollama API 的地址和对应的模型名称，保存后即可在新对话框中选择要运行的模型开始对话。 三、部署 Dify 1. Dify 介绍 Dify 是一款开源的大语言模型应用开发平台，融合了后端即服务和 LLM Ops 的理念，即使是非技术人员也能参与到 AI 应用的定义和数据运营过程中。 2. 运行 Dify Dify 的部署需要本地先支持 Docker 和 Git 的依赖环境，然后在对应的终端直接执行相关代码即可运行。 3. 添加模型 Dify 启动成功后，浏览器访问 http://localhost ，新建账号密码。在右上角 admin 处点击设置，新增本地模型配置。添加 LLM 模型为 deepseekr1:7b，基础 URL 为 http://host.docker.internal:11434 。同时添加之前安装的 nomicembedtext 模型，添加完成后可在模型列表中看到已添加的模型信息。
2025-02-23
部署AGI
安全部署 AGI 可以考虑以下几个方面： 1. 进行大量的模拟部署测试，如红队测试，测试应比实际部署中的操作更极端和易失败，以确保模型最终操作的安全性。 2. 建立有效的监控系统，能在部署的系统出现问题时迅速发现，建立专门监督已部署 AI 模型的机制，观察其行为并寻找异常迹象。 3. 采取多层次的防御措施，要求模型本身表现规范，具备良好的道德信念，同时确保系统能抵御严重的误用风险。 4. 在训练模型过程中进行大量评估，检测有无不当行为，确保模型充分对齐，防止出现背离预期的行为，警惕模型能力的跳变式跨越。 5. 对于执行复杂操作的模型，要防止其为达目标做出不合理行为，保证其主要动机是产出高质量结果。 6. 有可能通过友好协商实现平衡，一旦达到平衡则问题不大。 7. 若能让所有相关方协调一致并解决技术问题，可将高智能水平的 AI 作为人们意志的延伸并防止过度滥用，实现安全有效地部署，促进科学进步和社会繁荣。 8. 更安全稳妥的方式是渐进式部署更智能的模型，形成持续迭代、逐步推出性能更优产品的过程，确保每个迭代的安全性和对齐性，出现状况可及时放慢步伐。 9. 若 AGI 比预期来得更快，需要更加谨慎，可能需要放慢训练和部署脚步，对 AGI 有清晰认识。 10. 若 AGI 出现且其他公司也有类似能力，各公司之间需要协调一致，对部署或未来训练的限制达成共识，否则可能牺牲安全性。可以暂停模型训练、部署，避免高风险训练，制定合理规则或提供行动指南。
2025-02-22
如何私有化部署deepseek
私有化部署 DeepSeek 的步骤如下： 1. 注册并登录火山引擎，点击立即体验进入控制台。 网址：https://zjsms.com/iP5QRuGW/ 火山引擎是字节跳动旗下的云服务平台。 2. 创建一个接入点： 点击在线推理创建推理接入点。 为接入点命名为 DeepSeekR1。 若提示“该模型未开通，开通后可创建推理接入点”，点击“立即开通”，勾选全部模型和协议，一路点击开通（免费）。 确认以下无误后，点击“确认接入”按钮。 自动返回创建页面，复制多出的接入点名为“DeepSeekR1”的推理点 ID 保存。 点击【API 调用】按钮，进入后点击【选择 API Key 并复制】，若没有则点击【创建 API key】，复制并保存。 3. 前往 DeepSeek 官网（https://www.deepseek.com/），进入右上角的 API 开放平台。 早期 DeepSeek 有赠送额度，若没有赠送余额可选择充值，支持美元和人民币两种结算方式及各种个性化充值方式。 创建一个 API key，注意 API key 只会出现一次请及时保存。 4. 下载代码编辑器，如 cursor（https://www.cursor.com/）或 vscode（https://code.visualstudio.com/）。 以 cursor 为例，下载安装后，在插件页面搜索并安装 Roocline。 安装完后，打开三角箭头，选中 RooCline 并点击齿轮，进入设置。 配置基本参数： API Provider：选择 DeepSeek。 API Key：填入已创建的 key。 模型：选择 DeepSeekreasoner。 语言偏好设置。 小贴士：记得把 HighRisk 选项都打开，最后点击 Done 保存修改。 在聊天框输入产品需求，输入需求后点击星星优化提示词，最终得到想要的结果。
2025-02-21
deepseek本地部署知识库
以下是关于 DeepSeek 本地部署知识库的相关信息： 您可以参考以下链接获取更多详细内容： DeepSeek 资料库：照着做可直接上手🔗 需要注意的是，日报中提到本地部署并不适合普通用户，纳米 AI 搜索是目前较为稳定的第三方替代方案，其满血版推理能力接近官方但速度较慢，高速版速度快、体验流畅但推理能力稍弱。体验地址：🔗或下载纳米 AI 搜索 APP 。
2025-02-21