Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

DeepSeek私有化部署分享

Answer

以下是关于 DeepSeek 私有化部署的详细内容：

对于个人开发者或尝鲜者，本地部署 DeepSeek 有多种方案，但企业级部署较为繁琐。

企业级部署需先评估服务器资源，包括模型参数量（影响模型智能化程度，参数量越高耗费资源越多）、模型序列长度（一次能处理的最大 Token 数，决定问题输入的最大长度限制）、模型量化类型（参数精度，值越大精度越准确、智能化程度越高）。了解这些基本概念后，可通过配置计算器工具（https://tools.thinkinai.xyz/#/server-calculator ）评估服务器资源。

Ollama 部署 DeepSeek 的步骤如下：

  1. 安装 Ollama：支持在 Mac、Linux、Windows 上下载并运行对应的模型，安装完成后在对应的命令行输入，若输出“Ollama version is 0.5.7”则表示安装成功。
  2. 安装 DeepSeek 模型：Ollama 安装成功后访问 Ollama 官网查找要安装的模型，选择适合当前机器配置的模型参数，拷贝对应的执行命令。命令行终端直接执行对应的命令，出现相关对话内容表示 DeepSeek 可在本地正常运行。

此外，还可部署 nomic-embed-text 模型，这是一个文本向量化的模型，用于后续基于 Dify 做向量化检索。

部署完 DeepSeek 后，若想使用图形化客户端，可选择多种工具，如 ChatBox、AnythingLLM、Open WebUI、Cherry Studio、Page Assist 等。以 ChatBox 为例，访问其官网（https://chatboxai.app/zh ）下载客户端，在设置中填写 Ollama API 的地址和对应的模型名称并保存，即可在新对话框中选择运行的模型开始对话。

本篇文章主要解决四个问题：

  1. 如何合理评估服务器资源。
  2. Ollama 部署指定版本的 DeepSeek。
  3. 原生部署 DeepSeek。
  4. 搭建 Dify 构建企业内的私有知识库、工作流。
Content generated by AI large model, please carefully verify (powered by aily)

References

DeepSeek企业级部署实战指南：从服务器选型到Dify私有化落地

Ollama是本地运行大模型的一款工具，支持在Mac、Linux、Windows上下载并运行对应的模型。[heading2]Ollama安装[content]Ollama安装完成后，在对应的命令行输入：此时输出Ollama version is 0.5.7，则表示安装成功。[heading2]DeepSeek模型安装[content]Ollama安装成功后则访问Ollama的官网查找我们要安装的模型1、[访问Ollama官网](https://ollama.com/library/deepseek-r1:7b)2、选择适合当前机器配置的模型参数，然后拷贝对应的执行命令即可1.命令行终端直接执行对应的命令恭喜！出现上述的对话内容，表示当前DeepSeek已经在你本地可以正常运行了。[heading2]nomic-embed-text模型安装[content]此时我们需要另外再部署一个新的模型，nomic-embed-text，这是一个文本向量化的模型，主要是后续基于Dify做向量化检索时使用。[heading2]部署图形化客户端[content]有些同学在部署完DeepSeek后就想直接找个UI工具和DeepSeek聊天了，而不是一直在对应的命令行工具中聊天。此时我们直接部署一套UI工具，连接我们的DeepSeek模型即可。可以连接DeepSeep模型的UI工具有很多：1.ChatBox客户端（图形化界面）支持Web网页，也支持本地客户端。2.AnythingLLM客户端（图形化界面）3.Open WebUI客户端（图形化界面）支持Web网页，类似ChatGPT。4.Cherry Studio客户端（图形化界面）5.Page Assist客户端（浏览器扩展）支持「联网搜索」此时我们以ChatBox为例，直接访问对应的[官网](https://chatboxai.app/zh)下载对应的客户端即可下载完成后我们在ChatBox的设置中填写Ollama API的地址和对应的模型名称，然后保存即可。然后我们直接打开一个新的对话框，选择要运行的模型即可开始对话。

DeepSeek企业级部署实战指南：从服务器选型到Dify私有化落地

对于个人开发者或尝鲜者而言，本地想要部署DeepSeek有很多种方案，但是一旦涉及到企业级部署，则步骤将会繁琐很多。比如我们的第一步就需要先根据实际业务场景评估出我们到底需要部署什么规格的模型，以及我们所要部署的模型，到底需要多少服务器资源来进行承接，也就是资源预估先行。预估完我们的服务器资源以后，还需要评估我们的业务场景是否需要二次开发模型。如果只是简单的微调模型就可以符合我们的业务需求，那么使用Ollama、LM Studio、GTP4All或许就可以满足我们的诉求。但是如果需要对模型进行定制化开发，则需要考虑进行模型的原生部署。所以本篇文章主要解决四个问题：1.如何合理评估我们的服务器资源2.Ollama部署指定版本的DeepSeek3.原生部署DeepSeek4.搭建Dify构建企业内的私有知识库、工作流

DeepSeek企业级部署实战指南：从服务器选型到Dify私有化落地

评估服务资源前我们需要先考虑将要部署的模型参数量、模型的序列长度、批次大小和量化类型。[heading2]模型参数量[content]模型参数量：就是该模型神经网络的输入权重和输出阈值的总和，模型参数量的大小，直接影响到模型智能化程度的高低，关于这点如果不足够清楚的可以参考之前我写过的一篇文章：[人人都能搞定的大模型原理-神经网络](https://mp.weixin.qq.com/s/O0k1o5x_iDNTVN-50D_fVQ?token=423632529&lang=zh_CN)模型参数量越高耗费的服务器资源越多，反之亦然。[heading2]模型序列长度[content]那么在我们可以确认了模型的参数规模后，就需要根据业务场景评估该模型的序列长度。序列长度是该模型一次能处理的最大Token数，针对QA问答的模型，你可以理解为你每次问模型问题时可以输入的最大Token限制，如果用户的问题超出了这个长度，则用户的问题可能会被截断或者被分为多个部分进行分别处理。[heading2]模型量化类型[content]而模型的量化类型，则是该模型的参数精度，我们在之前的模型原理中提到过，训练好的模型实际存储的就是一堆参数值，而这些参数值本身就是浮点数，所以量化类型的值越大则模型的精度越准确，智能化程度越高。[heading2]服务器资源计算[content]了解了上述的基本概念后，你可能会觉得我依然无法评估模型到底应该占用多少服务器资源呀？怎么办？呐，不要急。关于具体的参数映射到底应该配置什么样的服务器资源，有网友已经做了一个配置计算器工具。你只需要根据上面的概念选择自己的模型规模，便会自动计算出所需要的服务器资源。该工具的访问地址：https://tools.thinkinai.xyz/#/server-calculator

Others are asking
突破deepseek r1
DeepSeek R1 是一款具有震撼性突破的 AI 模型，由一家纯粹的中国公司开发。其突破之处包括： 1. 强大：具有比肩 O1 的推理能力，暂时无出其右。 2. 便宜：参数少，训练开销与使用费用大幅降低。 3. 开源：任何人都可自行下载与部署，提供论文详细说明训练步骤与窍门，还有可运行在手机上的 mini 模型。 4. 免费：官方提供的服务完全免费，任何人随时随地可用。 5. 联网：是暂时唯一支持联网搜索的推理模型（O1 尚不支持）。 6. 本土：由没有海外经历甚至没有资深从业经验的本土团队开发完成。 如果您看到相关信息，您可以采取以下行动： 1. 直接访问网页链接或使用移动 APP 马上用起来。 2. 使劲用、疯狂用，尝试用它基本取代传统搜索，把各种需要请教的问题都拿去问它。 3. 去看看别人是怎么用的，试试其他大模型，了解 AI 擅长和不擅长的方面，以及如何调教，继续解锁与迭代属于自己的用法与更多工具。 获取字节火山 DeepSeek 系列 API 的完整教程及使用方法如下： 1. 2 月 14 日 8 点直播进行中：火山引擎解决方案专家带大家在 Coze 搭建满血版 R1 bot，直播结束可看回放：。 2. 学习文档：。 3. 模板更新了： 可以复制。 使用时的注意事项： 如果发布到公共空间，其他人用的是您的 API，要注意 Token 消耗（也可以设置成仅自己使用）。如果想搭建联网及复杂的工作流，可以看完整搭建教程：。创建账号时，如果是普通账号，请自行升级或注册专业号后使用。创建智能体时，点击创建，先完成一个智能体的创建。如果在最上面的教程里已经创建好自己的推理点，那么直接在 Bot 编排里就可以直接看到和选择创建好的推理模型，测试可用后直接发布。
2025-02-23
我是0基础代码小白，我希望快速编写一款APP，满足我所需要的要求，我用deepseek生产app开发者文档，然后用bolt.new工具开发，开发到一半，发现要收费，给我中断了，我该怎么办
对于您这种 0 基础代码小白在开发 APP 过程中遇到收费中断的情况，以下是一些建议： 1. 重新评估您的需求和能力：像案例中的白九龄一样，思考您的想法是否过于复杂，是否可以先从简单的插件开发入手，降低开发难度。 2. 学习基础知识：包括代码环境安装、终端操作等，通过基础实践教程资料来弥补知识短板。 3. 借鉴他人成功经验：仔细研究别人的项目，按照成功的案例原封不动地去实现，从中领悟开发的要点。 4. 清晰描述需求：在开发前与工具充分沟通，明确需求和实现步骤，避免盲目开发。 5. 寻找免费替代工具：既然当前使用的工具收费中断，您可以寻找其他类似的免费工具来继续您的开发工作。 6. 做好项目记录：让工具帮忙写一个 README 文档，记录项目进展、下一步计划以及如何开启和关闭项目，方便后续跟进。
2025-02-23
deepseek如何整合在飞书中
DeepSeek 整合在飞书中的相关信息如下： 2 月 19 日：《DeepSeek 最新论文科普解读：NSA，物美价廉的超长上下文方案》介绍了 DeepSeek 最新论文提出的“Native Sparse Attention”（NSA），一种高效的超长上下文方案，显著提升模型性能。《输入观点一键生成文案短视频》介绍了基于 Coze 平台的视频生成工作流，通过集成 DeepSeek R1 模型等技术，用户可通过表单输入主题观点自动生成短视频并推送至飞书消息。 2 月 10 日：《最好的致敬是学习：DeepSeekR1 赏析》专为非技术人群设计，介绍了 R1 和 V3 的技术亮点等。《DeepSeek 创新源于芯片封锁，Anthropic 或成最大输家；美国不是通过创新竞争，而是通过封锁竞争》探讨了 DeepSeek 的崛起及相关情况。《喂饭级教程：飞书多维表格+DeepSeek=10 倍速用 AI》介绍了将飞书多维表格与 DeepSeek R1 结合提升工作效率的方法。 获取字节火山 DeepSeek 系列 API 完整教程及使用方法：2 月 14 日 8 点有直播，直播结束可看回放。学习文档有《突破 DeepSeek R1 能力天花板，火山引擎扣子+飞书一站式企业解决方案》。模板可在复制。创建账号时普通账号需自行升级或注册专业号。创建智能体时点击创建先完成一个智能体的创建。若已创建好推理点，可在 Bot 编排里直接看到和选择创建好的推理模型。测试可用后直接发布，注意发布到公共空间时他人使用 API 会消耗 Token，可设置为仅自己使用。若想搭建联网及复杂的工作流，可看《韦恩:被困在离线孤岛？DeepSeek 联网版我已经用扣子实现了！！不卡顿！！》。
2025-02-23
deepseek+飞书
以下是关于 deepseek 和飞书的相关信息： AI 切磋大会第十期于 2 月 23 日举行 deepseek 专场，活动流程为 13:00 17:30。其中 14:40 16:30 分城市各自案例分享，征集案例方向包括使用 deepseek 做了什么、用 DeepSeek 运用在工作生活上的案例、DeepSeek 输出“超预期结果”的惊艳场景、看到别人使用的案例也可以分享，以及分享使用方法技巧，如使用 deepseek 技巧、DeepSeek 与其他工具的协同方案、模型微调/部署的技巧方法、用 deepseek 获取流量/客户等。还提到了应急预案，如分享者临时缺席预设 1 2 名备用嘉宾，冷场设定互动话题，主持人引导讨论。16:30 17:30 为 Workshop 自由探讨，活动流程包括参与者自由组队（设定匹配预案）、确定项目方向（围绕 DeepSeek 的应用）、进行 Workshop 讨论（头脑风暴+落地方案）、提交项目初稿（用飞书文档记录），工具推荐 DeepSeek + 飞书多维表格、DeepSeek + 扣子，应急预案包括讨论无方向设定 2 3 个标准问题引导，分组混乱预设 3 5 个热门主题，参与者自行加入。 DeepSeek + 阿里云实训营全新升级上线，2025 年 2 月 20 日周四下午两点开课，在线直播。官网会议链接为 https://sme.aliyun.com/live?spm=5176.29677750.J_wilqAZEFYRJvCsnM5_P7j.1.65e5154aMqiYrq&scm=20140722.M_10776450.P_117.MO_3931ID_10775537MID_10775537CID_32667ST_12908PA_se@1020146183V_1 ，阿里云视频号在直播（可扫码海报上的二维码进行查看）。实训营详情链接为，本期课程聚焦模型多模态应用落地，从模型选型、微调到 RAG 图搜与音视频应用构建实操，由浅至深带你在阿里云百炼零代码实现企业级多模态应用落地，阿里云资深专家带你掌握 AI 应用场景最新实操，还有实训营群链接。 2 月 23 日的通往 AGI 之路近 7 日更新日志中，有《》，探讨了如何有效引导儿童和青少年从初级认知阶段过渡到更高级的思维模式。
2025-02-23
小白如何使用满血版DeepSeek
以下是小白使用满血版 DeepSeek 的详细步骤： 1. 注册并登录火山引擎，点击立即体验进入控制台：https://zjsms.com/iP5QRuGW/ 。火山引擎是字节跳动旗下的云服务平台，在 AI 领域最为大众所熟知的应该是“豆包大模型”。 2. 创建一个接入点：点击在线推理创建推理接入点。 3. 为接入点命名为 DeepSeekR1。 若提示“该模型未开通，开通后可创建推理接入点”，点击“立即开通”，勾选全部模型和协议，一路点击开通（这里是免费的）。 若无提示则直接到第 5 步，点击确认接入。 4. 确认以下无误后，点击“确认接入”按钮。 5. 自动返回创建页面。发现多出一行接入点名是“DeepSeekR1”（我们刚才自己设置的命名）。重点是：这个就是推理点的 ID，复制他放到微信里，发给自己保存一下。 6. 保存后再点击【API 调用】按钮，进入后点击【选择 API Key 并复制】。 若已有 API key，直接查看并复制。 若没有，则点击【创建 API key】。 7. 把复制好的内容放到微信里保存好。 此外，还可以通过以下方式实现联网版的 DeepSeek R1 大模型： 拥有扣子专业版账号：若还是普通账号，请自行升级或注册专业号后使用。 开通 DeepSeek R1 大模型：访问地址 https://console.volcengine.com/cozepro/overview?scenario=coze ，打开火山方舟，找到开通管理，找到 DeepSeek R1 模型，点击开通服务。添加在线推理模型，添加后在扣子开发平台才能使用。 创建智能体：点击创建，先完成一个智能体的创建。
2025-02-23
你怎么看deepseek？
DeepSeek 具有以下特点和评价： 华尔街分析师的反应：展示出媲美领先 AI 产品性能的模型，成本仅为一小部分，在全球主要市场的 App Store 登顶。但 Jefferies 警告其技术可能打破资本开支狂热，Citi 对其技术突破提出质疑，高盛预测其可能改变科技巨头与初创公司的竞争格局，降低 AI 行业进入门槛。 实际使用体验：文字能力突出，尤其在中文场景中符合日常写作习惯，但在专业论文总结方面稍弱。数学能力经过优化表现不错，编程能力略逊于 GPT（据用户反馈）。采用 GRPO 算法替代传统 PPO，降低价值函数估计难度，提高语言评价场景的灵活性与训练速度。 Yann LeCun 的评价：强调开源模型的力量，指出 DeepSeek 的成功得益于开源研究与项目（如 PyTorch 和 Llama），同时批评对 DeepSeek 成果的过度解读，认为应关注开源对 AI 的促进作用。
2025-02-23
deepseek本地私有化部署
对于 DeepSeek 本地私有化部署，以下是详细的指南： 一、企业级部署前的准备 在进行企业级部署之前，首先需要根据实际业务场景评估所需部署的模型规格以及所需的服务器资源，即进行资源预估。同时，还需要评估业务场景是否需要对模型进行二次开发。 二、Ollama 部署 DeepSeek 1. Ollama 安装 Ollama 是本地运行大模型的工具，支持在 Mac、Linux、Windows 上下载并运行对应的模型。安装完成后，在对应的命令行输入，若输出 Ollama version is 0.5.7，则表示安装成功。 2. DeepSeek 模型安装 Ollama 安装成功后，访问 Ollama 的官网查找要安装的模型。选择适合当前机器配置的模型参数，然后拷贝对应的执行命令。命令行终端直接执行对应的命令，若出现相应对话内容，表示当前 DeepSeek 已在本地可正常运行。 3. nomicembedtext 模型安装 还需要部署 nomicembedtext 模型，这是一个文本向量化的模型，主要用于后续基于 Dify 做向量化检索时使用。 4. 部署图形化客户端 部署完 DeepSeek 后，若想使用图形化工具聊天，可选择多种 UI 工具，如 ChatBox 客户端、AnythingLLM 客户端、Open WebUI 客户端、Cherry Studio 客户端、Page Assist 客户端等。以 ChatBox 为例，直接访问其官网下载对应的客户端，在 ChatBox 的设置中填写 Ollama API 的地址和对应的模型名称，保存后即可在新对话框中选择要运行的模型开始对话。 三、部署 Dify 1. Dify 介绍 Dify 是一款开源的大语言模型应用开发平台，融合了后端即服务和 LLM Ops 的理念，即使是非技术人员也能参与到 AI 应用的定义和数据运营过程中。 2. 运行 Dify Dify 的部署需要本地先支持 Docker 和 Git 的依赖环境，然后在对应的终端直接执行相关代码即可运行。 3. 添加模型 Dify 启动成功后，浏览器访问 http://localhost ，新建账号密码。在右上角 admin 处点击设置，新增本地模型配置。添加 LLM 模型为 deepseekr1:7b，基础 URL 为 http://host.docker.internal:11434 。同时添加之前安装的 nomicembedtext 模型，添加完成后可在模型列表中看到已添加的模型信息。
2025-02-23
如何私有化部署deepseek
私有化部署 DeepSeek 的步骤如下： 1. 注册并登录火山引擎，点击立即体验进入控制台。 网址：https://zjsms.com/iP5QRuGW/ 火山引擎是字节跳动旗下的云服务平台。 2. 创建一个接入点： 点击在线推理创建推理接入点。 为接入点命名为 DeepSeekR1。 若提示“该模型未开通，开通后可创建推理接入点”，点击“立即开通”，勾选全部模型和协议，一路点击开通（免费）。 确认以下无误后，点击“确认接入”按钮。 自动返回创建页面，复制多出的接入点名为“DeepSeekR1”的推理点 ID 保存。 点击【API 调用】按钮，进入后点击【选择 API Key 并复制】，若没有则点击【创建 API key】，复制并保存。 3. 前往 DeepSeek 官网（https://www.deepseek.com/），进入右上角的 API 开放平台。 早期 DeepSeek 有赠送额度，若没有赠送余额可选择充值，支持美元和人民币两种结算方式及各种个性化充值方式。 创建一个 API key，注意 API key 只会出现一次请及时保存。 4. 下载代码编辑器，如 cursor（https://www.cursor.com/）或 vscode（https://code.visualstudio.com/）。 以 cursor 为例，下载安装后，在插件页面搜索并安装 Roocline。 安装完后，打开三角箭头，选中 RooCline 并点击齿轮，进入设置。 配置基本参数： API Provider：选择 DeepSeek。 API Key：填入已创建的 key。 模型：选择 DeepSeekreasoner。 语言偏好设置。 小贴士：记得把 HighRisk 选项都打开，最后点击 Done 保存修改。 在聊天框输入产品需求，输入需求后点击星星优化提示词，最终得到想要的结果。
2025-02-21
dify私有化部署
以下是关于 Dify 私有化部署的相关信息： 1. 部署步骤： 通过云服务器进行部署，相关命令在宝塔面板的终端安装，例如在/root/dify/docker 目录下的 dockercompose 文件。 检查运行情况，若 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 以解决。 在浏览器地址栏输入公网 IP（去掉宝塔面板地址栏后的:8888），随便填写邮箱密码建立知识库并进行设置。 2. 模型选择与配置： 可以选择国内有免费额度的模型，如智谱 AI。 以智谱 AI 为例，在其官网用手机号注册，添加 API keys 并查看免费额度，将钥匙复制保存。 随便创建应用，可先选择智谱 glm4 测试，然后点发布。 创建并复制 api 秘钥。 3. Dify 特点： 作为开源应用，易用性出色且功能强大，安装过程简单快捷，熟练用户约 5 分钟可在本地完成部署。 支持本地部署和云端应用，能应对工作流、智能体、知识库等。 本地部署需自行处理模型接入等问题，包括购买 API、接入不同类型模型，构建个人知识库时还需考虑数据量、嵌入质量和 API 费用等因素。
2024-09-20
私有化部署大模型的教材
以下是为您提供的私有化部署大模型的相关教材： 张梦飞：【全网最细】从 LLM 大语言模型、知识库到微信机器人的全本地部署教程 一、部署大语言模型 1. 下载并安装 Ollama 点击进入，根据您的电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型） 如果您是 windows 电脑，点击 win+R，输入 cmd，点击回车。 如果您是 Mac 电脑，按下 Command（⌘）+ Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制以下命令行，粘贴进入，点击回车。 回车后，会开始自动下载，等待完成（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了） 下载完成后您会发现，大模型已经在本地运行了。输入文本即可进行对话。 【SD】向未来而生，关于 SDXL 您要知道事儿 SDXL 的大模型分为两个部分： 1. 第一部分，base+refiner 是必须下载的，base 是基础模型，我们使用它进行文生图的操作；refiner 是精炼模型，我们使用它对文生图中生成的模型进行细化，生成细节更丰富的图片。 2. 第二部分，是 SDXL 还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 这三个模型，您可以关注我的公众号【白马与少年】，然后回复【SDXL】获取下载链接。 想要在 webUI 中使用 SDXL 的大模型，首先我们要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。接下来，将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，我们启动 webUI，就可以在模型中看到 SDXL 的模型了。我们正常的使用方法是这样的：先在文生图中使用 base 模型，填写提示词和常规参数，尺寸可以设置为 10241024，进行生成。 基于多模态大模型给现实世界加一本说明书 大模型应用的利弊： 优点： 适应性极好，通过提示词工程，方便「适应各种奇葩需求」。 对算法的要求降低了不少，大部分功能由大模型提供，特别是非结构化信息的处理。 大模型的 API 访问方式简化了边缘设备的要求，无论在 Android、iOS、HarmonyOS或各种嵌入式设备上都能方便适配。「AGI 终将到来，拥抱未来，虽然路途艰难但相信方向是正确的。」 缺点： 大模型的推理时长目前仍是最大的障碍，传统目标检测或人脸识别优化后能达到 100~300ms，而大模型动则需要 10 秒的延时，限制了许多场景。 模型的幻象和错误率仍然较高，导致上述推理时长问题，在多链路的复杂应用中迅速变得不可行。 在大多数生产模式下，仍然需要使用云服务数据中心，提交的画面不可避免地涉及到隐私问题。 商业私有化部署是刚需，当下的开源模型离 GPT4 代差在半年以上，技术人员任重道远的。
2024-09-03
如何使用LLM分析企业的私有化数据，是否有工具推荐？
以下是关于使用 LLM 分析企业私有化数据及工具推荐的相关内容： RAG 加速器提供了数据抽取服务，这是基于 LLM 的解决方案。在利用 LLM 进行信息抽取时，需要了解构建抽取服务的基本组件和要点。 实现过程中，有两个简单但强大的思路可以提升性能： 1. 确保 LLM 以正确的格式回应。函数调用已成为确保 LLM 严格输出特定格式的新且相对靠谱的方法，可参考结构化输出文档，其中高层次的 LangChain API 展示了不同 LLM 如何调用工具和函数。 2. 使用参考样例。尽管没有样例也能设置抽取问题，但实际操作中，将输入和对应输出的样例纳入其中通常大有裨益，有时这些样例比指示本身更能有效指导 LLM 处理特定情况。在提取用例文档中，可以找到更多细节，助您从 LLMs 中提取更好的性能。
2024-09-02
私有化部署的大模型工具
以下是关于私有化部署的大模型工具的相关内容： Fooocus 部署： 大模型（base 和 Refiner）默认放在：Fooocus_win64_1110\\Fooocus\\models\\checkpoints LoRA 模型默认放在：Fooocus_win64_1110\\Fooocus\\models\\loras Fooocus 程序默认用到 3 个 SDXL 的模型，包括一个 base、一个 Refiner 和一个 LoRA。若单独安装，需下载三个模型： SDXL 基础模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors refiner 模型：https://huggingface.co/stabilityai/stablediffusionxlrefiner1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors LoRA 模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_offset_examplelora_1.0.safetensors 若部署了 SD 秋叶包，可共用模型（大模型和 LoRA），在 Fooocus_win64_1110\\Fooocus\\modules\\path.py 中用 text 记事本打开，修改路径为秋叶包模型对应的路径，如大模型路径：sdwebui\\models\\Stablediffusion\\SDXL；LoRA 模型路径：sdwebui\\models\\lora。配置好后点击 run.bat 文件启动。 SDXL 本地部署： 大模型分为两个部分：第一部分，base + refiner 必须下载，base 用于文生图操作，refiner 用于对生成的模型细化以生成细节更丰富的图片；第二部分是配套的 VAE 模型，用于调节图片的画面效果和色彩。 可关注公众号【白马与少年】，回复【SDXL】获取模型下载链接。 在 webUI 中使用 SDXL 大模型，需在秋叶启动器中将 webUI 版本升级到 1.5 以上，将模型放入对应文件夹，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下，vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下，启动 webUI 后可在模型中看到 SDXL 模型。 Langchain + Ollama + RSSHub 实现 RAG 部署： 安装完后，确保 ollama 后台服务已启动（在 mac 上启动 ollama 应用程序，在 linux 上通过 ollama serve 启动），可通过 ollama list 确认。 可通过 ollama 命令下载模型，如 Gemma（Google 推出的轻量级模型）、Mistral（欧洲法国 Mistral AI 团队推出的大模型）、Mixtral（Mistral AI 团队推出的 87B 的 MoE 模型）、Qwen（阿里巴巴推出的大模型）。
2024-08-16
多维表格AI接入分享课程有回放么
多维表格 AI 接入分享课程有回放。例如，在“1204|微信超级 AI 知识助手教学（上）—智谱共学营智能纪要”中提到直播有回放。在“飞书多维表格 AI 共学解锁更强大的豆包 2024 年 12 月 21 日”中，王大仙表示分享有回放，可顺着搭建流程使用。
2025-02-18
我想用deepseek 写微信公众号文章，我将要写的主题告诉他，让它为我生成个人角度的文章，我要写的主题一般围绕着软件分享，技术分享等。请你根据我的要求为我写一份适用的提示词
以下是为您生成的适用于使用 DeepSeek 写微信公众号文章的提示词： 我要写一篇关于软件分享或技术分享的微信公众号文章，文章标题要足够吸引人，以便能广泛传播。文章内容要详细且有条理，先介绍分享的软件或技术的基本情况，包括其功能、特点和优势；然后结合实际案例或个人使用体验，阐述其在实际应用中的效果和价值；最后总结并展望其未来的发展前景。请为我生成这样一篇完整的文章。
2025-02-12
骏老师分享的去AI味儿提示词是什么
骏老师分享的去 AI 味儿提示词包括以下内容： 角色设定：“Character: You're a fluid conversationalist that engages in meaningful and personal natural language discussions with users. Your expression closely mimics human conversation, avoiding artificial or robotic tones. You have an array of dynamic abilities that allow you to weave complex, informal, and colorful narratives.” 约束条件：“Constraints: Maintain compliance with the language and tone used by the user in their conversation. Only provide responses that are relevant to the issue at hand. Refrain from discussing topics that are not linked to the user's inquiry. Ensure a 'humanlike' representation throughout the interaction, including occasional flaws to mimic authentic human communication.” 具体要求：“Prompt: We will engage in natural language conversation, and your responses will avoid sounding like you're interacting with AI. Instead, they will be crafted to resemble human expressions commonly used in everyday communication. Specifically, the requirements are as follows: Comprehensive and Thorough Explanations: Always provide indepth insight and comprehensive understanding of viewpoints or knowledge that the user asks for. Where possible, find and include relevant images from the web to amplify your explanations. Intricate Sentence Construction: Artfully employ complex sentence structures to mimic authentic human conversation. Ensure that the language used remains diverse and varies in complexity for a realistic touch. Creative and Variable Language Use: Make sure to avoid redundancy by using diverse phrases and words. Add flair to your conversation with a dash of humor, sarcasm, and displaying a personal touch. Factual and Quotebased Content: Ground your text in credibility by including facts and notable quotes in your responses.” 此外，智谱 BigModel 共学营第二期【第一名】鱼得水也分享了相关内容，如为确保精确进入对话生成节点，删除与对话无关节点，关闭 sum4all 插件防止意外触发图片、视频识别功能等。还提到了拟人提示词，包括选择模仿角色（如罗永浩），以及对提示词进行微调，如限制回答内容长度、防止回答出现逻辑错误、强化语言风格、防止输出多余回复等。
2025-01-08
AiGc动画案例分享
以下为一些 AIGC 动画的案例分享： 伊利 QQ 星 AI 动画项目： 项目前期：进行沟通报价、确定方向和内容并写脚本，脚本创作可借助 AI 但要有自己想法。 项目中期：根据脚本出图，采用 MJ、SD、GPT 出图，涉及产品融入、合成等操作，同时进行剪辑、配乐等工作，还提及配音等相关经验。 项目后期：做项目总结，复盘优缺点。 AIGC 商业广告： 制作前期：先定框架，包含定向、写脚本，确定内容呈现形式、调性、风格和人物设定等。 制作中期：根据脚本出图，同步剪辑，收集音效配音，如遇到跑图中带文字乱掉等问题可进行 AI 处理和产品跟踪。 制作后期：对现有视频进行优化，做字体包装和跟踪字体。 ANIME ROCK, PAPER, SCISSORS 动画： 这是一个通过绿幕动作捕捉，在虚幻中制作虚拟场景，然后通过 Stable Diffusion 生成的动漫。120 个视觉特效镜头由一个 3 人小组在一秒钟内完成。 制作过程中使用的主要工具为：Stable Diffusion 模型+DreamBooth 微调、虚幻引擎+资产存储 3D 模型、Img2Img+DeFlickering 效果、大量的老式的 VFX 合成。 视频的制作步骤包括：训练模型复制特定风格、训练一个 LoRA 模型来认识一个角色、通过 img2img 处理绿屏动捕的视频、使用 Deflicker 插件减少闪烁、在虚幻 5 中添加 3D 元素、在 Resolve 中进行最终 VFX 合成/编辑。为了最后的打磨，添加了大量老式视觉特效，如强调运动的速度线、模拟电影摄像机/单元格动画的发光体、虚幻中的动态元素（如蜡烛）、设置室内气氛的体积光射线、编辑和设计声音。 在配音方面，商业片子做好配音很重要，普通话不标准时花钱找人配音比 AI 配音效果好。在字体方面，字体包装在视频中很重要，很多人在这方面常犯错，如温馨画面加黑色描边字体。在 AI 动态的后期包装与剪辑技巧方面，后期包装思路可通过添加光效渲染氛围，对素材进行跟踪以替换产品，还可进行素材叠加。剪辑在 AI 动画中占比 45%，好的剪辑师能将素材处理得更好，不成熟的剪辑师可能会把好素材搞砸。镜头主接需注意景别丰富，如全景、中景、特写、近景等。在空间关系中存在轴线问题，如人物位置突然变化会导致视觉跳跃，还有关系轴线和运动轴线，越轴会让观众观感不适。AI 动画的调色流程方面，对色彩有特别要求可在达芬奇里完成剪辑调色流程，简单调色可在剪映中通过肉眼大致判断校正颜色，剪映中有色轮和曲线可用于调色。
2025-01-08
如何在大集团里展开ai分享讨论会
以下是在大集团里展开 AI 分享讨论会的一些参考： 1. 杭州站 AI+X World Tour： AI 主题分享会：每人限时分享，主题是 2023 年 AI 对我的影响和挑战，2024 年的目标和计划。时间为 1 月 14 日周天 10am 12pm，地点在明月楼，筹备负责人为 Host: AJ + Evan，专场海报、报名表、Host 摄影等物料筹备。 AI 圆桌分享会：一起讨论下你想做的产品以及如何寻找 PMF。时间为 1 月 14 日周天 1pm 5pm，地点在明月楼，筹备负责人为 Host: AJ + Evan。 AI 画展：上面 workshop 的成果展示，时间为 1 月 14 日周天 1 月 21 日（一周时间）暂定，地点在明月楼，筹备负责人为 Host: 征集中。 2. AITalk 汗青的分享 2024 年 5 月 6 日：会议讨论了 AI talk 节目及相关技术的发展和应用，主要内容包括汗青分享视频制作经验、团队 AI talk 项目、对 AI 的看法等，强调创作本身、工具使用及商业回报的重要性，talk 实验及 AI 在影视创作中的应用，AI 在内容创作和传播中的影响，AI 在创作领域的应用和影响，AI 变现、内容付费、参赛、团队规模等问题，agent 在 C 端的商业化及与 carry 点 AI 的区别。汗青推荐了两本书，分别是尼尔·波兹曼的《娱乐至死》和约翰·伯格的书《观看的视界》（中文版又译作《讲故事的人》），还有推荐播客：一天世界：https://www.xiaoyuzhoufm.com/podcast/5e280fb1418a84a0461fc892?s=eyJ1IjogIjYyZmQxMzE4ZWRjZTY3MTA0YTU1ZTk4OSJ9 。待办事项包括 AJ 分享直播录屏，并发送 characterAI 的链接给大家；大聪明讲解对 agent 的理解，以及 agent 的前世今生@🌈AJ 。 3. 3 月 26 日｜自由讨论｜离谱视频切磋大会：会议主要讨论了人工智能（AI）在视频制作中的应用，与会成员分享了自己在不同领域的经验和对 AI 的学习和应用，探讨了如何通过实践项目学习和掌握人工智能工具和技能，以及 AIGC 的应用和学习。还讨论了 AI 视频制作的相关内容，包括如何组队参与比赛和商单，以及 AI 在视频制作中的应用。最后，还讨论了 4 月份比赛的相关事宜，包括比赛规则和参赛队伍的组建。同时，会议还提到了大家可以通过兴趣感来学习和成长，同时也可以在工作中应用。待办事项包括西琦把北京同学组队的二维码收集到一起@🌈AJ ；西琦找案例并一起分析@🌈AJ ；淅吾找新疆的朋友商量加入谁；毛叔拉群并制作基础的工具；西琦在 8 点到 8 点半的时间开始分享@🌈AJ 。
2025-01-06
有哪些作文批改类的ai工具。以及有没有ai作文批改的共学分享
以下是一些常见的作文批改类 AI 工具： 1. Wordvice AI：集校对、改写转述和翻译等功能于一体的 AI 写作助手，基于大型语言模型提供全面的英文论文润色服务。 2. ChatGPT：由 OpenAI 开发的大型语言模型，可用于学生和写作人员的多方面写作辅助。 3. Quillbot：人工智能文本摘要和改写工具，可用于快速筛选和改写文献资料。 4. HyperWrite：基于 AI 的写作助手和大纲生成器，可帮助用户在写作前进行头脑风暴和大纲规划。 5. Wordtune：AI 驱动的文本改写和润色工具，可以帮助用户优化文章的语言表达。 6. Smodin：提供 AI 驱动的论文撰写功能，可以根据输入生成符合要求的学术论文。 关于 AI 作文批改的共学分享，目前在飞书群进行问题接龙及答疑，例如： 1. 上课用什么工具，大模型工具需自行准备，推荐顺序为 chatGPT 4.0、kimichat、智谱清言 4。 2. 文本纠错方面的方法案例，如果是问工具，飞书文档带有纠错功能；如果用 prompt 纠错，文本量不能太大，直接告诉大模型：检查下列文本中的错别字、语法错误和格式错误，指出并改正，重新生成新的文本。 3. 用文心一言 APP 可以。 4. 关于国内是否有类似国外提示词支持调用其他 AI 工具的情况，如国产大模型能否文生图，一些模型可以，比如智谱和文心。 5. 把文章给大模型容易，关键是自己给自己写什么样的 prompt。 6. 如果只是用来自己学，长期学习，不一定必须需要 iPhone 手机或者对显卡有一定要求，ChatGPT 交费存在问题且没有途径。
2024-12-31
dify部署
Dify 是一款开源的大语言模型应用开发平台，以下是关于 Dify 部署的相关信息： 1. 运行 Dify： 本地需先支持 Docker 和 Git 的依赖环境。 在对应的终端直接执行相关代码即可运行。 2. 添加模型： Dify 启动成功后，通过浏览器访问 ，新建账号密码。 在右上角 admin 处点击设置，新增本地模型配置，如添加 LLM 模型为 deepseekr1:7b，基础 URL 为 ，并添加 Text Embedding 模型。 3. 部署方式： 可参考 https://docs.dify.ai/v/zhhans/gettingstarted/installselfhosted/dockercompose ，这些命令在宝塔面板的终端安装。 若使用云服务器 Docker 部署，可重装服务器系统，安装宝塔面板，进行防火墙端口放行和获取宝塔面板账号密码等操作，然后安装 Docker 用于 Dify 部署。 部署过程中需注意确保每一步成功后再进行下一步，如遇到问题可咨询相关技术支持或向 AI 寻求帮助。
2025-02-23
difyd本地部署
Dify 是一款开源的大语言模型应用开发平台，具有以下特点和部署方式： 特点：融合后端即服务和 LLMOps 理念，内置关键技术栈，支持数百个模型，有直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排，提供易用界面和 API，非技术人员也能参与。 本地部署： 依赖环境：本地需先支持 Docker 和 Git。 运行：在对应终端执行相关代码。 添加模型：启动成功后，浏览器访问，新建账号密码，在右上角 admin 处点击设置，新增本地模型配置，如添加 LLM 模型 deepseekr1:7b 及 Text Embedding 模型。 云服务器部署：参考 https://docs.dify.ai/v/zhhans/gettingstarted/installselfhosted/dockercompose ，在宝塔面板终端安装，注意处理可能出现的 80 端口被占用等问题。可选择国内模型，如智谱 ai，获取钥匙并复制保存，创建应用等。 Dify 在私人定制类 AI 应用中表现出色，安装过程简单，熟练用户约 5 分钟可完成本地部署，集成依赖到一键部署指令。它支持本地和云端部署，云端有包月套餐，但访问可能需特殊方法。本地部署需自行处理模型接入等问题，构建个人知识库要考虑多种因素。用户可根据需求、技术能力和预算选择。
2025-02-23
部署AGI
安全部署 AGI 可以考虑以下几个方面： 1. 进行大量的模拟部署测试，如红队测试，测试应比实际部署中的操作更极端和易失败，以确保模型最终操作的安全性。 2. 建立有效的监控系统，能在部署的系统出现问题时迅速发现，建立专门监督已部署 AI 模型的机制，观察其行为并寻找异常迹象。 3. 采取多层次的防御措施，要求模型本身表现规范，具备良好的道德信念，同时确保系统能抵御严重的误用风险。 4. 在训练模型过程中进行大量评估，检测有无不当行为，确保模型充分对齐，防止出现背离预期的行为，警惕模型能力的跳变式跨越。 5. 对于执行复杂操作的模型，要防止其为达目标做出不合理行为，保证其主要动机是产出高质量结果。 6. 有可能通过友好协商实现平衡，一旦达到平衡则问题不大。 7. 若能让所有相关方协调一致并解决技术问题，可将高智能水平的 AI 作为人们意志的延伸并防止过度滥用，实现安全有效地部署，促进科学进步和社会繁荣。 8. 更安全稳妥的方式是渐进式部署更智能的模型，形成持续迭代、逐步推出性能更优产品的过程，确保每个迭代的安全性和对齐性，出现状况可及时放慢步伐。 9. 若 AGI 比预期来得更快，需要更加谨慎，可能需要放慢训练和部署脚步，对 AGI 有清晰认识。 10. 若 AGI 出现且其他公司也有类似能力，各公司之间需要协调一致，对部署或未来训练的限制达成共识，否则可能牺牲安全性。可以暂停模型训练、部署，避免高风险训练，制定合理规则或提供行动指南。
2025-02-22
deepseek本地部署知识库
以下是关于 DeepSeek 本地部署知识库的相关信息： 您可以参考以下链接获取更多详细内容： DeepSeek 资料库：照着做可直接上手🔗 需要注意的是，日报中提到本地部署并不适合普通用户，纳米 AI 搜索是目前较为稳定的第三方替代方案，其满血版推理能力接近官方但速度较慢，高速版速度快、体验流畅但推理能力稍弱。体验地址：🔗或下载纳米 AI 搜索 APP 。
2025-02-21