Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

deepseek本地部署

Answer

以下是关于 DeepSeek 本地部署的相关信息：

  • 「AI 实训营」第三期课程中，02 月 26 日 20:00 的课程涉及人工智能平台 PAI 篇，包括 DeepSeek R1 技术原理、解锁 DeepSeek 的不同玩法（如问答助手、蒸馏、微调），以及实战演练 DeepSeek R1 满血版快速部署和蒸馏训练，相关课程文档为用阿里云 PAI 复现 Deepseek 蒸馏.pdf 。
  • 02 月 26 日的智能纪要中提到，关于本地部署的介绍包括如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。同时提到在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型，还介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。
Content generated by AI large model, please carefully verify (powered by aily)

References

第三期「AI实训营」手把手学AI【第三期：尝鲜阿里云上的DeepSeek玩法】

|时间|主题|课程内容|课程文档||-|-|-|-||02/25 20:00|#阿里云百炼篇：用DeepSeek搭建智能体|阿里云百炼满血版DeepSeek介绍<br>基于阿里云百炼的DeepSeek智能体搭建|[尝鲜阿里云百炼上的DeepSeek玩法.pdf](https://bytedance.feishu.cn/space/api/box/stream/download/all/RSqWbr9FzozYSsxehRDc0iNVnWe?allow_redirect=1)||02/26 20:00|#人工智能平台PAI篇：本地部署满血版DeepSeek|DeepSeek R1技术原理<br>解锁DeepSeek的不同玩法：问答助手？蒸馏？微调？<br>实战演练：DeepSeek R1满血版快速部署&蒸馏训练|[用阿里云PAI复现Deepseek蒸馏.pdf](https://bytedance.feishu.cn/space/api/box/stream/download/all/HWHTbXYWYoc0t8xsSk0cNalTnGg?allow_redirect=1)|

智能纪要：02-25 | 最新的DeepSeek玩法教学 2025年2月25日

[01:57:41](https://waytoagi.feishu.cn/minutes/obcnxm53m6nzpp16a89r5c8s?t=7061000)大模型及知识库使用讲解与问题解答本章节许键介绍模型API调用方法与知识库创建。告知获取API key位置及调用设置，详细讲解创建Rag应用（知识库）流程，包括上传非结构化文件、数据解析、切分段落等操作，还回答诸多问题，如知识库访问权限、智能体接收文档等，并提及作业是构建常用应用。[02:15:10](https://waytoagi.feishu.cn/minutes/obcnxm53m6nzpp16a89r5c8s?t=8110000)工作流创建、模型能力及相关问题探讨本章节主要讨论工作流相关问题。涉及历史版本功能，如对话流不支持上传文档，可向百练提需求；探讨了根据小说写序章、英文翻译、文字校对等工作流搭建；解释了模型能力、query概念；还提到工作流发布渠道、联网搜索网站设置及根据用户语言回复等内容。[02:22:50](https://waytoagi.feishu.cn/minutes/obcnxm53m6nzpp16a89r5c8s?t=8570000)通义千问相关应用及明天课程安排交流本章节主要讨论智能体相关内容，包括图片识别后让大语言模型回答防治方法，智能体应用及工作流概念、工具添加等。还提及明天将教Deepseek本地部署、蒸馏模型部署及微调，分享了发布智能体消耗token等情况，最后回答了一些问题并预告通义千问推理模型进展。

智能纪要：02-26 | DeepSeek部署+蒸馏 2025年2月26日

关于AI模型部署与相关知识的讲解本地部署介绍：讲解了如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。免费额度说明：指出在freely.aliyun.com可领取500元免费额度，但有使用限制，不能部署满血版和较大的增流模型。平台服务差异：介绍了DLC、DSW和EAS等模型部署平台服务的差别。模型蒸馏微调：会带着大家复现模型的蒸馏和微调，并讲解相关知识。Deepseek R1模型的制作及相关模型比较R1模型的强化学习：通过强化学习，在训练过程中给予模型反馈，如路线规划是否成功到达终点、输出格式是否符合期望等，对正确路线增强权重，使做对的概率变高，导致思考逻辑变长。R1模型的蒸馏与微调：用Deepseek RE Zero蒸馏出带思考的数据，基于Deepseek V3微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成R1。R1与其他模型的差别：R1是原生通过强化学习训练出的模型，蒸馏模型是基于数据微调出来的，基础模型能力强，蒸馏微调模型能力也会强。模型的相互帮助：Deepseek R1反过来蒸馏数据微调V3，形成互相帮助的局面，使两个模型都更强。

Others are asking
飞书多维表格里的字段捷径怎么关联deepseek
飞书中将飞书多维表格里的字段捷径与 DeepSeek 关联的相关内容如下： 基于其他博主开源的视频生成工作流进行功能优化，实现视频全自动创建。通过表单输入主题观点，提交后自动创建文案短视频，创建完成后推送视频链接到飞书消息。涉及工具包括 Coze 平台（工作流、DeepSeek R1、文生图、画板、文生音频、图+音频合成视频、多视频合成）、飞书（消息）、飞书多维表格（字段捷径、自动化流程）。大体路径为：通过 Coze 创建智能体，创建工作流，使用 DeepSeek R1 根据用户观点创建文案，再创建视频；发布 Coze 智能体到飞书多维表格；在多维表格中使用字段捷径，引用该智能体；在多维表格中创建自动化流程，推送消息给指定飞书用户。 做一个专属的好文推荐网站（DeepSeek R1 + 飞书多维表格）时，新建带有 AI 能力的飞书多维表格，逐一添加字段，使用“DeepSeek R1”时需要关联火山方舟的账号信息，并勾选相关选项。 在 Coze 应用 + 多维表格的高速数据分析中，使用 Coze、飞书多维表格、自定义 AI 字段捷径（Agent）来实现数据的高效抓取与批量 AI 化处理。Coze 定义智能体，发布到飞书多维表格字段捷径，多维表格中使用和配置自定义的 AI 字段捷径，Coze 应用采用交互式界面将数据导入到飞书多维表格，并驱动多维表格自动运行，通过多维表格仪表盘对数据进行可视化。目的是让大家了解如何最高效率使用 AI，并将方案泛化到实际工作中。
2025-03-25
我公司想部署一个deepseek-R1，用云服务器请问大概需要多少钱？
部署 DeepSeekR1 模型使用云服务器的价格因云计算厂商而异： 华为昇腾社区：部署 DeepSeekR1 模型用 BF16 权重进行推理至少需要 4 台 Atlas 800I A2（864G）服务器，用 W8A8 量化权重进行推理则至少需要 2 台 Atlas 800I A2。服务器调用 Docker 下载部署权重资源，非 API 调用模式。 阿里云（人工智能平台 PAI）：以 R1 为例，所需计算资源价格 316.25/小时。模型部署成在线服务，在人工智能平台 PAI 下的模型部署下的模型在线服务 EAS。 阿里云（阿里云百炼）：免费额度：10000000/10000000，通过 API 调用。 腾讯云（自建服务器）：多机分布式部署，节点数量：2 个，单节点配置：HCCPNV6 机型，可在线体验（需开通 T1 平台服务）。 腾讯云（调用 API）：API 调用 DeepSeek 系列模型限时免费。即日起至北京时间 2025 年 2 月 25 日 23:59:59，所有腾讯云用户均可享受 DeepSeekV3、DeepSeekR1 模型限时免费服务，单账号限制接口并发上限为 5。在此之后，模型价格将恢复至原价。 京东云：“deepseekr1:1.5b、“deepseekr1:7b”、“deepseekr1:32b”，1.89/小时起；服务器部署的方式。 gitee ai：R1 价格 0.1 元/次，基于沐曦曦云 GPU 及曦源一号国产替代算力集群，有在线体验。 需要注意的是，价格可能会有所变动，具体以各云计算厂商的最新公布为准。
2025-03-25
deepseek论文生成指令
以下是关于 Deepseek 的相关信息： 提示词方法论： 进阶控制技巧： 思维链引导：分步标记法，如请逐步思考“问题分析→方案设计→风险评估”；苏格拉底式追问，如在得出最终结论前，请先列举三个可能存在的认知偏差。 知识库调用：领域限定指令，如基于 2023 版中国药典，说明头孢类药物的配伍禁忌；文献引用模式，如以 Nature 2022 年发表的论文为参考，解释 CRISPRCas9 最新突破。 多模态输出。 高级调试策略： 模糊指令优化：包括宽泛需求添加维度约束，如原句“写小说”→修正“创作以 AI 觉醒为背景的悬疑短篇，采用多视角叙事结构”；主观表述量化标准，如原句“写得专业些”→修正“符合 IEEE 论文格式，包含 5 项以上行业数据引用”。 迭代优化法：首轮生成获取基础内容，特征强化，如请加强第三段的技术细节描述，风格调整，如改用学术会议报告语气，添加结论部分，最终校验，如检查时间逻辑一致性，列出可能的事实性错误。 高阶能力调用： 文风转换矩阵，如作家风格移植“用鲁迅杂文风格写职场 PUA 现象”，文体杂交“将产品说明书改写成《史记》列传格式”，学术口语化“把这篇论文摘要翻译成菜市场大妈能听懂的话”。 领域穿透技术，如行业黑话破解“解释 Web3 领域的‘胖协议瘦应用’理论”，商业决策支持。 场景化实战策略：创意内容生成，技术方案论证。 效能增强技巧： 对话记忆管理：上下文锚定，如“记住当前讨论的芯片型号是麒麟 9010”；信息回溯，如“请复述之前确认的三个设计原则”；焦点重置，如“回到最初讨论的供应链问题”。 输出质量控制：如过度抽象，修正指令为“请具体说明第三步操作中的温度控制参数”；信息过载，修正指令为“用电梯演讲格式重新组织结论”；风格偏移，修正指令为“回归商务报告语气，删除比喻修辞”。 特殊场景解决方案： 长文本创作：分段接力法，如“先完成故事大纲→逐章扩展→最后进行伏笔校验”“确保新章节与前文的三处细节呼应”。 敏感内容处理：概念脱敏法，如“用经济学原理类比说明网络审查机制”；场景移植法，如“假设在火星殖民地讨论该议题”。 用于生成 2048 游戏代码： 新手推荐使用 Deepseek，网址为 https://www.deepseek.com/zh ，国内能访问，网页登录方便，目前完全免费。 还可以使用 Cursor，网址为 https://www.cursor.com/ ，使用 Cursor 可以不用下载上一步中的 Pycharm。 此外还有通义灵码、JetBrains 自身的助手插件、Marscode 及 Tencent cloud AI code Assistant 等等。高能力的通用语言大模型通过明确的指令也可以得到 python 代码，不过使用下来还是 Deepseek 和晓颖 AI 助手在生成 2048 游戏上更为简便准确。
2025-03-25
deepseek辅助写论文
DeepSeek 在辅助写论文方面具有一定的优势和特点： 1. 优势：在写文方面表现出色，但长文可能会过于发散，文风用力过猛，导致审美疲劳，且模型多样性不够，相同 prompt 提问多次答案雷同。 2. 配合使用：写理性文章时，可先与 DeepSeek 讨论思路，再用 Cloud 3.5 批量生成。 3. 控制字数：可以使用 O1 模型对创作的字数进行控制，也可通过多轮对话让 AI 增删改查来调整字数。 同时，还有用户使用 DeepSeek 辅助完成了多种任务，如 Yvonne 用其写论文。但需要注意的是，晋江文学发布了 AI 写作辅助规范，明确了 AI 使用边界，其核心原则是 AI 只能提升写作效率，不能取代人类的原创性。
2025-03-25
deepseek官网地址
DeepSeek 的相关网址如下： 官网使用地址：https://chat.deepseek.com/（有手机客户端：扫描下面二维码） 模型下载地址：https://github.com/deepseekai/DeepSeekLLM?tab=readmeovfile API 文档地址： 集合·DeepSeek 提示词方法论：https://waytoagi.feishu.cn/wiki/ISVZwe05Tio9hEkFSF5cIjZ7nVf 魔改版本：https://huggingface.co/ValueFX9507/TifaDeepsex14bCoTGGUFQ4 、https://huggingface.co/mradermacher/DeepSeekR1DistillQwen7BabliteratedGGUF 早期 DeepSeek 官网：https://www.deepseek.com/ ，进入右上角的 API 开放平台。
2025-03-24
deepseek的优势是什么？
DeepSeek 的优势包括以下方面： 1. 性能与成本：展示出媲美领先 AI 产品的性能，但成本仅为其一小部分，在全球主要市场的 App Store 登顶。 2. 文字能力：在文字能力上表现突出，尤其在中文场景中高度符合日常、写作习惯，但在专业论文总结方面稍弱。 3. 数学能力：经过优化，表现不错。 4. 模型特点： 推理型大模型：通过理解用户的真实需求和场景来提供答案，不需要用户提供详细步骤指令。 更懂人话：能够理解用户用“人话”表达的需求，无需特定提示词模板。 深度思考：回答问题时能够进行深度思考，非简单罗列信息。 文风转换器：可以模仿不同作家的文风进行写作，适用于多种文体和场景。 5. 开源与创新：开源了多模态模型 JanusPro，在参数上领先，具备多种能力，通过优化训练策略、海量数据和大规模参数实现更强智能表现，统一 Transformer 架构，提供多种规模，全面开源，支持商用，部署使用便捷，Benchmark 表现优异。
2025-03-24
SD如何部署
SD 的部署方式如下： 1. 本地部署（Win 系统）： 系统要求：Win10 或 Win11。 查看配置： 查看电脑系统：在桌面上找到“我的电脑”，鼠标右键点击，点击“属性”，查看 Windows 规格。 查看电脑配置：需要满足 3 个要求（推荐），电脑运行内存 8GB 以上，是英伟达（NVIDA）的显卡，显卡内存 4GB 以上。打开任务管理器（同时按下 ctrl+shift+esc），可查看电脑运行内存，8GB 运行内存可以勉强运行 SD，推荐 16GB 以上运行内存；查看电脑显卡内存（显存），4GB 显存可运行 SD，推荐 8GB 以上显存。 配置达标跳转至对应安装教程页：。 一键式安装： 电脑配置能支持 SD 运行的朋友们，可使用 B 站秋叶分享的整合包。 具体安装方法： 打开链接 https://pan.baidu.com/s/1hY8CKbYRAj9RrFGmswdNiA?pwd=caru ，下载《1.整合包安装》，存放到电脑本地。 打开保存到电脑里的文件夹。 打开文件夹《1.秋叶整合包主包》，鼠标右击文件，点击“解压文件”。 选择解压到 D 盘或者 E 盘，小心 C 盘被占满，点击确定。 解压完成后，来到第二个文件夹，双击里面的文件，点击安装。 打开刚刚解压保存的 SD 的根目录，找到启动器，鼠标右击启动器，点击“发送到”，桌面快捷方式。 双击启动器，等待更新，接着点击左边第二个“高级选项”，在显存优化里，根据自己电脑的显存选择（就是上面查看的专用 GPU 内存），自己电脑是多少就选多少。 回到第一个一键启动，点击右下角的一键启动。出现代码页面不用管，等一下就行了，SD 的主界面会自动在网页上弹出来。如果出现报错，可以回到最开始的界面，在左边点击“疑难解答”，再点击右边的“开始扫描”，最后点击“修复”按钮。 2. 云端部署： 部署流程： 安装和配置基础环境：浏览器上按照腾讯云>控制台>云服务器的路径找到你刚才购买的实例，点击启动，就会新开一个远程访问的窗口，输入你购买时设置的密码，进入，这样你就有了一个远程的 Windows 系统环境，接下来安装显卡驱动、配置环境变量即可。 安装显卡驱动：用内置的 IE（也可下载 Chrome），打开英伟达的网站，找到驱动下载，选择购买机器时选定的显卡型号、Windows 版本号，下载对应的驱动，然后安装上。 配置环境变量：驱动安全完成后，开始配置环境变量。首先先找到你安装后驱动所在的目录，如果没有特殊设定的话，一般是在「C:\\Program Files\\NCIDIA Corporation」这里，复制这个路径，找到环境变量配置入口（控制面板>系统和安全>系统），选择「高级系统设置」，弹窗设置环境变量，找到「系统变量」里的 Path 环境变量，点击「编辑...」，然后「新建」，帮刚才复制的 nvidia 驱动安装地址粘贴进去，保存即可。 备选：SD 好难，先试试简单的无界 AI：
2025-03-25
我想搭建个人rag知识库，实现本地化部署，可以调用本地大模型去分析知识库的内容进行解答
以下是搭建个人 rag 知识库并实现本地化部署，调用本地大模型分析知识库内容进行解答的详细步骤： 一、通过 Open WebUI 使用大模型 1. 访问相关网址，使用邮箱注册账号。 2. 登陆成功后，Open WebUI 一般有两种使用方式，包括聊天对话和 RAG 能力（让模型根据文档内容回答问题，这是构建知识库的基础之一）。 3. 如果要求不高，此时已搭建本地大模型，并通过 Web UI 实现与大模型对话。ChatGPT 访问速度快且回答效果好的原因在于其服务器配置高、训练参数多、数据更优及训练算法更好。 二、本地知识库进阶 1. 若要更灵活掌控知识库，需使用额外软件 AnythingLLM，其包含 Open WebUI 的所有能力，并额外支持选择文本嵌入模型和向量数据库。 2. 安装地址：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步：选择大模型、选择文本嵌入模型、选择向量数据库。 3. 在 AnythingLLM 中有 Workspace 的概念，可创建独有 Workspace 与其他项目数据隔离。首先创建工作空间，然后上传文档并在工作空间中进行文本嵌入，选择对话模式（包括 Chat 模式和 Query 模式），最后进行测试对话。 三、RAG 是什么 利用大模型搭建知识库是 RAG 技术的应用。在进行本地知识库搭建实操前，需对 RAG 有大概了解。RAG 应用可抽象为 5 个过程： 1. 文档加载：从多种来源加载文档，LangChain 提供 100 多种不同的文档加载器，包括非结构化、结构化数据及代码等。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或“文档片”。 3. 存储：涉及将切分好的文档块嵌入转换成向量形式，并将向量数据存储到向量数据库。 4. 检索：通过检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示生成更合理的答案。 文本加载器是将用户提供的文本加载到内存中，便于后续处理。
2025-03-25
如何本地部署
以下是关于本地部署的相关内容： SDXL 的本地部署： 1. SDXL 的大模型分为两个部分： 第一部分，base+refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对生成的模型进行细化以生成细节更丰富的图片。 第二部分，SDXL 还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 2. 您可以关注公众号【白马与少年】，回复【SDXL】获取这三个模型的下载链接。 3. 想要在 webUI 中使用 SDXL 的大模型，首先要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 4. 接下来，将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，启动 webUI，就可以在模型中看到 SDXL 的模型。 ChatTTS 的本地部署（Linux 系统）： 1. 本地部署的前提是您有一张 4G 以上显存的 GPU 显卡。 2. 简单步骤如下： 下载代码仓库。 安装依赖（⚠️这里有两个依赖它没有放在 requirements.txt 里）。 启动 webui 的 demo 程序，然后用浏览器登陆这个服务器的 ip:8080 就能试玩了。 这个 demo 本身提供了 3 个参数： server_name:服务器的 ip 地址，默认 0.0.0.0。 servic_port:即将开启的端口号。 local_path:模型存储的本地路径。 第一次启动后生成语音时，需要看下控制台输出，它会下载一些模型文件，因此比较慢，而且可能因为网络的问题有各种失败。但是第一次加载成功了，后面就顺利了。 开始方式的选择： 如果您的电脑是 M 芯片的 Mac 电脑（Intel 芯片出图速度非常慢，因此不建议）或者 2060Ti 及以上显卡的 Windows 电脑，可以选择本地部署。强烈建议在配有 N 卡的 Windows 电脑上进行。对于电脑不符合要求的小伙伴可以直接使用在线工具，在线工具分为在线出图和云电脑两种，前者功能可能会受限、后者需要自己手动部署，大家根据实际情况选择即可。
2025-03-25
deepseek 私有化部署
DeepSeek 的私有化部署相关信息如下： PaaS 平台特性：支持多机分布式部署，满足推理性能要求，使用独占资源和专有网络，能一站式完成模型蒸馏。 云端部署操作：登录 Pad 控制台，通过 model gallery 进行部署，如 Deepseek R1 模型，可选择 SG 浪或 Vim 推理框架，根据资源出价，部署后可在模型在线服务 EAS 查看状态。 模型试用方法：使用 postman，通过修改接口和复制文档中的内容进行在线调试，发送请求查看状态码，根据模型名称和相关要求输入内容进行试用。 作业布置：部署成功一个大语言模型，通过调试证明成功，在调试内容中带上钉钉昵称向模型对话，将成功结果提交问卷可获得阿里云小礼包。 API 调用与服务关停：介绍了模型 API 的调用方法，包括查找位置、获取 token 等，强调使用后要及时停止或删除服务以避免持续付费。 模型蒸馏概念：教师模型将知识蒸馏给学生模型，有多种蒸馏方式，如 R1 通过蒸馏数据集并用于学生模型微调。 蒸馏应用场景：包括车机等算力有限场景，能让小模型在特定领域有良好效果，还能实现低成本高速推理和修复模型幻觉。 模型部署实操：在 model gallery 中选择模型，如 1000 问 7B 指令模型，进行部署，选择 VIM 加速和竞价模式，查看部署状态和日志。 本地部署介绍：讲解了如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。 免费额度说明：在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 平台服务差异：介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 模型蒸馏微调：会带着大家复现模型的蒸馏和微调，并讲解相关知识。 Deepseek R1 模型的制作及相关模型比较：R1 模型通过强化学习，在训练过程中给予模型反馈，如路线规划是否成功到达终点、输出格式是否符合期望等，对正确路线增强权重，使做对的概率变高，导致思考逻辑变长。用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。R1 是原生通过强化学习训练出的模型，蒸馏模型是基于数据微调出来的，基础模型能力强，蒸馏微调模型能力也会强。R1 反过来蒸馏数据微调 V3，形成互相帮助的局面，使两个模型都更强。
2025-03-24
如何一步一步实现RAG 模型的私有化部署
要一步一步实现 RAG 模型的私有化部署，可参考以下步骤： 1. 导入依赖库：加载所需的库和模块，如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型，使用前需确保 ollama 服务已开启并下载好模型。 2. 从订阅源获取内容：通过特定函数从指定的 RSS 订阅 url 提取内容，若需接收多个 url 稍作改动即可。然后用专门的文本拆分器将长文本拆分成较小块，并附带相关元数据，如标题、发布日期和链接，最终合并成列表返回用于后续处理或提取。 3. 为文档内容生成向量：使用文本向量模型 bgem3，从 hf 下载好模型后放置在指定路径，通过函数利用 FAISS 创建高效的向量存储。 4. 关于 ollama： 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同场景。 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 cpu 和 gpu。 提供模型库，用户可从中下载不同模型，满足不同需求和硬件条件，可通过 https://ollama.com/library 查找。 支持自定义模型，可修改模型温度参数等。 提供 REST API 用于运行和管理模型及与其他应用集成。 社区贡献丰富，有多种集成插件和界面。 需先安装，访问 https://ollama.com/download/ 下载安装，安装后确保 ollama 后台服务已启动。 5. 基于用户问题从向量数据库中检索相关段落，根据设定阈值过滤，让模型参考上下文信息回答问题实现 RAG。 6. 创建网页 UI：通过 gradio 创建网页 UI 并进行评测。 总结： 1. 本文展示了如何使用 Langchain 和 Ollama 技术栈在本地部署资讯问答机器人，结合 RSSHub 处理和提供资讯。 2. 上下文数据质量和大模型的性能决定 RAG 系统性能上限。
2025-03-20