Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

你的知识库是怎么部署的

Answer

部署个人知识库需要考虑硬件配置和相关技术原理。

硬件方面：

  • 生成文字大模型，最低配置为 8G RAM + 4G VRAM，建议配置为 16G RAM + 8G VRAM，理想配置为 32G RAM + 24G VRAM（如果要跑 GPT-3.5 差不多性能的大模型）。
  • 生成图片大模型（比如跑 SD），最低配置为 16G RAM + 4G VRAM，建议配置为 32G RAM + 12G VRAM。
  • 生成音频大模型，最低配置为 8G VRAM，建议配置为 24G VRAM。

技术原理方面：

  • 利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。在这个过程中，首先检索外部数据，然后在生成步骤中将这些数据传递给 LLM。
  • RAG 应用包括文档加载、文本分割、存储、检索和输出这 5 个过程。
    • 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。
    • 文本分割：把 Documents 切分为指定大小的块。
    • 存储：涉及将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。
    • 检索：通过某种检索算法找到与输入问题相似的嵌入片。
    • 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。

此外，搭建基于 GPT API 的定制化知识库，涉及给 GPT 输入（投喂）定制化的知识。GPT-3.5 一次交互（输入和输出）只支持最高 4096 个 Token。为了处理大量领域知识，OpenAI 提供了 embedding API 解决方案。embeddings 是一个浮点数字的向量（列表），两个向量之间的距离衡量它们的关联性，小距离表示高关联度。

Content generated by AI large model, please carefully verify (powered by aily)

References

手把手教你本地部署大模型以及搭建个人知识库

所有人都会手把手教你部署XX大模型，听起来很诱人，因为不需要科学上网，不需要高昂的ChatGPT会员费用。但是在开启下面的教程之前，我希望你能有个概念：运行大模型需要很高的机器配置，个人玩家的大多数都负担不起所以：虽然你的本地可能可以搭建出一个知识库，但是它不一定能跑的起来下面我通过一组数据来让大家有个感性的认知。以下文字来源于视频号博主：黄益贺，非作者实操生成文字大模型最低配置：8G RAM + 4G VRAM建议配置：16G RAM + 8G VRAM理想配置：32G RAM + 24G VRAM（如果要跑GPT-3.5差不多性能的大模型）生成图片大模型（比如跑SD）最低配置：16G RAM + 4G VRAM建议配置：32G RAM + 12G VRAM生成音频大模型最低配置：8G VRAM +建议配置：24G VRAM而最低配置我就不建议了，真的非常慢，这个我已经用我自己8G的Mac电脑替你们试过了。讲这个不是泼大家冷水，而是因为我的文章目标是要做到通俗易懂，不希望通过夸大的方式来吸引你的眼球。这是这篇文章的第二次修改，我专门加的这段。原因就是因为好多小伙伴看了文章之后兴致冲冲的去实验，结果发现电脑根本带不动。但是这并不妨碍我们去手把手实操一遍，因为实操可以加深我们对大模型构建的知识库底层原理的了解。如果你想要私滑的体验知识库，可以参考我的另一篇文章：[胎教级教程：万字长文带你使用Coze打造企业级知识库](https://waytoagi.feishu.cn/wiki/CT3UwDM8OiVmOOkohPbcV3JCndb)好了，废话不多说，下面教程还是值得亲自上手搞一遍的，相信走完一遍流程后，你会对知识库有更深的理解。

手把手教你本地部署大模型以及搭建个人知识库

因为利用大模型的能力搭建知识库本身就是一个RAG技术的应用。所以在进行本地知识库的搭建实操之前，我们需要先对RAG有一个大概的了解。以下内容会有些干，我会尽量用通俗易懂的描述进行讲解。我们都知道大模型的训练数据是有截止日期的，那当我们需要依靠不包含在大模型训练集中的数据时，我们该怎么做呢？实现这一点的主要方法就是通过检索增强生成RAG（Retrieval Augmented Generation）。在这个过程中，首先检索外部数据，然后在生成步骤中将这些数据传递给LLM。我们可以将一个RAG的应用抽象为下图的5个过程：文档加载（Document Loading）：从多种不同来源加载文档。LangChain提供了100多种不同的文档加载器，包括PDF在内的非结构化的数据、SQL在内的结构化的数据，以及Python、Java之类的代码等文本分割（Splitting）：文本分割器把Documents切分为指定大小的块，我把它们称为“文档块”或者“文档片”存储（Storage）：存储涉及到两个环节，分别是：将切分好的文档块进行嵌入（Embedding）转换成向量的形式将Embedding后的向量数据存储到向量数据库检索（Retrieval）：一旦数据进入向量数据库，我们仍然需要将数据检索出来，我们会通过某种检索算法找到与输入问题相似的嵌入片Output（输出）：把问题以及检索出来的嵌入片一起提交给LLM，LLM会通过问题和检索出来的提示一起来生成更加合理的答案[heading2]文本加载器（Document Loaders）[content]文本加载器就是将用户提供的文本加载到内存中，便于进行后续的处理

从零开始，用GPT打造个人知识库

要搭建基于GPT API的定制化知识库，涉及到给GPT输入（投喂）定制化的知识。但GPT-3.5,也就是当前免费版的ChatGPT一次交互（输入和输出）只支持最高4096个Token，约等于3000个单词或2300个汉字。这点容量对于绝大多数领域知识根本不够。为了使用GPT的语言能力来处理大量的领域知识，OpenAI提供了embedding API解决方案。参考OpenAI embedding documents。[heading2]理解embeddings[content]embeddings(直译为嵌入）是一个浮点数字的向量（列表）。两个向量之间的距离衡量它们的关联性。小距离表示高关联度，大距离表示低关联度。进一步解释：向量（列表）：向量是数学中表示大小和方向的一个量，通常用一串数字表示。在计算机科学和数据科学中，向量通常用列表（list）来表示。列表是一种数据结构，它包含一组有序的元素。例如，一个二维向量可以表示为[2,3]，这意味着沿着两个轴的分量分别为2和3。在这里，"list"是一种编程术语，意味着一系列有序的数据。向量之间的距离：向量之间的距离是一种度量两个向量相似性的方法。有多种方式可以计算两个向量之间的距离，最常见的是欧几里得距离。欧几里得距离计算方法是将两个向量的对应元素相减，然后取平方和，再开平方。例如，向量A =[1,2]和向量B =[4,6]之间的欧几里得距离为sqrt((4-1)^2 +(6-2)^2)= 5。较小距离意味着高相关性，因为向量间相似度高。在OpenAI词嵌入中，靠近向量的词语在语义上相似。例如，“猫”和“狗”距离近，它们都是宠物，与“汽车”距离远，相关性低。文档上给了创建embeddings的示例上面的命令访问embeddings API接口，将input语句，转化成下面这一串浮点数字。

Others are asking
有哪些比较好的AI知识库学习网站
以下是一些比较好的 AI 知识库学习网站及相关学习建议： 通往 AGI 之路知识库： 提供了全面系统的 AI 学习路径，帮助您了解从 AI 常见名词到 AI 应用等各方面知识。 包含关于 AI 知识库使用及 AIPO 活动的介绍、AIPO 线下活动及 AI 相关探讨、way to AGI 社区活动与知识库介绍等内容。 信息来源有赛博蝉星公众号、国外优质博主的 blog 或 Twitter 等，推荐大家订阅获取最新信息并投稿。 有社区共创项目，如 AIPU、CONFIUI 生态大会，每月有切磋大会等活动，还发起了新活动 AIPO。 学习路径方面，有李弘毅老师的生成式 AI 导论等高质量学习内容，可系统化学习或通过社区共创活动反推学习，鼓励整理学习笔记并分享交流。 有经典必读文章，如介绍 GPT 运作原理、Transformer 模型、扩散模型等的文章，还包括软件 2.0 时代相关内容。 初学者入门推荐看 open AI 的官方 Cookbook，小琪姐做了中文精读翻译，也可查看 cloud 的相关内容。 有历史脉络类资料，整理了 open AI 的发展时间线和万字长文回顾等。 网站：ytoAGI.com 相关渠道：公众号“通往 AGI 之路”、 在线教育平台：如 Coursera、edX、Udacity 等，上面有一系列为初学者设计的课程，您可以按照自己的节奏学习，并有机会获得证书。 对于新手学习 AI，建议： 了解 AI 基本概念：阅读「」部分，熟悉 AI 的术语和基础概念。了解什么是人工智能，它的主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 开始 AI 学习之旅：在「」中，找到一系列为初学者设计的课程。特别推荐李宏毅老师的课程。 选择感兴趣的模块深入学习：AI 领域广泛（比如图像、音乐、视频等），根据自己的兴趣选择特定的模块进行深入学习。掌握提示词的技巧，它上手容易且很有用。 实践和尝试：理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出您的作品。在知识库提供了很多大家实践后的作品、文章分享，欢迎您实践后的分享。 体验 AI 产品：与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。
2025-02-18
有什么提升 RAG 知识库问答的好的 prompt
以下是一些提升 RAG 知识库问答的好的 prompt 相关内容： RAG 在 Natural Questions、WebQuestions 和 CuratedTrec 等基准测试中表现出色，在使用 MSMARCO 和 Jeopardy 问题进行测试时，生成的答案更符合事实、具体且多样，FEVER 事实验证使用 RAG 后也有更好结果，说明 RAG 是可行方案，能增强知识密集型任务中语言模型的输出，基于检索器的方法常与 ChatGPT 等流行 LLM 结合提高能力和事实一致性，可在 LangChain 文档中找到相关例子。 RAG 能显著提高大模型在处理私域知识或垂直领域问答时的效果。其流程包括：上传文档（支持多种格式，会转换为 Markdown 格式）、文本切割、文本向量化（存入向量数据库）、问句向量化、语义检索匹配（匹配出与问句向量最相似的 top k 个）、提交 Prompt 至 LLM、生成回答返回给用户。RAG 研究范式分为基础 RAG、高级 RAG 和模块化 RAG。 高级 RAG 特点：支持多模态数据处理，增强对话性，具备自适应检索策略，能进行知识融合，扩展了基础 RAG 功能，解决复杂任务局限，在广泛应用中表现出色，推动自然语言处理和人工智能发展。 模块化 RAG 侧重于提供更高定制性和灵活性，将系统拆分成多个独立模块或组件，每个组件负责特定功能，便于根据不同需求灵活组合和定制。
2025-02-18
怎么做一个知识库智能问答机器人？
要做一个知识库智能问答机器人，主要基于大模型的 RAG 机制，具体步骤如下： 1. 理解 RAG 机制：RAG 机制全称为“检索增强生成”（RetrievalAugmented Generation），是一种用于自然语言处理的技术，结合了检索和生成两种主要的人工智能技术，以提高机器对话和信息处理的能力。它先从大型数据集中检索与问题相关的信息，然后利用这些信息生成更准确、相关的回答。可以想象成在巨大图书馆里找相关书籍，再基于书籍信息给出详细回答，这种方法结合大量背景信息和先进语言模型能力，使生成内容更精确，提升对话 AI 的理解力和回答质量。 2. 创建知识库：创建包含大量社区 AI 相关文章和资料的知识库，例如创建有关 AI 启蒙和信息来源的知识库，通过手工录入方式上传文章内容，并陆续将社区其他板块的文章和资料导入。 3. 设计 Bot：在设计中添加知识库，并设置合适的搜索策略、最大召回数量和最小匹配度，尽可能利用好知识库返回的内容进行结合回答。 此外，在飞书中，还可以利用飞书智能伙伴创建平台（Aily）来搭建 FAQ 机器人，它是飞书团队旗下的企业级 AI 应用开发平台，能为企业提供简单、安全且高效的环境，帮助轻松构建和发布 AI 应用。
2025-02-18
知识库搭建
知识库搭建主要包括以下几个方面： 1. “拎得清、看得到、想得起、用得上”的核心步骤： 拎得清：主动选择和判断高质量、与目标相关的信息源，利用 AI 搜索引擎、加入优质社群和订阅号等建立信息通路，具备信息嗅探能力。 看得到：确保所选信息能频繁且不经意地触达个人，通过浏览器插件、笔记工具等组织信息，使其易于检索和浏览。 想得起：强调信息的内化和知识线索建立，做好标记（关键词、tag）、选择合适存放位置，推荐使用 PARA 笔记法等方法组织串联信息。 用得上：将积累的知识转化为实际行动和成果，在解决问题或创造价值时能从知识库中调取相应信息。 2. RAG 技术： 利用大模型的能力搭建知识库是 RAG 技术的应用。 RAG 是当需要依靠不包含在大模型训练集中的数据时的主要方法，首先检索外部数据，然后在生成步骤中将其传递给 LLM。 RAG 应用包括文档加载、文本分割、存储（包括嵌入和向量数据存储）、检索、输出（把问题及检索出的嵌入片提交给 LLM 生成答案）。 文本加载器是将用户提供的文本加载到内存中以便后续处理。 3. 智能体知识库创建： 手动清洗数据，提高数据准确性。 在线知识库：创建画小二课程的 FAQ 知识库，飞书在线文档中每个问题和答案以分割，可编辑修改和删除，添加 Bot 并在调试区测试效果。 本地文档：注意拆分内容，提高训练数据准确度，按章节进行人工标注和处理。 发布应用：确保在 Bot 商店中能搜到。
2025-02-18
知识库搭建
知识库搭建主要包括以下几个方面： 1. “拎得清、看得到、想得起、用得上”的核心步骤： 拎得清：主动选择和判断高质量、与目标相关的信息源，利用 AI 搜索引擎、加入优质社群和订阅号等建立信息通路，具备信息嗅探能力。 看得到：确保所选信息能频繁且不经意地触达个人，通过浏览器插件、笔记工具等组织信息，使其易于检索和浏览。 想得起：强调信息的内化和知识线索建立，做好标记（关键词、tag）、选择合适存放位置，推荐使用 PARA 笔记法等方法组织串联信息。 用得上：将积累的知识转化为实际行动和成果，在解决问题或创造价值时能从知识库中调取相应信息。 2. RAG 技术： 利用大模型的能力搭建知识库是 RAG 技术的应用。 RAG 是当需要依靠不包含在大模型训练集中的数据时的主要方法，首先检索外部数据，然后在生成步骤中将其传递给 LLM。 RAG 应用包括文档加载、文本分割、存储（包括嵌入和向量数据存储）、检索、输出（把问题及检索出的嵌入片提交给 LLM 生成答案）。 文本加载器是将用户提供的文本加载到内存中以便后续处理。 3. 智能体知识库创建： 手动清洗数据，提高数据准确性。 在线知识库：创建画小二课程的 FAQ 知识库，飞书在线文档中每个问题和答案以分割，可编辑修改和删除，添加 Bot 并在调试区测试效果。 本地文档：注意拆分内容，提高训练数据准确度，按章节进行人工标注和处理。 发布应用：确保在 Bot 商店中能搜到。
2025-02-18
知识库框架
以下是关于知识库框架的相关内容： 智能体的目标和框架： 智能体的交互能力：包括大模型本身的交互能力、多 Agent 的灵活性、workflow 的妙用（如引导用户输入车辆信息便于大模型理解和分析）以及上下文说明。 智能体的知识体量：涵盖豆包大模型本身的行业数据和语料库、知识库（包括结构化数据与非结构化数据），以及创建知识库的步骤和参赛用知识库，还涉及大模型 RAG 检索、大模型的选择和参数设定以及新模型的调用方法。 智能体的记忆能力：包含变量、数据库和信息记录。 知识： 外置知识是由外部数据库提供，能动态更新和调整。涉及多种数据存储和组织方式，如向量数据库（常用于处理和索引非结构化数据）、关系型数据库（适用于事务性数据存储）、知识图谱（适合复杂语义分析和知识推理）。在实际应用中，外置知识的集成和管理常采用 RAG 架构，能结合检索和生成，增强模型生成能力，实时检索和整合最新外部信息。 陈财猫团队的提示词相关知识库文章索引：
2025-02-18
deepseek 部署文档
以下是关于 DeepSeek 部署的相关内容： 《在 Azure AI Foundry 部署 DeepSeek 大模型全指南》（https://waytoagi.feishu.cn/wiki/RKK5wNbeHifSAXkAR5hcGYQmn5f?renamingWikiNode=false）：来自社区伙伴 Hua 的投稿，手把手指导您在微软 Azure AI Foundry 平台上完成 DeepSeek R1（671B）模型的完整部署流程，包含环境准备、资源管理、模型测试及 API 调用说明。 《突破 DeepSeek R1 能力天花板，火山引擎扣子+飞书一站式企业解决方案》（https://waytoagi.feishu.cn/wiki/RZE9wP94tiEO6bkU5cTcyecHnnb） 《羊毛快薅|字节火山上线了 DeepSeek 系列模型并悄悄更改了模型服务价格...》（https://waytoagi.feishu.cn/wiki/HzHSwEwtCiBmWrkRm6fc0J0Qneh）：所有用户享 50 万免费 Tokens+API 半价优惠！火山引擎上线了 DeepSeek 系列模型！咱们社区小伙伴做了零基础部署教程，5 分钟打造专属满血版 AI 助手，速度飞快！使用方法中附上了飞书多维表格的接入方法、Coze 的接入使用方法、网页插件的使用方法。 《刚刚，DeepSeek 官方发布 R1 模型推荐设置，这才是正确用法》（https://mp.weixin.qq.com/s/RA1mhAyQOoXD5XOULAGgbQ）：DeepSeek 官方下场推荐了部署 DeepSeekR1 的设置。DeepSeek 强调官方部署的版本跟开源版本模型完全一致。
2025-02-18
为什么要本地部署
以下是关于本地部署的一些原因： 对于只有特定设备（如只有一台 Mac 设备），且想灵活学习 AI 生图的情况，本地部署是最方便的。 如果电脑是 M 芯片的 Mac 电脑（Intel 芯片出图速度慢不建议）或者 2060Ti 及以上显卡的 Windows 电脑，可以选择本地部署，强烈建议在配有 N 卡的 Windows 电脑上进行。 本地部署测试方便，还可以尝试让其控制家里的智能家居。
2025-02-17
Deepseek老是“服务器繁忙，请稍后再试”，没有办法提升，比如说把模型部署到本地等等
如果您遇到 DeepSeek 老是显示“服务器繁忙，请稍后再试”且无法提升的情况，可以尝试以下方法： 1. 使用网页聊天： 安装插件：使用 Chrome 或 Microsoft Edge 浏览器，点击此链接安装浏览器插件并添加到拓展程序：https://chromewebstore.google.com/detail/pageassist%E6%9C%AC%E5%9C%B0ai%E6%A8%A1%E5%9E%8B%E7%9A%84web/jfgfiigpkhlkbnfnbobbkinehhfdhndo 打开聊天页面：点击右上角的插件列表，找到 Page Assist 插件，点击打开。 配置“DeepSeekR1”模型的 API key：基础 URL 为 https://ark.cnbeijing.volces.com/api/v3，填好之后点击保存，关掉提醒弹窗。 添加“DeepSeekR1”模型。 2. 完成上述操作后，您就可以愉快玩耍，无需担心“服务器繁忙”了，打开联网功能，还可以支持联网搜索使用 R1。
2025-02-15
comfyui的本地部署安装，GPU：RX6600 8G，CPU：R5 5600，内存：DDR4 8G*2
以下是关于 ComfyUI 本地部署安装的相关信息： ComfyUI 相比 WebUI，配置更低，系统资源占用更少，出图速度更快，最低可在小于 3G 的 GPU 上运行，甚至没有 GPU 光用 CPU 也可以运行，但速度极慢。SDXL 出来后提高了运行配置，最低需要 8GB 显存+32GB 运行内存，12GB 流畅运行，推荐 16GB 以上。运行内存最低 32GB，越高越好，最低配会经常爆显存。玩 SDwebui 和 ComfyUI 建议使用 6GB 以上显存的 NVIDIA 显卡（N 卡），内存在 16G 以上。硬盘会影响加载模型的速度，最好把软件和模型部署在 SSD 上。如果电脑能顺畅清晰地玩 3A 游戏，那玩 webui 和 ComfyUI 也没问题。配置上不封顶，根据自己的需求和预算来即可。 安装地址：https://github.com/comfyanonymous/ComfyUI 。可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ，或者下载安装包 file:ComfyUI.zip ，下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 节点存放目录：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 模型存放目录： 大模型：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae：D:\\COMFYUI\\ComFYUI_windows_portable\\ComfyUI\\models\\vae 。 已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可，这样就不用重复下载模型了。找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件，将后缀.example 删除，然后右键用记事本打开。 您的电脑配置为 GPU：RX6600 8G，CPU：R5 5600，内存：DDR4 8G2，可能需要注意内存方面可能不太满足推荐配置，可能会影响运行效果。
2025-02-13
deepseek怎么在电脑本地部署使用
以下是在电脑本地部署 DeepSeek 的步骤： 1. 拥有扣子专业版账号：如果您还是普通账号，请自行升级或注册专业号后使用。开通成功的样子如相关说明。 2. 开通 DeepSeek R1 大模型：访问地址：https://console.volcengine.com/cozepro/overview?scenario=coze 。打开火山方舟，找到开通管理，找到 DeepSeek R1 模型，点击开通服务。添加在线推理模型，添加后在扣子开发平台才能使用，具体添加过程包括添加模型和完成接入。 3. 创建智能体：点击创建，先完成一个智能体的创建。 此外，您还可以参考以下文章获取更详细的教程：《张梦飞：15 分钟零基础个人电脑部署 DeepSeekR1（无限制版）智能助手保姆级教程！》（https://waytoagi.feishu.cn/wiki/NjKBw4n8HikDZBkeyB4cDQVynKh?useEs6=0 ），该教程适用于完全没有 AI 部署经验的小白，详细介绍了如何在个人电脑上快速搭建 DeepSeekR1 本地 AI 助手，包括 Ollama 安装、DeepSeekR1 模型下载与运行、显存检查、终端指令操作、网页插件使用等环节，并提供了清晰的步骤图，确保 15 分钟内完成部署。
2025-02-12
coze 能调用用户自己部署的大模型吗
Coze 可以调用用户自己部署的大模型。例如： 在 Coze 上搭建工作流框架时，可通过“个人空间工作流创建工作流”进行操作，在编辑面板中拖入对应的大模型节点来实现各项文本内容的生成。 当在 COW 中直接调用千问的某一个大模型时，需要更改 key 和 model 等配置。获取 key 可参考相关的视频和图文教程，同时需要完成实名认证，否则可能出现报错。 在使用 Coze 做智能报表助手的过程中，也涉及到对大模型的运用，如将用户问题转换为 SQL 等。
2025-02-12