Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

知识库搭建

Answer

知识库搭建主要包括以下几个方面：

  1. “拎得清、看得到、想得起、用得上”的核心步骤：
    • 拎得清：主动选择和判断高质量、与目标相关的信息源，利用 AI 搜索引擎、加入优质社群和订阅号等建立信息通路，具备信息嗅探能力。
    • 看得到：确保所选信息能频繁且不经意地触达个人，通过浏览器插件、笔记工具等组织信息，使其易于检索和浏览。
    • 想得起：强调信息的内化和知识线索建立，做好标记（关键词、tag）、选择合适存放位置，推荐使用 PARA 笔记法等方法组织串联信息。
    • 用得上：将积累的知识转化为实际行动和成果，在解决问题或创造价值时能从知识库中调取相应信息。
  2. RAG 技术：
    • 利用大模型的能力搭建知识库是 RAG 技术的应用。
    • RAG 是当需要依靠不包含在大模型训练集中的数据时的主要方法，首先检索外部数据，然后在生成步骤中将其传递给 LLM。
    • RAG 应用包括文档加载、文本分割、存储（包括嵌入和向量数据存储）、检索、输出（把问题及检索出的嵌入片提交给 LLM 生成答案）。
    • 文本加载器是将用户提供的文本加载到内存中以便后续处理。
  3. 智能体知识库创建：
    • 手动清洗数据，提高数据准确性。
    • 在线知识库：创建画小二课程的 FAQ 知识库，飞书在线文档中每个问题和答案以###分割，可编辑修改和删除，添加 Bot 并在调试区测试效果。
    • 本地文档：注意拆分内容，提高训练数据准确度，按章节进行人工标注和处理。
    • 发布应用：确保在 Bot 商店中能搜到。
Content generated by AI large model, please carefully verify (powered by aily)

References

小七姐：信息管理工具与方法

"拎得清、看得到、想得起、用得上"是信息管理和知识体系搭建中四个核心的步骤，它们共同构成了一个高效的信息处理和应用流程。1.拎得清：这一步骤强调的是主动选择和判断信息源。首先，你需要识别并选择那些高质量、与你目标相关的信息来源。使用AI搜索引擎来帮助筛选信息，并通过加入优质社群、订阅号等方式建立信息通路。这要求个人具备信息嗅探能力，选择对自己有用的信息源，为后续的信息管理打下基础。2.看得到：在建立了信息通路之后，需要确保所选信息能够频繁且不经意地触达个人。这涉及到信息的可见性和可访问性，如通过浏览器插件、笔记工具等，将信息组织得易于检索和浏览，确保信息能够在需要时被看到。3.想得起：这一步骤强调信息的内化和知识线索的建立。这一步骤是关于信息的索引和关联。当你保存信息时，要考虑到未来如何能快速回忆起它，这要求在存储时做好标记（关键词、tag）、选择合适的存放位置等。推荐使用PARA笔记法、IOTO工作法、点线面体创作法等方法来组织和串联信息，形成易于回忆和应用的知识结构。4.用得上：最终目标是将积累的知识转化为实际行动和成果。当需要解决问题或创造价值时，能够从知识库中调取相应信息，形成解决方案、产品、文章或个人生活指导等。这意味着知识不再是静态的存储，而是动态的应用于具体情境中，实现知识的价值转化。这一步将信息管理的成果落实到具体产出上，体现了知识的实践意义。🏗知识体系搭建：

手把手教你本地部署大模型以及搭建个人知识库

因为利用大模型的能力搭建知识库本身就是一个RAG技术的应用。所以在进行本地知识库的搭建实操之前，我们需要先对RAG有一个大概的了解。以下内容会有些干，我会尽量用通俗易懂的描述进行讲解。我们都知道大模型的训练数据是有截止日期的，那当我们需要依靠不包含在大模型训练集中的数据时，我们该怎么做呢？实现这一点的主要方法就是通过检索增强生成RAG（Retrieval Augmented Generation）。在这个过程中，首先检索外部数据，然后在生成步骤中将这些数据传递给LLM。我们可以将一个RAG的应用抽象为下图的5个过程：文档加载（Document Loading）：从多种不同来源加载文档。LangChain提供了100多种不同的文档加载器，包括PDF在内的非结构化的数据、SQL在内的结构化的数据，以及Python、Java之类的代码等文本分割（Splitting）：文本分割器把Documents切分为指定大小的块，我把它们称为“文档块”或者“文档片”存储（Storage）：存储涉及到两个环节，分别是：将切分好的文档块进行嵌入（Embedding）转换成向量的形式将Embedding后的向量数据存储到向量数据库检索（Retrieval）：一旦数据进入向量数据库，我们仍然需要将数据检索出来，我们会通过某种检索算法找到与输入问题相似的嵌入片Output（输出）：把问题以及检索出来的嵌入片一起提交给LLM，LLM会通过问题和检索出来的提示一起来生成更加合理的答案[heading2]文本加载器（Document Loaders）[content]文本加载器就是将用户提供的文本加载到内存中，便于进行后续的处理

【智能体】让Coze智能体机器人连上微信和微信群详细配置文档

本次创建知识库使用手动清洗数据，上节课程是自动清洗数据：[【智能体】用Coze在微信里搭建一个机器人，还能挖掘销售线索](https://a1i1hjmvcf0.feishu.cn/docx/JSdDd8ybLo7OHqxmePwcHlbLn3b?from=from_copylink),自动清洗数据会出现目前数据不准的情况，本节视频就尝试使用手动清洗数据，提高数据的准确性。[heading3]3.1在线知识库[content]点击创建知识库，创建一个画小二课程的FAQ知识库知识库的飞书在线文档，其中每个问题和答案以###分割，暂时不要问为什么。选择飞书文档选择自定义的自定义输入###然后他就将飞书的文档内容以###区分开来，这里可以点击编辑修改和删除。点击添加Bot添加好可以在调试区测试效果[heading3]3.2本地文档[content]本地word文件，这里要注意了~~~如何拆分内容，提高训练数据准确度，将海报的内容训练的知识库里面画小二这个课程80节课程，分为了11个章节，那训练数据能不能一股脑全部放进去训练呢。答案是~~不能滴~~~正确的方法，首先将11章的大的章节名称内容放进来，如下图所示。章节内详细内容格式如下如所示，如果你再分节的内容，依次类推细化下去。每个章节都按照这种固定的方式进行人工标注和处理然后选择创建知识库自定义清洗数据，这里不再赘述。[heading3]3.3发布应用[content]点击发布确保在Bot商店中能够搜到，如图所示可以搜索到画小二智能小助手，这个很重要，没有通过发布的获取不到API的。

Others are asking
waytoagi 的飞书知识库智能问答机器人是怎么做的
waytoagi 的飞书知识库智能问答机器人是基于飞书 aily 搭建的。在飞书 5000 人大群里内置了名为「waytoAGI 知识库智能问答」的智能机器人，它会根据通往 AGI 之路的文档及知识进行回答。 其具有以下功能和特点： 1. 自动问答：自动回答用户关于 AGI 知识库内涉及的问题，可以对多文档进行总结、提炼。 2. 知识搜索：在内置的「waytoAGI」知识库中搜索特定的信息和数据，快速返回相关内容。 3. 文档引用：提供与用户查询相关的文档部分或引用，帮助用户获取更深入的理解。 4. 互动教学：通过互动式的问答，帮助群成员学习和理解 AI 相关的复杂概念。 5. 最新动态更新：分享有关 AGI 领域的最新研究成果、新闻和趋势。 6. 社区互动：促进群内讨论，提问和回答，增强社区的互动性和参与度。 7. 资源共享：提供访问和下载 AI 相关研究论文、书籍、课程和其他资源的链接。 8. 多语言支持：支持多语言问答，满足不同背景用户的需求。 使用方法： 1. 在飞书群里发起话题时即可，它会根据 waytoAGI 知识库的内容进行总结和回答。 2. 可以在 WaytoAGI 飞书知识库首页找到加入飞书群的链接（二维码需在获取），然后点击加入，直接@机器人即可。 3. 也可以在 WaytoAGI.com 的网站首页，直接输入问题，即可得到回答。 搭建问答机器人的相关情况： 1. 2024 年 2 月 22 日的会议介绍了 WaytoAGI 社区的成立愿景和目标，以及其在飞书平台上的知识库和社区的情况。 2. 讨论了利用 AI 技术帮助用户更好地检索知识库中的内容，引入了 RAG 技术，通过机器人来帮助用户快速检索内容。 3. 介绍了基于飞书的知识库智能问答技术的应用场景和实现方法，可以快速地给大模型补充新鲜的知识，提供大量新的内容。 4. 讨论了如何使用飞书的智能伙伴功能来搭建 FAQ 机器人，以及智能助理的原理和使用方法。 5. 飞书智能伙伴创建平台（英文名：Aily）是飞书团队旗下的企业级 AI 应用开发平台，提供了一个简单、安全且高效的环境，帮助企业轻松构建和发布 AI 应用，推动业务创新和效率提升。为企业探索大语言模型应用新篇章、迎接企业智能化未来提供理想选择。
2025-02-20
如何搭建自己的知识库
搭建自己的知识库可以参考以下步骤： 1. 了解 RAG 技术： 利用大模型的能力搭建知识库是 RAG 技术的应用。 大模型训练数据有截止日期，当需要依靠不在训练集中的数据时，可通过检索增强生成 RAG 实现。 RAG 应用包括文档加载、文本分割、存储、检索和输出 5 个过程。 文档加载：从多种来源加载文档，如 PDF 等非结构化数据、SQL 等结构化数据及代码。 文本分割：把文档切分为指定大小的块。 存储：包括将切分好的文档块嵌入转换成向量形式，并将向量数据存储到向量数据库。 检索：通过检索算法找到与输入问题相似的嵌入片。 输出：把问题及检索出来的嵌入片提交给 LLM 生成答案。 2. 文本加载器：将用户提供的文本加载到内存中，便于后续处理。 3. 基于 GPT API 搭建： 涉及给 GPT 输入定制化知识，但 GPT3.5 一次交互支持的 Token 有限。 OpenAI 提供了 embedding API 解决方案，embeddings 是浮点数字的向量，向量间距离衡量关联性，小距离表示高关联度。 4. 本地知识库进阶： 可使用额外软件 AnythingLLM，其包含 Open WebUI 的能力，并支持选择文本嵌入模型和向量数据库。 安装地址：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步：选择大模型、选择文本嵌入模型、选择向量数据库。 在 AnythingLLM 中创建 Workspace 构建本地知识库，包括创建工作空间、上传文档并进行文本嵌入、选择对话模式（Chat 模式综合给出答案，Query 模式仅依靠文档数据给出答案），最后进行测试对话。 总之，搭建知识库需要不断实践和探索，“看十遍不如实操一遍，实操十遍不如分享一遍”。
2025-02-20
DeepSeek搭建 个人知识库
以下是关于 DeepSeek 搭建的相关知识： 对于个人知识库的搭建，您可以参考以下内容： 章节“三.使用 DeepSeek R1 给老外起中文名”：https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZcshareDyEMdmCPOo98S6xbPfNcsuEOnuh 知识点“Node.JS 安装”：https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZcsharePVnndBSV5oWOukx38tKcw2CPnub 申请“DeepSeek R1 API”：https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZcshareTrXednqLAoH3VLxrUiYc1Pb9nhf 网页接入“DeepSeek API”：https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZcshareUK5xdzhiaoo9RkxHR5bcs30pnV8 章节“一.Trae 的介绍/安装/疑难杂症”：https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZcshareR4GvdgOzeoC9mOxd1hScuql6nVY Python 安装：https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZcshareKcojdhid9oWJPjxAvEOczRt0nkg 一个提示词让 DeepSeek 的能力更上一层楼的相关内容： 效果对比：用 Coze 做了个小测试，大家可以对比看看，视频链接： 如何使用： 搜索 www.deepseek.com，点击“开始对话” 将装有提示词的代码发给 Deepseek 认真阅读开场白之后，正式开始对话 设计思路： 将 Agent 封装成 Prompt，将 Prompt 储存在文件，保证最低成本的人人可用的同时，减轻自己的调试负担 通过提示词文件，让 DeepSeek 实现：同时使用联网功能和深度思考功能 在模型默认能力的基础上优化输出质量，并通过思考减轻 AI 味，增加可读性 照猫画虎参考大模型的 temperature 设计了阈值系统，但是可能形式大于实质，之后根据反馈可能会修改 用 XML 来进行更为规范的设定，而不是用 Lisp（对我来说有难度）和 Markdown（运行下来似乎不是很稳定） 完整提示词：v 1.3 特别鸣谢：李继刚的【思考的七把武器】在前期为提供了很多思考方向；Thinking Claude 是现在最喜欢使用的 Claude 提示词，也是设计 HiDeepSeek 的灵感来源；Claude 3.5 Sonnet 是最得力的助手 五津:DeepSeek+扣子：1 分钟生成小红书爆款单词视频： 先观察此类视频规律，如先问这是什么→再揭晓结果，反复多次。 拆解视频模板的制作流程，逐个轨道分析，注意各轨道上的元素时间对应关系。 涉及的知识点可用于用扣子工作流来搭建。
2025-02-20
现在有哪些个人知识库软件可以用，请推荐。
以下是为您推荐的个人知识库软件： 1. Coze：如果您想使用专门搭建个人知识库的软件，可以参考文章，忽略本地部署大模型环节，直接看其中推荐的软件。但使用该软件可能需要对接一些额外的 API，建议先了解 RAG 的原理再使用。 2. AnythingLLM：包含所有 Open WebUI 的能力，并且额外支持选择文本嵌入模型和向量数据库。安装地址：https://useanything.com/download 。安装完成后，配置页面主要分为三步：选择大模型、选择文本嵌入模型、选择向量数据库。在 AnythingLLM 中有 Workspace 的概念，可以创建自己独有的 Workspace 跟其他项目数据进行隔离，包括创建工作空间、上传文档并进行文本嵌入、选择对话模式（Chat 模式和 Query 模式），配置完成后即可进行对话测试。 此外，还有通过 GPT 打造个人知识库的方法，比如将文本转换成向量节省空间，拆分成小文本块并通过 embeddings API 转换成 embeddings 向量，在向量储存库中保存这些向量和文本块作为问答的知识库。当用户提问时，将问题转换成向量与库中向量比对，提取关联度高的文本块与问题组合成新的 prompt 发送给 GPT API 。
2025-02-19
waytoagi的知识库基于哪个LLM创建的
目前没有明确的信息表明 waytoagi 的知识库基于哪个 LLM 创建。但以下信息可能对您有所帮助： AnythingLLM 包含了所有 Open WebUI 的能力，并且额外支持选择文本嵌入模型、选择向量数据库等。安装地址为：https://useanything.com/download 。安装完成后配置主要分为三步，包括选择大模型、选择文本嵌入模型、选择向量数据库。AnythingLLM 中有 Workspace 的概念，可创建自己独有的 Workspace 跟其他项目数据进行隔离，包括创建工作空间、上传文档并进行文本嵌入、选择对话模式（Chat 模式和 Query 模式）等。 GitHubDaily 开源项目列表中提到了 AnythingLLM，它是一个可打造成企业内部知识库的私人专属 GPT，可以将任何文档、资源或内容转换为大语言模型（LLM）知识库。
2025-02-19
用飞书搭建知识库并进行AI问答
以下是关于用飞书搭建知识库并进行 AI 问答的相关内容： 知识库问答是机器人的基础功能，可根据用户问题从知识库中找到最佳答案，这利用了大模型的 RAG 机制。RAG 机制全称为“检索增强生成”（RetrievalAugmented Generation），是一种用于自然语言处理的技术，结合了检索和生成两种主要的人工智能技术，以提高机器对话和信息处理的能力。 简单来说，RAG 机制先从大型数据集中检索与问题相关的信息，然后利用这些信息生成更准确、相关的回答。可以想象成当问复杂问题时，RAG 机制先在巨大图书馆里找相关书籍，再基于这些书籍信息给出详细回答。这种方法结合大量背景信息和先进语言模型能力，使生成内容更精确，提升对话 AI 的理解力和回答质量。 基于 RAG 机制实现知识库问答功能，首先要创建包含大量社区 AI 相关文章和资料的知识库，比如创建有关 AI 启蒙和信息来源的知识库，通过手工录入方式上传栏目所有文章内容，陆续将社区其他板块文章和资料导入。在设计 Bot 时，添加知识库，并设置合适的搜索策略、最大召回数量和最小匹配度，以更好地利用知识库返回内容结合回答。 另外，全程白嫖拥有一个 AI 大模型的微信助手的搭建步骤如下： 1. 搭建，用于汇聚整合多种大模型接口，方便后续更换使用各种大模型，并获取白嫖大模型接口的方法。 2. 搭建，这是个知识库问答系统，放入知识文件，接入上面的大模型作为分析知识库的大脑来回答问题。若不想接入微信，搭建到此即可使用，它有问答界面。 3. 搭建，其中的 cow 插件能进行文件总结、MJ 绘画。
2025-02-19
怎么用AI搭建工作流
搭建 AI 工作流可以参考以下步骤： 1. 搭建 AI 工作流的三种能力： 熟悉各种 AI 工具：了解多个不同 AI 工具的特点和用途，根据具体细分任务选择合适的工具。例如，写标题可用 ChatGPT，写文章可用 Claude，检查文本中的错别字和病句可用秘塔写作猫的 AI 纠错功能。 编写提示词：搭建起人与 AI 之间的“沟通桥梁”，用 AI 能听懂的语言清晰说明需求、任务内容和步骤。 搭建 AI 智能体。 2. 搭建 AI 工作流的工作流： 找到一个工作场景：选择熟悉的工作场景，如写文章、做 PPT 等。 拆解工作流程：将工作拆解成几个小步骤，如写文章可拆分为选题、写稿、改稿、写标题等。 给每一个步骤嵌入工具：针对每个小步骤，思考有无 AI 工具可帮忙，若想不到可参考他人做法，注意灵活选择最优解，目的是提高工作效率而非增加工作的含 AI 量。 此外，在搭建工作流时还需注意： 打开 Comfyui 界面后，右键点击界面，可找到 Comfyui LLM party 的目录，学习手动连接节点实现最简单的 AI 女友工作流，或直接将工作流文件拖拽到 Comfyui 界面中一键复刻提示词工程实验。 从 ollama 的 github 仓库找到对应版本并下载，启动 ollama 后，在 cmd 中输入 ollama run gemma2 将自动下载 gemma2 模型到本地并启动。将 ollama 的默认 base URL=http://127.0.0.1:11434/v1/以及 api_key=ollama 填入 LLM 加载器节点即可调用 ollama 中的模型进行实验。 若 ollama 连接不上，可能是代理服务器的问题，需将 127.0.0.1:11434 添加到不使用代理服务器的列表中。
2025-02-20
多智能体应用搭建
多智能体是由多个自主、独立的智能体组成的系统，每个智能体都能感知环境、决策并执行任务，且相互间能信息共享、任务协调与协同行动以实现整体目标。 随着大型语言模型的出现，以其为核心构建的 Agent 系统受广泛关注。单 Agent 核心在于语言模型与工具的协同配合，可能需与用户多轮交互。而多 Agent 为不同 Agent 分配角色并通过协作完成复杂任务，与用户交互可能减少。 构建多 Agent 框架的主要组成部分包括： 1. 环境：所有 Agent 处于同一环境，包含全局状态信息，且 Agent 与环境有信息交互与更新。 2. 阶段：通常采用 SOP 思想将复杂任务分解为多个子任务。 3. 控制器：可以是语言模型或预先定义好的规则，负责环境在不同 Agent 和阶段间切换。 4. 记忆：因 Agent 数量增多，消息数量及相关字段记录更复杂。 创建智能体时，输入人设等信息并配置工作流，配置完成后可测试，但注意工作流中某些插件的 api_token 不能直接发布，可作为输入让用户购买后输入使用再发布。 OpenAI 官方开源的多智能体框架「Swarm」受欢迎，其在多智能体通信方面表现出色，解决了不同智能体之间传递信息及传递哪些信息等核心难题。例如构建客服多智能体，只需准备普通接线客服和宽带客服两个 Agent，「Swarm」的「Handoffs」处理了交接逻辑。
2025-02-20
搭建AI智能体
搭建 AI 智能体的步骤和要点如下： 1. 创建智能体：输入人设等信息，并放上相关工作流。配置完成后可以进行测试，但千万不要直接发布。 工作流中如【所有视频片段拼接】节点使用的插件 api_token 填的是您的 token，其他人调用会消耗您的费用。您可以将 api_token 作为工作流最开始的输入，用户购买后输入 token 再发布。 2. 明确需求和 AI 能力： 在搭建智能体帮助提炼品牌卖点时，需要先明确 AI 的能力边界，例如 AI 对公司及所在市场不了解的部分，包括公司的主要产品、产品解决的用户需求、产品独特之处、获得的认可、核心渠道、核心购买人群、营销手段、期望在新渠道获得的结果等。 AI 真正的能力在于通过分析数据和信息进行逻辑推理、快速处理和分析数据并提取有价值的信息和模式、拥有大量训练数据并能输出更全面的相关信息、理解用户提供的内容并按正确结构梳理有效输出内容。因此，更适合将智能体作为引导型的灵感提问助手。 3. 学会搭建 AI 智能体： AI 智能体如同员工或智能助手，能根据设定的工作流自动调用不同 AI 工具完成全流程任务，无需人类时刻干预。 例如设计“写作助手”的 AI 智能体，输入文章主题、风格和要求，它能自动完成文章大纲处理、初稿撰写、修改润色和排版等工作，大大提高效率。
2025-02-19