Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何建立知识库

Answer

以下是建立知识库的详细步骤：

  1. 选择“Manage Your Knowledge Base”，进入知识库管理页面。
  2. 在页面左上角点击加号，添加新的知识库。
  3. 给知识库起一个易于分辨的名字。
  4. 点击添加文件，建议使用 Markdown 格式的文件。
  5. 等待 Flowith 对文件进行抽取等处理。
  6. 处理完毕后，可在知识库管理页面测试检索。

另外，还可以通过以下方式创建知识库并上传表格数据：

  1. 在页面顶部进入知识库页面，单击创建知识库。
  2. 在弹出的页面配置知识库名称、描述，单击确认（团队内知识库名称需唯一）。
  3. 在单元页面，单击新增单元。
  4. 在弹出的页面，选择表格格式，然后选择本地文件或 API 的方式完成数据上传。

在 Coze 中创建知识库：

  1. 来到个人空间，找到知识库导航栏，点击创建知识库。
  2. 选择知识库的格式（目前支持文档、表格、图片），填写相关信息。
  3. 可选择本地文档、自定义的文档切割等。
  4. 数据处理完成后，一个问答对会被切割成一个文档片。

关于使用知识库，可参考教程：大圣：胎教级教程：万字长文带你使用 Coze 打造企业级知识库

Content generated by AI large model, please carefully verify (powered by aily)

References

详解：flowith

来自flowith的朋友——玉树芝兰，王树义教授[heading4]构建[content]立即开始尝试构建知识库。方法是选择"Manage Your Knowledge Base"，进入知识库管理页面。然后选择左上角的加号，添加新的知识库。你可以随意给知识库起个名。但是强烈建议你起个自己后来能分辨的名字，不然使用的时候会不方便找寻。下面，你就可以点击添加文件。建议使用Markdown格式的文件。一般情况平时发布的文章，存储的都是这种格式。它其实就是带标记的纯文本，比较符合大语言模型的偏好。接着，你会看到Flowith开始忙活，逐个文件进行抽取（Extraction）等处理。你根本无需操心它是怎么做的。关上页面，等处理好了再说。过了一会儿，处理完毕。我点开其中某一个文件看看。处理过后它包含3个seeds，也就是因为长度关系，切分成了3个部分。你可以在知识库管理页面测试检索。例如我这里输入「卡片」，就可以过滤出与「卡片」直接相关的发布文章内容。这就是知识库的构建方法——新建、拖拽、等待、搞定。按照类似的逻辑，王教授分别构建了「《玉树芝兰》公众号文章」和「《玉树芝兰》知识星球文章」两个知识库。知识库构建好了，咱们尝试一下问答吧。

创建并使用知识库

你可以通过本地文件或API的方式上传结构化的表格数据到知识库中。上传后的数据会直接按照索引列进行分片。参考以下操作，创建知识库并上传表格数据。1.在页面顶部进入知识库页面，并单击创建知识库。2.在弹出的页面配置知识库名称、描述，并单击确认。一个团队内的知识库名称不可重复，必须是唯一的。1.在单元页面，单击新增单元。2.在弹出的页面，选择表格格式，然后选择一种上传方式完成数据上传。

这可能是讲 Coze 的知识库最通俗易懂的文章了

讲了一大堆，终于到了实战的环节了。这里我虽然使用Coze举例子，但是我希望可以帮助你举一反三，未来在接触到FastGPT、Dify等等AI Agent工具的时候都能快速的上手知识库组件。因为你了解了RAG的本质之后，无论什么知识库工具，本质都是一个皮而已！这些也是写这篇文章的目的：让你做到知其然，知其所以然[heading2]创建知识库[content]1.来到个人空间，找到知识库导航栏，点击创建知识库这里我想说明的是，知识库是共享资源，也就是你的多个Bot可以引用同一个知识库1.选择知识库的格式，填写一些信息目前（2024.06.08）Coze支持三种格式文档表格（CSV、Excel等）图片（其实就是上传一张图片，然后填写个图片文字说明）这里格式并不重要，重要的是你要看懂上个章节讲的：影响RAG输出质量的因素1.我这里选择本地文档（问答对可以选择表格）[购买后新人常见问题汇总.txt](https://bytedance.feishu.cn/space/api/box/stream/download/all/FNqobmfgBo5eGHxfZJ1cbOJ9n1H?allow_redirect=1)1.选择自定义的文档切割1.数据处理完成当数据处理完成后，你会发现，一个问答对被切割成一了一个文档片[heading2]使用知识库[content]关于使用知识库，大家可以看这篇教程：[大圣：胎教级教程：万字长文带你使用Coze打造企业级知识库](https://waytoagi.feishu.cn/wiki/CT3UwDM8OiVmOOkohPbcV3JCndb)，这篇文章已经讲的很详细了，这里就不再赘述了

Others are asking
coze搭建智能体，用上传的文件和知识库的文件做对比，分析差异点。
以下是关于在 Coze 中搭建智能体的相关信息： 1. 证件照相关操作： 展示原图上传结果，基本脸型已换，生成效果与上传照片特征有关。 改背景可利用改图功能，一键改图效果更好，输出数据类型为图片。 豆包节点生成的是 URL 地址，与前者不同，在工作流使用有差异，可参考简单提示词。 介绍证件照工作流相关操作，包括通过提示词改背景颜色，设置输出方式为返回变量；讲解消耗 token 及保存结果相关问题；对按钮、表单添加事件并设置参数，限制上传文件数量；还涉及给表单和图片绑定数据，以及每次操作后刷新界面确保设置生效。 围绕操作讲解与优化展开，介绍 for meet 的设置，如表单事件操作、图片上传数量修改等，提及编程基础知识。还讲述成果图连接、绑定数据方法及注意事项。展示基本功能实现情况，分析换性别等问题成因，指出需在工作流优化提示词，也可尝试用视频模型解决，最后进入问答环节。 2. 多维表格的高速数据分析： 创建智能体，使用单 Agent 对话流模式。 编排对话流，创建新的对话流并关联智能体。 使用代码节点对两个插件获取的结果进行数据处理，注意代码节点输出的配置格式。 测试，找到一篇小红书笔记，试运行对话流，在对话窗口输入地址查看数据。 发布，选择多维表格，配置输出类型为文本，输入类型选择字段选择器，完善上架信息，可选择仅自己可用以加快审核。 3. 智能体与微信和微信群的连接： 创建知识库，可选择手动清洗数据提高准确性，包括在线知识库和本地文档。 在线知识库创建时，飞书在线文档中每个问题和答案以分割，可编辑修改和删除。 本地文档中注意拆分内容提高训练数据准确度，如将课程章节按固定方式人工标注和处理。 发布应用，确保在 Bot 商店中能够搜到。
2025-04-18
coze搭建知识库和上传文件做对比分析
以下是关于 Coze 搭建知识库和上传文件的对比分析： 创建文本型知识库： 自动分段与清洗：扣子可对上传的内容进行自动解析，支持复杂布局的文件处理，如识别段落、页眉/页脚/脚注等非重点内容，支持跨页跨栏的段落合并，支持解析表格中的图片和文档中的表格内容（目前仅支持带线框的表格）。操作步骤为在分段设置页面选择自动分段与清洗，然后依次单击下一步、确认，可查看分段效果，不满意可重新分段并使用自定义分段。 自定义：支持自定义分段规则、分段长度及预处理规则。操作时在分段设置页面选择自定义，然后依次设置分段规则和预处理规则，包括选择分段标识符、设置分段最大长度和文本预处理规则，最后单击下一步完成内容分段。 创建表格型知识库： 目前支持 4 种导入类型：本地文档、API、飞书、自定义。 本地文档：选择本地文档从本地文件中导入表格数据，目前支持上传 Excel 和 CSV 格式的文件，文件不得大于 20M，一次最多可上传 10 个文件，且表格内需要有列名和对应的数据。 API：参考特定操作从 API 返回数据中上传表格内容，包括选择 API、单击新增 API、输入 API URL 并选择数据更新频率，然后单击下一步。 飞书：参考特定操作从飞书表格中导入内容，包括选择飞书、在新增知识库页面单击授权并选择要导入数据的飞书账号、单击安装扣子应用（仅首次导入需授权和安装），然后选择要导入的表格并单击下一步。目前仅支持导入“我的空间”下的飞书文档，云文档的创建者必须是自己，暂不支持导入知识库和共享空间下的云文档。 上传文本内容： 在线数据：扣子支持自动抓取指定 URL 的内容，也支持手动采集指定页面上的内容，上传到数据库。 自动采集方式：适用于内容量大、需批量快速导入的场景。操作步骤为在文本格式页签下选择在线数据，然后依次单击下一步、自动采集、新增 URL，输入网站地址、选择是否定期同步及周期，最后单击确认，上传完成后单击下一步，系统会自动分片。 手动采集：适用于精准采集网页指定内容的场景。操作步骤为安装扩展程序，在文本格式页签下选择在线数据，然后依次单击下一步、手动采集、授予权限，输入采集内容的网址，标注提取内容，查看数据确认无误后完成并采集。
2025-04-18
知识库怎么构建
构建知识库的方法主要有以下几种： 1. 使用 Flowith 构建： 选择“Manage Your Knowledge Base”，进入知识库管理页面。 点击左上角的加号添加新的知识库，为其起一个便于分辨的名字。 点击添加文件，建议使用 Markdown 格式的文件。 等待 Flowith 对文件进行抽取等处理，处理完毕后可在知识库管理页面测试检索。 2. 使用 Dify 构建： 准备数据：收集文本数据，进行清洗、分段等预处理。 创建数据集：在 Dify 中创建新数据集，上传准备好的文档并编写描述。 配置索引方式：根据需求选择高质量模式、经济模式或 Q&A 分段模式。 集成至应用：将数据集集成到对话型应用中，配置数据集的使用方式。 持续优化：收集用户反馈，更新知识库内容和优化索引方式。 3. 本地部署大模型并搭建个人知识库（涉及 RAG 技术）： 了解 RAG 技术：大模型训练数据有截止日期，RAG 可通过检索外部数据并在生成步骤中传递给 LLM 来解决依赖新数据的问题。 RAG 应用的 5 个过程： 文档加载：从多种来源加载文档，如 PDF、SQL 等。 文本分割：把文档切分为指定大小的块。 存储：包括将文档块嵌入转换成向量形式，并将向量数据存储到向量数据库。 检索：通过检索算法找到与输入问题相似的嵌入片。 输出：将问题和检索出的嵌入片提交给 LLM 生成答案。 文本加载器：将用户提供的文本加载到内存中以便后续处理。
2025-04-15
如何搭建知识库
搭建知识库的方法如下： 使用 flowith 搭建： 选择“Manage Your Knowledge Base”，进入知识库管理页面。 点击左上角的加号添加新的知识库，给知识库起一个便于分辨的名字。 点击添加文件，建议使用 Markdown 格式的文件。 Flowith 会对文件进行抽取等处理，处理完毕后可在知识库管理页面测试检索。 使用 Dify 搭建： 准备数据：收集文本数据，进行清洗、分段等预处理。 创建数据集：在 Dify 中创建新数据集，上传准备好的文档并编写描述。 配置索引方式：提供三种索引方式，根据需求选择，如高质量模式、经济模式和 Q&A 分段模式。 集成至应用：将数据集集成到对话型应用中，配置数据集的使用方式。 持续优化：收集用户反馈，更新知识库内容和优化索引方式。 使用 Coze 智能体搭建： 手动清洗数据： 在线知识库：点击创建知识库，创建 FAQ 知识库，选择飞书文档，输入区分问题和答案，可编辑修改和删除，添加 Bot 并在调试区测试效果。 本地文档：注意拆分内容，提高训练数据准确度，按章节进行人工标注和处理，然后创建自定义清洗数据。 发布应用：点击发布，确保在 Bot 商店中能搜到。
2025-04-14
如何搭建自己的知识库
以下是搭建自己知识库的方法： 1. 选择“Manage Your Knowledge Base”，进入知识库管理页面。 2. 在页面左上角点击加号，添加新的知识库，并为其起一个易于分辨的名字。 3. 点击添加文件，建议使用 Markdown 格式的文件。 4. 等待 Flowith 对文件进行抽取等处理。 5. 处理完毕后，可在知识库管理页面测试检索，输入关键词过滤相关内容。 此外，搭建本地知识库还需了解 RAG 技术： 1. RAG 是一种当需要依靠不包含在大模型训练集中的数据时所采用的主要方法，即先检索外部数据，然后在生成步骤中将这些数据传递给 LLM。 2. 一个 RAG 的应用包括文档加载、文本分割、存储、检索和输出 5 个过程。 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 文本分割：把 Documents 切分为指定大小的块。 存储：将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 检索：通过某种检索算法找到与输入问题相似的嵌入片。 输出：把问题以及检索出来的嵌入片一起提交给 LLM，生成更合理的答案。 对于基于 GPT API 搭建定制化知识库，涉及给 GPT 输入定制化的知识。由于 GPT3.5 一次交互支持的 Token 有限，OpenAI 提供了 embedding API 解决方案。Embeddings 是一个浮点数字的向量，两个向量之间的距离衡量它们的关联性，小距离表示高关联度。在 OpenAI 词嵌入中，靠近向量的词语在语义上相似。文档上有创建 embeddings 的示例。
2025-04-14
我想做一个，基于我个人知识库的chatbot，以供我随时搜索和提问，且优先搜索知识库内的内容而非联网搜索，你有什么建议吗？
以下是为您提供的关于创建基于个人知识库的 chatbot 的建议： 1. 选择合适的平台和工具：例如可以考虑使用飞书智能伙伴创建平台（Aily）或扣子（https://www.coze.cn/home）等。 2. 数据分段储存：由于大模型的上下文长度有限制，需要将上传的资料根据特定符号或字符长度进行分段，如将 8000 字文档按每 800 字分成一个片段储存。 3. 增强检索：当用户输入问题，大模型会根据相似度检索出若干最相关的数据片段，再据此生成答案，这一技术称为 RAG（检索增强生成）。 4. 配置知识库： 在 Bot 内使用知识库： 登录相关平台。 在左侧导航栏的工作区区域，选择进入指定团队。 在 Bots 页面，选择指定 Bot 并进入 Bot 详情页。 在 Bot 编排页面的知识库区域，单击加号图标，添加指定的知识库。 （可选）添加知识库后，可以在自动调用下拉界面内，调整知识库的配置项，如最大召回数量、最小匹配度、调用方式等。 在工作流内使用 Knowledge 节点： 登录相关平台。 在左侧导航栏的工作区区域，选择进入指定团队。 在页面顶部进入工作流页面，并打开指定的工作流。 在左侧基础节点列表内，选择添加 Knowledge 节点。 5. 注意使用限制：单用户最多创建 1000 个知识库，文本类型知识库下最多支持添加 100 个文档，单用户每月最多新增 2GB 数据，累计上限是 10GB。 此外，知识库可以解决大模型幻觉、专业领域知识不足的问题，提升大模型回复的准确率。您可以将知识库直接与 Bot 进行关联用于响应用户回复，也可以在工作流中添加知识库节点，成为工作流中的一环。
2025-04-14
本地部署大模型，如何微调建立本地知识库
以下是关于本地部署大模型并微调建立本地知识库的详细步骤： 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址：https://useanything.com/download 安装完成后进入配置页面，主要分为三步： 第一步：选择大模型 第二步：选择文本嵌入模型 第三步：选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型根据训练数据和上传文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案）。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入，根据电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制相关命令行，粘贴进入，点击回车。 三、智能纪要中的相关内容 在智能纪要中，许键介绍了模型 API 调用方法与知识库创建，包括获取 API key 位置及调用设置，详细讲解了创建 Rag 应用（知识库）流程，如上传非结构化文件、数据解析、切分段落等操作，并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨，以及通义千问相关应用及明天课程安排交流等内容。 总之，本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置，同时不断实践和探索，以达到理想的效果。
2025-04-10
用ai建立知识库和直接使用ai有什么区别、
用 AI 建立知识库和直接使用 AI 主要有以下区别： 直接使用 AI 时，AI 生成的内容可能较为笼统模糊，就像遇到只会说“很急，今天就要”却不提供具体指导的领导。若想让 AI 成为得力助手，需对复杂任务进行拆解，提供方法论和定义输出格式。 建立知识库就如同为 AI 准备了“教科书”。知识库灵活，但偶尔会出现查不到内容而“猜题”的情况。例如，将《梦想与颠覆》卡牌等相关内容导入作为 AI 可调用的知识库，后续在创作中激活知识库，AI 会根据场景自动匹配库内素材，使输出更具针对性。 相比之下，微调类似于让 AI“自己真的学会了整本书”，答题更快更准，但训练成本高。微调适合高精度、长期任务，而知识库更适合临时查找、快速问答。
2025-03-30
如何建立个人知识库
建立个人知识库可以通过以下方式： 1. 利用 GPT 打造个人知识库： 使用 embeddings：将文本转换成向量，节省空间，可理解为索引。把大文本拆分成小文本块并转换为 embeddings 向量，保存在向量储存库中。当用户提问时，将问题转换为向量并与库中向量比对，提取关联度高的文本块与问题组合成新的 prompt 发送给 GPT API。 理解 embeddings：embeddings 是浮点数字的向量，向量间距离衡量关联性，小距离表示高关联度。 2. 本地部署大模型以及搭建个人知识库： 了解 RAG：利用大模型能力搭建知识库是 RAG 技术的应用。在大模型训练数据截止后，通过检索外部数据并在生成步骤中传递给 LLM。RAG 应用包括文档加载、文本分割、存储、检索和输出 5 个过程。 文本加载器：将用户提供的文本加载到内存中，便于后续处理。
2025-03-28
如何从0到1建立dify
从 0 到 1 建立 Dify 的步骤如下： 1. 准备数据： 收集需要纳入知识库的文本数据，包括文档、表格等格式。 对数据进行清洗、分段等预处理，确保数据质量。 2. 创建数据集： 在 Dify 中创建一个新的数据集，并将准备好的文档上传至该数据集。 为数据集编写良好的描述，描述清楚数据集包含的内容和特点。 3. 配置索引方式： Dify 提供了三种索引方式供选择：高质量模式、经济模式和 Q&A 分段模式。 根据实际需求选择合适的索引方式，如需要更高准确度可选高质量模式。 4. 集成至应用： 将创建好的数据集集成到 Dify 的对话型应用中，作为应用的上下文知识库使用。 在应用设置中，可以配置数据集的使用方式，如是否允许跨数据集搜索等。 5. 持续优化： 收集用户反馈，对知识库内容和索引方式进行持续优化和迭代。 定期更新知识库，增加新的内容以保持知识库的时效性。 Dify 有以下两种使用方式： 1. 云服务版本。直接在官网 dify.ai 上注册账号使用。 2. 部署社区版。开源，可商用，但是不能作为多租户服务使用。对个人使用完全无限制。 部署前提条件：2 核 4G 云服务器一台（约 159 元）。 部署过程： 1. 参考 https://docs.dify.ai/v/zhhans/gettingstarted/installselfhosted/dockercompose 。 2. 这些命令在宝塔面板的终端安装。 3. 检查运行情况，如遇到问题（如 80 端口被占用），按照 AI 的方法解决。 4. 在浏览器输入公网 IP 进入，邮箱密码随便填，建立知识库并设置。 5. 选择模型，如智谱 AI，获取钥匙并复制保存。 6. 创建应用并测试发布。
2025-03-24
如何建立自己的知识库
建立自己的知识库可以参考以下几种方法： 1. 使用 flowith 指南： 拆解创作任务：将复杂任务拆解到合适颗粒度，提供方法论和定义输出格式。 建立定向知识库：将相关元知识导入 flowith 的知识花园，转化为文字上传，打开智能拆分模式，形成知识“种子”。激活知识库后，AI 会根据创作场景自动匹配库内素材，还可发布或分享知识库。 2. 基于 GPT 打造： 搭建基于 GPT API 的定制化知识库涉及给 GPT 输入定制化知识，但 GPT3.5 免费版交互容量有限。 理解 embeddings：embeddings 是浮点数字的向量，向量间距离衡量关联性，小距离表示高关联度。 3. 用 Coze 免费打造微信 AI 机器人： 设计 AI 机器人，确定功能范围。 创建知识库：整理“关键字”与“AI 相关资料链接”的对应关系，支持多种文档类型，如本地文档、在线数据、飞书文档、Notion 等，可使用特殊分割符如“”便于自动切分数据。
2025-03-20
建立个人知识库的方法
以下是建立个人知识库的一些方法： 1. 使用 GPT 打造个人知识库： 利用 OpenAI 的 embedding API 解决方案。将文本拆分成若干小文本块（chunk），通过 embedding API 将其转换为 embeddings 向量，并在向量储存库中保存这些向量和文本块。当用户提出问题时，将问题转换为问题向量，与向量储存库中的向量比对，提取关联度高的文本块，与问题组合成新的 prompt 发送给 GPT API。 理解 embeddings：embeddings 是浮点数字的向量，向量之间的距离衡量关联性，小距离表示高关联度。 2. 本地部署大模型以及搭建个人知识库： 了解 RAG（检索增强生成）技术：大模型训练数据有截止日期，当需要依靠不在训练集中的数据时，通过检索外部数据，在生成步骤中将其传递给 LLM。RAG 应用包括文档加载、文本分割、存储（包括嵌入和向量数据库存储）、检索和输出。 文本加载器：将用户提供的文本加载到内存中，便于后续处理。
2025-03-19