Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何搜索知识库

Answer

以下是关于知识库搜索的相关信息：

  • 知识库搜索网址：https://search.atomecho.cn/
  • Coze 中工作流配置知识库：
    • 添加知识库：可同时添加多个知识库。
    • 参数设置：
      • 搜索策略：包括语义检索（像人类一样理解词与词、句与句之间的关系，适用于需要理解语义关联度和跨语言查询的场景）、全文检索（基于关键词进行，适用于特定名称、专有名词、术语、缩写词、ID 等场景）、混合检索（结合全文检索和语义检索的优势，并对结果进行综合排序召回相关内容片段）。
      • 最大召回数量：选择从检索结果中返回给大模型使用的内容片段数量，数值越大，返回的越多。
      • 最小匹配度：根据设置的匹配度选取要返回给大模型的内容片段，低于设定匹配度的内容不会被返回。
    • 提示：最大召回数量和最小匹配度直接影响输出效果，需进行协调的多轮测试找出最优值。
  • 认识大模型 Embedding 技术加实战中：
    • Embedding 增强 GPT 的能力的过程包括搜索内部知识库检索相关文本、将检索到的文本内容部分发送给 GPT 大模型并向其提出问题。
    • 具体操作步骤：
      • 准备搜索数据（仅一次）：搜集数据、切块、嵌入、存储（对于大型数据集的 Embedding 结果，可使用向量数据库保存）。
      • 搜索（每次查询一次）：给定用户问题，从 OpenAI API 生成查询的 embeddings，使用 embeddings 按照与查询相关性对文本部分进行排序，距离函数推荐使用余弦相似性。
      • 提问（每次查询一次）：将问题和最相关的部分插入到发送给 GPT 的消息中返回 GPT 的答案。
    • Embedding 的作用：搜索（结果按与查询字符串的相关性进行排名）、聚类（文本字符串按相似性分组）、建议（建议包含相关文本字符串的项目）、异常检测（识别出相关性很小的离群值）、多样性测量（分析相似性分布）、分类（文本字符串按其最相似的标签分类）。
Content generated by AI large model, please carefully verify (powered by aily)

References

知识库搜索【上传文件，对文件进行搜索】

网址：https://search.atomecho.cn/

Coze - 打造 AI 私人提效助理实战知识库

1.添加知识库：选择刚才添加的知识库内容，这里可以同时添加多个知识库2.参数设置：|配置|说明||-|-||搜索策略|选择如何从知识库中搜索内容片段，不同的检索策略适应于不同的场景。检索到的内容片段的相关性越高，大模型根据召回内容生成的回复的准确性和可用性也越高。<br><br>语义检索：像人类一样去理解词与词，句与句之间的关系。推荐在需要理解语义关联度和跨语言查询的场景使用。例如下面两组句子，第一组的语义关系就更强。<br>"狼追小羊"和"豺狼追山羊"<br>"狼追小羊"和"我爱吃炸猪排"<br>全文检索：基于关键词进行全文检索。推荐当查询内容包含以下场景时使用<br>特定名称或专有名词，术语等，例如比尔盖茨、特斯拉Model Y<br>缩写词，例如SFT<br>ID，例如，12s1w1s2系列<br>混合检索：结合全文检索和语义检索的优势，并对结果进行综合排序召回相关的内容片段。||最大召回数量|选择从检索结果中返回多少个内容片段给大模型使用。数值越大，返回的内容片段就越多。<br>||最小匹配度|根据设置的匹配度选取要返回给大模型的内容片段。低于设定匹配度的内容不会被返回。<br>该配置可过滤掉一些低相关度的搜索结果。<br><br>Tips：最大召回数量和最小匹配度直接影响输出效果，这两个值需要进行协调的多轮测试，找出最优值。|

认识大模型 Embedding 技术加实战

针对上面的问题，OpenAI发布过这样一篇文档，说明如何使用两步搜索来增强GPT的能力：搜索：搜索内部的知识库，检索相关文本。请求：将检索到的文本内容部分发送给GPT大模型，并向其提出问题。具体的操作步骤如下：1、准备搜索数据（仅一次）1）搜集数据：获取需要的数据，公开数据或者私有的数据2）切块：将文档切分成短小的3）嵌入：通过OpenAI API对切块的数据进行Embedding结果，4）存储：存储Embedding结果，对于大型数据集的Embedding结果，可以使用向量数据库进行保存。2、搜索（每次查询一次）给定用户问题，从OpenAI API生成查询的embeddings使用embeddings，按照与查询相关性对文本部分进行排序❝距离函数推荐使用：余弦相似性3、提问（每次查询一次）将问题和最相关的部分插入到发送给GPT的消息中返回GPT的答案[heading3]Embedding共有哪些作用[content]搜索（其中结果按与查询字符串的相关性进行排名）聚类（其中文本字符串按相似性分组）建议（建议包含相关文本字符串的项目）异常检测（识别出相关性很小的离群值）多样性测量（分析相似性分布）分类（其中文本字符串按其最相似的标签分类）

Others are asking
coze搭建智能体，用上传的文件和知识库的文件做对比，分析差异点。
以下是关于在 Coze 中搭建智能体的相关信息： 1. 证件照相关操作： 展示原图上传结果，基本脸型已换，生成效果与上传照片特征有关。 改背景可利用改图功能，一键改图效果更好，输出数据类型为图片。 豆包节点生成的是 URL 地址，与前者不同，在工作流使用有差异，可参考简单提示词。 介绍证件照工作流相关操作，包括通过提示词改背景颜色，设置输出方式为返回变量；讲解消耗 token 及保存结果相关问题；对按钮、表单添加事件并设置参数，限制上传文件数量；还涉及给表单和图片绑定数据，以及每次操作后刷新界面确保设置生效。 围绕操作讲解与优化展开，介绍 for meet 的设置，如表单事件操作、图片上传数量修改等，提及编程基础知识。还讲述成果图连接、绑定数据方法及注意事项。展示基本功能实现情况，分析换性别等问题成因，指出需在工作流优化提示词，也可尝试用视频模型解决，最后进入问答环节。 2. 多维表格的高速数据分析： 创建智能体，使用单 Agent 对话流模式。 编排对话流，创建新的对话流并关联智能体。 使用代码节点对两个插件获取的结果进行数据处理，注意代码节点输出的配置格式。 测试，找到一篇小红书笔记，试运行对话流，在对话窗口输入地址查看数据。 发布，选择多维表格，配置输出类型为文本，输入类型选择字段选择器，完善上架信息，可选择仅自己可用以加快审核。 3. 智能体与微信和微信群的连接： 创建知识库，可选择手动清洗数据提高准确性，包括在线知识库和本地文档。 在线知识库创建时，飞书在线文档中每个问题和答案以分割，可编辑修改和删除。 本地文档中注意拆分内容提高训练数据准确度，如将课程章节按固定方式人工标注和处理。 发布应用，确保在 Bot 商店中能够搜到。
2025-04-18
coze搭建知识库和上传文件做对比分析
以下是关于 Coze 搭建知识库和上传文件的对比分析： 创建文本型知识库： 自动分段与清洗：扣子可对上传的内容进行自动解析，支持复杂布局的文件处理，如识别段落、页眉/页脚/脚注等非重点内容，支持跨页跨栏的段落合并，支持解析表格中的图片和文档中的表格内容（目前仅支持带线框的表格）。操作步骤为在分段设置页面选择自动分段与清洗，然后依次单击下一步、确认，可查看分段效果，不满意可重新分段并使用自定义分段。 自定义：支持自定义分段规则、分段长度及预处理规则。操作时在分段设置页面选择自定义，然后依次设置分段规则和预处理规则，包括选择分段标识符、设置分段最大长度和文本预处理规则，最后单击下一步完成内容分段。 创建表格型知识库： 目前支持 4 种导入类型：本地文档、API、飞书、自定义。 本地文档：选择本地文档从本地文件中导入表格数据，目前支持上传 Excel 和 CSV 格式的文件，文件不得大于 20M，一次最多可上传 10 个文件，且表格内需要有列名和对应的数据。 API：参考特定操作从 API 返回数据中上传表格内容，包括选择 API、单击新增 API、输入 API URL 并选择数据更新频率，然后单击下一步。 飞书：参考特定操作从飞书表格中导入内容，包括选择飞书、在新增知识库页面单击授权并选择要导入数据的飞书账号、单击安装扣子应用（仅首次导入需授权和安装），然后选择要导入的表格并单击下一步。目前仅支持导入“我的空间”下的飞书文档，云文档的创建者必须是自己，暂不支持导入知识库和共享空间下的云文档。 上传文本内容： 在线数据：扣子支持自动抓取指定 URL 的内容，也支持手动采集指定页面上的内容，上传到数据库。 自动采集方式：适用于内容量大、需批量快速导入的场景。操作步骤为在文本格式页签下选择在线数据，然后依次单击下一步、自动采集、新增 URL，输入网站地址、选择是否定期同步及周期，最后单击确认，上传完成后单击下一步，系统会自动分片。 手动采集：适用于精准采集网页指定内容的场景。操作步骤为安装扩展程序，在文本格式页签下选择在线数据，然后依次单击下一步、手动采集、授予权限，输入采集内容的网址，标注提取内容，查看数据确认无误后完成并采集。
2025-04-18
知识库怎么构建
构建知识库的方法主要有以下几种： 1. 使用 Flowith 构建： 选择“Manage Your Knowledge Base”，进入知识库管理页面。 点击左上角的加号添加新的知识库，为其起一个便于分辨的名字。 点击添加文件，建议使用 Markdown 格式的文件。 等待 Flowith 对文件进行抽取等处理，处理完毕后可在知识库管理页面测试检索。 2. 使用 Dify 构建： 准备数据：收集文本数据，进行清洗、分段等预处理。 创建数据集：在 Dify 中创建新数据集，上传准备好的文档并编写描述。 配置索引方式：根据需求选择高质量模式、经济模式或 Q&A 分段模式。 集成至应用：将数据集集成到对话型应用中，配置数据集的使用方式。 持续优化：收集用户反馈，更新知识库内容和优化索引方式。 3. 本地部署大模型并搭建个人知识库（涉及 RAG 技术）： 了解 RAG 技术：大模型训练数据有截止日期，RAG 可通过检索外部数据并在生成步骤中传递给 LLM 来解决依赖新数据的问题。 RAG 应用的 5 个过程： 文档加载：从多种来源加载文档，如 PDF、SQL 等。 文本分割：把文档切分为指定大小的块。 存储：包括将文档块嵌入转换成向量形式，并将向量数据存储到向量数据库。 检索：通过检索算法找到与输入问题相似的嵌入片。 输出：将问题和检索出的嵌入片提交给 LLM 生成答案。 文本加载器：将用户提供的文本加载到内存中以便后续处理。
2025-04-15
如何搭建知识库
搭建知识库的方法如下： 使用 flowith 搭建： 选择“Manage Your Knowledge Base”，进入知识库管理页面。 点击左上角的加号添加新的知识库，给知识库起一个便于分辨的名字。 点击添加文件，建议使用 Markdown 格式的文件。 Flowith 会对文件进行抽取等处理，处理完毕后可在知识库管理页面测试检索。 使用 Dify 搭建： 准备数据：收集文本数据，进行清洗、分段等预处理。 创建数据集：在 Dify 中创建新数据集，上传准备好的文档并编写描述。 配置索引方式：提供三种索引方式，根据需求选择，如高质量模式、经济模式和 Q&A 分段模式。 集成至应用：将数据集集成到对话型应用中，配置数据集的使用方式。 持续优化：收集用户反馈，更新知识库内容和优化索引方式。 使用 Coze 智能体搭建： 手动清洗数据： 在线知识库：点击创建知识库，创建 FAQ 知识库，选择飞书文档，输入区分问题和答案，可编辑修改和删除，添加 Bot 并在调试区测试效果。 本地文档：注意拆分内容，提高训练数据准确度，按章节进行人工标注和处理，然后创建自定义清洗数据。 发布应用：点击发布，确保在 Bot 商店中能搜到。
2025-04-14
如何搭建自己的知识库
以下是搭建自己知识库的方法： 1. 选择“Manage Your Knowledge Base”，进入知识库管理页面。 2. 在页面左上角点击加号，添加新的知识库，并为其起一个易于分辨的名字。 3. 点击添加文件，建议使用 Markdown 格式的文件。 4. 等待 Flowith 对文件进行抽取等处理。 5. 处理完毕后，可在知识库管理页面测试检索，输入关键词过滤相关内容。 此外，搭建本地知识库还需了解 RAG 技术： 1. RAG 是一种当需要依靠不包含在大模型训练集中的数据时所采用的主要方法，即先检索外部数据，然后在生成步骤中将这些数据传递给 LLM。 2. 一个 RAG 的应用包括文档加载、文本分割、存储、检索和输出 5 个过程。 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 文本分割：把 Documents 切分为指定大小的块。 存储：将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 检索：通过某种检索算法找到与输入问题相似的嵌入片。 输出：把问题以及检索出来的嵌入片一起提交给 LLM，生成更合理的答案。 对于基于 GPT API 搭建定制化知识库，涉及给 GPT 输入定制化的知识。由于 GPT3.5 一次交互支持的 Token 有限，OpenAI 提供了 embedding API 解决方案。Embeddings 是一个浮点数字的向量，两个向量之间的距离衡量它们的关联性，小距离表示高关联度。在 OpenAI 词嵌入中，靠近向量的词语在语义上相似。文档上有创建 embeddings 的示例。
2025-04-14
我想做一个，基于我个人知识库的chatbot，以供我随时搜索和提问，且优先搜索知识库内的内容而非联网搜索，你有什么建议吗？
以下是为您提供的关于创建基于个人知识库的 chatbot 的建议： 1. 选择合适的平台和工具：例如可以考虑使用飞书智能伙伴创建平台（Aily）或扣子（https://www.coze.cn/home）等。 2. 数据分段储存：由于大模型的上下文长度有限制，需要将上传的资料根据特定符号或字符长度进行分段，如将 8000 字文档按每 800 字分成一个片段储存。 3. 增强检索：当用户输入问题，大模型会根据相似度检索出若干最相关的数据片段，再据此生成答案，这一技术称为 RAG（检索增强生成）。 4. 配置知识库： 在 Bot 内使用知识库： 登录相关平台。 在左侧导航栏的工作区区域，选择进入指定团队。 在 Bots 页面，选择指定 Bot 并进入 Bot 详情页。 在 Bot 编排页面的知识库区域，单击加号图标，添加指定的知识库。 （可选）添加知识库后，可以在自动调用下拉界面内，调整知识库的配置项，如最大召回数量、最小匹配度、调用方式等。 在工作流内使用 Knowledge 节点： 登录相关平台。 在左侧导航栏的工作区区域，选择进入指定团队。 在页面顶部进入工作流页面，并打开指定的工作流。 在左侧基础节点列表内，选择添加 Knowledge 节点。 5. 注意使用限制：单用户最多创建 1000 个知识库，文本类型知识库下最多支持添加 100 个文档，单用户每月最多新增 2GB 数据，累计上限是 10GB。 此外，知识库可以解决大模型幻觉、专业领域知识不足的问题，提升大模型回复的准确率。您可以将知识库直接与 Bot 进行关联用于响应用户回复，也可以在工作流中添加知识库节点，成为工作流中的一环。
2025-04-14
DeepSeek，里面搜索怎么能出来图片？
要在 DeepSeek 中搜索出图片，您可以参考以下信息： 在即梦 AI 平台上找到 DeepSeek 入口，简单描述您想要的画面，DeepSeek 会生成详细的提示词，将提示词复制到生图功能的输入框，选择 3.0 模型，点击生成。 DeepSeek 使用平台包括 DeepSeek 官网、API（V3 需要为 0324 更新的版本，DS 官网及 API 已更新，如调用其它平台 API 需要查看 DS 版本号）。Deepseek 需要复制代码到 html 文件里，然后保存进行查看。 将下载的 html 文件及图片放到同一个文件夹，让 Cursor 进行图片增加即可。 此外，DeepSeek 深夜发布了大一统模型 JanusPro，将图像理解和生成统一在一个模型中。其具有统一 Transformer 架构，提供 1B 和 7B 两种规模，全面开源，支持商用，MIT 协议，部署使用便捷，Benchmark 表现优异等特点。模型地址： 模型（7B）：https://huggingface.co/deepseekai/JanusPro7B 模型（1B）：https://huggingface.co/deepseekai/JanusPro1B 下载地址：https://github.com/deepseekai/Janus
2025-04-09
ai搜索引擎哪个好
以下是一些推荐的 AI 搜索引擎： 1. 秘塔 AI 搜索：由秘塔科技开发，具有多模式搜索、无广告干扰、结构化展示和信息聚合等功能，能提升用户搜索效率和体验。 2. Perplexity：聊天机器人式搜索引擎，允许用自然语言提问，通过生成式 AI 技术从各种来源收集信息并给出答案。 3. 360AI 搜索：360 公司推出，通过 AI 分析问题，生成清晰有理的答案，支持增强模式和智能排序。 4. 天工 AI 搜索：昆仑万维推出，采用生成式搜索技术，支持自然语言交互和深度追问，未来将支持图像、语音等多模态搜索。 5. Flowith：创新的 AI 交互式搜索和对话工具，基于节点式交互方式，支持多种 AI 模型和图像生成技术，有插件系统和社区功能。 6. Devv：面向程序员的 AI 搜索引擎，专注于提供编程、软件开发和人工智能等领域的专业建议和指导。 7. Phind：专为开发者设计，利用大型语言模型提供相关搜索结果和动态答案，擅长处理编程和技术问题。 做好 AI 搜索引擎的关键在于： 1. 准确度：取决于问答底座模型的智能程度和挂载上下文的信息密度。要选用智能的问答底座模型，并对 RAG 的检索结果进行排序去重以保证信息密度。 2. 差异化创新：错位竞争，如对问答结果以 outline/timeline 等形式输出，支持多模态搜索问答，允许挂载自定义信息源等策略。 3. 具备“准/快/稳”的特点：回复结果要准，响应速度要快，服务稳定性要高。 在使用 AI 搜索引擎时需注意： 1. 幻觉风险较高，大多数 AI 搜索引擎未连接到互联网。 2. 必应通常是较好的选择，特别是在某些特定场景下，如技术支持、决定吃饭地点或获取建议等，必应可能比谷歌更好。但这是一个迅速发展的领域，使用时应小心。对于儿童，可汗学院的 Khanmigo 提供由 GPT4 驱动的良好的人工智能驱动辅导。
2025-04-09
我们是搜索团队的产品经理，团队定位倾向于“对于插件的建设与调用”定位，现在要做AI相关的产品规划，请以通俗易懂的方式对以下问题做出回答 1、请通过流程图的方式，介绍【插件/工具】能力在大模型生态架构中的环节、定位、实现流程是什么 2、调研下对于我们搜索团队而言，插件应该做什么，可以做什么 3、思考对于大模型来说，有哪些（通用或垂类）的模块/功能/插件是无法绕开的，或高频使用的，作为我们团队后续争取的发力点（如搜索推荐对于传统综合搜索结果页）
以下是为您提供的关于 AI 相关产品规划的回答： 一、插件/工具能力在大模型生态架构中的环节、定位、实现流程 从 2023 年 3 月份 OpenAI 宣布插件计划开始，到 5 月份上线，其中包括联网、代码、画图三个插件。其实现流程大致为： 1. 经过对模型的微调，检测何时需要调用函数（取决于用户的输入）。 2. 使用符合函数签名的 JSON 进行响应。 3. 在接口层面声明可调用的工具。 4. 使用函数和用户输入调用模型。 5. 使用模型响应调用 API。 6. 将响应发送回模型进行汇总。 二、对于搜索团队，插件可以做和应该做的事 目前没有直接针对搜索团队插件具体可做和应做事项的明确内容，但可以参考 OpenAI 的插件计划，例如开发与搜索相关的特定功能插件，或者探索如何将现有的搜索推荐功能与大模型更好地结合。 三、对于大模型无法绕开或高频使用的模块/功能/插件 目前没有直接指出对于大模型无法绕开或高频使用的具体模块、功能或插件。但从相关信息中可以推测，例如与数据获取和处理相关的插件（如联网）、与技术开发相关的插件（如代码）以及与内容生成相关的插件（如画图）可能是较为重要和高频使用的。对于搜索团队来说，可以考虑在这些方向上寻找发力点，结合搜索推荐等传统功能，开发出更具竞争力的插件。
2025-04-08
小白不懂MCP，请搜索waytoAGI中与智能体相关的内容（特别是视频形式的）让我来学习
以下是为您整理的关于 MCP 的相关内容： 一、什么是 MCP MCP（Model Context Protocol）是一种通用的方式，向各类大语言模型提供数据源和工具。它是一个开放协议，用于标准化应用程序向大语言模型提供上下文的方式。可以将 MCP 想象成 AI 应用程序的 USBC 接口，为 AI 模型连接不同的数据源和工具提供了标准化方式。 二、相关文章的写作目的和探讨内容 1. 作者因在 WaytoAGI 社区阅读了他人优秀文章，决定逼自己做输出，对自我学习进行总结。 2. 文章从作者自身疑问出发，通过动手实践的方式探索：利用自然语言交互，大模型为什么会调用 MCP 工具；大模型调用 MCP 工具，从客户端到服务端发生了什么；安装了类似 MCP 工具，大模型如何选择用哪一个。 三、MCP 和 AI 工具的未来 自 OpenAI 发布函数调用以来，思考解锁智能体和工具使用生态系统所需条件。MCP 于 2024 年 11 月推出，在开发者和 AI 社区中已获广泛关注，被视为潜在解决方案。探讨了其如何改变 AI 与工具的交互方式、开发人员的使用情况及仍需解决的挑战。 四、MCP 小白图文使用教程 MCP 服务器有三大核心功能： 1. 资源：是服务器提供给 AI 的数据内容，如文件、数据库结构或特定信息，每个资源通过唯一 URI 标识。 2. 工具：允许 AI 模型执行特定操作，如查询数据库、调用 API 或执行计算，每个工具由名称和描述其模式的元数据唯一标识。 3. 提示：提供结构化消息和指令，用于与语言模型交互，客户端可以发现可用提示、检索其内容并提供参数进行自定义。 希望以上内容对您有所帮助。
2025-04-08
最好的AI学术文献搜索软件？
以下是一些较好的 AI 学术文献搜索软件： 1. Zotero：结合 AI 技术，能自动提取文献信息，便于管理和整理参考文献。 2. Semantic Scholar：由 AI 驱动的学术搜索引擎，可提供相关文献推荐和引用分析。 此外，在论文写作和课题研究中，还可以利用其他 AI 工具辅助，如： 1. 内容生成和辅助写作：Grammarly 提供文本校对、语法修正和写作风格建议；Quillbot 可进行重写和摘要。 2. 数据分析：Google Colab 支持 AI 和机器学习研究，便于数据分析和可视化；Knitro 用于数学建模和优化。 在教学中，Claude 和 Gamma.app 这两个工具可以帮助学生做好组会准备，如快速寻找符合条件的论文、提取精炼论文信息、找到适合的 PPT 制作工具并教会使用。使用 Claude 时，可以通过对话解决如学术网站条件搜索等问题。
2025-04-01