Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

知识库指的是什么

Answer

知识库是指在不同的应用场景中具有不同的含义和作用:

  • 在专家系统中,知识库代表某个问题领域的长期知识,是从人类专家那里人工提取的,不会因外部的咨询而改变,由于它允许从一个问题状态前往另一个问题状态,因此也被称为动态知识。
  • 扣子提供的方式中,知识库是大量知识分片,通过语义匹配,给模型补充知识。例如在车型数据方面,每个知识库的分段中保存了一种车型的基础数据,当用户提问相关问题时能匹配到对应车型的分段,然后模型从中获取信息。
  • 在 AI 模型的优化过程中,知识库就像是 AI 可以随时查阅的百科全书,是一个随时更新的“活字典”。当 AI 遇到不确定的问题时,它可以从知识库中检索相关信息,从而给出更新、更准确的回答。比如可以建立包含最新新闻、科技发展、法律法规等内容的知识库,或者像很火的 AI 搜索,将整个互联网的实时数据作为知识库,每次被询问时都可以通过搜索引擎获取最新的信息。
Content generated by AI large model, please carefully verify (powered by aily)

References

知识表示和专家系统

符号人工智能的早期成就之一是专家系统——为充当某个有限问题领域的专家而设计的计算机系统。它们基于从一个或多个人类专家那里提取的知识库,并包含一个推理引擎,在此基础上进行推理。专家系统就像人类的推理系统一样,包含短期记忆和长期记忆。同样,在以知识为基础的系统中,我们会区分以下几个部分:问题记忆(Problem memory):包含与当前要解决的问题有关的知识,如病人的体温或血压、是否有炎症等。这种知识也被称为静态知识(static knowledge),因为它包含了快照信息,记录着我们在当前状态下对问题的了解——即所谓的问题状态(problem state)。知识库(Knowledge base):代表某个问题领域的长期知识。它是从人类专家那里人工提取的,不会因外部的咨询而改变。由于它允许我们从一个问题状态前往另一个问题状态,因此也被称为动态知识(dynamic knowledge)。推理引擎(Inference engine):协调在问题状态空间中搜索的整个过程,必要时向用户提问。它还负责找到适用于每个状态的正确规则。举例来说,下面这个专家系统是根据动物的物理特征来判断动物的:这种图称为AND-OR树,是一组产生式规则的图形表示。在从人类专家那里提取知识的早期阶段,绘制树形图非常有用。要在计算机中表示知识,使用规则更为方便:你可以注意到,规则左侧的每个条件和操作本质上都是对象-属性-值(OAV)三元组。工作记忆包含与当前要解决的问题相对应的OAV三元组。规则引擎会查找满足条件的规则,并应用这些规则,从而向工作记忆中添加另一个三元组。✅为你喜欢的主题写一个AND-OR树!

概述

扣子提供了以下几种方式来存储和记忆外部数据,这样Bot便可以使用这些外部数据来精准回复用户。知识库:是大量知识分片,通过语义匹配,给模型补充知识。以车型数据为例,每个知识库的分段中,保存了一种车型的基础数据。当用户问宝马X3的售价是多少?,能匹配到对应车型的分段,然后模型从中获取到售价信息。数据库:类似传统软件开发的数据库功能,以表格结构存储信息,通过NoSQL方式使用。目前提供的是关系型数据库,下面列举一些应用场景:AI便签:记录用户提交的便签,支持提交、查询操作,这些操作都是通过NL2SQL完成。单词本:记录用户背过哪些单词,其中哪些单词还没有记住等。

胎教级教程:万字长文带你理解 RAG 全流程

活字典是针对知识库一个非常贴切的比喻还记得我们说过AI的知识会"过期"吗?解决这个问题的一个好方法就是给AI配备一个随时更新的"活字典",我们称之为知识库。知识库就像是AI可以随时查阅的百科全书。当AI遇到不确定的问题时,它可以从知识库中检索相关信息,从而给出更新、更准确的回答。比如,我们可以建立一个包含最新新闻、科技发展、法律法规等内容的知识库。这样,即使AI的基础模型没有得到更新,它也能通过查阅知识库来回答有关最新事件的问题。比如很火的AI搜索,其实就是将整个互联网的实时数据作为知识库,每次被询问时都可以通过搜索引擎获取最新的信息。旁白:你很激动,当你听到关于对RAG的解释的时候,你觉得你找到了一条正确的路。RAG也许可以帮你解决每天回答那些重复问题的困扰,你怀着激动的心情开始了RAG学习之旅

Others are asking
哪款AI 工具可以梳理文档知识形成知识库
以下是一些可以梳理文档知识形成知识库的 AI 工具: 1. Cursor:对于非开发性质的问答,它是一个天然的 RAG 引擎。能针对大的代码库精准找到相关函数,并利用其信息撰写代码。在问答窗口使用 Command 加回车发出问题时,会先在当前文件夹下搜索并显示相关文档和相关度,最后用这些信息构建提示词完成生成。对于非开发任务,也能与私有文档结合问答,并将新生成的 insights 沉淀成新文档,形成知识闭环,提升知识管理效率。 2. 百炼:通过以下步骤为 AI 助手增加私有知识形成知识库: 上传文件:在百炼控制台的中的非结构化数据页签中点击导入数据,根据引导上传虚构的产品介绍。 建立索引:进入,创建新的知识库并选择上传的文件,其他参数保持默认。 引用知识:完成知识库创建后,在中设置,打开知识检索增强开关、选择目标知识库,测试验证符合预期后点击发布。 3. kimichat:可以让 AI 拆解书籍的章节并按照 markdown 产出内容,然后将内容复制到在线思维导图 Markmap 中,一键生成思维导图,并可自定义微调内容及免费导出图片。
2025-01-04
如何搭建知识库?
以下是搭建知识库的一般步骤: 1. 准备数据 收集需要纳入知识库的文本数据,包括文档、表格等格式。 对数据进行清洗、分段等预处理,确保数据质量。 2. 创建数据集 在相关工具(如 Dify)中创建一个新的数据集,并将准备好的文档上传至该数据集。 为数据集编写良好的描述,描述清楚数据集包含的内容和特点。 3. 配置索引方式 相关工具(如 Dify)提供了多种索引方式供选择,如高质量模式、经济模式和 Q&A 分段模式。 根据实际需求选择合适的索引方式,如需要更高准确度可选高质量模式。 4. 集成至应用 将创建好的数据集集成到对话型应用中,作为应用的上下文知识库使用。 在应用设置中,可以配置数据集的使用方式,如是否允许跨数据集搜索等。 5. 持续优化 收集用户反馈,对知识库内容和索引方式进行持续优化和迭代。 定期更新知识库,增加新的内容以保持知识库的时效性。 此外,在使用 Coze 智能体机器人搭建知识库时: 手动清洗数据可提高数据准确性,如创建画小二课程的 FAQ 知识库,飞书在线文档中每个问题和答案以“”分割。 对于本地文档,注意合理拆分内容以提高训练数据准确度,按章节进行人工标注和处理。 完成后点击发布,确保在 Bot 商店中能够搜到。 在涉及本地部署大模型以及搭建个人知识库时,需要先了解 RAG 技术: 利用大模型的能力搭建知识库是 RAG 技术的应用。 RAG 应用包括文档加载、文本分割、存储(包括嵌入和向量数据存储)、检索和输出等 5 个过程。 文本加载器用于将用户提供的文本加载到内存中,便于后续处理。
2025-01-03
个人知识库训练
个人知识库训练主要有以下内容: 私人知识库中的内容一般包括从互联网收集的优质信息以及个人日常的思考和分享。 基于私人知识库打造个人专属的 ChatGPT 常见有两种技术方案: 训练专有大模型:KimiChat 和 ChatGPT 等能精准回答问题是因用整个互联网语料训练从而拥有相关知识。也可用个人知识库训练专有大模型,效果虽好但并非当下主流,存在高成本、更新难度大等缺陷。 RAG(检索增强生成)技术:大模型训练数据有截止日期,当需依靠不在训练集中的数据时,可通过 RAG 实现。RAG 应用包括文档加载、文本分割、存储(包括嵌入和向量数据存储)、检索、输出(把问题及检索出的嵌入片提交给 LLM 生成答案)。 使用 embeddings:将文本转换成向量能节省空间,可理解为索引。把大文本拆分成小文本块并转换成 embeddings 向量,在向量储存库保存这些向量和文本块作为知识库。用户提问时,问题先转成向量,与储存库向量比对,提取关联度高的文本块与问题组合成新 prompt 发送给 GPT API。例如对“此文作者是谁?”的提问,可通过比较 embeddings 向量得出关联度高的文本块,发送给 GPT API 以获取答案。
2025-01-02
如何创造自己的知识库,并且能完成对给定文本的润色和修改
要创建自己的知识库并完成对给定文本的润色和修改,您可以参考以下内容: 上传方式及操作步骤 Notion 1. 在文本格式页签下,选择 Notion,然后单击下一步。 2. 单击授权。首次导入 Notion 数据和页面时,需要进行授权。 3. 在弹出的页面完成登录,并选择要导入的页面。 4. 选择要导入的数据,然后单击下一步。 5. 选择内容分段方式: 自动分段与清洗:系统会对上传的文件数据进行自动分段,并会按照系统默认的预处理规则处理数据。 自定义:手动设置分段规则和预处理规则。 分段标识符:选择符合实际所需的标识符。 分段最大长度:设置每个片段内的字符数上限。 文本预处理规则: 替换掉连续的空格、换行符和制表符 删除所有 URL 和电子邮箱地址 6. 单击下一步完成内容上传和分片。 本地文档 1. 在文本格式页签下,选择本地文档,然后单击下一步。 2. 将要上传的文档拖拽到上传区,或单击上传区域选择要上传的文档。目前支持上传.txt、.pdf、.docx 格式的文件内容。每个文件不得大于 20M。一次最多可上传 10 个文件。 3. 当上传完成后单击下一步。 4. 选择内容分段方式: 自动分段与清洗:系统会对上传的文件数据进行自动分段,并会按照系统默认的预处理规则处理数据。 自定义:手动设置分段规则和预处理规则。 分段标识符:选择符合实际所需的标识符。 分段最大长度:设置每个片段内的字符数上限。 文本预处理规则: 替换掉连续的空格、换行符和制表符 删除所有 URL 和电子邮箱地址 5. 单击下一步完成内容上传和分片。 在线数据 自动采集方式:该方式适用于内容量大,需要批量快速导入的场景。 1. 在文本格式页签下,选择在线数据,然后单击下一步。 2. 单击自动采集。 3. 单击新增 URL。在弹出的页面完成以下操作: 输入要上传的网站地址。 选择是否需要定期同步网站内容,如果需要选择内容同步周期。 单击确认。 4. 当上传完成后单击下一步。系统会自动根据网站的内容进行内容分片。 手动采集:该方式适用于需要精准采集网页上指定内容的场景 1. 安装扩展程序,详情请参考。 2. 在文本格式页签下,选择在线数据,然后单击下一步。 3. 点击手动采集,然后在弹出的页面点击权限授予完成授权。 4. 在弹出的页面输入要采集内容的网址,然后单击确认。 5. 在弹出的页面上,点击页面下方文本标注按钮,开始标注要提取的内容,然后单击文本框上方的文本或链接按钮。 6. 单击查看数据查看已采集的内容,确认无误后再点击完成并采集。
2025-01-02
如何在本地部署LLM,然后完成某个专业或者主题的专业知识库训练
以下是在本地部署 LLM 并完成某个专业或主题的专业知识库训练的详细步骤: 1. 部署大语言模型: 下载并安装 Ollama:根据电脑系统,点击进入 https://ollama.com/download 下载,下载完成后双击打开,点击“Install”。安装完成后,将 http://127.0.0.1:11434/ 复制进浏览器,若出现相关字样则表示安装完成。 下载 qwen2:0.5b 模型:如果是 Windows 电脑,点击 win+R,输入 cmd 点击回车;如果是 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。复制相关命令行粘贴进入并回车,等待自动下载完成。 2. 安装 Docker Desktop: 点击去下载,根据系统进行选择。以 Windows 系统为例,点击 https://docs.docker.com/desktop/install/windowsinstall/ 下载,双击下载项目,点击 ok 加载文件,点击“close and restart”重启电脑。重启后,点击“Accept”,选择第二个,点击"Finish",进入 Docker Desktop。 3. 部署 FastGPT+OneAPI: 在桌面按住“shift”+鼠标右键,选择“在此处打开 Powershell 窗口”,在窗口中一行一行输入并回车。等待上方命令执行完成,下载完成之后。回到桌面,打开 FastGPT 文件夹,右键 dockercompose.yml 文件,选择打开方式为记事本打开,查找并修改相关内容后保存。回到命令行窗口中,继续输入并回车。 4. 配置 OneAPI: 在浏览器中输入:http://localhost:3001 ,进入登录页,账号 root 密码 123456 点击登录。点击【渠道】【添加新的渠道】,类型选择 Ollama,名称设为 qwen2,模型设为 qwen2:0.5b,秘钥设为 sksky,代理设为 http://host.docker.internal:11434 ,点击提交。点击【令牌】【添加新令牌】,名称随意,时间设为永不过期、额度设为无限额度,点击【提交】,点击【令牌】复制 key。 5. 配置 FastGPT: 回到 FastGPT 文件夹里,用记事本打开“dockercompose.yml”文件,查找并修改相关内容后保存。打开 config.json,根据图示修改完成,把相关数值改成 1500 左右。在命令窗口中输入:docker compose down 等待执行完成,再输入:docker compose upd 等待执行完成。在浏览器上输入:http://localhost:3000 ,账号 root 密码 1234 点击进入,设置好后点击确定。发布 API 并创建一个 key。
2025-01-02
知识库管理工具
以下是关于知识库管理工具的相关内容: 使用 Dify 构建知识库的具体步骤: 1. 准备数据:收集需要纳入知识库的文本数据,包括文档、表格等格式,并对数据进行清洗、分段等预处理,确保数据质量。 2. 创建数据集:在 Dify 中创建新的数据集,上传准备好的文档,并为数据集编写良好的描述,说明其包含的内容和特点。 3. 配置索引方式:Dify 提供三种索引方式,包括高质量模式、经济模式和 Q&A 分段模式,根据实际需求选择合适的方式,如需更高准确度可选高质量模式。 4. 集成至应用:将创建好的数据集集成到 Dify 的对话型应用中,在应用设置中配置数据集的使用方式,如是否允许跨数据集搜索等。 5. 持续优化:收集用户反馈,对知识库内容和索引方式进行持续优化和迭代,定期更新知识库以保持时效性。 创建并使用知识库: 维护知识库内容:为提升召回准确率,可删除、新增或修改知识库内容。 管理知识库:在知识库页面可看到已创建的知识库及相关信息,单击知识库或编辑图标进入详情页面,可进行新增内容、删除内容、更新单元内分段、开启引用等操作。 使用知识库: 在 Bot 内使用: 1. 登录。 2. 在左侧导航栏工作区区域选择进入指定团队。 3. 在 Bots 页面选择指定 Bot 并进入详情页。 4. 在 Bot 编排页面的知识库区域单击加号图标添加指定的知识库。 5. (可选)添加后可在自动调用下拉界面内调整配置项,包括最大召回数量、最小匹配度、调用方式等。 6. (可选)在预览与调试区域调试 Bot 能力时,扩展运行完毕的内容可查看知识库命中并召回的分片内容。 在工作流内使用: 1. 登录。 2. 在左侧导航栏工作区区域选择进入指定团队。 3. 在页面顶部进入工作流页面,并打开指定的工作流。 4. 在左侧基础节点列表内选择添加 Knowledge 节点。
2024-12-31