直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

知识图谱

回答

知识图谱: 知识图谱是一种揭示实体之间关系的语义网络,能够对现实世界的事物及其相互关系进行形式化描述。它于 2012 年 5 月 17 日由 Google 正式提出,初衷是提高搜索引擎能力,增强用户搜索质量和体验,实现从网页链接到概念链接的转变,支持按主题检索和语义检索。 关键技术包括:

  1. 知识抽取:通过自动化技术抽取可用的知识单元,包含实体抽取(命名实体识别)、关系抽取、属性抽取。
  2. 知识表示:如属性图、三元组。
  3. 知识融合:在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等,包括实体对齐、知识加工、本体构建、质量评估、知识更新,以形成高质量知识库。
  4. 知识推理:在已有知识库基础上挖掘隐含知识。

外置知识: 外置知识由外部数据库提供,能够动态更新和调整。涉及多种数据存储和组织方式,包括向量数据库、关系型数据库和知识图谱。向量数据库优化了向量检索操作,常用于处理和索引非结构化数据;关系型数据库通过表格形式存储结构化数据,支持复杂查询,适用于事务性数据存储;知识图谱以图的形式组织数据,强调实体之间的关系,适合复杂的语义分析和知识推理。在实际应用中,外置知识的集成和管理常采用 RAG 架构,它结合了检索和生成,通过检索外部知识源增强模型的生成能力。

知识表示: 知识是存在于我们脑海中、代表对世界理解的东西,通过活跃的学习过程从接收到的信息碎片整合而来。要区分知识与信息、数据,例如书籍内容实际是数据,我们阅读后转化为知识。通常用 DIKW 金字塔整合知识与其他相关概念,包含数据、信息、知识、智慧。知识表示的问题是找到以数据形式在计算机中表示知识并能自动化使用的有效方法,这是一个连续谱,左侧有简单但不灵活的表示方式如算法,右侧有功能强大但不适合自动化推理的自然语言等方式。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

知识图谱

1.知识抽取:通过自动化的技术抽取出可用的知识单元实体抽取:命名实体识别(Named Entity Recognition,NER)从数据源中自动识别命名实体;关系抽取(Relation Extraction):从数据源中提取实体之间的关联关系,形成网状的知识结构;属性抽取:从数据源中采集特定实体的属性信息。2.知识表示属性图三元组3.知识融合:在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等,达到数据、信息、方法、经验等知识的融合,形成高质量知识库实体对齐(Entity Alignment):消除异构数据中的实体冲突、指向不明等不一致性问题;知识加工:对知识统一管理,形成大规模的知识体系本体构建:以形式化方式明确定义概念之间的联系;质量评估:计算知识的置信度,提高知识的质量。知识更新:不断迭代更新,扩展现有知识,增加新的知识4.知识推理:在已有的知识库基础上挖掘隐含的知识

AI Agent系列(二):Brain模块探究

第二种知识类型是外置知识,它由外部数据库提供,与内置知识相比,其特点是能够进行动态更新和调整。当我们深入探讨外置知识时,通常会涉及到多种数据存储和组织方式,包括向量数据库、关系型数据库,以及知识图谱。这些数据库和图谱构成了智能体的知识库,它们可以是:向量数据库:优化了向量检索操作,常用于处理和索引非结构化数据,如图像和文本。关系型数据库:通过表格形式存储结构化数据,支持复杂的查询,适用于事务性数据存储。知识图谱:以图的形式组织数据,强调实体之间的关系,适合于复杂的语义分析和知识推理。在实际应用中,外置知识的集成和管理常常采用RAG(Retrieval-Augmented Generation)架构。RAG架构是一种结合了检索(Retrieval)和生成(Generation)的模型,它通过检索外部知识源来增强模型的生成能力。这种架构允许智能体在生成响应或执行任务时,不仅依赖于内置知识,还能够实时地检索和整合最新的外部信息。

知识表示和专家系统

符号人工智能的一个重要概念是知识(knowledge)。必须将知识与信息(information)或数据(data)区分开来。例如,我们可以说书籍包含了知识,因为我们可以通过阅读书籍成为专家。然而,书籍所包含的内容实际上被称为数据,通过阅读书籍将这些数据整合进我们的世界模型中,我们就将这些数据转换成了知识。✅知识是存在于我们脑海中的东西,代表着我们对世界的理解。知识是通过活跃的学习过程获得的,它将我们接收到的信息碎片整合到我们对世界的活跃模型中。在大多数情况下,我们并不严格定义知识,而是使用[DIKW金字塔](https://en.wikipedia.org/wiki/DIKW_pyramid)将知识与其他相关概念进行整合。该金字塔包含以下概念:数据(Data)是以书面文字或口头语言等物理介质表示的东西。数据独立于人类而存在,可以在人与人之间传递。信息(Information)我们在头脑中解释数据的方式。例如,当我们听到“计算机”这个词时,会对它有一定的了解。知识(Knowledge)融入我们世界模型的信息。例如,一旦我们知道了计算机是什么,我们就会开始对它的工作原理、价格以及用途有一些概念。这个相互关联的概念网络构成了我们的知识。智慧(Wisdom)是我们理解世界的更高一个层次,它象征着元知识(meta-knowledge),例如关于如何以及何时使用知识的一些概念。因此,知识表示的问题是找到某种有效的方法,以数据的形式在计算机中表示知识,使其能够自动化使用。这可以看作是一个连续谱:在左侧,有几种非常简单的知识表示可以被计算机有效利用。最简单的是算法,即用计算机程序来表示知识。然而,这并不是表示知识的最佳方式,因为它并不灵活。我们头脑中的知识往往是非算法性的。右边是自然语言等知识表示方式。它的功能最强大,但不能用于自动化推理。✅想一想,你是如何在头脑中呈现知识并将其转化为笔记的。是否有一种特定的格式对你来说非常有效,有助于记忆?

其他人在问
如何用ai工具构建某一课程的知识图谱
以下是用 AI 工具构建某一课程知识图谱的方法: 一键知识图谱方法: 用 kimichat 让 AI 拆解这本书的三级章节并按照 Markdown 产出内容: Prompt:帮我拆解《爱的五种语言》,生成全书内容的思维导图,要求每个章节后面有三级展开,下一级是主要知识点,下下一级是知识点的论述。先输出对应的 Markdown。 访问地址: 复制 AI 内容粘贴到在线思维导图 Markmap 中,一键生成思维导图,还可以自定义微调内容,并免费导出图片: 访问地址: 推导知识图谱方法(可以参考下面 prompt 自己构建): 问题生成:使用大模型帮助生成一系列相关的、深入的问题。 探索性学习:将每个问题作为一个学习起点,利用 AI 搜索引擎和大模型进行深入探索。 知识图谱构建:随着学习的深入,使用大模型帮助构建和扩展知识图谱。 创造性应用:基于新获得的知识,尝试解决原问题或创造新的作品。 反思与迭代:定期反思学习过程,调整方向,并生成新的问题,形成持续学习和创作的循环。 此外,利用 AI 写课题的步骤和建议如下: 1. 确定课题主题:明确研究兴趣和目标,选择具有研究价值和创新性的主题。 2. 收集背景资料:使用 AI 工具如学术搜索引擎和文献管理软件搜集相关研究文献和资料。 3. 分析和总结信息:利用 AI 文本分析工具分析收集到的资料,提取关键信息和主要观点。 4. 生成大纲:使用 AI 写作助手生成课题大纲,包括引言、文献综述、方法论、结果和讨论等部分。 5. 撰写文献综述:利用 AI 工具帮助撰写文献综述部分,确保内容准确完整。 6. 构建方法论:根据研究需求,利用 AI 建议的方法和技术设计研究方法。 7. 数据分析:若课题涉及数据收集和分析,使用 AI 数据分析工具处理和解释数据。 8. 撰写和编辑:利用 AI 写作工具撰写课题各部分,并进行语法和风格检查。 9. 生成参考文献:使用 AI 文献管理工具生成正确的参考文献格式。 10. 审阅和修改:利用 AI 审阅工具检查课题逻辑性和一致性,并根据反馈修改。 11. 提交前的检查:最后,使用 AI 抄袭检测工具确保课题原创性,并进行最后的格式调整。 需要注意的是,AI 工具可作为辅助,但不能完全替代研究者的专业判断和创造性思维。在使用 AI 进行课题写作时,应保持批判性思维,并确保研究的质量和学术诚信。
2024-11-03
知识图谱
知识图谱: 知识图谱是一种揭示实体之间关系的语义网络,能够对现实世界的事物及其相互关系进行形式化描述。它于 2012 年 5 月 17 日由 Google 正式提出,初衷是提高搜索引擎能力,增强用户搜索质量和体验,实现从网页链接到概念链接的转变,支持按主题检索和语义检索。 关键技术包括: 1. 知识抽取: 实体抽取:通过命名实体识别从数据源中自动识别命名实体。 关系抽取:从数据源中提取实体之间的关联关系,形成网状知识结构。 属性抽取:从数据源中采集特定实体的属性信息。 2. 知识表示:包括属性图、三元组等。 3. 知识融合:在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等,实现数据、信息、方法、经验等知识的融合,形成高质量知识库。其中涉及实体对齐以消除不一致性问题,知识加工对知识统一管理,本体构建明确定义概念联系,质量评估计算知识置信度,知识更新迭代扩展现有知识。 4. 知识推理:在已有知识库基础上挖掘隐含知识。 在 AI Agent 系列中,外置知识包括知识图谱,它以图的形式组织数据,强调实体之间的关系,适合复杂的语义分析和知识推理。外置知识通常由外部数据库提供,能动态更新和调整,在实际应用中常采用 RAG 架构,结合检索和生成,通过检索外部知识源增强模型生成能力。 知识表示方面,知识是存在于我们脑海中、代表对世界理解的东西,通过活跃学习过程获得,将接收到的信息碎片整合到对世界的活跃模型中。知识与信息、数据等概念不同,在 DIKW 金字塔中,数据独立存在可传递,信息是头脑中解释数据的方式,知识是融入世界模型的信息,智慧是更高层次的元知识。知识表示的问题是找到在计算机中以数据形式有效表示知识并能自动化使用的方法,这是一个连续谱,简单的知识表示如算法不够灵活,自然语言功能强大但不利于自动化推理。
2024-11-03
帮我生成一个 AI 写作领域的产业图谱,只关注应用层,按照产品的类别来分类和举例
以下是 AI 写作领域应用层的产业图谱分类及举例: |序号|产品|主题|使用技术|市场规模|一句话介绍| ||||||| |1|Grammarly、秘塔写作猫|AI 智能写作助手|自然语言处理|数十亿美元|利用 AI 技术辅助用户进行高质量写作。| |2|阿里小蜜等电商客服|AI 智能客服外包服务|自然语言处理、机器学习|数十亿美元|为企业提供智能客服解决方案。|
2024-10-28
帮我生成一个 AI 写作领域的产业图谱
AI 写作领域的产业图谱大致可分为上游、中游和下游三个部分: 上游是基础设施层,包括数据与算力。 中游是技术层,涵盖模型与算法。 下游是应用层,涉及应用与分发。 对于这上中下游分别有哪些值得重点关注的企业(或产品),经过大量的信息收集和汇总工作,并结合几家知名咨询机构的文档,绘制了相关图谱。但由于避免广告嫌疑,在此不展开对各家公司/平台(或产品)的详细说明。此图绘制于 2024 年 5 月,如果有不了解不认识的公司/平台(或产品),建议您搜索了解。
2024-10-28
请提供知识图谱的工具
以下为您提供一些知识图谱的工具: SmartBot:这是一款能够帮助使用者快速提升认知并帮助建立起知识图谱的工具。用户可以提供一个问题或者指定一个领域,它会引导并带领用户进行深度分析,最终辅助用户建立知识图谱。您可以通过了解更多。 知识图谱的关键技术包括: 1. 知识抽取: 实体抽取:通过命名实体识别从数据源中自动识别命名实体。 关系抽取:从数据源中提取实体之间的关联关系,形成网状知识结构。 属性抽取:从数据源中采集特定实体的属性信息。 2. 知识表示:包括属性图、三元组等。 3. 知识融合: 实体对齐:消除异构数据中的实体冲突、指向不明等不一致性问题。 知识加工:对知识统一管理,形成大规模的知识体系。 本体构建:以形式化方式明确定义概念之间的联系。 质量评估:计算知识的置信度,提高知识质量。 知识更新:不断迭代更新,扩展现有知识,增加新知识。 4. 知识推理:在已有的知识库基础上挖掘隐含的知识。
2024-10-05
知识图谱的生成
知识图谱是一种揭示实体之间关系的语义网络,能够对现实世界的事物及其相互关系进行形式化描述。它于 2012 年 5 月 17 日由 Google 正式提出,初衷是提高搜索引擎的能力,增强用户的搜索质量和体验,实现从网页链接到概念链接的转变,支持主题检索和语义检索。 知识图谱的关键技术包括: 1. 知识抽取:通过自动化技术抽取可用的知识单元,如实体抽取(命名实体识别)、关系抽取、属性抽取。 2. 知识表示:包括属性图、三元组等。 3. 知识融合:在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等,包括实体对齐、知识加工、本体构建、质量评估、知识更新,以形成高质量知识库。 4. 知识推理:在已有知识库基础上挖掘隐含知识。 此外,smartBot 存在两种典型的应用场景: 1. 辅助使用者对某个行业/领域/问题进行深度解读和分析,并建立系统性的认知过程。 2. 根据预设流程,自动化形成对某个专业方向/领域/行业的系统化知识图谱。 在企业中建构人工智能的主要技术包括非监督学习(最著名的是聚类)、迁移学习(任务 A 中学习的内容可用于帮助完成任务 B)、强化学习(根据输出好坏给予奖励或惩罚)、生成对抗网络(由生成器和判别器构成,不断训练和竞争以生成真实数据)。知识图谱在搜索时可展示相关信息,如人物的生日、年纪等,酒店知识图谱能包含大量信息方便人们查找。
2024-10-05
本群怎么实现的调用知识库
要实现本群对知识库的调用,可以通过以下两种方式: 1. 在 Bot 内使用知识库: 登录。 在左侧导航栏的工作区区域,选择进入指定团队。 在 Bots 页面,选择指定 Bot 并进入 Bot 详情页。 在 Bot 编排页面的知识库区域,单击加号图标,添加指定的知识库。 (可选)添加知识库后,可以在自动调用下拉界面内,调整知识库的配置项。配置项说明如下: 最大召回数量:Bot 在调用知识库匹配用户输入内容时,返回的数据片段数量,数值越大返回的内容越多。 最小匹配度:Bot 在调用知识库匹配用户输入内容时,会将达到匹配度要求的数据片段进行召回。如果数据片段未达到最小匹配度,则不会被召回。 调用方式:知识库的调用方式。自动调用:每轮对话将自动从所有关联的知识库中匹配数据并召回;按需调用:您需要在人设与回复逻辑中提示 Bot 调用 RecallKnowledge 方法,以约束 Bot 在指定时机从知识库内匹配数据。 (可选)在预览与调试区域调试 Bot 能力时,扩展运行完毕的内容可以查看知识库命中并召回的分片内容。 2. 在工作流内使用 Knowledge 节点: 登录。 在左侧导航栏的工作区区域,选择进入指定团队。 在页面顶部进入工作流页面,并打开指定的工作流。 在左侧基础节点列表内,选择添加 Knowledge 节点。
2024-11-21
AI知识库有什么
AI 知识库主要包括以下内容: 通往 AGI 之路:这是一个由开发者、学者和有志人士等参与的学习社区和开源的 AI 知识库。在这里,用户既是知识的消费者,也是知识的创作者。它不仅是一个知识库,还是连接学习者、实践者和创新者的社区,让大家在这里碰撞思想,相互鼓舞,一同成长。 特点: 由一群热爱 AI 的专家和爱好者共同建设。 大家贡献并整合各种 AI 资源,使大家可以轻松学习各种 AI 知识,应用各类 AI 工具和实战案例等。 提供一系列开箱即用的工具,如文生图、文生视频、文生语音等详尽的教程。 追踪 AI 领域最新的进展,时刻更新,让用户每次访问都能有新的收获。 链接: https://waytoagi.com/ 即刻体验:https://waytoagi.com/ 此外,还有关于 Coze 的知识库相关内容,如大圣撰写的文章,帮助非编程人士理解 AI 时代的知识库,包括其概念、实现原理、能力边界,以及在通往 AGI 之路大群中通过对话获取知识库中资料的原理,还有如何更好地使用 Coze 等 AI Agent 平台中的知识库组件来打造更加强大的智能体。
2024-11-21
如何将知识库里的文件进行分类清晰数据,使其变得更加智能化
以下是关于如何将知识库里的文件进行分类清晰数据,使其变得更加智能化的方法: 1. 在线知识库 点击创建知识库,创建一个画小二课程的 FAQ 知识库。 飞书在线文档中每个问题和答案以分割,可点击编辑修改和删除。 点击添加 Bot,并在调试区测试效果。 2. 本地文档 注意拆分内容,提高训练数据准确度,将海报的内容训练到知识库里面。 对于画小二这个课程,80 节课程分为 11 个章节,不能一股脑全部放进去训练。 首先将 11 章的大的章节名称内容放进来,章节内详细内容依次按固定方式进行人工标注和处理。 然后选择创建知识库自定义清洗数据。 3. 发布应用 点击发布,确保在 Bot 商店中能够搜到。 4. 飞书知识库 在飞书里面选择对应的文件夹,一次最多智能选择 20 个文件(若文件大于 20 个可多建几个知识库)。 可以选择自动进行数据清洗,数据清洗是把数据进行类结构化整理,内容中的图片资料也会保留。 测试对话,基本反馈正常,目前 coze 存在不稳定版本,需要不断调试完善。 5. Excel 知识库 可以增加其他形式的知识库。 上传表格的知识库不要过于复杂,不要有合并表格情况,同时系统不认不同的 Sheet。 数据处理完成会显示 100%进度,加工出来的数据,点击添加 Bot,就增加到知识库中,然后测试发布和返回。 6. 网页知识库 有自动采集和手动采集两种方式,手动采集需要安装插件,操作稍微有点小复杂。 选择批量添加,写入画小二官网的地址,可根据需求添加自己的网站。 将网站所有的页面都扫描出来,点击确认,将全站数据解析并保存到知识库里面,按照默认自动清洗数据。 7. 创建知识库并上传文本内容 本地文档:在文本格式页签下,选择本地文档,然后单击下一步。将要上传的文档拖拽到上传区,或单击上传区域选择要上传的文档。目前支持上传.txt、.pdf、.docx 格式的文件内容,每个文件不得大于 20M,一次最多可上传 10 个文件。当上传完成后单击下一步。选择内容分段方式,包括自动分段与清洗(系统会对上传的文件数据进行自动分段,并会按照系统默认的预处理规则处理数据)和自定义(手动设置分段规则和预处理规则,包括分段标识符、分段最大长度、文本预处理规则,如替换掉连续的空格、换行符和制表符,删除所有 URL 和电子邮箱地址)。单击下一步完成内容上传和分片。
2024-11-21
如何做好中国市场的知识库可以让ai学习并给出详细的三年计划
很抱歉,目前知识库中没有关于如何做好中国市场的知识库让 AI 学习并给出详细三年计划的相关内容。但一般来说,要做好这个计划,您可以从以下几个方面考虑: 1. 市场调研:深入了解中国市场的特点、需求、竞争态势等,为 AI 提供丰富准确的数据。 2. 数据整理:将收集到的市场信息进行分类、清洗和标注,以便 AI 能够有效学习。 3. 设定目标:明确三年中在市场份额、客户满意度、品牌知名度等方面的具体目标。 4. 阶段规划:第一年着重基础建设,如数据积累和模型训练;第二年优化模型,拓展应用场景;第三年实现规模化应用和持续优化。 5. 技术支持:确保有足够的技术团队来维护和更新 AI 系统。 6. 反馈机制:建立有效的反馈渠道,根据市场变化和用户反馈及时调整 AI 的学习方向。 以上只是一个初步的框架,您还需要根据具体的行业和市场情况进行进一步的细化和完善。
2024-11-20
你现在是一个学习AI 方面的小白,你下定决心要去学习AI的相关知识。你应该从哪入手
对于决心学习 AI 相关知识的新手,建议从以下方面入手: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括其主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,比如图像、音乐、视频等,可以根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习之后,实践是巩固知识的关键,尝试使用各种产品做出自己的作品。 在知识库提供了很多大家实践后的作品、文章分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式。 对于不会代码的新手,若希望继续精进 AI 学习,可以尝试了解以下作为基础的内容: 1. AI 背景知识: 基础理论:了解人工智能、机器学习、深度学习的定义及其之间的关系。 历史发展:简要回顾 AI 的发展历程和重要里程碑。 2. 数学基础: 统计学基础:熟悉均值、中位数、方差等统计概念。 线性代数:了解向量、矩阵等线性代数基本概念。 概率论:基础的概率论知识,如条件概率、贝叶斯定理。 3. 算法和模型: 监督学习:了解常用算法,如线性回归、决策树、支持向量机(SVM)。 无监督学习:熟悉聚类、降维等算法。 强化学习:简介强化学习的基本概念。 4. 评估和调优: 性能评估:了解如何评估模型性能,包括交叉验证、精确度、召回率等。 模型调优:学习如何使用网格搜索等技术优化模型参数。 5. 神经网络基础: 网络结构:理解神经网络的基本结构,包括前馈网络、卷积神经网络(CNN)、循环神经网络(RNN)。 激活函数:了解常用的激活函数,如 ReLU、Sigmoid、Tanh。 对于中学生学习 AI,建议如下: 1. 从编程语言入手学习: 可以从 Python、JavaScript 等编程语言开始学习,学习编程语法、数据结构、算法等基础知识,为后续的 AI 学习打下基础。 2. 尝试使用 AI 工具和平台: 可以使用 ChatGPT、Midjourney 等 AI 生成工具,体验 AI 的应用场景。 探索一些面向中学生的 AI 教育平台,如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识: 了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等。 学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目: 参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。 尝试利用 AI 技术解决生活中的实际问题,培养动手能力。 5. 关注 AI 发展的前沿动态: 关注 AI 领域的权威媒体和学者,了解 AI 技术的最新进展。 思考 AI 技术对未来社会的影响,培养对 AI 的思考和判断能力。 总之,中学生可以从编程基础、工具体验、知识学习、实践项目等多个方面入手,全面系统地学习 AI 知识和技能,为未来的 AI 发展做好准备。但需注意,以上内容由 AI 大模型生成,请仔细甄别。
2024-11-19
如何组建自己的本地知识库
以下是组建自己本地知识库的详细步骤: 一、了解 RAG 技术 因为利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用,所以在进行本地知识库的搭建实操之前,需要先对 RAG 有大概的了解。 RAG 是指检索增强生成(Retrieval Augmented Generation)。当需要依靠不包含在大模型训练集中的数据时,通过检索外部数据,然后在生成步骤中将这些数据传递给 LLM。 RAG 应用可抽象为以下 5 个过程: 1. 文档加载(Document Loading):从多种不同来源加载文档,如 PDF 等非结构化数据、SQL 等结构化数据以及 Python、Java 之类的代码等。 2. 文本分割(Splitting):把 Documents 切分为指定大小的块,称为“文档块”或“文档片”。 3. 存储: 将切分好的文档块进行嵌入(Embedding)转换成向量的形式。 将 Embedding 后的向量数据存储到向量数据库。 4. 检索:通过某种检索算法找到与输入问题相似的嵌入片。 5. Output(输出):把问题以及检索出来的嵌入片一起提交给 LLM,LLM 会通过问题和检索出来的提示一起生成更加合理的答案。 二、通过 Open WebUI 使用大模型 1. 首先访问相关网址。打开页面时,使用邮箱注册账号。 2. 登陆成功后,Open WebUI 一般有两种使用方式: 聊天对话。 RAG 能力,即让模型根据文档内容回答问题,这是构建知识库的基础之一。 三、本地知识库进阶 如果想要对知识库进行更加灵活的掌控,需要一个额外的软件:AnythingLLM。这个软件包含了所有 Open WebUI 的能力,并且额外支持了以下能力: 1. 选择文本嵌入模型。 2. 选择向量数据库。 安装地址:https://useanything.com/download 。安装完成后,会进入到其配置页面,主要分为三步: 1. 第一步:选择大模型。 2. 第二步:选择文本嵌入模型。 3. 第三步:选择向量数据库。 构建本地知识库: 1. 在 AnythingLLM 中创建自己独有的 Workspace 跟其他的项目数据进行隔离。 2. 首先创建一个工作空间。 3. 上传文档并且在工作空间中进行文本嵌入。 4. 选择对话模式。AnythingLLM 提供了两种对话模式: Chat 模式:大模型会根据自己的训练数据和上传的文档数据综合给出答案。 Query 模式:大模型仅仅会依靠文档中的数据给出答案。 5. 测试对话。当上述配置完成之后,就可以跟大模型进行对话了。 最后,送给大家一句话:看十遍不如实操一遍,实操十遍不如分享一遍。如果对 AI Agent 技术感兴趣,可以联系作者或者加免费知识星球(备注 AGI 知识库)。
2024-11-19