Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

知识图谱

Answer

知识图谱: 知识图谱是一种揭示实体之间关系的语义网络,能够对现实世界的事物及其相互关系进行形式化描述。它于 2012 年 5 月 17 日由 Google 正式提出,初衷是提高搜索引擎能力,增强用户搜索质量和体验,实现从网页链接到概念链接的转变,支持按主题检索和语义检索。 关键技术包括:

  1. 知识抽取:通过自动化技术抽取可用的知识单元,包含实体抽取(命名实体识别)、关系抽取、属性抽取。
  2. 知识表示:如属性图、三元组。
  3. 知识融合:在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等,包括实体对齐、知识加工、本体构建、质量评估、知识更新,以形成高质量知识库。
  4. 知识推理:在已有知识库基础上挖掘隐含知识。

外置知识: 外置知识由外部数据库提供,能够动态更新和调整。涉及多种数据存储和组织方式,包括向量数据库、关系型数据库和知识图谱。向量数据库优化了向量检索操作,常用于处理和索引非结构化数据;关系型数据库通过表格形式存储结构化数据,支持复杂查询,适用于事务性数据存储;知识图谱以图的形式组织数据,强调实体之间的关系,适合复杂的语义分析和知识推理。在实际应用中,外置知识的集成和管理常采用 RAG 架构,它结合了检索和生成,通过检索外部知识源增强模型的生成能力。

知识表示: 知识是存在于我们脑海中、代表对世界理解的东西,通过活跃的学习过程从接收到的信息碎片整合而来。要区分知识与信息、数据,例如书籍内容实际是数据,我们阅读后转化为知识。通常用 DIKW 金字塔整合知识与其他相关概念,包含数据、信息、知识、智慧。知识表示的问题是找到以数据形式在计算机中表示知识并能自动化使用的有效方法,这是一个连续谱,左侧有简单但不灵活的表示方式如算法,右侧有功能强大但不适合自动化推理的自然语言等方式。

Content generated by AI large model, please carefully verify (powered by aily)

References

知识图谱

1.知识抽取:通过自动化的技术抽取出可用的知识单元实体抽取:命名实体识别(Named Entity Recognition,NER)从数据源中自动识别命名实体;关系抽取(Relation Extraction):从数据源中提取实体之间的关联关系,形成网状的知识结构;属性抽取:从数据源中采集特定实体的属性信息。2.知识表示属性图三元组3.知识融合:在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等,达到数据、信息、方法、经验等知识的融合,形成高质量知识库实体对齐(Entity Alignment):消除异构数据中的实体冲突、指向不明等不一致性问题;知识加工:对知识统一管理,形成大规模的知识体系本体构建:以形式化方式明确定义概念之间的联系;质量评估:计算知识的置信度,提高知识的质量。知识更新:不断迭代更新,扩展现有知识,增加新的知识4.知识推理:在已有的知识库基础上挖掘隐含的知识

AI Agent系列(二):Brain模块探究

第二种知识类型是外置知识,它由外部数据库提供,与内置知识相比,其特点是能够进行动态更新和调整。当我们深入探讨外置知识时,通常会涉及到多种数据存储和组织方式,包括向量数据库、关系型数据库,以及知识图谱。这些数据库和图谱构成了智能体的知识库,它们可以是:向量数据库:优化了向量检索操作,常用于处理和索引非结构化数据,如图像和文本。关系型数据库:通过表格形式存储结构化数据,支持复杂的查询,适用于事务性数据存储。知识图谱:以图的形式组织数据,强调实体之间的关系,适合于复杂的语义分析和知识推理。在实际应用中,外置知识的集成和管理常常采用RAG(Retrieval-Augmented Generation)架构。RAG架构是一种结合了检索(Retrieval)和生成(Generation)的模型,它通过检索外部知识源来增强模型的生成能力。这种架构允许智能体在生成响应或执行任务时,不仅依赖于内置知识,还能够实时地检索和整合最新的外部信息。

知识表示和专家系统

符号人工智能的一个重要概念是知识(knowledge)。必须将知识与信息(information)或数据(data)区分开来。例如,我们可以说书籍包含了知识,因为我们可以通过阅读书籍成为专家。然而,书籍所包含的内容实际上被称为数据,通过阅读书籍将这些数据整合进我们的世界模型中,我们就将这些数据转换成了知识。✅知识是存在于我们脑海中的东西,代表着我们对世界的理解。知识是通过活跃的学习过程获得的,它将我们接收到的信息碎片整合到我们对世界的活跃模型中。在大多数情况下,我们并不严格定义知识,而是使用[DIKW金字塔](https://en.wikipedia.org/wiki/DIKW_pyramid)将知识与其他相关概念进行整合。该金字塔包含以下概念:数据(Data)是以书面文字或口头语言等物理介质表示的东西。数据独立于人类而存在,可以在人与人之间传递。信息(Information)我们在头脑中解释数据的方式。例如,当我们听到“计算机”这个词时,会对它有一定的了解。知识(Knowledge)融入我们世界模型的信息。例如,一旦我们知道了计算机是什么,我们就会开始对它的工作原理、价格以及用途有一些概念。这个相互关联的概念网络构成了我们的知识。智慧(Wisdom)是我们理解世界的更高一个层次,它象征着元知识(meta-knowledge),例如关于如何以及何时使用知识的一些概念。因此,知识表示的问题是找到某种有效的方法,以数据的形式在计算机中表示知识,使其能够自动化使用。这可以看作是一个连续谱:在左侧,有几种非常简单的知识表示可以被计算机有效利用。最简单的是算法,即用计算机程序来表示知识。然而,这并不是表示知识的最佳方式,因为它并不灵活。我们头脑中的知识往往是非算法性的。右边是自然语言等知识表示方式。它的功能最强大,但不能用于自动化推理。✅想一想,你是如何在头脑中呈现知识并将其转化为笔记的。是否有一种特定的格式对你来说非常有效,有助于记忆?

Others are asking
学习大模型请给我一张知识图谱
以下是为您提供的大模型知识图谱: 1. 非技术背景,一文读懂大模型 整体架构 基础层:为大模型提供硬件支撑,数据支持等,例如 A100、数据服务器等。 数据层:企业根据自身特性维护的垂域数据,分为静态的知识库和动态的三方数据集。 模型层:LLm 或多模态模型,LLm 即大语言模型,如 GPT,一般使用 transformer 算法实现;多模态模型包括文生图、图生图等,训练所用数据与 llm 不同,用的是图文或声音等多模态的数据集。 平台层:模型与应用间的平台部分,如大模型的评测体系,或者 langchain 平台等。 表现层:也就是应用层,用户实际看到的地方。 2. AI Agent 系列:Brain 模块探究 知识 内置知识 常识知识:包括日常生活中广泛认可的事实和逻辑规则,帮助智能体具备泛化能力。 专业知识:涉及深入特定领域的详细信息,如医学、法律、科技、艺术等领域的专有概念和操作方法。 语言知识:包括语法规则、句型结构、语境含义以及文化背景等,还涉及非文字部分如语调、停顿和强调等。 3. 大模型入门指南 通俗定义:输入大量语料,让计算机获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。 类比学习过程 找学校:训练 LLM 需要大量计算,GPU 更合适,只有购买得起大量 GPU 的才有资本训练大模型。 确定教材:大模型需要的数据量特别多,几千亿序列(Token)的输入基本是标配。 找老师:用算法讲述“书本”中的内容,让大模型能够更好理解 Token 之间的关系。 就业指导:为了让大模型能够更好胜任某一行业,需要进行微调(fine tuning)指导。 搬砖:就业指导完成后,进行如翻译、问答等工作,在大模型里称之为推导(infer)。 Token:被视为模型处理和生成的文本单位,可代表单个字符、单词、子单词等,在将输入进行分词时,会对其进行数字化,形成词汇表。
2025-04-07
RAG和知识图谱的结合,需要如何实现
要实现 RAG 和知识图谱的结合,可以参考以下步骤: 1. 数据加载:根据数据源的类型选择合适的数据加载器,如对于网页数据源,可使用 WebBaseLoader 利用 urllib 和 BeautifulSoup 加载和解析网页,获取文档对象。 2. 文本分割:依据文本特点选用合适的文本分割器,将文档对象分割成较小的文档对象。例如,对于博客文章,可使用 RecursiveCharacterTextSplitter 递归地用常见分隔符分割文本,直至每个文档对象大小符合要求。 3. 嵌入与存储:根据嵌入质量和速度选择合适的文本嵌入器和向量存储器,将文档对象转换为嵌入并存储。比如,可使用 OpenAI 的嵌入模型和 Chroma 的向量存储器,即 OpenAIEmbeddings 和 ChromaVectorStore。 4. 创建检索器:使用向量存储器检索器,传递向量存储器对象和文本嵌入器对象作为参数,创建用于根据用户输入检索相关文档对象的检索器。 5. 创建聊天模型:根据模型性能和成本选择合适的聊天模型,如使用 OpenAI 的 GPT3 模型,即 OpenAIChatModel,根据用户输入和检索到的文档对象生成输出消息。 此外,通用语言模型通过微调能完成常见任务,而对于更复杂和知识密集型任务,可基于语言模型构建系统并访问外部知识源。Meta AI 研究人员引入的 RAG 方法把信息检索组件和文本生成模型结合,能接受输入并检索相关文档,组合上下文和原始提示词送给文本生成器得到输出,适应事实变化,无需重新训练模型就能获取最新信息并产生可靠输出。Lewis 等人(2021)提出通用的 RAG 微调方法,使用预训练的 seq2seq 作为参数记忆,用维基百科的密集向量索引作为非参数记忆。
2025-03-28
知识图谱
知识图谱是一种揭示实体之间关系的语义网络,能够对现实世界的事物及其相互关系进行形式化描述。它于 2012 年 5 月 17 日由 Google 正式提出,初衷是提高搜索引擎能力,增强用户搜索质量和体验,实现从网页链接到概念链接的转变,支持按主题检索和语义检索。 知识图谱的关键技术包括: 1. 知识抽取: 实体抽取:通过命名实体识别从数据源中自动识别命名实体。 关系抽取:从数据源中提取实体之间的关联关系,形成网状知识结构。 属性抽取:从数据源中采集特定实体的属性信息。 2. 知识表示:包括属性图、三元组等。 3. 知识融合: 实体对齐:消除异构数据中的实体冲突、指向不明等不一致性问题。 知识加工:对知识统一管理,形成大规模知识体系。 本体构建:以形式化方式明确定义概念之间的联系。 质量评估:计算知识的置信度,提高知识质量。 知识更新:不断迭代更新,扩展现有知识,增加新知识。 4. 知识推理:在已有的知识库基础上挖掘隐含的知识。 在国家人工智能产业综合标准化体系建设指南中,知识图谱标准规范了知识图谱的描述、构建、运维、共享、管理和应用,包括知识表示与建模、知识获取与存储、知识融合与可视化、知识计算与管理、知识图谱质量评价与互联互通、知识图谱交付与应用、知识图谱系统架构与性能要求等标准。
2025-03-21
知识图谱产品
知识图谱(Knowledge Graph,KG)是一种揭示实体之间关系的语义网络,可以对现实世界的事物及其相互关系进行形式化地描述。 知识图谱于 2012 年 5 月 17 日被 Google 正式提出,其初衷是为了提高搜索引擎的能力,增强用户的搜索质量以及搜索体验。知识图谱可以将 Web 从网页链接转向概念链接,支持用户按照主题来检索,实现语义检索。 知识图谱的关键技术包括: 1. 知识抽取:通过自动化的技术抽取出可用的知识单元,包括实体抽取(命名实体识别(Named Entity Recognition,NER)从数据源中自动识别命名实体)、关系抽取(从数据源中提取实体之间的关联关系,形成网状的知识结构)、属性抽取(从数据源中采集特定实体的属性信息)。 2. 知识表示:属性图、三元组。 3. 知识融合:在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等,达到数据、信息、方法、经验等知识的融合,形成高质量知识库。包括实体对齐(消除异构数据中的实体冲突、指向不明等不一致性问题)、知识加工(对知识统一管理,形成大规模的知识体系)、本体构建(以形式化方式明确定义概念之间的联系)、质量评估(计算知识的置信度,提高知识的质量)、知识更新(不断迭代更新,扩展现有知识,增加新的知识)。 4. 知识推理:在已有的知识库基础上挖掘隐含的知识。
2025-03-21
知识图谱
知识图谱是一种揭示实体之间关系的语义网络,可以对现实世界的事物及其相互关系进行形式化地描述。它于 2012 年 5 月 17 日由 Google 正式提出,初衷是提高搜索引擎的能力,增强用户的搜索质量和体验,实现从网页链接到概念链接的转变,支持按主题检索和语义检索。 知识图谱的关键技术包括: 1. 知识抽取: 实体抽取:通过命名实体识别从数据源中自动识别命名实体。 关系抽取:从数据源中提取实体之间的关联关系,形成网状知识结构。 属性抽取:从数据源中采集特定实体的属性信息。 2. 知识表示:包括属性图和三元组。 3. 知识融合: 实体对齐:消除异构数据中的实体冲突、指向不明等不一致性问题。 知识加工:对知识统一管理,形成大规模的知识体系。 本体构建:以形式化方式明确定义概念之间的联系。 质量评估:计算知识的置信度,提高知识质量。 知识更新:不断迭代更新,扩展现有知识,增加新知识。 4. 知识推理:在已有的知识库基础上挖掘隐含的知识。 在国家人工智能产业综合标准化体系建设指南中,知识图谱标准规范了知识图谱的描述、构建、运维、共享、管理和应用,包括知识表示与建模、知识获取与存储、知识融合与可视化、知识计算与管理、知识图谱质量评价与互联互通、知识图谱交付与应用、知识图谱系统架构与性能要求等标准。
2025-03-21
知识图谱构建
知识图谱是一种揭示实体之间关系的语义网络,能够对现实世界的事物及其相互关系进行形式化描述。它于 2012 年 5 月 17 日由 Google 正式提出,初衷是提高搜索引擎能力,增强用户搜索质量和体验,实现从网页链接到概念链接的转变,支持按主题检索和语义检索。 知识图谱构建的关键技术包括: 1. 知识抽取:通过自动化技术抽取可用的知识单元,如实体抽取(命名实体识别)、关系抽取(提取实体间关联关系)、属性抽取(采集特定实体的属性信息)。 2. 知识表示:包括属性图、三元组等。 3. 知识融合:在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等,包括实体对齐(消除实体冲突等不一致性问题)、知识加工(统一管理知识)、本体构建(明确定义概念联系)、质量评估(计算知识置信度)、知识更新(迭代扩展知识)。 4. 知识推理:在已有知识库基础上挖掘隐含知识。 在 LLM 落地思考方面,NLP 与知识图谱是主要的落地类型,但存在一些问题。如实现某个 NLP 任务时,需要大量人工标注和长时间训练,交付后较难新增意图和泛化任务,有时使用句式规则方式更好维护更新;构建知识图谱复杂,需与行业专家深度讨论,预见企业长远业务发展制定 schema,周期长且易与业务错位。而 LLM 出现后对 NLP、NLG、KG 有较大提升,带来更好更多的落地可能。 在以问题驱动的 AI+内容创作中,随着学习深入,可使用大模型帮助构建和扩展知识图谱。
2025-02-27
AI入门知识
以下是为您提供的 AI 入门知识: 1. 基础概念: 熟悉 AI 的术语和基础概念,了解人工智能及其主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 阅读入门文章,了解 AI 的历史、当前应用和未来发展趋势。 2. 学习途径: 参考「」中的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)按照自己的节奏学习,并争取获得证书。 3. 深入学习: 根据自身兴趣选择特定模块(如图像、音乐、视频等)深入学习。 掌握提示词技巧。 4. 实践巩固: 理论学习后进行实践,尝试使用各种产品创作作品。 分享实践后的作品和文章。 5. 体验产品: 与 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人互动,了解其工作原理和交互方式,获得实际应用体验。 同时,还需要了解以下基础内容: 1. AI 背景知识: 基础理论:了解人工智能、机器学习、深度学习的定义及其之间的关系。 历史发展:简要回顾 AI 的发展历程和重要里程碑。 2. 数学基础: 统计学基础:熟悉均值、中位数、方差等统计概念。 线性代数:了解向量、矩阵等线性代数基本概念。 概率论:基础的概率论知识,如条件概率、贝叶斯定理。 3. 算法和模型: 监督学习:了解常用算法,如线性回归、决策树、支持向量机(SVM)。 无监督学习:熟悉聚类、降维等算法。 强化学习:简介强化学习的基本概念。 4. 评估和调优: 性能评估:了解如何评估模型性能,包括交叉验证、精确度、召回率等。 模型调优:学习如何使用网格搜索等技术优化模型参数。 5. 神经网络基础: 网络结构:理解神经网络的基本结构,包括前馈网络、卷积神经网络(CNN)、循环神经网络(RNN)。 激活函数:了解常用的激活函数,如 ReLU、Sigmoid、Tanh。
2025-04-08
如何建立知识库
以下是建立知识库的详细步骤: 1. 选择“Manage Your Knowledge Base”,进入知识库管理页面。 2. 在页面左上角点击加号,添加新的知识库。 3. 给知识库起一个易于分辨的名字。 4. 点击添加文件,建议使用 Markdown 格式的文件。 5. 等待 Flowith 对文件进行抽取等处理。 6. 处理完毕后,可在知识库管理页面测试检索。 另外,还可以通过以下方式创建知识库并上传表格数据: 1. 在页面顶部进入知识库页面,单击创建知识库。 2. 在弹出的页面配置知识库名称、描述,单击确认(团队内知识库名称需唯一)。 3. 在单元页面,单击新增单元。 4. 在弹出的页面,选择表格格式,然后选择本地文件或 API 的方式完成数据上传。 在 Coze 中创建知识库: 1. 来到个人空间,找到知识库导航栏,点击创建知识库。 2. 选择知识库的格式(目前支持文档、表格、图片),填写相关信息。 3. 可选择本地文档、自定义的文档切割等。 4. 数据处理完成后,一个问答对会被切割成一个文档片。 关于使用知识库,可参考教程:
2025-04-08
知识库
以下是关于知识库的相关内容: 在 Coze 中配置知识库: 创建好知识库后,可在智能体中进行配置。在 Coze 主页的个人空间>项目开发中,打开需添加知识库的智能体,能选择配置“文本”、“表格”、“照片”三种知识库。以配置文本知识库为例,点击加号选择提前创建好的知识库进行添加。之后配置提示词让智能体自动使用知识库回答问题,可点击右上角“优化”自动优化提示词以获得更好结果,最后在“预览与调试”中测试智能体是否正常调用知识库。 智能体创建中的知识库: 本次创建知识库可使用手动清洗数据,手动清洗数据能提高数据准确性。如创建画小二课程的 FAQ 知识库,飞书在线文档中每个问题和答案以分割。对于本地 word 文件,要注意合理拆分内容以提高训练数据准确度,每个章节按固定方式人工标注和处理。创建完成后可点击发布,确保在 Bot 商店中能搜到。 知识库概述: 扣子提供了几种存储和记忆外部数据的方式,使 Bot 能精准回复用户。知识库是大量知识分片,通过语义匹配为模型补充知识,如车型数据中每个知识库分段保存一种车型基础数据。同时还介绍了数据库、AI 便签、单词本等相关内容。
2025-04-08
从数据产品经理转行ai产品经理,需要补充哪些知识
从数据产品经理转行 AI 产品经理,您需要补充以下知识: 1. 思维链:谷歌在 2022 年的一篇论文提到,思维链能显著提升大语言模型在复杂推理方面的能力(即有推理步骤),即使不用小样本提示,也可在问题后面加一句“请你分步骤思考”。 2. RAG(检索增强生成):外部知识库切分成段落后转成向量,存在向量数据库。用户提问并查找到向量数据库后,段落信息会和原本的问题一块传给 AI,可搭建企业知识库和个人知识库。 3. PAL(程序辅助语言模型):2022 年一篇论文中提出,对于语言模型的计算问题,不让 AI 直接生成计算结果,而是借助如 Python 解释器等工具作为计算工具。 4. ReAct:2022 年一篇《React:在语言模型中协同推理与行动》的论文提出了 ReAct 框架,即 reason 与 action 结合,核心在于让模型动态推理并采取行动与外界环境互动。比如用搜索引擎对关键字进行搜索,观察行动得到的结果。可借助 LangChain 等框架简化构建流程。 个人总结:很多大佬表示要关注或直接阅读技术论文,像产品经理转型 AI 产品经理,需要懂技术脉络。但小白直接看技术论文有难度,虽可让 AI 辅助阅读,仍要完成一定知识储备。林粒粒呀的这期视频是很好的科普入门,值得一看。 此外,视频二提到了技术框架与关于未来的想象,比如 Transformer 是仿生算法的阶段性实现,10 年、20 年后可能不再使用。
2025-04-08
我想从零基础学习成为一名ai产品经理,我该学习哪些知识内容,请把这些知识内容做个排序。
以下是从零基础学习成为一名 AI 产品经理所需学习知识内容的排序: 1. 入门级: 通过 WaytoAGI 等开源网站或一些课程了解 AI 的概念。 使用 AI 产品并尝试动手实践应用搭建。 2. 研究级: 技术研究路径:对某一领域有认知,根据需求场景选择解决方案,利用 Hugging face 等工具手搓出一些 AI 应用来验证想法。 商业化研究路径:熟悉行业竞争格局与商业运营策略。 3. 落地应用: 有一些成功落地应用的案例,产生商业化价值。 同时,AI 产品经理还需要具备以下技能和知识: 1. 理解产品核心技术:了解基本的机器学习算法原理,有助于做出更合理的产品决策。 2. 与技术团队有效沟通:掌握一定的算法知识,减少信息不对称带来的误解。 3. 评估技术可行性:在产品规划阶段,能准确评估某些功能的技术可行性。 4. 把握产品发展方向:了解算法前沿,更好地把握产品的未来发展方向。 5. 提升产品竞争力:发现产品的独特优势,提出创新的产品特性。 6. 数据分析能力:掌握相关知识,提升数据分析能力。 此外,了解技术框架,对技术边界有认知,关注场景、痛点、价值也是很重要的。
2025-04-08
如何搜索知识库
以下是关于知识库搜索的相关信息: 知识库搜索网址:https://search.atomecho.cn/ Coze 中工作流配置知识库: 添加知识库:可同时添加多个知识库。 参数设置: 搜索策略:包括语义检索(像人类一样理解词与词、句与句之间的关系,适用于需要理解语义关联度和跨语言查询的场景)、全文检索(基于关键词进行,适用于特定名称、专有名词、术语、缩写词、ID 等场景)、混合检索(结合全文检索和语义检索的优势,并对结果进行综合排序召回相关内容片段)。 最大召回数量:选择从检索结果中返回给大模型使用的内容片段数量,数值越大,返回的越多。 最小匹配度:根据设置的匹配度选取要返回给大模型的内容片段,低于设定匹配度的内容不会被返回。 提示:最大召回数量和最小匹配度直接影响输出效果,需进行协调的多轮测试找出最优值。 认识大模型 Embedding 技术加实战中: Embedding 增强 GPT 的能力的过程包括搜索内部知识库检索相关文本、将检索到的文本内容部分发送给 GPT 大模型并向其提出问题。 具体操作步骤: 准备搜索数据(仅一次):搜集数据、切块、嵌入、存储(对于大型数据集的 Embedding 结果,可使用向量数据库保存)。 搜索(每次查询一次):给定用户问题,从 OpenAI API 生成查询的 embeddings,使用 embeddings 按照与查询相关性对文本部分进行排序,距离函数推荐使用余弦相似性。 提问(每次查询一次):将问题和最相关的部分插入到发送给 GPT 的消息中返回 GPT 的答案。 Embedding 的作用:搜索(结果按与查询字符串的相关性进行排名)、聚类(文本字符串按相似性分组)、建议(建议包含相关文本字符串的项目)、异常检测(识别出相关性很小的离群值)、多样性测量(分析相似性分布)、分类(文本字符串按其最相似的标签分类)。
2025-04-08