Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

知识图谱

Answer

知识图谱: 知识图谱是一种揭示实体之间关系的语义网络,能够对现实世界的事物及其相互关系进行形式化描述。它于 2012 年 5 月 17 日由 Google 正式提出,初衷是提高搜索引擎能力,增强用户搜索质量和体验,实现从网页链接到概念链接的转变,支持按主题检索和语义检索。 关键技术包括:

  1. 知识抽取:通过自动化技术抽取可用的知识单元,包含实体抽取(命名实体识别)、关系抽取、属性抽取。
  2. 知识表示:如属性图、三元组。
  3. 知识融合:在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等,包括实体对齐、知识加工、本体构建、质量评估、知识更新,以形成高质量知识库。
  4. 知识推理:在已有知识库基础上挖掘隐含知识。

外置知识: 外置知识由外部数据库提供,能够动态更新和调整。涉及多种数据存储和组织方式,包括向量数据库、关系型数据库和知识图谱。向量数据库优化了向量检索操作,常用于处理和索引非结构化数据;关系型数据库通过表格形式存储结构化数据,支持复杂查询,适用于事务性数据存储;知识图谱以图的形式组织数据,强调实体之间的关系,适合复杂的语义分析和知识推理。在实际应用中,外置知识的集成和管理常采用 RAG 架构,它结合了检索和生成,通过检索外部知识源增强模型的生成能力。

知识表示: 知识是存在于我们脑海中、代表对世界理解的东西,通过活跃的学习过程从接收到的信息碎片整合而来。要区分知识与信息、数据,例如书籍内容实际是数据,我们阅读后转化为知识。通常用 DIKW 金字塔整合知识与其他相关概念,包含数据、信息、知识、智慧。知识表示的问题是找到以数据形式在计算机中表示知识并能自动化使用的有效方法,这是一个连续谱,左侧有简单但不灵活的表示方式如算法,右侧有功能强大但不适合自动化推理的自然语言等方式。

Content generated by AI large model, please carefully verify (powered by aily)

References

知识图谱

1.知识抽取:通过自动化的技术抽取出可用的知识单元实体抽取:命名实体识别(Named Entity Recognition,NER)从数据源中自动识别命名实体;关系抽取(Relation Extraction):从数据源中提取实体之间的关联关系,形成网状的知识结构;属性抽取:从数据源中采集特定实体的属性信息。2.知识表示属性图三元组3.知识融合:在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等,达到数据、信息、方法、经验等知识的融合,形成高质量知识库实体对齐(Entity Alignment):消除异构数据中的实体冲突、指向不明等不一致性问题;知识加工:对知识统一管理,形成大规模的知识体系本体构建:以形式化方式明确定义概念之间的联系;质量评估:计算知识的置信度,提高知识的质量。知识更新:不断迭代更新,扩展现有知识,增加新的知识4.知识推理:在已有的知识库基础上挖掘隐含的知识

AI Agent系列(二):Brain模块探究

第二种知识类型是外置知识,它由外部数据库提供,与内置知识相比,其特点是能够进行动态更新和调整。当我们深入探讨外置知识时,通常会涉及到多种数据存储和组织方式,包括向量数据库、关系型数据库,以及知识图谱。这些数据库和图谱构成了智能体的知识库,它们可以是:向量数据库:优化了向量检索操作,常用于处理和索引非结构化数据,如图像和文本。关系型数据库:通过表格形式存储结构化数据,支持复杂的查询,适用于事务性数据存储。知识图谱:以图的形式组织数据,强调实体之间的关系,适合于复杂的语义分析和知识推理。在实际应用中,外置知识的集成和管理常常采用RAG(Retrieval-Augmented Generation)架构。RAG架构是一种结合了检索(Retrieval)和生成(Generation)的模型,它通过检索外部知识源来增强模型的生成能力。这种架构允许智能体在生成响应或执行任务时,不仅依赖于内置知识,还能够实时地检索和整合最新的外部信息。

知识表示和专家系统

符号人工智能的一个重要概念是知识(knowledge)。必须将知识与信息(information)或数据(data)区分开来。例如,我们可以说书籍包含了知识,因为我们可以通过阅读书籍成为专家。然而,书籍所包含的内容实际上被称为数据,通过阅读书籍将这些数据整合进我们的世界模型中,我们就将这些数据转换成了知识。✅知识是存在于我们脑海中的东西,代表着我们对世界的理解。知识是通过活跃的学习过程获得的,它将我们接收到的信息碎片整合到我们对世界的活跃模型中。在大多数情况下,我们并不严格定义知识,而是使用[DIKW金字塔](https://en.wikipedia.org/wiki/DIKW_pyramid)将知识与其他相关概念进行整合。该金字塔包含以下概念:数据(Data)是以书面文字或口头语言等物理介质表示的东西。数据独立于人类而存在,可以在人与人之间传递。信息(Information)我们在头脑中解释数据的方式。例如,当我们听到“计算机”这个词时,会对它有一定的了解。知识(Knowledge)融入我们世界模型的信息。例如,一旦我们知道了计算机是什么,我们就会开始对它的工作原理、价格以及用途有一些概念。这个相互关联的概念网络构成了我们的知识。智慧(Wisdom)是我们理解世界的更高一个层次,它象征着元知识(meta-knowledge),例如关于如何以及何时使用知识的一些概念。因此,知识表示的问题是找到某种有效的方法,以数据的形式在计算机中表示知识,使其能够自动化使用。这可以看作是一个连续谱:在左侧,有几种非常简单的知识表示可以被计算机有效利用。最简单的是算法,即用计算机程序来表示知识。然而,这并不是表示知识的最佳方式,因为它并不灵活。我们头脑中的知识往往是非算法性的。右边是自然语言等知识表示方式。它的功能最强大,但不能用于自动化推理。✅想一想,你是如何在头脑中呈现知识并将其转化为笔记的。是否有一种特定的格式对你来说非常有效,有助于记忆?

Others are asking
人工智能历史图谱
人工智能的历史可以追溯到二十世纪中叶。 起初,符号推理流行,带来了专家系统等重要进展,但因提取知识复杂、成本高等问题,20 世纪 70 年代出现“人工智能寒冬”。 随着计算资源便宜和数据增多,神经网络方法在计算机视觉、语音理解等领域展现出色性能,过去十年“人工智能”常被视为“神经网络”的同义词。 在国际象棋对弈程序方面,早期以搜索为基础,发展出阿尔法贝塔剪枝搜索算法,后来采用基于案例的推理,如今基于神经网络和强化学习,能从自身错误中学习,学习速度快于人类。 在创建“会说话的程序”方面,早期如 Eliza 基于简单语法规则,现代助手如 Cortana、Siri 等是混合系统,使用神经网络转换语音、识别意图,未来有望出现完整基于神经网络的模型处理对话,如 GPT 和 TuringNLG 系列神经网络取得成功。 近期神经网络研究在 2010 年左右有巨大发展,大型公共数据集出现,如 ImageNet 催生了相关挑战赛。2012 年卷积神经网络用于图像分类使错误率大幅下降,2015 年微软研究院的 ResNet 架构达到人类水平准确率,此后神经网络在图像分类、对话语音识别、自动化机器翻译、图像描述等任务中表现成功。 在过去几年,大型语言模型如 BERT 和 GPT3 取得巨大成功,得益于大量通用文本数据,可先预训练再针对具体任务专门化。
2024-12-25
知识图谱
知识图谱: 知识图谱是一种揭示实体之间关系的语义网络,能够对现实世界的事物及其相互关系进行形式化描述。它于 2012 年 5 月 17 日由 Google 正式提出,初衷是提高搜索引擎能力,增强用户搜索质量和体验,实现从网页链接到概念链接的转变,支持按主题检索和语义检索。 关键技术包括: 1. 知识抽取:通过自动化技术抽取可用的知识单元,包含实体抽取(命名实体识别)、关系抽取、属性抽取。 2. 知识表示:如属性图、三元组。 3. 知识融合:在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等,包括实体对齐、知识加工、本体构建、质量评估、知识更新,以形成高质量知识库。 4. 知识推理:在已有知识库基础上挖掘隐含知识。 在 AI Agent 系列中,外置知识包括向量数据库、关系型数据库和知识图谱。知识图谱以图的形式组织数据,强调实体之间的关系,适合复杂的语义分析和知识推理。在实际应用中,外置知识的集成和管理常采用 RAG 架构,允许智能体实时检索和整合最新外部信息。 知识表示方面,知识是存在于我们脑海中、代表对世界理解的东西,通过活跃学习过程获得,将接收到的信息碎片整合进世界模型。知识与信息、数据等概念不同,在 DIKW 金字塔中,数据独立存在可传递,信息是头脑中解释数据的方式,知识是融入世界模型的信息,智慧是更高层次的理解。知识表示的问题是找到以数据形式在计算机中表示知识并能自动化使用的有效方法。
2024-12-19
如何用ai工具构建某一课程的知识图谱
以下是用 AI 工具构建某一课程知识图谱的方法: 一键知识图谱方法: 用 kimichat 让 AI 拆解这本书的三级章节并按照 Markdown 产出内容: Prompt:帮我拆解《爱的五种语言》,生成全书内容的思维导图,要求每个章节后面有三级展开,下一级是主要知识点,下下一级是知识点的论述。先输出对应的 Markdown。 访问地址: 复制 AI 内容粘贴到在线思维导图 Markmap 中,一键生成思维导图,还可以自定义微调内容,并免费导出图片: 访问地址: 推导知识图谱方法(可以参考下面 prompt 自己构建): 问题生成:使用大模型帮助生成一系列相关的、深入的问题。 探索性学习:将每个问题作为一个学习起点,利用 AI 搜索引擎和大模型进行深入探索。 知识图谱构建:随着学习的深入,使用大模型帮助构建和扩展知识图谱。 创造性应用:基于新获得的知识,尝试解决原问题或创造新的作品。 反思与迭代:定期反思学习过程,调整方向,并生成新的问题,形成持续学习和创作的循环。 此外,利用 AI 写课题的步骤和建议如下: 1. 确定课题主题:明确研究兴趣和目标,选择具有研究价值和创新性的主题。 2. 收集背景资料:使用 AI 工具如学术搜索引擎和文献管理软件搜集相关研究文献和资料。 3. 分析和总结信息:利用 AI 文本分析工具分析收集到的资料,提取关键信息和主要观点。 4. 生成大纲:使用 AI 写作助手生成课题大纲,包括引言、文献综述、方法论、结果和讨论等部分。 5. 撰写文献综述:利用 AI 工具帮助撰写文献综述部分,确保内容准确完整。 6. 构建方法论:根据研究需求,利用 AI 建议的方法和技术设计研究方法。 7. 数据分析:若课题涉及数据收集和分析,使用 AI 数据分析工具处理和解释数据。 8. 撰写和编辑:利用 AI 写作工具撰写课题各部分,并进行语法和风格检查。 9. 生成参考文献:使用 AI 文献管理工具生成正确的参考文献格式。 10. 审阅和修改:利用 AI 审阅工具检查课题逻辑性和一致性,并根据反馈修改。 11. 提交前的检查:最后,使用 AI 抄袭检测工具确保课题原创性,并进行最后的格式调整。 需要注意的是,AI 工具可作为辅助,但不能完全替代研究者的专业判断和创造性思维。在使用 AI 进行课题写作时,应保持批判性思维,并确保研究的质量和学术诚信。
2024-11-03
知识图谱
知识图谱: 知识图谱是一种揭示实体之间关系的语义网络,能够对现实世界的事物及其相互关系进行形式化描述。它于 2012 年 5 月 17 日由 Google 正式提出,初衷是提高搜索引擎能力,增强用户搜索质量和体验,实现从网页链接到概念链接的转变,支持按主题检索和语义检索。 关键技术包括: 1. 知识抽取: 实体抽取:通过命名实体识别从数据源中自动识别命名实体。 关系抽取:从数据源中提取实体之间的关联关系,形成网状知识结构。 属性抽取:从数据源中采集特定实体的属性信息。 2. 知识表示:包括属性图、三元组等。 3. 知识融合:在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等,实现数据、信息、方法、经验等知识的融合,形成高质量知识库。其中涉及实体对齐以消除不一致性问题,知识加工对知识统一管理,本体构建明确定义概念联系,质量评估计算知识置信度,知识更新迭代扩展现有知识。 4. 知识推理:在已有知识库基础上挖掘隐含知识。 在 AI Agent 系列中,外置知识包括知识图谱,它以图的形式组织数据,强调实体之间的关系,适合复杂的语义分析和知识推理。外置知识通常由外部数据库提供,能动态更新和调整,在实际应用中常采用 RAG 架构,结合检索和生成,通过检索外部知识源增强模型生成能力。 知识表示方面,知识是存在于我们脑海中、代表对世界理解的东西,通过活跃学习过程获得,将接收到的信息碎片整合到对世界的活跃模型中。知识与信息、数据等概念不同,在 DIKW 金字塔中,数据独立存在可传递,信息是头脑中解释数据的方式,知识是融入世界模型的信息,智慧是更高层次的元知识。知识表示的问题是找到在计算机中以数据形式有效表示知识并能自动化使用的方法,这是一个连续谱,简单的知识表示如算法不够灵活,自然语言功能强大但不利于自动化推理。
2024-11-03
帮我生成一个 AI 写作领域的产业图谱,只关注应用层,按照产品的类别来分类和举例
以下是 AI 写作领域应用层的产业图谱分类及举例: |序号|产品|主题|使用技术|市场规模|一句话介绍| ||||||| |1|Grammarly、秘塔写作猫|AI 智能写作助手|自然语言处理|数十亿美元|利用 AI 技术辅助用户进行高质量写作。| |2|阿里小蜜等电商客服|AI 智能客服外包服务|自然语言处理、机器学习|数十亿美元|为企业提供智能客服解决方案。|
2024-10-28
帮我生成一个 AI 写作领域的产业图谱
AI 写作领域的产业图谱大致可分为上游、中游和下游三个部分: 上游是基础设施层,包括数据与算力。 中游是技术层,涵盖模型与算法。 下游是应用层,涉及应用与分发。 对于这上中下游分别有哪些值得重点关注的企业(或产品),经过大量的信息收集和汇总工作,并结合几家知名咨询机构的文档,绘制了相关图谱。但由于避免广告嫌疑,在此不展开对各家公司/平台(或产品)的详细说明。此图绘制于 2024 年 5 月,如果有不了解不认识的公司/平台(或产品),建议您搜索了解。
2024-10-28
从0到1搭建知识库
从 0 到 1 搭建知识库的方法如下: 【智能体】让 Coze 智能体机器人连上微信和微信群: 创建智能体: 知识库:本次创建知识库使用手动清洗数据,上节课程是自动清洗数据。自动清洗数据会出现目前数据不准的情况,本节视频就尝试使用手动清洗数据,提高数据的准确性。 在线知识库:点击创建知识库,创建一个画小二课程的 FAQ 知识库。知识库的飞书在线文档,其中每个问题和答案以分割,暂时不要问为什么。选择飞书文档、自定义的自定义,输入,然后就将飞书的文档内容以区分开来,这里可以点击编辑修改和删除。点击添加 Bot,添加好可以在调试区测试效果。 本地文档:本地 word 文件,注意如何拆分内容,提高训练数据准确度,将海报的内容训练的知识库里面。画小二这个课程 80 节课程,分为了 11 个章节,不能一股脑全部放进去训练。正确的方法是首先将 11 章的大的章节名称内容放进来,章节内详细内容格式依次类推细化下去。每个章节都按照这种固定的方式进行人工标注和处理,然后选择创建知识库自定义清洗数据。 发布应用:点击发布,确保在 Bot 商店中能够搜到。 使用 Dify 构建知识库: 准备数据:收集需要纳入知识库的文本数据,包括文档、表格等格式。对数据进行清洗、分段等预处理,确保数据质量。 创建数据集:在 Dify 中创建一个新的数据集,并将准备好的文档上传至该数据集。为数据集编写良好的描述,描述清楚数据集包含的内容和特点。 配置索引方式:Dify 提供了三种索引方式供选择:高质量模式、经济模式和 Q&A 分段模式。根据实际需求选择合适的索引方式,如需要更高准确度可选高质量模式。 集成至应用:将创建好的数据集集成到 Dify 的对话型应用中,作为应用的上下文知识库使用。在应用设置中,可以配置数据集的使用方式,如是否允许跨数据集搜索等。 持续优化:收集用户反馈,对知识库内容和索引方式进行持续优化和迭代。定期更新知识库,增加新的内容以保持知识库的时效性。 【知识库】FastGPT + OneAPI + COW 带有知识库的机器人: 创建知识库应用: 地址输入浏览器:http://这里替换为你宝塔左上角的那一串:3000/ 进入后,点击应用并创建,选择 qwen 模型。 创建知识库。点击知识库 选择 qwen Embedding 1 点击确认创建。 上传文件,等待处理,最后文本状态是“已就绪”。 回到刚刚创建的应用,关联上创建的知识库。 点击两个发布。之前第一个叫做保存。 点击新建,创建 key。创建后保存同时将 API 根地址最后加上/v1 并保存下来。 安装并接入 cow: 回到宝塔,打开【终端】。 依次粘贴并回车:cd/root 。 git clone https://github.com/zhayujie/chatgptonwechat ,注意一定要粘贴完整。 出现下方的样子,就是成功了。如果失败,或者没反应,刷新一下,重新再试一次。 继续一行一行,依次输入:cd chatgptonwechat/ ,pip install r requirements.txt 。 等待执行完成,继续粘贴:pip install r requirements optional.txt 。 上边的都执行完成后,到“文件”菜单中去执行,点击文件 找到 root,进入 root 文件夹,找到 chatgpt on wechat 文件夹,并进入。
2025-01-19
个人知识库搭建
个人知识库搭建主要包括以下内容: 1. RAG 技术: 利用大模型能力搭建知识库是 RAG 技术的应用。 大模型训练数据有截止日期,当需要依靠不在训练集中的数据时,可通过检索增强生成 RAG 实现。 RAG 应用包括文档加载(从多种来源加载文档,如 PDF 等非结构化数据、SQL 等结构化数据及代码)、文本分割(把文档切分为指定大小的块)、存储(将切分好的文档块嵌入并转换为向量形式存储到向量数据库)、检索(通过检索算法找到与输入问题相似的嵌入片)、输出(把问题及检索出的嵌入片提交给 LLM 生成答案)。 2. GPT 相关: 搭建基于 GPT API 的定制化知识库涉及给 GPT 输入定制化知识,但 GPT3.5 一次交互支持的 Token 有限,OpenAI 提供了 embedding API 解决方案。 Embeddings 是浮点数字的向量,向量之间的距离衡量关联性,小距离表示高关联度,大距离表示低关联度。 3. 本地知识库进阶: 若要更灵活掌控知识库,可使用额外软件 AnythingLLM,其包含 Open WebUI 的能力,并额外支持选择文本嵌入模型和向量数据库。 安装地址:https://useanything.com/download 。安装完成后进入配置页面,主要分为三步:选择大模型、选择文本嵌入模型、选择向量数据库。 AnythingLLM 中有 Workspace 概念,可创建独有 Workspace 与其他项目数据隔离,包括创建工作空间、上传文档并嵌入、选择对话模式(Chat 模式综合给出答案,Query 模式仅依靠文档数据给出答案)、测试对话。 最后,“看十遍不如实操一遍,实操十遍不如分享一遍”。如果对 AI Agent 技术感兴趣,可联系相关人员或加入免费知识星球(备注 AGI 知识库)。
2025-01-19
知识库的实验数据,AI能关联分析思考吗?
目前的 AI 技术在一定程度上能够对知识库中的实验数据进行关联分析和思考。AI 具备处理和分析大量数据的能力,通过运用机器学习和数据挖掘算法,可以发现数据中的模式、关系和趋势。然而,AI 的分析能力取决于数据的质量、特征工程的有效性以及所采用的算法和模型的适用性。在复杂和不确定的情况下,AI 的分析结果可能存在一定的局限性,需要人类的进一步审查和判断。
2025-01-18
如何准确调用知识库的内容?
要准确调用知识库的内容,可以从以下方面进行: 维护知识库内容: 为提升召回准确率,可删除、新增或修改知识库内容。 在知识库页面,能看到已创建的知识库及每个知识库内的单元数量和创建时间等信息。单击知识库或编辑图标,可进入知识库详情页面。在详情页可进行新增内容、删除内容、更新单元内的分段、开启引用等操作。若不开启引用,即便 Bot 中使用了所属的知识库,该单元内容也不会被召回。 使用知识库: 可以将知识库直接与 Bot 进行关联用于响应用户回复,也可以在工作流中添加知识库节点。 在 Bot 内使用知识库: 1. 登录。 2. 在左侧导航栏的工作区区域,选择进入指定团队。 3. 在 Bots 页面,选择指定 Bot 并进入 Bot 详情页。 4. 在 Bot 编排页面的知识库区域,单击加号图标,添加指定的知识库。 5. (可选)添加知识库后,可在自动调用下拉界面内,调整知识库的配置项,如最大召回数量、最小匹配度、调用方式等。在预览与调试区域调试 Bot 能力时,扩展运行完毕的内容可以查看知识库命中并召回的分片内容。 在工作流内使用 Knowledge 节点: 1. 登录。 2. 在左侧导航栏的工作区区域,选择进入指定团队。 3. 在页面顶部进入工作流页面,并打开指定的工作流。 4. 在左侧基础节点列表内,选择添加 Knowledge 节点。 关于让 AI+知识库回答更准确的示例: 以问答机器人为例,其配置包括 AI 模型、提示词、知识库。大语言模型如同拥有无穷智慧的人,提示词是设定其角色和专注技能,知识库则是工作手册。例如设定 AI 模型为阿里千问模型,提示词角色为“美嘉”,知识库为《爱情公寓》全季剧情,让“美嘉”拥有相关“记忆”。
2025-01-18
知识库目录
以下是知识库的目录内容: 1. 关于我们&致谢 我们是一个开源 AI 社区,坚信人工智能将重新塑造思考和学习方式,为创建知识库的决心提供动力。 特别感谢一路上支持和推荐知识库的伙伴们,使我们有信心持续探索 AGI 的无限可能。 WaytoAGI 是由一群热爱 AI 的专家和爱好者共同建设的开源 AI 知识库,大家贡献并整合各种 AI 资源,方便不同水平的人学习和应用。 2. 元子:WayToAGI 知识库究竟咋用? 知识库起飞指南 把知识库想象成 24 小时在线的 AI 老师、永不嫌烦的知识管家、不断成长的智慧宝库。 里面藏着 AI 工具的“傻瓜式说明书”、大神们的“踩坑经验分享”、实用的“一招制胜”秘籍。 新手探索指南:点击飞书链接()。 知识库界面:左边的导航栏是指南针,上面的搜索框是探宝雷达,中间的内容区是知识的海洋。 3. 信鑫:基于大模型+知识库的 Code Review 实践 实现思路 官方文档知识库(内置) 避免大家将官方文档重复录入、embedding,CR Copilot 内置了官方文档,目录包含: React 官方文档: TypeScript 官方文档: Rspack 官方文档: Garfish: 公司内 Go/Python/Rust 等编程规范等,并通过一个简单的 CURD 来管理内置向量知识库。
2025-01-17
知识模型对个人有什么用
知识模型对个人具有以下作用: 1. 扩展记忆与智力:OpenAI 的首席科学家伊尔亚·苏茨克维认为,高效压缩信息即得到知识,而 GPT3 及 GPT4 等模型虽通过预测下一个单词进行工作,但已包含世界信息且能持续提高能力。 2. 构建个人知识库:虽然个人搭建本地知识库可能面临机器配置要求较高的问题,如运行大模型需要较高的硬件配置,如生成文字大模型的最低配置为 8G RAM + 4G VRAM,建议配置为 16G RAM + 8G VRAM,理想配置为 32G RAM + 24G VRAM(若要跑 GPT3.5 差不多性能的大模型);生成图片大模型的最低配置为 16G RAM + 4G VRAM,建议配置为 32G RAM + 12G VRAM;生成音频大模型的最低配置为 8G VRAM 等。但实操可以加深对大模型构建的知识库底层原理的了解。 3. 形成外脑(ExoBrain):利用软件工具和大语言模型相关技术扩展记忆和智力的新机制或系统,被称为外脑。语言模型是心智界面,如 ChatGPT 等,除用储备的知识库响应问题外,还能理解复杂文档、生成想法甚至驱动其他软件完成任务,如同心灵副驾,通过自然语言输入和输出实现快速理解、记忆唤起、想法连接和驱动外部软件自动工作。
2025-01-17