知识图谱是一种揭示实体之间关系的语义网络,能够对现实世界的事物及其相互关系进行形式化描述。它于 2012 年 5 月 17 日由 Google 正式提出,初衷是提高搜索引擎能力,增强用户搜索质量和体验,实现从网页链接到概念链接的转变,支持按主题检索和语义检索。
知识图谱构建的关键技术包括:
在 LLM 落地思考方面,NLP 与知识图谱是主要的落地类型,但存在一些问题。如实现某个 NLP 任务时,需要大量人工标注和长时间训练,交付后较难新增意图和泛化任务,有时使用句式规则方式更好维护更新;构建知识图谱复杂,需与行业专家深度讨论,预见企业长远业务发展制定 schema,周期长且易与业务错位。而 LLM 出现后对 NLP、NLG、KG 有较大提升,带来更好更多的落地可能。
在以问题驱动的 AI+内容创作中,随着学习深入,可使用大模型帮助构建和扩展知识图谱。
知识图谱(Knowledge Graph,KG)是一种揭示实体之间关系的语义网络,可以对现实世界的事物及其相互关系进行形式化地描述。知识图谱于2012年5月17日被Google正式提出,其初衷是为了提高搜索引擎的能力,增强用户的搜索质量以及搜索体验。知识图谱可以将Web从网页链接转向概念链接,支持用户按照主题来检索,实现语义检索。[heading2]关键技术[content]1.知识抽取:通过自动化的技术抽取出可用的知识单元实体抽取:命名实体识别(Named Entity Recognition,NER)从数据源中自动识别命名实体;关系抽取(Relation Extraction):从数据源中提取实体之间的关联关系,形成网状的知识结构;属性抽取:从数据源中采集特定实体的属性信息。2.知识表示属性图三元组3.知识融合:在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等,达到数据、信息、方法、经验等知识的融合,形成高质量知识库实体对齐(Entity Alignment):消除异构数据中的实体冲突、指向不明等不一致性问题;知识加工:对知识统一管理,形成大规模的知识体系本体构建:以形式化方式明确定义概念之间的联系;质量评估:计算知识的置信度,提高知识的质量。知识更新:不断迭代更新,扩展现有知识,增加新的知识4.知识推理:在已有的知识库基础上挖掘隐含的知识
首先从自然语言出发,毕竟LLM是语言模型,他带来的影响最直观能想到的就是对之前自然语言相关技术能力的提升。22年之前,国内自然语言的业务应用发展已经相对稳定,而发展较快的时期是16年智能音箱带来的NLP业务快速落地以及18年小红书、头条抖音带来的推广搜发展;NLP与知识图谱是主要的落地类型,NLG相对难以落地;20年后整个自然语言的应用进入较长时期的瓶颈期。在瓶颈期时,NLP和知识图谱的业务还是在不断的推进中,但是其落地的项目多为定制且低效。比如:1、实现某个NLP任务,比如对业务中的一些意图进行识别与分类,需要收集对应的业务数据上千条并进行人工标注,然后训练bert模型,再进行针对性的优化,时长可能要一个月,且交付后较难进行意图的新增和任务的泛化。因此很多时候甚至使用句式规则的方式更好进行维护与更新。2、构建知识图谱虽然可以有效的将公司级、行业级的知识承载起来并进行不断更新与可视化展示,但知识图谱的构建非常的复杂,需要与行业专家深度讨论,并要预见企业长远业务发展的可能性来制定schema,稍有不慎就可能图谱与业务错位,满盘皆输。并且一个图谱从建立、数据抽取、蒸馏、审查、可用、直到可与线上数据接轨做到自动更新,至少会有半年的周期。3、NLG基本上还是拼接为主,有多少人工规则就有多少智能。而LLM横空出世后,对NLP、NLG、KG都有较大的提升,因此严格意义上来说这三类场景都可以因为效率和效果的大幅提升而有更好、更多可能的落地方式。
1.问题生成:使用大模型帮助生成一系列相关的、深入的问题2.探索性学习:将每个问题作为一个学习起点,利用AI搜索引擎和大模型进行深入探索3.知识图谱构建:随着学习的深入,使用大模型帮助构建和扩展知识图谱4.创造性应用:基于新获得的知识,尝试解决原问题或创造新的作品5.反思与迭代:定期反思学习过程,调整方向,并生成新的问题,形成持续学习和创作的循环在掌握了解构与建构的思维方法后,我们可以将其应用到实际的学习和创作过程中。"以问题驱动的学习法和创作法"是一种将深度思考融入学习和创作的有效方法。这种方法不仅能帮助我们更深入地理解复杂主题,还能激发创新思维,产生新的见解。一个以《关于AI搜索引擎的一切》为示例的,以问题驱动的学习法的实例