Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

知识图谱构建

Answer

知识图谱是一种揭示实体之间关系的语义网络,能够对现实世界的事物及其相互关系进行形式化描述。它于 2012 年 5 月 17 日由 Google 正式提出,初衷是提高搜索引擎能力,增强用户搜索质量和体验,实现从网页链接到概念链接的转变,支持按主题检索和语义检索。

知识图谱构建的关键技术包括:

  1. 知识抽取:通过自动化技术抽取可用的知识单元,如实体抽取(命名实体识别)、关系抽取(提取实体间关联关系)、属性抽取(采集特定实体的属性信息)。
  2. 知识表示:包括属性图、三元组等。
  3. 知识融合:在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等,包括实体对齐(消除实体冲突等不一致性问题)、知识加工(统一管理知识)、本体构建(明确定义概念联系)、质量评估(计算知识置信度)、知识更新(迭代扩展知识)。
  4. 知识推理:在已有知识库基础上挖掘隐含知识。

在 LLM 落地思考方面,NLP 与知识图谱是主要的落地类型,但存在一些问题。如实现某个 NLP 任务时,需要大量人工标注和长时间训练,交付后较难新增意图和泛化任务,有时使用句式规则方式更好维护更新;构建知识图谱复杂,需与行业专家深度讨论,预见企业长远业务发展制定 schema,周期长且易与业务错位。而 LLM 出现后对 NLP、NLG、KG 有较大提升,带来更好更多的落地可能。

在以问题驱动的 AI+内容创作中,随着学习深入,可使用大模型帮助构建和扩展知识图谱。

Content generated by AI large model, please carefully verify (powered by aily)

References

知识图谱

知识图谱(Knowledge Graph,KG)是一种揭示实体之间关系的语义网络,可以对现实世界的事物及其相互关系进行形式化地描述。知识图谱于2012年5月17日被Google正式提出,其初衷是为了提高搜索引擎的能力,增强用户的搜索质量以及搜索体验。知识图谱可以将Web从网页链接转向概念链接,支持用户按照主题来检索,实现语义检索。[heading2]关键技术[content]1.知识抽取:通过自动化的技术抽取出可用的知识单元实体抽取:命名实体识别(Named Entity Recognition,NER)从数据源中自动识别命名实体;关系抽取(Relation Extraction):从数据源中提取实体之间的关联关系,形成网状的知识结构;属性抽取:从数据源中采集特定实体的属性信息。2.知识表示属性图三元组3.知识融合:在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等,达到数据、信息、方法、经验等知识的融合,形成高质量知识库实体对齐(Entity Alignment):消除异构数据中的实体冲突、指向不明等不一致性问题;知识加工:对知识统一管理,形成大规模的知识体系本体构建:以形式化方式明确定义概念之间的联系;质量评估:计算知识的置信度,提高知识的质量。知识更新:不断迭代更新,扩展现有知识,增加新的知识4.知识推理:在已有的知识库基础上挖掘隐含的知识

观点:LLM落地思考

首先从自然语言出发,毕竟LLM是语言模型,他带来的影响最直观能想到的就是对之前自然语言相关技术能力的提升。22年之前,国内自然语言的业务应用发展已经相对稳定,而发展较快的时期是16年智能音箱带来的NLP业务快速落地以及18年小红书、头条抖音带来的推广搜发展;NLP与知识图谱是主要的落地类型,NLG相对难以落地;20年后整个自然语言的应用进入较长时期的瓶颈期。在瓶颈期时,NLP和知识图谱的业务还是在不断的推进中,但是其落地的项目多为定制且低效。比如:1、实现某个NLP任务,比如对业务中的一些意图进行识别与分类,需要收集对应的业务数据上千条并进行人工标注,然后训练bert模型,再进行针对性的优化,时长可能要一个月,且交付后较难进行意图的新增和任务的泛化。因此很多时候甚至使用句式规则的方式更好进行维护与更新。2、构建知识图谱虽然可以有效的将公司级、行业级的知识承载起来并进行不断更新与可视化展示,但知识图谱的构建非常的复杂,需要与行业专家深度讨论,并要预见企业长远业务发展的可能性来制定schema,稍有不慎就可能图谱与业务错位,满盘皆输。并且一个图谱从建立、数据抽取、蒸馏、审查、可用、直到可与线上数据接轨做到自动更新,至少会有半年的周期。3、NLG基本上还是拼接为主,有多少人工规则就有多少智能。而LLM横空出世后,对NLP、NLG、KG都有较大的提升,因此严格意义上来说这三类场景都可以因为效率和效果的大幅提升而有更好、更多可能的落地方式。

小七姐:Prompt is not enough

1.问题生成:使用大模型帮助生成一系列相关的、深入的问题2.探索性学习:将每个问题作为一个学习起点,利用AI搜索引擎和大模型进行深入探索3.知识图谱构建:随着学习的深入,使用大模型帮助构建和扩展知识图谱4.创造性应用:基于新获得的知识,尝试解决原问题或创造新的作品5.反思与迭代:定期反思学习过程,调整方向,并生成新的问题,形成持续学习和创作的循环在掌握了解构与建构的思维方法后,我们可以将其应用到实际的学习和创作过程中。"以问题驱动的学习法和创作法"是一种将深度思考融入学习和创作的有效方法。这种方法不仅能帮助我们更深入地理解复杂主题,还能激发创新思维,产生新的见解。一个以《关于AI搜索引擎的一切》为示例的,以问题驱动的学习法的实例

Others are asking
知识图谱
知识图谱是一种揭示实体之间关系的语义网络,可以对现实世界的事物及其相互关系进行形式化地描述。它于 2012 年 5 月 17 日由 Google 正式提出,初衷是提高搜索引擎的能力,增强用户的搜索质量和体验,实现从网页链接到概念链接的转变,支持按主题检索和语义检索。 知识图谱的关键技术包括: 1. 知识抽取: 实体抽取:通过命名实体识别从数据源中自动识别命名实体。 关系抽取:从数据源中提取实体之间的关联关系,形成网状知识结构。 属性抽取:从数据源中采集特定实体的属性信息。 2. 知识表示:包括属性图和三元组。 3. 知识融合: 实体对齐:消除异构数据中的实体冲突、指向不明等不一致性问题。 知识加工:对知识统一管理,形成大规模的知识体系。 本体构建:以形式化方式明确定义概念之间的联系。 质量评估:计算知识的置信度,提高知识质量。 知识更新:不断迭代更新,扩展现有知识,增加新知识。 4. 知识推理:在已有的知识库基础上挖掘隐含的知识。 在国家人工智能产业综合标准化体系建设指南中,知识图谱标准规范了知识图谱的描述、构建、运维、共享、管理和应用,包括知识表示与建模、知识获取与存储、知识融合与可视化、知识计算与管理、知识图谱质量评价与互联互通、知识图谱交付与应用、知识图谱系统架构与性能要求等标准。
2025-02-27
ai的研究是否可以分为神经网络与知识图谱两个大的分类?
AI 的研究可以分为多个不同的分类,并非仅仅局限于神经网络与知识图谱这两个大的分类。 在常见的分类中: 非监督学习:最著名的是聚类,只需提供大量数据,让 AI 自行找出有趣信息。 迁移学习:在任务 A 中学习的内容可用于帮助完成任务 B,在计算机视觉领域有较多应用。 强化学习:根据输出好坏给予奖励或惩罚,利用“奖励信号”让 AI 自动学习最大化奖励,但需要大量数据。 生成对抗网络:由生成器和判别器构成,两者不断训练和竞争,提高生成真实数据的能力,广泛应用于多种领域。 此外,从技术和应用的角度来看: 知识图谱:在搜索等场景中展示关键信息,如人物相关信息、酒店信息等。 在企业中建构人工智能方面,NLG 可作为全新场景讨论,生成内容分为根据任务要求生成标准结果和根据信息进行内容创作两类,分别偏向 B 端和 C 端。NLP 能做的事情较标准化,LLM 的出现对其有提升和冲击。知识图谱领域本身有多种技术路径,与 LLM 可能是互补关系。 对于希望精进的学习者,还需要了解 AI 的背景知识,包括基础理论、历史发展、数学基础(统计学、线性代数、概率论),掌握算法和模型(监督学习、无监督学习、强化学习),学会评估和调优(性能评估、模型调优),以及神经网络基础(网络结构、激活函数)等。
2025-02-12
以知识图谱的形式生成一张涉及大模型概念的知识图谱
以下是一张涉及大模型概念的知识图谱: 大模型 Embedding 技术 句子和文档嵌入 Doc2Vec:扩展了 Word2Vec,能够为整个文档生成统一的向量表示。 Average Word Embeddings:将一段文本中所有单词的嵌入取平均作为整体的文本表示。 Transformers Sentence Embeddings:如 BERT 的标记对应的向量,或者专门针对句子级别的模型如 SentenceBERT。 实体/概念嵌入 Knowledge Graph Embeddings:如 TransE、DistMult、ComplEx 等,用于将知识图谱中的实体和关系嵌入到低维向量空间中。 其他类型 图像 Embeddings:使用卷积神经网络(CNN)进行图像特征提取,得到的特征向量即为图像嵌入。 音频 Embeddings:在语音识别和声纹识别中,将声音信号转化为有意义的向量表示。 用户/物品 Embeddings:在推荐系统中,将用户行为或物品属性映射到低维空间以进行协同过滤或基于内容的推荐。 图 Embeddings:用于学习图结构的表示学习方法,将图中的节点和边映射到低维向量空间中。通过学习图嵌入,可以将复杂的图结构转化为向量表示,以捕捉节点之间的结构和关联关系。这些方法可以通过 DeepWalk、Node2Vec、GraphSAGE 等算法来实现。图嵌入在图分析、社交网络分析、推荐系统等领域中广泛应用,用于发现社区结构、节点相似性、信息传播等图属性。 关键技术标准 机器学习标准:规范机器学习的训练数据、数据预处理、模型表达和格式、模型效果评价等,包括自监督学习、无监督学习、半监督学习、深度学习和强化学习等标准。 知识图谱标准:规范知识图谱的描述、构建、运维、共享、管理和应用,包括知识表示与建模、知识获取与存储、知识融合与可视化、知识计算与管理、知识图谱质量评价与互联互通、知识图谱交付与应用、知识图谱系统架构与性能要求等标准。 大模型标准:规范大模型训练、推理、部署等环节的技术要求,包括大模型通用技术要求、评测指标与方法、服务能力成熟度评估、生成内容评价等标准。 自然语言处理标准:规范自然语言处理中语言信息提取、文本处理、语义处理等方面的技术要求和评测方法,包括语法分析、语义理解、语义表达、机器翻译、自动摘要、自动问答和语言大模型等标准。 智能语音标准:规范前端处理、语音处理、语音接口和数据资源等技术要求和评测方法,包括深度合成的鉴伪方法、全双工交互、通用语音大模型等标准。 计算机视觉标准:规范图像获取、图像/视频处理、图像内容分析、三维计算机视觉、计算摄影学和跨媒体融合等技术要求和评价方法,包括功能、性能和可维护性等标准。 生物特征识别标准:规范生物特征样本处理、生物特征数据协议、设备或系统等技术要求,包括生物特征数据交换格式、接口协议等标准。 国内大模型 通用模型:如文心一言、讯飞星火等,处理自然语言。 垂直模型:专注特定领域如小语种交流、临床医学、AI 蛋白质结构预测等。 大模型的体验 以‘为什么我爸妈结婚的时候没有邀请我参加婚礼’和‘今天我坐在凳子上’为例,体验了 Kimi、通义千问、豆包等大模型的回答和续写能力,发现回复有差异,且大模型基于统计模型预测生成内容。 大语言模型的工作原理 包括训练数据、算力、模型参数,在训练数据一致情况下,模型参数越大能力越强,参数用 b 链形容大小。 Transformer 架构:Transformer 是大语言模型训练架构,17 年出现用于翻译,具备自我注意力机制能理解上下文和文本关联,其工作原理是单词预测,通过嵌入、位置编码、自注意力机制生成内容,模型调教中有控制输出的 temperature。 大模型幻觉:大模型通过训练数据猜测下一个输出结果,可能因错误数据导致给出错误答案,优质数据集对其很重要。 Prompt 的分类和法则 分为 system prompt、user prompt 和 assistant prompt。 写好 prompt 的法则包括清晰说明、指定角色、使用分隔符、提供样本等,核心是与模型好好沟通。 Fine tuning 微调:基于通用大模型,针对特定领域任务提供数据进行学习和调整,以适应特定领域的需求。 RAG 概念:未对 RAG 的具体内容进行详细阐述,仅提出了这个概念。
2025-02-11
我是一名初中老师,我想了解符合我应用的知识图谱的相关知识
很抱歉,目前没有关于初中老师适用的知识图谱的相关具体内容。但一般来说,知识图谱是一种以图形化方式展示知识之间关系的技术。对于初中老师而言,知识图谱可以用于组织和呈现学科知识,帮助学生更好地理解知识点之间的关联。例如在数学学科中,可以将代数、几何等不同领域的知识点通过知识图谱进行关联,让学生清晰看到知识的体系结构。您可以根据教学的具体学科和需求,有针对性地构建和运用知识图谱。
2025-02-09
人工智能历史图谱
人工智能的历史可以追溯到二十世纪中叶。 起初,符号推理流行,带来了专家系统等重要进展,但因提取知识复杂、成本高等问题,20 世纪 70 年代出现“人工智能寒冬”。 随着计算资源便宜和数据增多,神经网络方法在计算机视觉、语音理解等领域展现出色性能,过去十年“人工智能”常被视为“神经网络”的同义词。 在国际象棋对弈程序方面,早期以搜索为基础,发展出阿尔法贝塔剪枝搜索算法,后来采用基于案例的推理,如今基于神经网络和强化学习,能从自身错误中学习,学习速度快于人类。 在创建“会说话的程序”方面,早期如 Eliza 基于简单语法规则,现代助手如 Cortana、Siri 等是混合系统,使用神经网络转换语音、识别意图,未来有望出现完整基于神经网络的模型处理对话,如 GPT 和 TuringNLG 系列神经网络取得成功。 近期神经网络研究在 2010 年左右有巨大发展,大型公共数据集出现,如 ImageNet 催生了相关挑战赛。2012 年卷积神经网络用于图像分类使错误率大幅下降,2015 年微软研究院的 ResNet 架构达到人类水平准确率,此后神经网络在图像分类、对话语音识别、自动化机器翻译、图像描述等任务中表现成功。 在过去几年,大型语言模型如 BERT 和 GPT3 取得巨大成功,得益于大量通用文本数据,可先预训练再针对具体任务专门化。
2024-12-25
知识图谱
知识图谱: 知识图谱是一种揭示实体之间关系的语义网络,能够对现实世界的事物及其相互关系进行形式化描述。它于 2012 年 5 月 17 日由 Google 正式提出,初衷是提高搜索引擎能力,增强用户搜索质量和体验,实现从网页链接到概念链接的转变,支持按主题检索和语义检索。 关键技术包括: 1. 知识抽取:通过自动化技术抽取可用的知识单元,包含实体抽取(命名实体识别)、关系抽取、属性抽取。 2. 知识表示:如属性图、三元组。 3. 知识融合:在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等,包括实体对齐、知识加工、本体构建、质量评估、知识更新,以形成高质量知识库。 4. 知识推理:在已有知识库基础上挖掘隐含知识。 在 AI Agent 系列中,外置知识包括向量数据库、关系型数据库和知识图谱。知识图谱以图的形式组织数据,强调实体之间的关系,适合复杂的语义分析和知识推理。在实际应用中,外置知识的集成和管理常采用 RAG 架构,允许智能体实时检索和整合最新外部信息。 知识表示方面,知识是存在于我们脑海中、代表对世界理解的东西,通过活跃学习过程获得,将接收到的信息碎片整合进世界模型。知识与信息、数据等概念不同,在 DIKW 金字塔中,数据独立存在可传递,信息是头脑中解释数据的方式,知识是融入世界模型的信息,智慧是更高层次的理解。知识表示的问题是找到以数据形式在计算机中表示知识并能自动化使用的有效方法。
2024-12-19
构建项目 ,如何通过ai生成可视化数据报表,设计方案
以下是一个通过 AI 生成可视化数据报表的设计方案: 1. 理解需求:明确查询要求,例如适应特定尺寸(如宽 1734px、高 1071px)的 TSX 代码,确保生成的组件符合尺寸要求,避免出现滚动条。 2. 生成静态代码:创建一个静态的 React 组件,将所有数据和组件进行硬编码。 3. 实现数据可视化:构建一个复杂的数据可视化平台,支持多种图表类型、实时数据更新、自定义仪表板和数据钻取功能。 4. 设计用户界面:为复杂的数据可视化平台编写 TSX 代码,界面包括多个图表、定制仪表板和实时数据更新,尺寸为宽 1734px 和高 1071px。 5. 定义 React 组件:定义一个用于渲染主界面的 React 组件,包括网格布局、图表组件、导航 UI 组件、按钮和输入字段等,并加入模拟实时更新和自定义仪表板的开关和切换等组件。 6. 规划 UI 结构:设计包含头部、侧边栏和主内容区的 UI 结构,主内容区展示多个图表,并考虑自定义控制。 7. 探索图标资源:从 'lucidereact' 提取图标,如主页、用户和搜索等,使界面更加直观和易用。
2025-02-27
行业大模型构建
以下是关于行业大模型构建的相关信息: 优秀模型案例介绍: SuperCLUE2.0 是通用大模型综合性测评基准 SuperCLUE1.0 的能力延展,融合行业场景属性和大模型落地特点,为行业应用及开发者构建评估框架,促进大模型供需两侧的进一步对齐。 SuperCLUE 持续构建行业测评基准,包括已发布的汽车行业测评基准,以及筹备中的金融、教育、娱乐、手机、政务、医疗等行业测评基准。 SuperCLUE 持续构建专项测评基准,已发布的有 Safety 安全测评基准、Agent 智能体测评基准,筹备中的有个性化中文测评基准、角色扮演测评基准、中文多模态测评基准、RAG 检索增强测评基准、办公场景测评基准等。 优化路径: 广义上的大模型优化包括完整训练一个大模型,但从策略上建议先从提示词工程到微调开始,因为涉及大模型训练成本极高。在分析出问题所在后,可按需选用或综合运用缺失知识用 RAG、准确度或模式遵循度不足用微调等技术进行性能优化。 国内大模型落地情况: Gartner 预测到 2028 年至少有 15%的日常工作决策将由代理型 AI(AI 智能体)自主做出。 2024 年被称为国内大模型落地元年,“百模大战”后,国内大模型行业主要玩家包括百度、阿里、字节等科技大厂和创业“AI 六小虎”。 2024 年 1 至 11 月,国内大模型中标项目数量和金额大幅增长,中标项目共 728 个,是 2023 年全年的 3.6 倍;中标金额 17.1 亿元,是 2023 年全年的 2.6 倍。中标项目数前五的行业分别是运营商、能源、教育、政务、金融。 厂商方面,百度以 40 个中标项目数、2.74 亿元的中标金额排名所有厂商之首,科大讯飞居第二。在金融行业,百度也以 14 个中标数量、3734.4 万元中标金额排名第一,科大讯飞居第二。
2025-02-27
如何用AI构建政务模型
以下是关于如何用 AI 构建政务模型的相关信息: 行业、学术界、研究组织和全球合作伙伴正在寻找解决基础模型监管相关挑战的方法。例如,基础模型的开发者正在探索将对齐理论嵌入模型的方式,政府需要与 AI 研究社区密切合作,利用研究见解并完善监管框架。 英国致力于提升在基础模型方面的能力。基础模型是一种新兴的通用 AI 类型,训练数据量大,能适应多种任务,其快速发展给政府监管带来新挑战。 需建立一个中央职能,支持单个监管机构的视野扫描活动,以实现可适应、协作和值得信赖的监管机制。该职能有助于建立一个能适应新兴趋势、召集合作伙伴共同识别趋势,并确保监管框架能应对新兴趋势的监管制度。 要确保与国际监管框架的互操作性,包括监测英国原则与国际监管方法、保证和/或风险管理以及技术标准之间的一致性,支持跨境协调与合作。此职能对于实现促进创新的监管制度至关重要,能确保英国创新者可进行国际交易,英国公司能吸引海外投资。
2025-02-27
Agent如何构建
以下是一些常见的 Agent 构建平台: 1. Coze:新一代一站式 AI Bot 开发平台,适用于构建基于 AI 模型的各类问答 Bot,集成丰富插件工具,能拓展 Bot 能力边界。 2. Microsoft 的 Copilot Studio:主要功能包括外挂数据、定义流程、调用 API 和操作,以及将 Copilot 部署到各种渠道。 3. 文心智能体:百度推出的基于文心大模型的智能体平台,支持开发者根据需求打造产品能力。 4. MindOS 的 Agent 平台:允许用户定义 Agent 的个性、动机、知识,以及访问第三方数据和服务或执行工作流。 5. 斑头雁:2B 基于企业知识库构建专属 AI Agent 的平台,适用于客服、营销、销售等场景,提供多种成熟模板,功能强大且开箱即用。 6. 钉钉 AI 超级助理:依托钉钉强大的场景和数据优势,提供更深入的环境感知和记忆功能,在处理高频工作场景如销售、客服、行程安排等方面表现出色。 搭建工作流驱动的 Agent 通常可分为以下 3 个步骤: 1. 规划: 制定任务的关键方法。 总结任务目标与执行形式。 将任务分解为可管理的子任务,确立逻辑顺序和依赖关系。 设计每个子任务的执行方法。 2. 实施: 在 Coze 上搭建工作流框架,设定每个节点的逻辑关系。 详细配置子任务节点,并验证每个子任务的可用性。 3. 完善: 整体试运行 Agent,识别功能和性能的卡点。 通过反复测试和迭代,优化至达到预期水平。
2025-02-25
如何构建一个算命的智能体
构建一个智能体通常包括以下步骤: 1. 输入人设等信息:创建智能体时,需要明确其设定和相关信息。 2. 配置工作流:放上创建的工作流,并进行相应配置。 3. 工具使用:工具使用或函数调用是从 RAG 到主动行为的第一步,如网页浏览、代码解释和授权认证等工具已出现,使 LLMs 能够与外部交互和执行操作。 4. 确定智能体结构:按照业务逻辑组织智能体结构,例如在品牌卖点提炼中,要确定以品牌卖点提炼六步法为核心的流程,并加入相关分析助手。 5. 搭建完整智能体:包括品牌卖点定义与分类助手、品牌卖点提炼六步法、STP 市场分析助手、用户画像分析助手、触点收集助手等,同时还可能涉及 KANO 助手、营销六层转化漏斗分析、超级转化率六要素等未在结构中体现但有效的分析工具。 需要注意的是,构建智能体时,对于工作流中涉及个人 token 的部分,不能直接发布,可将其作为输入由用户自行购买和输入后再发布。
2025-02-24
如何构建属于自己的prompt
构建属于自己的 prompt 可以参考以下思路: 1. 明确构建目的:如为了节省力气,根据初始问题自动生成优质 prompt。 2. 遵循一定的流程: 按照特定的方法论,如参考 。 以清晰的结构和灵活的表达方式进行,例如对于视频模型 MiniMax 海螺 AI,可参考其提供的两类 prompt 参考公式。 3. 针对不同模型和需求选择合适的方式: 对于 Claude,可用 Lisp 或 Markdown 格式构建 prompt,直接打开 Claude 首页发送提示词进行初始化后使用。 对于视频创作,若没有明确的镜头呈现需求或期待激发创作灵感,可使用 Prompt 基础公式,即“要创建的主要表现物+场景空间+运动/变化”。 例如:“一只小狗在公园中奔跑”“一个女人打着伞在雨中的街头行走”“山谷中的一条小溪静静流淌”。
2025-02-24
企业建立私有大模型时候,采用什么工具进行RAG,高效实习企业知识文档、表格和pdf图纸的向量化
企业建立私有大模型进行 RAG 并实现企业知识文档、表格和 PDF 图纸向量化时,可参考以下工具和方法: 1. 本地部署资讯问答机器人: 导入依赖库,如 feedparse 用于解析 RSS 订阅源,ollama 用于在 Python 程序中跑大模型(使用前需确保 ollama 服务已开启并下载好模型)。 从订阅源获取内容,通过专门的文本拆分器将长文本拆分成较小的块,并附带相关元数据,最终合并成列表返回。 为文档内容生成向量,可使用文本向量模型 bgem3,从 hf 下载好模型后,假设放置在某个路径 /path/to/bgem3,通过函数利用 FAISS 创建高效的向量存储。 2. 开发:LangChain 应用开发指南 大模型的知识外挂 RAG 加载数据,根据数据源类型选择合适的数据加载器,如网页可使用 WebBaseLoader。 将文档对象分割成较小的对象,根据文本特点选择合适的文本分割器,如博客文章可用 RecursiveCharacterTextSplitter。 将文档对象转换为嵌入并存储到向量存储器中,根据嵌入质量和速度选择合适的文本嵌入器和向量存储器,如 OpenAI 的嵌入模型和 Chroma 的向量存储器。 创建检索器,使用向量存储器检索器,传递向量存储器对象和文本嵌入器对象作为参数创建检索器对象。 创建聊天模型,根据性能和成本选择合适的聊天模型,如 OpenAI 的 GPT3 模型。 以下是使用 LangChain 构建 RAG 应用的示例代码。
2025-02-27
搭建知识库支语言好
搭建知识库可以采用以下几种方式和涉及的相关语言: 1. 基于 GPT API 搭建定制化知识库: 需给 GPT 输入(投喂)定制化知识,但 GPT3.5(当前免费版的 ChatGPT)一次交互(输入和输出)只支持最高 4096 个 Token,约等于 3000 个单词或 2300 个汉字,容量对于多数领域知识不够。 为处理大量领域知识,OpenAI 提供了 embedding API 解决方案,embeddings 是浮点数字的向量(列表),两个向量之间的距离衡量关联性,小距离表示高关联度,大距离表示低关联度。 2. 本地部署大模型搭建个人知识库: 利用大模型的能力搭建知识库是 RAG 技术的应用,在实操前需了解 RAG。 RAG 应用包括文档加载(从多种来源加载文档,LangChain 提供 100 多种文档加载器)、文本分割(把 Documents 切分为指定大小的块)、存储(将切分好的文档块嵌入转换成向量形式并存储到向量数据库)、检索(通过检索算法找到与输入问题相似的嵌入片)、Output(把问题及检索出的嵌入片提交给 LLM 生成答案)。 3. 用 Coze 免费打造微信 AI 机器人: 设计 AI 机器人时创建知识库,整理“关键字”与“AI 相关资料链接”的对应关系并存储。 知识库文档类型支持本地文档、在线数据、飞书文档、Notion 等,可使用本地文档,按照操作指引上传文档、分段设置、确认数据处理。 知识库好不好用与内容切分粒度有关,可在内容中加特殊分割符如“”,分段标识符号选择“自定义”并填入“”。
2025-02-27
我应该如何学习ai相关知识
以下是关于如何学习 AI 相关知识的建议: 一、了解 AI 基本概念 首先,建议阅读「」部分,熟悉 AI 的术语和基础概念。了解什么是人工智能,它的主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。浏览入门文章,这些文章通常会介绍 AI 的历史、当前的应用和未来的发展趋势。 二、开始 AI 学习之旅 在「」中,您将找到一系列为初学者设计的课程。这些课程将引导您了解生成式 AI 等基础知识,特别推荐李宏毅老师的课程。通过在线教育平台(如 Coursera、edX、Udacity)上的课程,您可以按照自己的节奏学习,并有机会获得证书。 三、选择感兴趣的模块深入学习 AI 领域广泛(比如图像、音乐、视频等),您可以根据自己的兴趣选择特定的模块进行深入学习。建议您一定要掌握提示词的技巧,它上手容易且很有用。 四、实践和尝试 理论学习之后,实践是巩固知识的关键,尝试使用各种产品做出您的作品。在知识库提供了很多大家实践后的作品、文章分享,欢迎您实践后的分享。 五、体验 AI 产品 与现有的 AI 产品进行互动是学习 AI 的另一种有效方式。尝试使用如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式。通过与这些 AI 产品的对话,您可以获得对 AI 在实际应用中表现的第一手体验,并激发您对 AI 潜力的认识。 六、对于不会代码的情况 如果希望继续精进,对于 AI,可以尝试了解以下内容作为基础: 1. AI 背景知识: 基础理论:了解人工智能、机器学习、深度学习的定义及其之间的关系。 历史发展:简要回顾 AI 的发展历程和重要里程碑。 2. 数学基础: 统计学基础:熟悉均值、中位数、方差等统计概念。 线性代数:了解向量、矩阵等线性代数基本概念。 概率论:基础的概率论知识,如条件概率、贝叶斯定理。 3. 算法和模型: 监督学习:了解常用算法,如线性回归、决策树、支持向量机(SVM)。 无监督学习:熟悉聚类、降维等算法。 强化学习:简介强化学习的基本概念。 4. 评估和调优: 性能评估:了解如何评估模型性能,包括交叉验证、精确度、召回率等。 模型调优:学习如何使用网格搜索等技术优化模型参数。 5. 神经网络基础: 网络结构:理解神经网络的基本结构,包括前馈网络、卷积神经网络(CNN)、循环神经网络(RNN)。 激活函数:了解常用的激活函数,如 ReLU、Sigmoid、Tanh。 七、中学生学习 AI 的建议 1. 从编程语言入手学习:可以从 Python、JavaScript 等编程语言开始学习,这些是 AI 和机器学习的基础。学习编程语法、数据结构、算法等基础知识,为后续的 AI 学习打下基础。 2. 尝试使用 AI 工具和平台:可以使用 ChatGPT、Midjourney 等 AI 生成工具,体验 AI 的应用场景。探索一些面向中学生的 AI 教育平台,如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识:了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等。学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目:可以参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。尝试利用 AI 技术解决生活中的实际问题,培养动手能力。 5. 关注 AI 发展的前沿动态:关注 AI 领域的权威媒体和学者,了解 AI 技术的最新进展。思考 AI 技术对未来社会的影响,培养对 AI 的思考和判断能力。 总之,中学生可以从编程基础、工具体验、知识学习、实践项目等多个方面入手,全面系统地学习 AI 知识和技能,为未来的 AI 发展做好准备。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-02-26
什么AI可以帮我将知识点形成思维导图
以下是一些可以帮助您将知识点形成思维导图的 AI 工具和方法: 1. 6 月 11 日 AI 秒学团队的方法: 思维导图模块的应用缘由:从新闻到旧闻,拒绝缪闻,追本溯源;由点及面,广度与深度兼顾,培养小朋友的探究意识与能力;凝练提升,形成强大的知识网络,助力小朋友研究性思维、统合型能力的培养。 具体操作:通过新闻涉及的主题词/关键词,或是小朋友对新闻中的感兴趣点,提取背后的知识点;调用“generateTreeMind”插件,创建一个思维导图,清晰展示知识点的起源、发展和相互关系,凝练知识网络;通过“快捷指令”提醒小朋友,可以使用此功能。 初步尝试放在聊天机器人的工作流里,存在调用比较慢且不能顾到全局的问题。后期调整为直接调用插件+提示词直接 cue 到,Precess on 与树状图相比,后者可以直接出图,点击后可以直达网站,进行二次修改。 实操展示包括新闻激发、提炼关键词/主题词/兴趣点,并发出指令“思维导图”。 2. kimi: kimi 是月之暗面公司推出的类似 ChatGPT 的大模型聊天机器人,支持超长的上下文,能输入长达 20 万字。 可以让 kimi 梳理全书,但目前 kimi 还不能直接生成思维导图,需要借助 MarkMap 来得到这本书内容的思维导图。 对于具体的章节或者知识点,可以让 kimi 展开讲解。 3. 危柯宇的方法: 日常活动文案输出(读书社活动,AI 复核型玩法“高阶”,依托传音智库+飞书妙记+在线思维导图 Markmap)。 方法一:一键知识图谱。用 kimi chat 让 AI 拆解这本书的三级章节并按照 markdown 产出内容,然后复制 AI 内容粘贴到在线思维导图 Markmap 中,一键生成思维导图,还可以自定义微调内容,并免费导出图片。 方法二:推导知识图谱(可以参考下面 prompt 自己构建)。
2025-02-26
aigc智能体技能提升 ,需要掌握哪些知识
要提升 AIGC 智能体技能,需要掌握以下知识: 1. 对 AI 及提示词工程有清晰的理解。 2. 掌握 Python 语言,以便能搓更多智能体。 3. 了解向量数据库,如 Milvus 等。 4. 熟悉 Web 框架,如 FastAPI 框架,掌握流传输、负载限流等相关技术,实现与前端或业务后端的接口对接。 5. 学会提出具体且有详细背景信息的问题,以从 ChatGPT 等模型获得更精准的答案。 6. 不断积累行业领域知识,达到能较好操纵 AI 完成复杂任务的程度。
2025-02-26