Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

知识图谱

Answer

知识图谱是一种揭示实体之间关系的语义网络，可以对现实世界的事物及其相互关系进行形式化地描述。它于 2012 年 5 月 17 日由 Google 正式提出，初衷是提高搜索引擎的能力，增强用户的搜索质量和体验，实现从网页链接到概念链接的转变，支持按主题检索和语义检索。

知识图谱的关键技术包括：

  1. 知识抽取：
    • 实体抽取：通过命名实体识别从数据源中自动识别命名实体。
    • 关系抽取：从数据源中提取实体之间的关联关系，形成网状知识结构。
    • 属性抽取：从数据源中采集特定实体的属性信息。
  2. 知识表示：包括属性图和三元组。
  3. 知识融合：
    • 实体对齐：消除异构数据中的实体冲突、指向不明等不一致性问题。
    • 知识加工：对知识统一管理，形成大规模的知识体系。
    • 本体构建：以形式化方式明确定义概念之间的联系。
    • 质量评估：计算知识的置信度，提高知识质量。
    • 知识更新：不断迭代更新，扩展现有知识，增加新知识。
  4. 知识推理：在已有的知识库基础上挖掘隐含的知识。

在国家人工智能产业综合标准化体系建设指南中，知识图谱标准规范了知识图谱的描述、构建、运维、共享、管理和应用，包括知识表示与建模、知识获取与存储、知识融合与可视化、知识计算与管理、知识图谱质量评价与互联互通、知识图谱交付与应用、知识图谱系统架构与性能要求等标准。

Content generated by AI large model, please carefully verify (powered by aily)

References

知识图谱

知识图谱（Knowledge Graph，KG）是一种揭示实体之间关系的语义网络，可以对现实世界的事物及其相互关系进行形式化地描述。知识图谱于2012年5月17日被Google正式提出，其初衷是为了提高搜索引擎的能力，增强用户的搜索质量以及搜索体验。知识图谱可以将Web从网页链接转向概念链接，支持用户按照主题来检索，实现语义检索。[heading2]关键技术[content]1.知识抽取：通过自动化的技术抽取出可用的知识单元实体抽取：命名实体识别（Named Entity Recognition，NER）从数据源中自动识别命名实体；关系抽取（Relation Extraction）：从数据源中提取实体之间的关联关系，形成网状的知识结构；属性抽取：从数据源中采集特定实体的属性信息。2.知识表示属性图三元组3.知识融合：在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等，达到数据、信息、方法、经验等知识的融合，形成高质量知识库实体对齐（Entity Alignment）：消除异构数据中的实体冲突、指向不明等不一致性问题；知识加工：对知识统一管理，形成大规模的知识体系本体构建：以形式化方式明确定义概念之间的联系；质量评估：计算知识的置信度，提高知识的质量。知识更新：不断迭代更新，扩展现有知识，增加新的知识4.知识推理：在已有的知识库基础上挖掘隐含的知识

国家人工智能产业综合标准化体系建设指南.pdf

1.机器学习标准。规范机器学习的训练数据、数据预处理、模型表达和格式、模型效果评价等，包括自监督学习、无监督学习、半监督学习、深度学习和强化学习等标准。82.知识图谱标准。规范知识图谱的描述、构建、运维、共享、管理和应用，包括知识表示与建模、知识获取与存储、知识融合与可视化、知识计算与管理、知识图谱质量评价与互联互通、知识图谱交付与应用、知识图谱系统架构与性能要求等标准。3.大模型标准。规范大模型训练、推理、部署等环节的技术要求，包括大模型通用技术要求、评测指标与方法、服务能力成熟度评估、生成内容评价等标准。4.自然语言处理标准。规范自然语言处理中语言信息提取、文本处理、语义处理等方面的技术要求和评测方法，包括语法分析、语义理解、语义表达、机器翻译、自动摘要、自动问答和语言大模型等标准。5.智能语音标准。规范前端处理、语音处理、语音接口和数据资源等技术要求和评测方法，包括深度合成的鉴伪方法、全双工交互、通用语音大模型等标准。6.计算机视觉标准。规范图像获取、图像/视频处理、图像内容分析、三维计算机视觉、计算摄影学和跨媒体融合等技术要求和评价方法，包括功能、性能和可维护性等标准。7.生物特征识别标准。规范生物特征样本处理、生物特征数据协议、设备或系统等技术要求，包括生物特征数据交换格式、接口协议等标准。

AI编程与炼金术：Build on Trae

蓝色文字跳转到文档对应位置）（不断更新）|章节_[三.使用DeepSeek R1给老外起中文名](https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZc#share-DyEMdmCPOo98S6xbPfNcsuEOnuh)|知识点_[Node.JS安装](https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZc#share-PVnndBSV5oWOukx38tKcw2CPnub)|[申请DeepSeek R1 API](https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZc#share-TrXednqLAoH3VLxrUiYc1Pb9nhf)|[网页接入DeepSeek API](https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZc#share-UK5xdzhiaoo9RkxHR5bcs30pnV8)||-|-|-|-||[一.Trae的介绍/安装/疑难杂症](https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZc#share-R4GvdgOzeoC9mOxd1hScuql6nVY)|[Python安装](https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZc#share-Kcojdhid9oWJPjxAvEOczRt0nkg)||||[二.图片字幕生成器](https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZc#share-Yev6dqzNmolizDxG2PWcKj8Pn8y)|[用多模态复刻产品](https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZc#share-PHwVdl7gCoZEehxUmiUcDeO8nde)||||[四.DeepSeek R1驱动的Life Coach](https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZc#share-AyjYdKtFhobv6Zxrq71cYJubnug)|[使用AI Rules](https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZc#share-MBCsdTfLzoRnE9xQm3PcWgdFnEf)|[使用Git进行版本管理](https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZc#share-S86bdFV1XoE66LxBqVhcqdYFnze)|[Github+Vercel进行云端部署](https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZc#share-GgVmdqPMqoilxFxONuCcnbNpn2g)||[五.DeepSeek驱动的网页金句卡片生成](https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZc#share-ZDQHd6QnqoH7SEx3UXwchSOEndc)|[使用Chat完善产品需求（PRD）](https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZc#share-Q21mdyyRIoKZfdxT7rZcwD5lnwd)|[开发浏览器插件](https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZc#share-Mgsvd3OnZousC0x3m3fcqRBanhd)|[Chrome插件logo自动生成](https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZc#share-J4dcdT2IAoJUXhx2UKKcElR0n6g)||[六.做一个你专属的好文推荐网站（DeepSeek R1+飞书多维表格）](https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZc#share-MbTBdqIKBowgXExFCLqcQ0KTn5c)|[创建带有AI能力的飞书多维表格](https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZc#share-R94pdLmyio0NCpxXUGzcJIMonTe)|[用网页呈现多维表格里的内容](https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZc#share-KMaCd5GQKopqChxO2KycXXG3n5c)|||[七.做一个你专属的好文推荐网站（DeepSeek R1+飞书多维表格）（下）](https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZc#share-UDIsdsmulox4LcxK2CdcwjGgny6)|[浏览器插件将信息一键插入多维表格](https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZc#share-O1B2djb7voeVsUxJxLHcyyo6n3c)|[将复杂产品分拆成多个简单产品](https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZc#share-UOx6dg3aVoeaYpx7M6hcurwUnGc)||

Others are asking
知识图谱构建
知识图谱是一种揭示实体之间关系的语义网络，能够对现实世界的事物及其相互关系进行形式化描述。它于 2012 年 5 月 17 日由 Google 正式提出，初衷是提高搜索引擎能力，增强用户搜索质量和体验，实现从网页链接到概念链接的转变，支持按主题检索和语义检索。 知识图谱构建的关键技术包括： 1. 知识抽取：通过自动化技术抽取可用的知识单元，如实体抽取（命名实体识别）、关系抽取（提取实体间关联关系）、属性抽取（采集特定实体的属性信息）。 2. 知识表示：包括属性图、三元组等。 3. 知识融合：在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等，包括实体对齐（消除实体冲突等不一致性问题）、知识加工（统一管理知识）、本体构建（明确定义概念联系）、质量评估（计算知识置信度）、知识更新（迭代扩展知识）。 4. 知识推理：在已有知识库基础上挖掘隐含知识。 在 LLM 落地思考方面，NLP 与知识图谱是主要的落地类型，但存在一些问题。如实现某个 NLP 任务时，需要大量人工标注和长时间训练，交付后较难新增意图和泛化任务，有时使用句式规则方式更好维护更新；构建知识图谱复杂，需与行业专家深度讨论，预见企业长远业务发展制定 schema，周期长且易与业务错位。而 LLM 出现后对 NLP、NLG、KG 有较大提升，带来更好更多的落地可能。 在以问题驱动的 AI+内容创作中，随着学习深入，可使用大模型帮助构建和扩展知识图谱。
2025-02-27
ai的研究是否可以分为神经网络与知识图谱两个大的分类？
AI 的研究可以分为多个不同的分类，并非仅仅局限于神经网络与知识图谱这两个大的分类。 在常见的分类中： 非监督学习：最著名的是聚类，只需提供大量数据，让 AI 自行找出有趣信息。 迁移学习：在任务 A 中学习的内容可用于帮助完成任务 B，在计算机视觉领域有较多应用。 强化学习：根据输出好坏给予奖励或惩罚，利用“奖励信号”让 AI 自动学习最大化奖励，但需要大量数据。 生成对抗网络：由生成器和判别器构成，两者不断训练和竞争，提高生成真实数据的能力，广泛应用于多种领域。 此外，从技术和应用的角度来看： 知识图谱：在搜索等场景中展示关键信息，如人物相关信息、酒店信息等。 在企业中建构人工智能方面，NLG 可作为全新场景讨论，生成内容分为根据任务要求生成标准结果和根据信息进行内容创作两类，分别偏向 B 端和 C 端。NLP 能做的事情较标准化，LLM 的出现对其有提升和冲击。知识图谱领域本身有多种技术路径，与 LLM 可能是互补关系。 对于希望精进的学习者，还需要了解 AI 的背景知识，包括基础理论、历史发展、数学基础（统计学、线性代数、概率论），掌握算法和模型（监督学习、无监督学习、强化学习），学会评估和调优（性能评估、模型调优），以及神经网络基础（网络结构、激活函数）等。
2025-02-12
以知识图谱的形式生成一张涉及大模型概念的知识图谱
以下是一张涉及大模型概念的知识图谱： 大模型 Embedding 技术 句子和文档嵌入 Doc2Vec：扩展了 Word2Vec，能够为整个文档生成统一的向量表示。 Average Word Embeddings：将一段文本中所有单词的嵌入取平均作为整体的文本表示。 Transformers Sentence Embeddings：如 BERT 的标记对应的向量，或者专门针对句子级别的模型如 SentenceBERT。 实体/概念嵌入 Knowledge Graph Embeddings：如 TransE、DistMult、ComplEx 等，用于将知识图谱中的实体和关系嵌入到低维向量空间中。 其他类型 图像 Embeddings：使用卷积神经网络（CNN）进行图像特征提取，得到的特征向量即为图像嵌入。 音频 Embeddings：在语音识别和声纹识别中，将声音信号转化为有意义的向量表示。 用户/物品 Embeddings：在推荐系统中，将用户行为或物品属性映射到低维空间以进行协同过滤或基于内容的推荐。 图 Embeddings：用于学习图结构的表示学习方法，将图中的节点和边映射到低维向量空间中。通过学习图嵌入，可以将复杂的图结构转化为向量表示，以捕捉节点之间的结构和关联关系。这些方法可以通过 DeepWalk、Node2Vec、GraphSAGE 等算法来实现。图嵌入在图分析、社交网络分析、推荐系统等领域中广泛应用，用于发现社区结构、节点相似性、信息传播等图属性。 关键技术标准 机器学习标准：规范机器学习的训练数据、数据预处理、模型表达和格式、模型效果评价等，包括自监督学习、无监督学习、半监督学习、深度学习和强化学习等标准。 知识图谱标准：规范知识图谱的描述、构建、运维、共享、管理和应用，包括知识表示与建模、知识获取与存储、知识融合与可视化、知识计算与管理、知识图谱质量评价与互联互通、知识图谱交付与应用、知识图谱系统架构与性能要求等标准。 大模型标准：规范大模型训练、推理、部署等环节的技术要求，包括大模型通用技术要求、评测指标与方法、服务能力成熟度评估、生成内容评价等标准。 自然语言处理标准：规范自然语言处理中语言信息提取、文本处理、语义处理等方面的技术要求和评测方法，包括语法分析、语义理解、语义表达、机器翻译、自动摘要、自动问答和语言大模型等标准。 智能语音标准：规范前端处理、语音处理、语音接口和数据资源等技术要求和评测方法，包括深度合成的鉴伪方法、全双工交互、通用语音大模型等标准。 计算机视觉标准：规范图像获取、图像/视频处理、图像内容分析、三维计算机视觉、计算摄影学和跨媒体融合等技术要求和评价方法，包括功能、性能和可维护性等标准。 生物特征识别标准：规范生物特征样本处理、生物特征数据协议、设备或系统等技术要求，包括生物特征数据交换格式、接口协议等标准。 国内大模型 通用模型：如文心一言、讯飞星火等，处理自然语言。 垂直模型：专注特定领域如小语种交流、临床医学、AI 蛋白质结构预测等。 大模型的体验 以‘为什么我爸妈结婚的时候没有邀请我参加婚礼’和‘今天我坐在凳子上’为例，体验了 Kimi、通义千问、豆包等大模型的回答和续写能力，发现回复有差异，且大模型基于统计模型预测生成内容。 大语言模型的工作原理 包括训练数据、算力、模型参数，在训练数据一致情况下，模型参数越大能力越强，参数用 b 链形容大小。 Transformer 架构：Transformer 是大语言模型训练架构，17 年出现用于翻译，具备自我注意力机制能理解上下文和文本关联，其工作原理是单词预测，通过嵌入、位置编码、自注意力机制生成内容，模型调教中有控制输出的 temperature。 大模型幻觉：大模型通过训练数据猜测下一个输出结果，可能因错误数据导致给出错误答案，优质数据集对其很重要。 Prompt 的分类和法则 分为 system prompt、user prompt 和 assistant prompt。 写好 prompt 的法则包括清晰说明、指定角色、使用分隔符、提供样本等，核心是与模型好好沟通。 Fine tuning 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG 概念：未对 RAG 的具体内容进行详细阐述，仅提出了这个概念。
2025-02-11
我是一名初中老师，我想了解符合我应用的知识图谱的相关知识
很抱歉，目前没有关于初中老师适用的知识图谱的相关具体内容。但一般来说，知识图谱是一种以图形化方式展示知识之间关系的技术。对于初中老师而言，知识图谱可以用于组织和呈现学科知识，帮助学生更好地理解知识点之间的关联。例如在数学学科中，可以将代数、几何等不同领域的知识点通过知识图谱进行关联，让学生清晰看到知识的体系结构。您可以根据教学的具体学科和需求，有针对性地构建和运用知识图谱。
2025-02-09
人工智能历史图谱
人工智能的历史可以追溯到二十世纪中叶。 起初，符号推理流行，带来了专家系统等重要进展，但因提取知识复杂、成本高等问题，20 世纪 70 年代出现“人工智能寒冬”。 随着计算资源便宜和数据增多，神经网络方法在计算机视觉、语音理解等领域展现出色性能，过去十年“人工智能”常被视为“神经网络”的同义词。 在国际象棋对弈程序方面，早期以搜索为基础，发展出阿尔法贝塔剪枝搜索算法，后来采用基于案例的推理，如今基于神经网络和强化学习，能从自身错误中学习，学习速度快于人类。 在创建“会说话的程序”方面，早期如 Eliza 基于简单语法规则，现代助手如 Cortana、Siri 等是混合系统，使用神经网络转换语音、识别意图，未来有望出现完整基于神经网络的模型处理对话，如 GPT 和 TuringNLG 系列神经网络取得成功。 近期神经网络研究在 2010 年左右有巨大发展，大型公共数据集出现，如 ImageNet 催生了相关挑战赛。2012 年卷积神经网络用于图像分类使错误率大幅下降，2015 年微软研究院的 ResNet 架构达到人类水平准确率，此后神经网络在图像分类、对话语音识别、自动化机器翻译、图像描述等任务中表现成功。 在过去几年，大型语言模型如 BERT 和 GPT3 取得巨大成功，得益于大量通用文本数据，可先预训练再针对具体任务专门化。
2024-12-25
知识图谱
知识图谱： 知识图谱是一种揭示实体之间关系的语义网络，能够对现实世界的事物及其相互关系进行形式化描述。它于 2012 年 5 月 17 日由 Google 正式提出，初衷是提高搜索引擎能力，增强用户搜索质量和体验，实现从网页链接到概念链接的转变，支持按主题检索和语义检索。 关键技术包括： 1. 知识抽取：通过自动化技术抽取可用的知识单元，包含实体抽取（命名实体识别）、关系抽取、属性抽取。 2. 知识表示：如属性图、三元组。 3. 知识融合：在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等，包括实体对齐、知识加工、本体构建、质量评估、知识更新，以形成高质量知识库。 4. 知识推理：在已有知识库基础上挖掘隐含知识。 在 AI Agent 系列中，外置知识包括向量数据库、关系型数据库和知识图谱。知识图谱以图的形式组织数据，强调实体之间的关系，适合复杂的语义分析和知识推理。在实际应用中，外置知识的集成和管理常采用 RAG 架构，允许智能体实时检索和整合最新外部信息。 知识表示方面，知识是存在于我们脑海中、代表对世界理解的东西，通过活跃学习过程获得，将接收到的信息碎片整合进世界模型。知识与信息、数据等概念不同，在 DIKW 金字塔中，数据独立存在可传递，信息是头脑中解释数据的方式，知识是融入世界模型的信息，智慧是更高层次的理解。知识表示的问题是找到以数据形式在计算机中表示知识并能自动化使用的有效方法。
2024-12-19
请从知识库搜索相关自资料：AI与环境艺术设计：AI帮助生成设计灵感、AI优化空间布局、AI分析环境因素等
以下是关于 AI 生成 CAD 图的相关资料： 1. 学术论文：通过 Google Scholar、IEEE Xplore、ScienceDirect 等学术数据库搜索相关的学术论文，以了解 AI 在 CAD 领域的应用和研究成果。 2. 专业书籍：查找与 AI 在 CAD 领域相关的专业书籍，从中了解 AI 在 CAD 设计中的应用和案例。 3. 在线课程和教程：参加 Coursera、edX、Udacity 等平台上的 AI 和 CAD 相关课程。在 YouTube 等视频平台上查找教程和演示视频，了解 AI 在 CAD 设计中的应用。 4. 技术论坛和社区：加入如 Stack Overflow、Reddit 的 r/AI 和 r/CAD 等相关的技术论坛和社区，与其他专业人士交流和学习。同时关注 AI 和 CAD 相关的博客和新闻网站，了解最新的技术动态和应用案例。 5. 开源项目和代码库：在 GitHub 等开源平台上探索 AI 和 CAD 相关项目，例如 OpenAI 的 GPT3、AutoGPT 等 AI 模型在 CAD 设计中的应用，了解 AI 在 CAD 设计中的应用和实现。 6. 企业案例研究：研究 Autodesk、Siemens 等公司在 AI 在 CAD 设计中的应用案例，了解 AI 技术在实际项目中的应用和效果。 在学习和研究 AI 生成 CAD 图的过程中，了解相关的基础知识和技术细节非常重要。通过阅读学术论文、参加在线课程、观看教程视频和交流学习，您可以逐步掌握 AI 在 CAD 领域的应用和实现。随着 AI 技术的不断发展，AI 在 CAD 设计中的应用将会越来越广泛，为设计师和工程师提供更多的辅助和支持。
2025-02-27
基础搭建的知识库效果很差，模型答案的幻觉很严重，我应该怎么改进？（Deepseek调用api接入本地faiss的rag库）
以下是一些改进基础搭建的知识库效果、减轻模型答案幻觉问题的建议： 1. 更换大模型：例如从 ChatGLM26B 替换成 baichuan213b，针对您的场景，后者的性能可能提升一倍左右。 2. 更换 embedding 模型：将 embedding 模型从 LangChain Chatchat 默认的 m3ebase 替换为 bgelargezh，后者可能更优。 3. 测试不同 Top k 的值：比较 Top 5、Top 10、Top 15 的结果，发现 Top 10 时效果可能最优。 4. 对文档名称进行处理：人工对文件进行重命名，上传相同文件构建知识库，同时在构建知识库时勾选【开启中文标题加强】选项，虽然重命名文件对结果的提升效果不明显，但勾选该选项后，回答的无关信息可能减少，效果有所提升。 RAG（RetrievalAugmented Generation）即检索增强生成，由检索器和生成器两部分组成。检索器从外部知识中快速找到与问题相关的信息，生成器利用这些信息制作精确连贯的答案，适合处理需要广泛知识的任务。 在大模型中，向量可想象成空间中的点位，每个词或短语对应一个点。系统通过查看词在虚拟空间中点的位置，寻找直线距离最近的点来检索语义上接近的词语或信息。理解向量后，当收到一个对话时，RAG 的完整工作流程为：检索器从外部知识中检索相关信息，生成器利用这些信息生成答案。 要优化幻觉问题和提高准确性，需要了解从“问题输入”到“得到回复”的过程，针对每个环节逐个调优，以达到最佳效果。
2025-02-27
企业建立私有大模型时候，采用什么工具进行RAG,高效实习企业知识文档、表格和pdf图纸的向量化
企业建立私有大模型进行 RAG 并实现企业知识文档、表格和 PDF 图纸向量化时，可参考以下工具和方法： 1. 本地部署资讯问答机器人： 导入依赖库，如 feedparse 用于解析 RSS 订阅源，ollama 用于在 Python 程序中跑大模型（使用前需确保 ollama 服务已开启并下载好模型）。 从订阅源获取内容，通过专门的文本拆分器将长文本拆分成较小的块，并附带相关元数据，最终合并成列表返回。 为文档内容生成向量，可使用文本向量模型 bgem3，从 hf 下载好模型后，假设放置在某个路径 /path/to/bgem3，通过函数利用 FAISS 创建高效的向量存储。 2. 开发：LangChain 应用开发指南 大模型的知识外挂 RAG 加载数据，根据数据源类型选择合适的数据加载器，如网页可使用 WebBaseLoader。 将文档对象分割成较小的对象，根据文本特点选择合适的文本分割器，如博客文章可用 RecursiveCharacterTextSplitter。 将文档对象转换为嵌入并存储到向量存储器中，根据嵌入质量和速度选择合适的文本嵌入器和向量存储器，如 OpenAI 的嵌入模型和 Chroma 的向量存储器。 创建检索器，使用向量存储器检索器，传递向量存储器对象和文本嵌入器对象作为参数创建检索器对象。 创建聊天模型，根据性能和成本选择合适的聊天模型，如 OpenAI 的 GPT3 模型。 以下是使用 LangChain 构建 RAG 应用的示例代码。
2025-02-27
搭建知识库支语言好
搭建知识库可以采用以下几种方式和涉及的相关语言： 1. 基于 GPT API 搭建定制化知识库： 需给 GPT 输入（投喂）定制化知识，但 GPT3.5（当前免费版的 ChatGPT）一次交互（输入和输出）只支持最高 4096 个 Token，约等于 3000 个单词或 2300 个汉字，容量对于多数领域知识不够。 为处理大量领域知识，OpenAI 提供了 embedding API 解决方案，embeddings 是浮点数字的向量（列表），两个向量之间的距离衡量关联性，小距离表示高关联度，大距离表示低关联度。 2. 本地部署大模型搭建个人知识库： 利用大模型的能力搭建知识库是 RAG 技术的应用，在实操前需了解 RAG。 RAG 应用包括文档加载（从多种来源加载文档，LangChain 提供 100 多种文档加载器）、文本分割（把 Documents 切分为指定大小的块）、存储（将切分好的文档块嵌入转换成向量形式并存储到向量数据库）、检索（通过检索算法找到与输入问题相似的嵌入片）、Output（把问题及检索出的嵌入片提交给 LLM 生成答案）。 3. 用 Coze 免费打造微信 AI 机器人： 设计 AI 机器人时创建知识库，整理“关键字”与“AI 相关资料链接”的对应关系并存储。 知识库文档类型支持本地文档、在线数据、飞书文档、Notion 等，可使用本地文档，按照操作指引上传文档、分段设置、确认数据处理。 知识库好不好用与内容切分粒度有关，可在内容中加特殊分割符如“”，分段标识符号选择“自定义”并填入“”。
2025-02-27
我应该如何学习ai相关知识
以下是关于如何学习 AI 相关知识的建议： 一、了解 AI 基本概念 首先，建议阅读「」部分，熟悉 AI 的术语和基础概念。了解什么是人工智能，它的主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。浏览入门文章，这些文章通常会介绍 AI 的历史、当前的应用和未来的发展趋势。 二、开始 AI 学习之旅 在「」中，您将找到一系列为初学者设计的课程。这些课程将引导您了解生成式 AI 等基础知识，特别推荐李宏毅老师的课程。通过在线教育平台（如 Coursera、edX、Udacity）上的课程，您可以按照自己的节奏学习，并有机会获得证书。 三、选择感兴趣的模块深入学习 AI 领域广泛（比如图像、音乐、视频等），您可以根据自己的兴趣选择特定的模块进行深入学习。建议您一定要掌握提示词的技巧，它上手容易且很有用。 四、实践和尝试 理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出您的作品。在知识库提供了很多大家实践后的作品、文章分享，欢迎您实践后的分享。 五、体验 AI 产品 与现有的 AI 产品进行互动是学习 AI 的另一种有效方式。尝试使用如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。通过与这些 AI 产品的对话，您可以获得对 AI 在实际应用中表现的第一手体验，并激发您对 AI 潜力的认识。 六、对于不会代码的情况 如果希望继续精进，对于 AI，可以尝试了解以下内容作为基础： 1. AI 背景知识： 基础理论：了解人工智能、机器学习、深度学习的定义及其之间的关系。 历史发展：简要回顾 AI 的发展历程和重要里程碑。 2. 数学基础： 统计学基础：熟悉均值、中位数、方差等统计概念。 线性代数：了解向量、矩阵等线性代数基本概念。 概率论：基础的概率论知识，如条件概率、贝叶斯定理。 3. 算法和模型： 监督学习：了解常用算法，如线性回归、决策树、支持向量机（SVM）。 无监督学习：熟悉聚类、降维等算法。 强化学习：简介强化学习的基本概念。 4. 评估和调优： 性能评估：了解如何评估模型性能，包括交叉验证、精确度、召回率等。 模型调优：学习如何使用网格搜索等技术优化模型参数。 5. 神经网络基础： 网络结构：理解神经网络的基本结构，包括前馈网络、卷积神经网络（CNN）、循环神经网络（RNN）。 激活函数：了解常用的激活函数，如 ReLU、Sigmoid、Tanh。 七、中学生学习 AI 的建议 1. 从编程语言入手学习：可以从 Python、JavaScript 等编程语言开始学习，这些是 AI 和机器学习的基础。学习编程语法、数据结构、算法等基础知识，为后续的 AI 学习打下基础。 2. 尝试使用 AI 工具和平台：可以使用 ChatGPT、Midjourney 等 AI 生成工具，体验 AI 的应用场景。探索一些面向中学生的 AI 教育平台，如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识：了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等。学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目：可以参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。尝试利用 AI 技术解决生活中的实际问题，培养动手能力。 5. 关注 AI 发展的前沿动态：关注 AI 领域的权威媒体和学者，了解 AI 技术的最新进展。思考 AI 技术对未来社会的影响，培养对 AI 的思考和判断能力。 总之，中学生可以从编程基础、工具体验、知识学习、实践项目等多个方面入手，全面系统地学习 AI 知识和技能，为未来的 AI 发展做好准备。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-02-26