直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

Graph RAG是什么

回答

GraphRAG 是一种基于图的 RAG 工具，具有以下特点和优势：

  • 在社区摘要应用中，它在全面性和多样性上以 70 - 80%的胜率大幅领先于传统 RAG。
  • 能通过 LLM 从文档集合中自动提取丰富的知识图谱，助力处理私有或未知数据集的问答。
  • 可以通过检测图中的“社区”（即密集连接的节点群组），从高层主题到低层话题，层次化地划分数据的语义结构。
  • 利用 LLM 为这些社区生成摘要，提供对数据集的全面概览，无需事先设定问题，尤其适合回答全局性问题。

微软前几天发布的 GraphRAG 架构非常厉害，Neo4j 的 CTO 写了一篇详细的文章《GraphRAG 宣言：为 GenAI 增加知识》，通俗易懂地介绍了 GraphRAG 的原理、与传统 RAG 的区别、GraphRAG 的优势、知识图谱的创建和利用知识图谱工作。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

AIGC Weekly #79

在社区摘要应用中，GraphRAG在全面性和多样性上以70-80%的胜率大幅领先于传统RAG。GraphRAG是一种基于图的RAG工具，通过LLM从文档集合中自动提取丰富的知识图谱，助力处理私有或未知数据集的问答。GraphRAG能通过检测图中的“社区”（即密集连接的节点群组），从高层主题到低层话题，层次化地划分数据的语义结构。它利用LLM为这些社区生成摘要，提供对数据集的全面概览，无需事先设定问题。这种方法尤其适合回答全局性问题。

AIGC Weekly #80

微软前几天发布的GraphRAG架构非常厉害，但是具体的原理和内容可能不太好理解。Neo4j的CTO写了一篇详细的文章《GraphRAG宣言：为GenAI增加知识》。通俗易懂的介绍了GraphRAG的原理、与传统RAG的区别、GraphRAG的优势、知识图谱的创建和利用知识图谱工作。

通过增强PDF结构识别，革新检索增强生成技术(RAG)

[title]通过增强PDF结构识别，革新检索增强生成技术(RAG)[heading1] 5 结论[content]参考文献[1]Alibaba Group Holding Limited.Fiscal year annual report 2023.https://static.alibabagroup.com/reports/fy2023/ar/ebook/en/index.html,2023.[2]Rongyu Cao,Hongwei Li,Ganbin Zhou,and Ping Luo.Towards document panoptic segmentation with pinpoint accuracy:Method and evaluation.In 16th International Conference on Document Analysis and Recognition,pages 3–18,2021.[3]https://pdflux.com/.[4]Daisho Microline Holdings Limited.Fiscal year annual report 2022.https://www1.hkexnews.hk/listedco/listconews/sehk/2022/0626/2022062600094.pdf,2022.[5]Peiyi Wang,Lei Li,Liang Chen,Dawei Zhu,Binghuai Lin,Yunbo Cao,Qi Liu,Tianyu Liu,and Zhifang Sui.Large language models are not fair evaluators,2023.[6]Tesla Inc.Model 3 owner’s manual.https://manual-directory.com/manual/2023-tesla-model-3-owners-manual/,2023.[7]Flávio Cunha,Fatih Karahan,and Ilton Soares.Returns to skills and the college premium.Journal of Money,Credit and Banking,43:39–86,2011.https://sci-hub.hkvisa.net/https://doi.org/10.1111/j.1538-4616.2011.00410.x.[8]Tom S.Vogl.Height,skills,and labor market outcomes in mexico.NBER Working Paper Series,2012.https://www.nber.org/system/files/working_papers/w18318/w18318.pdf.

其他人在问
GraphRAG 相关论文
以下是关于 GraphRAG 的相关论文信息： 在社区摘要应用中，GraphRAG 在全面性和多样性上以 70 80%的胜率大幅领先于传统 RAG。GraphRAG 是一种基于图的 RAG 工具，能够通过 LLM 从文档集合中自动提取丰富的知识图谱，有助于处理私有或未知数据集的问答。它可以通过检测图中的“社区”（即密集连接的节点群组），从高层主题到低层话题，层次化地划分数据的语义结构。并且能利用 LLM 为这些社区生成摘要，提供对数据集的全面概览，无需事先设定问题，尤其适合回答全局性问题。 微软前几天发布的 GraphRAG 架构非常厉害，但是具体的原理和内容可能不太好理解。Neo4j 的 CTO 写了一篇详细的文章《GraphRAG 宣言：为 GenAI 增加知识》，通俗易懂地介绍了 GraphRAG 的原理、与传统 RAG 的区别、GraphRAG 的优势、知识图谱的创建和利用知识图谱工作。
2024-07-15
给个使用langgraph的例子
LangGraph 是一个用于支持包含循环的 LLM 工作流创建的新包，它提供了 Python 和 JS 版本。以下是使用 LangGraph 的一个例子： 假设我们要开发一个客户支持机器人，它能够处理多种任务。我们可以使用 LangGraph 的核心功能来设计和构建这个机器人。 首先，我们需要确定机器人的多个独立代理，例如： 问题理解代理：负责理解客户提出的问题。 解决方案查找代理：根据问题查找相应的解决方案。 回答生成代理：生成回答并提供给客户。 然后，我们可以使用 LangGraph 将这些代理连接起来，形成一个多代理工作流。例如，问题理解代理可以将问题传递给解决方案查找代理，解决方案查找代理找到解决方案后再传递给回答生成代理，最后回答生成代理生成回答并提供给客户。 在这个过程中，每个代理都可以拥有自己的提示、LLM、工具和其他自定义代码，以便与其他代理最好地协作。 通过使用 LangGraph，我们可以更轻松地构建和管理复杂的多代理工作流，提高应用程序的灵活性和可扩展性。
2024-06-21
我希望做一个回答用户问题的聊天机器人，如何用rag来做
要使用 RAG（RetrievalAugmented Generation，检索增强生成）来做一个回答用户问题的聊天机器人，可以按照以下步骤进行： 1. 加载所需的库和模块：包括用于解析 RSS 订阅源的 feedparse，用于在 Python 程序中跑大模型的 ollama（使用前需确保 ollama 服务已开启并下载好模型）。 2. 从订阅源获取内容：通过特定函数从指定的 RSS 订阅 URL 提取内容，如需接收多个 URL 可稍作改动。然后使用专门的文本拆分器将长文本拆分成较小的块，并附带相关元数据，如标题、发布日期和链接，最终将这些文档合并成一个列表用于后续处理。 3. 为文档内容生成向量：使用文本向量模型 bgem3（可从 https://huggingface.co/BAAI/bgem3 下载，假设放置在某个路径 /path/to/bgem3 ），通过 FAISS 创建一个高效的向量存储。 4. 基于用户的问题，从向量数据库中检索相关段落，并根据设定的阈值进行过滤，最后让模型参考上下文信息回答用户的问题，从而实现 RAG。 5. 创建网页 UI：通过 gradio 创建网页 UI 并进行评测。 6. 技术栈选择：经过调研，可先采取 Langchain + Ollama 的技术栈作为 demo 实现，后续也可考虑使用 dify、fastgpt 等更直观易用的 AI 开发平台。 Langchain 简介：是当前大模型应用开发的主流框架之一，提供一系列工具和接口，其核心在于“链”概念，包括 Model I/O、Retrieval、Chains、Agents、Memory 和 Callbacks 等组件，生态系统还包括 LangSmith、LangGraph 和 LangServe 等工具。 Ollama 简介：是一个开箱即用的用于在本地运行大模型的框架。 总结： 1. 本文展示了如何使用 Langchain 和 Ollama 技术栈在本地部署一个资讯问答机器人，同时结合 RSSHub 来处理和提供资讯。 2. 上下文数据质量和大模型的性能决定了 RAG 系统性能的上限。 3. RAG 通过结合检索技术和生成模型来提升答案的质量和相关性，可以缓解大模型幻觉、信息滞后的问题，但并不意味着可以消除。
2024-11-20
RAG研究报告有哪些
以下是一些关于 RAG 的研究报告： 1. 《RAG 系统开发中的 12 大痛点及解决方案》：研究了开发检索增强生成（RAG）系统时遇到的 12 个主要难题，并提出了相应的解决策略。通过将挑战和解决方法并列在一张表中，更直观地展示了设计和实施 RAG 系统面临的复杂挑战。 2. 《小七姐：精读翻译《提示词设计和工程：入门与高级方法》》：提到在解决预训练大型语言模型（LLM）的限制方面，RAG 成为关键创新，通过动态整合外部知识扩展了 LLM。还介绍了 RAG 感知提示词技术，如 FLARE 以创新方法增强 LLM 性能。 3. 《通过增强 PDF 结构识别，革新检索增强生成技术》：包含对 PDF 识别对 RAG 影响的实验研究，通过列举 ChatDOC 在查询特斯拉用户手册中的具体案例，突出了 ChatDOC 解析方法在处理表格和呈现方式上的有效性。
2024-11-20
如何利用飞书构建RAG系统
以下是关于如何利用飞书构建 RAG 系统的相关内容： RAG 的常见误区： 随意输入任何文档就能得到准确回答：这是常见误区，RAG 流程包含离线环节（文档解析、切割及向量化写入向量数据库）和在线检索环节（用户问题理解、初步检索、重排序及大模型生成），任何环节都会影响最终质量，有效实现 RAG 系统需要考虑多个复杂因素，如文档预处理、高效索引、相关性排序等，需要专业知识和持续优化。 RAG 完全消除了 AI 的幻觉：虽然 RAG 可以显著减少幻觉，但并不能完全消除，只要有大模型参与，就有可能产生幻觉。 RAG 不消耗大模型的 Token 了：从大模型生成结果环节可以看出，最终还是将知识库中检索的结果给到 LLM，然后由 LLM 进行重新整理输出，所以 RAG 仍然消耗大模型的 Token。 本地部署资讯问答机器人：Langchain + Ollama + RSSHub 实现 RAG： 加载所需的库和模块，如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型，使用前需确保 ollama 服务已开启并下载好模型。 从订阅源获取内容，通过函数从指定的 RSS 订阅 url 提取内容，将长文本拆分成较小的块，并附带相关元数据，最终合并成列表返回。 为文档内容生成向量，使用文本向量模型 bgem3，从 hf 下载好模型后，通过函数利用 FAISS 创建高效的向量存储。 RAG 性能提升策略和评估方法（产品视角）： 前言：RAG 是检索增强生成的缩写，是结合检索模型和生成模型的技术，核心目的是把知识告诉给 AI 大模型，让其“懂”我们，核心流程是根据用户提问从私有知识中检索相关内容，与用户提问一起放入 prompt 中提交给大模型，常见应用场景如知识问答系统。
2024-11-20
AGI 和RAG AGENT有什么区别
AGI（通用人工智能）、RAG（检索增强生成）和 Agent 存在以下区别： Agent： 本质是动态 Prompt 拼接，通过工程化手段将业务需求转述为新的 Prompt。 包含短期记忆（messages 里的历史 QA 对）和长期记忆（summary 之后的文本塞回 system prompt）。 可以通过工具触发检索和 Action，触发 tool_calls 标记进入请求循环，拿模型生成的请求参数进行 API request，再把结果返回给大模型进行交互。 如 Multi Agents ，主要是更换 system prompt 和 tools 。 为 LLM 增加工具、记忆、行动、规划等能力，目前行业主要使用 langchain 框架，在 prompt 层和工具层完成设计。 有效使用工具的前提是全面了解工具的应用场景和调用方法，学习使用工具的方法包括从 demonstration 中学习和从 reward 中学习。 在追求 AGI 的征途中，具身 Agent 强调将智能系统与物理世界紧密结合，能够主动感知和理解物理环境并互动，产生具身行动。 RAG： 是向量相似性检索，可放在 system prompt 里或通过 tools 触发检索。 AGI：是一种更广泛和全面的智能概念，旨在实现类似人类的通用智能能力。 需要注意的是，这些概念的发展和应用仍在不断演进，想做深做好还有很多需要探索和解决的问题。
2024-11-19
如何对rag进行评估
对 RAG 进行评估可以从以下几个方面入手： 1. 使用 RAG 三角形的评估方法： 在 LangChain 中创建 RAG 对象，使用 RAGPromptTemplate 作为提示模板，指定检索系统和知识库的参数。 在 TruLens 中创建 TruChain 对象，包装 RAG 对象，指定反馈函数和应用 ID。反馈函数可使用 TruLens 提供的 f_context_relevance、f_groundness、f_answer_relevance，也可自定义。 使用 with 语句运行 RAG 对象，记录反馈数据，包括输入问题、得到的回答以及检索出的文档。 查看和分析反馈数据，根据 RAG 三角形的评估指标评价 RAG 的表现。 2. 建立评估框架将检索性能与整个 LLM 应用程序隔离开来，从以下角度评估： 模型角度（generation）： 回答真实性：模型结果的真实性高低（减少模型幻觉）。 回答相关度：结果和问题的相关程度，避免南辕北辙。 检索角度（retrieval）： 召回率（recall）：相关信息在返回的检索内容中的包含程度，越全越好。 准确率（precision）：返回的检索内容中有用信息的占比，越多越好。 3. 考虑以下评估方法和指标： 生成质量评估：常用自动评估指标（如 BLEU、ROUGE 等）、人工评估和事实验证，衡量生成文本的流畅性、准确性和相关性。 检索效果评估：包括检索的准确性、召回率和效率，其好坏直接影响生成文本的质量。 用户满意度评估：通过用户调查、用户反馈和用户交互数据了解用户对 RAG 系统的满意度和体验。 多模态评估：对于生成多模态内容的 RAG 系统，评估不同模态之间的一致性和相关性，可通过多模态评估指标实现。 实时性评估：对于需要实时更新的 RAG 任务，考虑信息更新的及时性和效率。 基准测试集：使用基准测试集进行实验和比较不同的 RAG 系统，涵盖多样化的任务和查询，以适应不同的应用场景。 评估方法和指标的选择取决于具体的任务和应用场景，综合使用多种评估方法可更全面地了解 RAG 系统的性能和效果，评估结果能指导系统的改进和优化，满足用户需求。此外，RAGAS 是一个用于 RAG 评估的知名开源库，可参考使用： 。需要注意的是，RAG 适合打造专才，不适合打造通才，且存在一定局限性，如在提供通用领域知识方面表现不佳，可能影响模型的风格或结构输出、增加 token 消耗等，部分问题需使用微调技术解决。
2024-11-13
RAG加速有什么好办法吗
以下是一些加速 RAG 的好办法： 1. 确保 LLM 以正确的格式回应：函数调用已成为确保 LLM 严格输出特定格式的相对靠谱的新方法，推荐使用此方法提升性能。可参考结构化输出文档，其中高层次的 LangChain API 展示了不同 LLM 如何调用工具和函数。 2. 使用参考样例：在实际操作中，将输入和对应输出的样例纳入其中通常大有裨益，这些样例有时比指示本身更能有效指导 LLM 处理特定情况。在提取用例文档中可找到更多细节，助您从 LLMs 中提取更好的性能。 此外，LangChain 携手 NVIDIA 为 RAG 加速带来了新的篇章： 1. 将 NVIDIA NIM 与 LangChain 结合使用：新增了支持 NIM 的集成包，安装专门的集成包后可导入所需模型，并通过示例展示如何构建应用程序，包括安装额外的包、加载数据源、初始化嵌入模型等一系列操作。 2. NVIDIA NIM 介绍：NVIDIA NIM 是一系列用户友好的微服务，旨在加速企业内部生成式 AI 的部署进程，支持广泛的 AI 模型，基于强大的推理引擎和技术构建，提供无缝的 AI 推理体验，是实现大规模、高性能生成式 AI 推理的最佳选择。其具有自托管特性，能保证数据安全；提供预构建的容器，方便选择和使用最新模型；具有可扩展性。开始使用 NIM 非常简单，在 NVIDIA API 目录中可轻松访问多种 AI 模型，NIM 是 NVIDIA AI Enterprise 的一部分，可通过相关博客获取详细指南。
2024-11-12