直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

RAG的局限

回答

RAG 技术存在以下局限性：

  1. 知识领域方面：适合打造专才，不适合打造通才。能够提供新的信息、专有领域知识等，但不适合提供通用领域知识。
  2. 模型输出方面：让模型保持稳定的风格或结构输出，降低 token 消耗等，这两点需要使用微调技术解决。
  3. 检索质量方面：RAG 技术的表现高度依赖于检索到的信息质量。如果知识库中的信息存在错误或偏差，生成内容也可能受其影响。
  4. 资源需求方面：计算资源需求较高，可能限制其在资源有限的场景中的应用。
  5. 处理速度方面：由于需要先进行信息检索，再进行内容生成，处理速度相对较慢，可能不适合实时性要求高的应用。
  6. 可能引入错误和幻觉：例如检索出不相关或不准确的文本片段，或者生成与输入或上下文不一致的输出。
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

3. 如何让 LLM 应用性能登峰造极

如果LLM应用面临的问题与上下文有关，那么RAG就是一个强大的工具。它使模型能够访问外部数据源，提供模型训练数据中不存在的必要上下文。这种方法可以显著提高模型的性能，尤其是在最新信息或特定领域信息至关重要的情况下。为模型提供参考文本的情况下，也能大大降低模型幻觉。需要注意的是RAG的局限性如下：适合打造专才，不适合打造通才。虽然能够为模型提供新的信息、专有领域知识等，但并不适合为模型提供通用领域知识。让模型保持稳定的风格或结构输出，降低token消耗等。也就是我们在prompt工程局限性的后两点，而这两点需要使用微调技术解决。

【深度揭秘】AI 幻觉背后的技术真相与应对策略，探索人工智能的未来

尽管RAG技术在减少AI幻觉方面表现出色，但它也存在一些局限性：依赖检索质量：RAG技术的表现高度依赖于检索到的信息质量。如果知识库中的信息存在错误或偏差，生成内容也可能受其影响。计算资源需求高：RAG技术结合了检索和生成两部分，计算资源需求较高，可能限制其在资源有限的场景中的应用。处理速度慢：由于需要先进行信息检索，再进行内容生成，RAG技术的处理速度相对较慢，可能不适合实时性要求高的应用。

如何基于飞书能力来开发问答机器人

RAG技术的缺点是也可能引入一些错误和幻觉，例如检索出不相关或不准确的文本片段，或者生成与输入或上下文不一致的输出。参考文档：1.[开发：LangChain应用开发指南-大模型的知识外挂RAG](https://waytoagi.feishu.cn/wiki/GnYQw1kbairUbSka90gc4XCAnSe)2.[开发：LangChain应用开发指南-大模型的知识外挂RAG](https://waytoagi.feishu.cn/wiki/EQrQwYmKpisP4RkvJZocX8nNnAL)3.[开发：产品视角的大模型RAG应用](https://waytoagi.feishu.cn/wiki/WiAwwqSfYiT8sKkYU33c7FMpnvh)4.[通过增强PDF结构识别，革新检索增强生成技术(RAG)](https://waytoagi.feishu.cn/wiki/TcwvwTa7Mij60WkM1b7cojnEnIg)5.[开发：LangChain应用开发指南-TruLens用量化对抗幻觉](https://waytoagi.feishu.cn/wiki/XXFDwmeLUiVV6Jkgb5HcTKnhntk)6.[RAG系统开发中的12大痛点及解决方案](https://waytoagi.feishu.cn/wiki/JG7rwbXKzi1f0Lk9Br8crFmPn8g)7.[XiaoHu.AI日报](https://waytoagi.feishu.cn/wiki/T2fUwmHBSiHU6Ukq9Imcu7n7nMh)

其他人在问
RAG
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构。 大模型需要 RAG 进行检索优化，是因为大模型存在一些缺点： 1. 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. 知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. 输出难以解释和验证，存在内容黑盒、不可控及受幻觉问题干扰的情况。 4. 容易泄露隐私训练数据。 5. 规模大，训练和运行成本高。 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且不影响原有知识。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt 中，提交给大模型，此时大模型的回答会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 RAG 由一个“检索器”和一个“生成器”组成，检索器从外部知识中快速找到与问题相关的信息，生成器利用这些信息来制作精确和连贯的答案，非常适合处理需要广泛知识的任务，如问答系统，能够提供详细而准确的回答。
2024-12-19
如何搭建一个RAG应用？
搭建一个 RAG 应用可以使用 LangChain 平台，以下是相关步骤和组件： 1. 数据加载器（DocumentLoader）：这是一个对象，能从数据源加载数据并转换为包含 page_content（文本内容）和 metadata（元数据，如标题、作者、日期等）的文档对象。 2. 文本分割器（DocumentSplitter）：可将文档对象分割成多个较小的文档对象，方便后续检索和生成，因为大模型输入窗口有限，短文本更易找到相关信息。 3. 文本嵌入器（Embeddings）：能将文本转换为高维向量的嵌入，用于衡量文本相似度以实现检索功能。 4. 向量存储器（VectorStore）：可存储和查询嵌入，通常使用 Faiss 或 Annoy 等索引技术加速检索。 5. 检索器（Retriever）：能根据文本查询返回相关文档对象，常见实现是向量存储器检索器，利用向量存储器的相似度搜索功能检索。 6. 聊天模型（ChatModel）：可根据输入序列生成输出消息，通常基于大模型如 GPT3 实现文本生成功能。 使用 LangChain 构建 RAG 应用的一般流程如下： 首先，使用合适的数据加载器根据数据源类型加载数据。例如，数据源是网页可用 WebBaseLoader 加载和解析网页得到文档对象。 然后，用合适的文本分割器将文档对象分割成较小的符合要求的文档对象。如文本是博客文章，可用 RecursiveCharacterTextSplitter 分割。 接下来，用文本嵌入器将文档对象转换为嵌入，并存储到向量存储器中。可根据嵌入质量和速度选择合适的嵌入器和存储器，如 OpenAIEmbeddings 和 ChromaVectorStore。 之后，创建向量存储器检索器，传递向量存储器对象和文本嵌入器对象作为参数。 最后，创建聊天模型，根据性能和成本选择合适的模型，如 OpenAIChatModel。 以下是一个使用 LangChain 构建 RAG 应用的示例代码。
2024-12-15
RAG 如何测评？
RAG（检索增强生成）的测评方法如下： 1. 可以使用 TruLens 来实现 RAG 三角形的评估方法，具体步骤为： 在 LangChain 中，创建一个 RAG 对象，使用 RAGPromptTemplate 作为提示模板，指定检索系统和知识库的参数。 在 TruLens 中，创建一个 TruChain 对象，包装 RAG 对象，指定反馈函数和应用 ID。反馈函数可以使用 TruLens 提供的 f_context_relevance、f_groundness、f_answer_relevance，也可以自定义。 使用 with 语句来运行 RAG 对象，并记录反馈数据。输入一个问题，得到一个回答，以及检索出的文档。 查看和分析反馈数据，根据 RAG 三角形的评估指标，评价 RAG 的表现。 2. 评估 RAG 生成的文本质量，常用的评估方法包括自动评估指标（如 BLEU、ROUGE 等）、人工评估和事实验证，以衡量生成文本的流畅性、准确性和相关性。 3. 评估 RAG 检索的效果，包括检索的准确性、召回率和效率，其好坏直接影响生成文本的质量。 4. 通过用户调查、用户反馈和用户交互数据来实现用户满意度评估。 5. 对于生成多模态内容的 RAG 系统，需要通过多模态评估指标来评估不同模态之间的一致性和相关性。 6. 对于需要实时更新的 RAG 任务，要考虑信息更新的及时性和效率进行实时性评估。 7. 为了进行客观的评估，通常会使用基准测试集来进行实验和比较不同的 RAG 系统。这些基准测试集包含了多样化的任务和查询，以涵盖不同的应用场景。 评估方法和指标的选择取决于具体的任务和应用场景。综合使用多种评估方法可以更全面地了解 RAG 系统的性能和效果，评估结果可以指导系统的改进和优化，以满足用户的需求。
2024-12-13
RAG 案例
以下是为您提供的关于 RAG 案例的相关内容： 在商业化问答场景中，存在大模型根据知识库回复不准确的情况，如回答牛头不对马嘴、未依据正确内容回答等错误场景，这凸显了优化大模型根据知识库回答准确性的重要性，而在 AI 领域中，此优化过程称为 RAG。 RAG（RetrievalAugmented Generation）即检索增强生成，由检索器和生成器两部分组成。检索器从外部知识中快速找到与问题相关的信息，生成器利用这些信息制作精确连贯的答案，适合处理需要广泛知识的任务，如问答系统。 在案例研究中： 案例 B 中，用户查询特定研究论文中的“表格 8”及所列因变量，ChatDOC 能有效检索整个表格，包括标题和内容，准确响应查询，而 Baseline 模型未检索到真正的“表格 8”。 OpenAI 在提升 RAG 准确率方面，从 45%开始，尝试多种方法，如假设性文档嵌入和精调嵌入等效果不理想，通过调整信息块大小、嵌入不同内容部分、Reranking、对不同类别问题特别处理、提示工程、查询扩展等方法，最终达到 98%的准确率，强调了模型精调和 RAG 结合使用的潜力。
2024-12-12
rag调优
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合信息检索和文本生成能力的技术，由检索器和生成器两部分组成。检索器从外部知识中快速找到与问题相关的信息，生成器利用这些信息来制作精确和连贯的答案，非常适合处理需要广泛知识的任务，如问答系统，能够提供详细而准确的回答。 LLM 需要 RAG 进行检索优化的原因在于 LLM 存在一些缺点： 1. 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. 知识容易过时且不好更新，微调模型的接受能力不高且慢，甚至有丢失原有知识的风险。 3. 输出难以解释和验证，最终输出内容黑盒且不可控，可能受到幻觉等问题干扰。 4. 容易泄露隐私训练数据。 5. 规模大，训练和运行成本高。 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在学不会的风险。 2. 数据库的数据更新敏捷，增删改查可解释，对原有知识无影响。 3. 数据库内容明确、结构化，加上模型本身的理解能力，大模型输出出错的可能大大降低。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 性能提升的策略和方法包括： 1. 优化索引： 按照子部分索引，将文本块再拆分为较小的文本（例如单句），然后对这些小块进行多次索引，适用于有多个主题、有冲突信息的复杂长文本信息。 按照文本框可以回答的问题索引，让 LLM 生成与拆分的文本块相关的假设性问题，并将这些问题用于索引，适用于用户没有提出非常明确问题的情况，可减少模糊性。 按照文本块的摘要进行索引，适用于文本框中有多余信息或者与用户查询无关细节的情况。 2. 重排 rerank：搜到相似信息后选择合适的信息，大部分场景下选择最相似的即可。
2024-12-05
RAG
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构。 其旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息，通过检索模式为大语言模型的生成提供帮助，使大模型生成的答案更符合要求。 LLM 需要 RAG 进行检索优化的原因在于 LLM 存在一些缺点： 1. 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. 知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. 输出难以解释和验证，存在内容黑盒、不可控及受幻觉问题干扰的情况。 4. 容易泄露隐私训练数据。 5. 规模大，训练和运行成本高。 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，增删改查可解释，对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，可降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt 中，提交给大模型，此时大模型的回答会充分考虑到“包含答案的内容”。其最常见应用场景为知识问答系统。在商业化问答场景中，优化 AI 更准确回答问题的过程称为 RAG，它由“检索器”和“生成器”两部分组成，检索器从外部知识中快速找到与问题相关的信息，生成器利用这些信息制作精确和连贯的答案，非常适合处理需要广泛知识的任务，如问答系统，能够提供详细而准确的回答。
2024-11-30
大模型的局限性
大模型存在以下局限性： 1. 知识的局限性：模型自身的知识完全源于训练数据，现有的主流大模型（如 ChatGPT、文心一言、通义千问等）的训练集基本抓取网络公开数据用于训练，对于一些实时性、非公开或离线的数据无法获取，导致部分知识缺失。 2. 幻觉问题：大模型的底层原理是基于数学概率的文字预测，即文字接龙，因此存在幻觉问题，会在没有答案的情况下提供虚假信息，提供过时或通用的信息，从可信度低非权威来源的资料中提供结果等。 3. 数据安全性：对于企业来说，数据安全至关重要，企业通常不愿意承担将自身私域数据上传第三方平台进行训练导致的数据泄露风险。 4. 在图灵测试游戏中，如果 AI 模型没有调用工作流，Agent 就会直接回答问题，导致游戏状态无法正确跳转，对局失败。为解决此问题，虽采取了增强模型调用能力和增加容错机制等措施，但开发难度大，且只要大模型不调用工作流一次，后续不调用的概率会很大。模型总会优先调用知识库进行问题回复，不设置知识库时，模型提的问题可能很发散，与图灵测试初衷违背。把知识库中的数据放到代码里虽可缓解问题，但反程序设计的解耦和逻辑，修改麻烦。
2024-12-11
ChatGPT当前的局限是什么
ChatGPT 目前存在以下局限： 1. 在深度逻辑推理、复杂计算、科研探索等领域存在较大局限性。 2. 在进行最后阶段的 RLHF 时，可能仅在做通用泛化上的对齐，如基于 QA 交互层面对生成内容的交互性、合理性、安全性、风险性等进行对齐。 3. 对稍微大一点的场景设计容易出现上下文衔接不上的问题，回复可能越到后面越脱离当前场景做新的不符合当前场景的设计。 4. 有时候会虚构事实并作出错误的推理。 5. 需要使用一种可能与大脑相当不同且在某些方面效率远低于大脑的策略，内部没有“循环”或“重新计算数据”，这不可避免地限制了其计算能力。 6. 目前尚不清楚如何在解决相关问题的同时保持训练系统的合理效率。
2024-12-03
文心一言的开发公司是谁，功能特点，优势性和局限性请帮我简要概括
文心一言是由百度开发的全新一代知识增强大语言模型。 功能特点： 在计算、逻辑推理、生成与创作、传统安全这 4 大基础能力上排名国内第一。 在代码、知识与百科、语言理解与抽取、工具使用能力上排名国内前三。 各项能力表现均衡且大部分能力水平较高。 能力栈广泛，可应用场景较多，重点推荐在查询搜索知识应用、任务拆解规划 Agent、文案写作以及代码编写及纠错等方面的应用，在逻辑推理方面表现不俗，可关注在科学研究、教育、工业方面的落地能力。 优势： 能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。 局限性： 从某些测试和感觉来看，其能力水平可能在 GPT3 的阶段，输出内容的可靠性与 ChatGPT 相比还有差距。
2024-11-22
对于在电力设计院工作的人员有什么推荐的AI网站或工具吗，我想到的可能的场景包括写文档、编程、画设计图、三维模型渲染等，可不局限于这些场景
以下是为在电力设计院工作的人员推荐的一些 AI 网站和工具： 1. 对于画 CAD 图： CADtools 12：这是一个 Adobe Illustrator（AI）插件，为 AI 添加了 92 个绘图和编辑工具，包括图形绘制、编辑、标注、尺寸标注、转换、创建和实用工具。 Autodesk Fusion 360：是 Autodesk 开发的一款集成了 AI 功能的云端 3D CAD/CAM 软件，能帮助创建复杂的几何形状和优化设计。 nTopology：基于 AI 的设计软件，可帮助创建复杂的 CAD 模型，包括拓扑优化、几何复杂度和轻量化设计等。 ParaMatters CogniCAD：基于 AI 的 CAD 软件，能根据用户输入的设计目标和约束条件自动生成 3D 模型，适用于拓扑优化、结构设计和材料分布等领域。 一些主流 CAD 软件，如 Autodesk 系列、SolidWorks 等，提供了基于 AI 的生成设计工具，可根据用户输入的设计目标和约束条件自动产生多种设计方案。 2. 对于制作网站： 在选择工具时，需考虑目标和需求（如个人博客、商业网站、在线商店等）、预算、易用性、自定义选项以及支持和资源（如教程、社区论坛）等因素。 3. 对于审核规划平面图： HDAidMaster：云端工具，在建筑设计、室内设计和景观设计领域表现出色，搭载自主训练的建筑大模型 ArchiMaster。 Maket.ai：主要面向住宅行业，在户型设计和室内软装设计方面有探索，能根据输入的房间面积需求和土地约束自动生成户型图。 ARCHITEChTURES：AI 驱动的三维建筑设计软件，在住宅设计早期阶段可引入相关标准和规范约束设计结果。 需要注意的是，这些工具通常需要一定的相关知识和技能才能有效使用。对于初学者，建议先学习基本技巧，然后尝试使用这些 AI 工具来提高效率。以上内容由 AI 大模型生成，请仔细甄别。
2024-09-09