Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

RAG的局限

Answer

RAG 技术存在以下局限性：

  1. 知识领域方面：适合打造专才，不适合打造通才。能够提供新的信息、专有领域知识等，但不适合提供通用领域知识。
  2. 模型输出方面：让模型保持稳定的风格或结构输出，降低 token 消耗等，这两点需要使用微调技术解决。
  3. 检索质量方面：RAG 技术的表现高度依赖于检索到的信息质量。如果知识库中的信息存在错误或偏差，生成内容也可能受其影响。
  4. 资源需求方面：计算资源需求较高，可能限制其在资源有限的场景中的应用。
  5. 处理速度方面：由于需要先进行信息检索，再进行内容生成，处理速度相对较慢，可能不适合实时性要求高的应用。
  6. 可能引入错误和幻觉：例如检索出不相关或不准确的文本片段，或者生成与输入或上下文不一致的输出。
Content generated by AI large model, please carefully verify (powered by aily)

References

3. 如何让 LLM 应用性能登峰造极

如果LLM应用面临的问题与上下文有关，那么RAG就是一个强大的工具。它使模型能够访问外部数据源，提供模型训练数据中不存在的必要上下文。这种方法可以显著提高模型的性能，尤其是在最新信息或特定领域信息至关重要的情况下。为模型提供参考文本的情况下，也能大大降低模型幻觉。需要注意的是RAG的局限性如下：适合打造专才，不适合打造通才。虽然能够为模型提供新的信息、专有领域知识等，但并不适合为模型提供通用领域知识。让模型保持稳定的风格或结构输出，降低token消耗等。也就是我们在prompt工程局限性的后两点，而这两点需要使用微调技术解决。

【深度揭秘】AI 幻觉背后的技术真相与应对策略，探索人工智能的未来

尽管RAG技术在减少AI幻觉方面表现出色，但它也存在一些局限性：依赖检索质量：RAG技术的表现高度依赖于检索到的信息质量。如果知识库中的信息存在错误或偏差，生成内容也可能受其影响。计算资源需求高：RAG技术结合了检索和生成两部分，计算资源需求较高，可能限制其在资源有限的场景中的应用。处理速度慢：由于需要先进行信息检索，再进行内容生成，RAG技术的处理速度相对较慢，可能不适合实时性要求高的应用。

如何基于飞书能力来开发问答机器人

RAG技术的缺点是也可能引入一些错误和幻觉，例如检索出不相关或不准确的文本片段，或者生成与输入或上下文不一致的输出。参考文档：1.[开发：LangChain应用开发指南-大模型的知识外挂RAG](https://waytoagi.feishu.cn/wiki/GnYQw1kbairUbSka90gc4XCAnSe)2.[开发：LangChain应用开发指南-大模型的知识外挂RAG](https://waytoagi.feishu.cn/wiki/EQrQwYmKpisP4RkvJZocX8nNnAL)3.[开发：产品视角的大模型RAG应用](https://waytoagi.feishu.cn/wiki/WiAwwqSfYiT8sKkYU33c7FMpnvh)4.[通过增强PDF结构识别，革新检索增强生成技术(RAG)](https://waytoagi.feishu.cn/wiki/TcwvwTa7Mij60WkM1b7cojnEnIg)5.[开发：LangChain应用开发指南-TruLens用量化对抗幻觉](https://waytoagi.feishu.cn/wiki/XXFDwmeLUiVV6Jkgb5HcTKnhntk)6.[RAG系统开发中的12大痛点及解决方案](https://waytoagi.feishu.cn/wiki/JG7rwbXKzi1f0Lk9Br8crFmPn8g)7.[XiaoHu.AI日报](https://waytoagi.feishu.cn/wiki/T2fUwmHBSiHU6Ukq9Imcu7n7nMh)

Others are asking
RAG
RAG（RetrievalAugmented Generation，检索增强生成）是一种结合检索和生成能力的自然语言处理架构。 通用语言模型通过微调可完成常见任务，而更复杂和知识密集型任务可基于语言模型构建系统，访问外部知识源来实现。Meta AI 引入 RAG 来完成这类任务，它把信息检索组件和文本生成模型结合，可微调且内部知识修改高效，无需重新训练整个模型。 RAG 接受输入并检索相关/支撑文档，给出来源，与原始提示词组合后送给文本生成器得到最终输出，能适应事实随时间变化的情况，让语言模型获取最新信息并生成可靠输出。 大语言模型（LLM）存在一些缺点，如无法记住所有知识尤其是长尾知识、知识容易过时且不好更新、输出难以解释和验证、容易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有以下优点：数据库对数据的存储和更新稳定，无学习风险；数据更新敏捷，可解释且不影响原有知识；降低大模型输出出错可能；便于管控用户隐私数据；降低大模型训练成本。 在 RAG 系统开发中存在 12 个主要难题，并针对每个难题有相应的解决策略。
2025-03-23
RAG技术是什么，你找到了什么文档
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合了检索和生成的技术。 其在多个基准测试中表现出色，如在 Natural Questions、WebQuestions 和 CuratedTrec 等中。用 MSMARCO 和 Jeopardy 问题进行测试时，生成的答案更符合事实、具体且多样，FEVER 事实验证使用后也有更好结果。基于检索器的方法越来越流行，常与 ChatGPT 等流行 LLM 结合使用以提高能力和事实一致性。 RAG 是一种结合检索和生成的技术，能让大语言模型在生成文本时利用额外的数据源，提高生成质量和准确性。基本流程是：先根据用户输入从数据源检索相关文本片段作为上下文，然后将用户输入和上下文拼接传递给大语言模型，最后提取或格式化大语言模型的输出给用户。 大语言模型存在一些缺点，如无法记住所有知识尤其是长尾知识、知识容易过时且不好更新、输出难以解释和验证、容易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有诸多优点，如数据库对数据的存储和更新稳定，数据更新敏捷且可解释，能降低大模型输出出错可能，便于管控用户隐私数据，还能降低大模型训练成本。
2025-03-20
RAG 开发实战
以下是关于 RAG 开发实战的详细内容： RAG 是一种结合了检索和生成的技术，能让大模型在生成文本时利用额外的数据源，提高生成质量和准确性。其基本流程为：首先，用户给出输入，如问题或话题，RAG 从数据源中检索相关文本片段（称为上下文）；然后，将用户输入和检索到的上下文拼接成完整输入传递给大模型（如 GPT），此输入通常包含提示，指导模型生成期望输出（如答案或摘要）；最后，从大模型输出中提取或格式化所需信息返回给用户。 以餐饮生活助手为例进行 RAG 的 Langchain 代码实战，需完成以下步骤： 1. 定义餐饮数据源：将餐饮数据集转化为 Langchain 可识别和操作的数据源（如数据库、文件、API 等），注册到 Langchain 中，并提供统一接口和方法，方便 LLM 代理访问和查询。 2. 定义 LLM 的代理：通过 Langchain 的代理（Agent）实现，代理管理器可让开发者定义不同 LLM 代理及其功能逻辑，并提供统一接口和方法，方便用户与 LLM 代理交互。
2025-03-20
如何一步一步实现RAG 模型的私有化部署
要一步一步实现 RAG 模型的私有化部署，可参考以下步骤： 1. 导入依赖库：加载所需的库和模块，如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型，使用前需确保 ollama 服务已开启并下载好模型。 2. 从订阅源获取内容：通过特定函数从指定的 RSS 订阅 url 提取内容，若需接收多个 url 稍作改动即可。然后用专门的文本拆分器将长文本拆分成较小块，并附带相关元数据，如标题、发布日期和链接，最终合并成列表返回用于后续处理或提取。 3. 为文档内容生成向量：使用文本向量模型 bgem3，从 hf 下载好模型后放置在指定路径，通过函数利用 FAISS 创建高效的向量存储。 4. 关于 ollama： 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同场景。 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 cpu 和 gpu。 提供模型库，用户可从中下载不同模型，满足不同需求和硬件条件，可通过 https://ollama.com/library 查找。 支持自定义模型，可修改模型温度参数等。 提供 REST API 用于运行和管理模型及与其他应用集成。 社区贡献丰富，有多种集成插件和界面。 需先安装，访问 https://ollama.com/download/ 下载安装，安装后确保 ollama 后台服务已启动。 5. 基于用户问题从向量数据库中检索相关段落，根据设定阈值过滤，让模型参考上下文信息回答问题实现 RAG。 6. 创建网页 UI：通过 gradio 创建网页 UI 并进行评测。 总结： 1. 本文展示了如何使用 Langchain 和 Ollama 技术栈在本地部署资讯问答机器人，结合 RSSHub 处理和提供资讯。 2. 上下文数据质量和大模型的性能决定 RAG 系统性能上限。
2025-03-20
RAG 模型的私有化部署
RAG 模型的私有化部署通常在商业化过程中被用于结合企业私有数据。在企业有特殊需求时，还可对模型进行微调以优化性能。基础模型负责提供推理提示，RAG 用于整合新知识，实现快速迭代和定制化信息检索。 构建有效的 RAG 系统需要考虑多个因素： 1. 数据安全性：若有需求，需进行私有化部署，并考虑硬件成本。 2. 数据集复杂度和数量级：复杂数据集带来高昂的文档清洗、解析和分割成本，大数据量级带来存储成本上升。 3. 回答质量要求：要求越高，需要越复杂的检索算法和更强大的 LLM，带来算力成本。 4. 数据更新频率：频繁更新可能需要高昂的维护成本。 此外，实现本地部署资讯问答机器人时，如 Langchain + Ollama + RSSHub 实现 RAG，需导入依赖库、从订阅源获取内容、为文档内容生成向量等步骤。
2025-03-20
RAG 模型的私有化部署
RAG 模型的私有化部署通常在商业化过程中被用于结合企业私有数据。在企业有特殊需求时，还可对模型进行微调以优化性能。基础模型负责提供推理提示，RAG 用于整合新知识、实现快速迭代和定制化信息检索。 构建有效的 RAG 系统并不简单，企业若要进行私有化部署，需考虑以下因素： 1. 数据安全性：若有需求，需考虑硬件成本。 2. 数据集复杂度和数量级：复杂数据集会带来高昂的文档清洗、解析和分割成本，大数据量级会带来存储成本上升。 3. 回答质量要求：要求越高，需要越复杂的检索算法和更强大的 LLM，会带来算力成本。 4. 数据更新频率：频繁更新可能需要高昂的维护成本。 此外，实现 RAG 模型私有化部署还涉及一些技术操作，如本地部署资讯问答机器人时，需要导入依赖库、从订阅源获取内容、为文档内容生成向量等。
2025-03-20
AI现在的局限是什么，在代码方面的具体说说
AI 在代码方面存在以下局限： 1. 传统观念的局限性：AI 圈子实际影响有限，模型能力有限，初体验不佳导致误解和怀疑。企业实践中，AI 普及存在门槛，需要成功案例或外部引导建立信任。 2. 编程辅助方面：使用不频繁时被视作高级自动化工具，用于生成代码或完成重复性任务，处于辅助角色，即命令式。具体表现为执行单一、线性任务，如生成排序算法代码，简单执行模式限制了更广泛应用。 3. 问题点：命令式的“指令执行”模式忽略了 AI 在创意激发和解决问题中的潜力，局限于简单代码生成，未能在设计优化、逻辑推理和需求分析等方面发挥作用。 4. 输出方式的局限：交互方式主要以文本和代码为主，输出局限在“写”层面，存在交互效率低下、表达能力受限、认知负担重和应用场景局限等问题。例如，用户需大量文字表达需求，AI 解释结果冗长，多轮反复才能达成共识；在设计方案等场景中，图形图表表达更优；人类处理图形信息效率高于文本；纯文本输出无法满足原型设计等领域实际需求。
2025-03-22
大型语言模型（LLM）基于Transformer架构的模型的优缺点是什么，有什么局限性
大型语言模型（LLM）基于 Transformer 架构的模型具有以下优点： 1. 在大量数据集上进行预训练，展现出卓越的语言处理能力，能预测接下来的 Token。 然而，也存在一些缺点和局限性： 1. 瞬态状态：天生缺乏持久的记忆或状态，需要额外的软件或系统来保留和管理上下文。 2. 概率性质：随机性导致响应的不确定性，对相同提示词可能产生不同回答。 3. 过时信息：依赖预训练数据，只能访问历史知识，无法获取实时更新。 4. 内容制造：可能生成看似合理但不准确的信息，即“幻觉”。 5. 资源密集：巨大规模意味着显著的计算和财务成本，影响可扩展性和可访问性。 6. 领域特定性：本质上通用，但通常需要特定领域数据才能在专业任务中表现出色。 7. 缺乏创造性：像一个高性能的知识检索工具，超出检索范围时表现差，甚至出现“幻觉”。面对复杂逻辑推导和新的知识推演能力不足，无法基于新的语料推演出新知识。 8. 对于特定领域或高度专业化的查询，容易产生错误信息或“幻觉”，特别是当查询超出训练数据或需要最新信息时。
2025-02-13
大模型的局限性
大模型存在以下局限性： 1. 知识的局限性：模型自身的知识完全源于训练数据，现有的主流大模型（如 ChatGPT、文心一言、通义千问等）的训练集基本抓取网络公开数据用于训练，对于一些实时性、非公开或离线的数据无法获取，导致部分知识缺失。 2. 幻觉问题：大模型的底层原理是基于数学概率的文字预测，即文字接龙，因此存在幻觉问题，会在没有答案的情况下提供虚假信息，提供过时或通用的信息，从可信度低非权威来源的资料中提供结果等。 3. 数据安全性：对于企业来说，数据安全至关重要，企业通常不愿意承担将自身私域数据上传第三方平台进行训练导致的数据泄露风险。 4. 在图灵测试游戏中，如果 AI 模型没有调用工作流，Agent 就会直接回答问题，导致游戏状态无法正确跳转，对局失败。为解决此问题，虽采取了增强模型调用能力和增加容错机制等措施，但开发难度大，且只要大模型不调用工作流一次，后续不调用的概率会很大。模型总会优先调用知识库进行问题回复，不设置知识库时，模型提的问题可能很发散，与图灵测试初衷违背。把知识库中的数据放到代码里虽可缓解问题，但反程序设计的解耦和逻辑，修改麻烦。
2024-12-11
ChatGPT当前的局限是什么
ChatGPT 目前存在以下局限： 1. 在深度逻辑推理、复杂计算、科研探索等领域存在较大局限性。 2. 在进行最后阶段的 RLHF 时，可能仅在做通用泛化上的对齐，如基于 QA 交互层面对生成内容的交互性、合理性、安全性、风险性等进行对齐。 3. 对稍微大一点的场景设计容易出现上下文衔接不上的问题，回复可能越到后面越脱离当前场景做新的不符合当前场景的设计。 4. 有时候会虚构事实并作出错误的推理。 5. 需要使用一种可能与大脑相当不同且在某些方面效率远低于大脑的策略，内部没有“循环”或“重新计算数据”，这不可避免地限制了其计算能力。 6. 目前尚不清楚如何在解决相关问题的同时保持训练系统的合理效率。
2024-12-03
文心一言的开发公司是谁，功能特点，优势性和局限性请帮我简要概括
文心一言是由百度开发的全新一代知识增强大语言模型。 功能特点： 在计算、逻辑推理、生成与创作、传统安全这 4 大基础能力上排名国内第一。 在代码、知识与百科、语言理解与抽取、工具使用能力上排名国内前三。 各项能力表现均衡且大部分能力水平较高。 能力栈广泛，可应用场景较多，重点推荐在查询搜索知识应用、任务拆解规划 Agent、文案写作以及代码编写及纠错等方面的应用，在逻辑推理方面表现不俗，可关注在科学研究、教育、工业方面的落地能力。 优势： 能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。 局限性： 从某些测试和感觉来看，其能力水平可能在 GPT3 的阶段，输出内容的可靠性与 ChatGPT 相比还有差距。
2024-11-22
对于在电力设计院工作的人员有什么推荐的AI网站或工具吗，我想到的可能的场景包括写文档、编程、画设计图、三维模型渲染等，可不局限于这些场景
以下是为在电力设计院工作的人员推荐的一些 AI 网站和工具： 1. 对于画 CAD 图： CADtools 12：这是一个 Adobe Illustrator（AI）插件，为 AI 添加了 92 个绘图和编辑工具，包括图形绘制、编辑、标注、尺寸标注、转换、创建和实用工具。 Autodesk Fusion 360：是 Autodesk 开发的一款集成了 AI 功能的云端 3D CAD/CAM 软件，能帮助创建复杂的几何形状和优化设计。 nTopology：基于 AI 的设计软件，可帮助创建复杂的 CAD 模型，包括拓扑优化、几何复杂度和轻量化设计等。 ParaMatters CogniCAD：基于 AI 的 CAD 软件，能根据用户输入的设计目标和约束条件自动生成 3D 模型，适用于拓扑优化、结构设计和材料分布等领域。 一些主流 CAD 软件，如 Autodesk 系列、SolidWorks 等，提供了基于 AI 的生成设计工具，可根据用户输入的设计目标和约束条件自动产生多种设计方案。 2. 对于制作网站： 在选择工具时，需考虑目标和需求（如个人博客、商业网站、在线商店等）、预算、易用性、自定义选项以及支持和资源（如教程、社区论坛）等因素。 3. 对于审核规划平面图： HDAidMaster：云端工具，在建筑设计、室内设计和景观设计领域表现出色，搭载自主训练的建筑大模型 ArchiMaster。 Maket.ai：主要面向住宅行业，在户型设计和室内软装设计方面有探索，能根据输入的房间面积需求和土地约束自动生成户型图。 ARCHITEChTURES：AI 驱动的三维建筑设计软件，在住宅设计早期阶段可引入相关标准和规范约束设计结果。 需要注意的是，这些工具通常需要一定的相关知识和技能才能有效使用。对于初学者，建议先学习基本技巧，然后尝试使用这些 AI 工具来提高效率。以上内容由 AI 大模型生成，请仔细甄别。
2024-09-09