rag分几种模式

RAG可以显著提高大模型在处理私域知识或垂直领域问答时的效果。此处向您展示通过百炼控制台操作将RAG的能力集成到智能体应用中的过程。知识库问答的核心本质是RAG，所以这个时候就需要使用RAG技术能力了，那么什么是RAG呢？（1）上传文档：用户上传包含知识的文档，支持txt、pdf、docx等格式，LangChain Chatchat会将文档转换为Markdown格式（2）文本切割：为了便于分析和处理，将长文本切割为小块（chunk）（3）文本向量化：将切割的chunk通过embedding技术，转换为算法可以处理的向量，存入向量数据库（4）问句向量化：用户提问后，同样将用户的问句向量化（5）语义检索匹配：将用户的问句与向量数据库中的chunk匹配，匹配出与问句向量最相似的top k个（6）提交Prompt至LLM：将匹配出的文本和问句，一起添加到配置好的prompt模板中，提交给LLM（7）生成回答：LLM生成回答，返回给用户RAG研究范式不断发展，本节主要描述了其发展过程。我们将其分为三种类型：基础RAG（Naive RAG）、高级RAG（Advanced RAG）和模块化RAG（Modular RAG）。下图简单的说明了这三种RAG的工作流程：基础RAG

原创刘焕勇老刘说NLP 2024-01-29 18:31发表于北京今天是2024年1月29日，星期一，北京，天气晴。今天我们再来看看RAG的一些话题。我们在上一个文章《值得一看的大模型RAG问答总括性梳理：模块化(Modular)RAG范式的定义、构成及机遇》（https://mp.weixin.qq.com/s/j07PkTCoxBzAhkyON1puPg）中介绍了模块化(Modular)RAG的一些相关工作，重点对每个模块中的构成细节，即模块化RAG的”模块类型“，”模块“和”算子“进行了论述，相信大家已经有了一定的认识。因此，我们趁热打铁，借着再来看看基于不3同模块和和算子的编排就组成的RAG Flow，6这为我们看待RAG系统提供了新的视角。在模块化RAG范式是如何帮助我们设计自己的RAG Flow？本文，我们将从三个方面深入探讨RAG Flow的设计思路，分别是典型的RAG Flow模式、特定的RAG流实现以及最佳的行业案例。在典型的RAG Flow模式方面，我们将介绍以下3种微调阶段模式和4种推理阶段模式。供大家一起参考并思考。

这里我们先不讨论技术原理，我们可以通过“RAG”的名字来通俗易懂地解释一下检索增强生成R：Retrieval（检索）想象一下，当你在一个图书馆里寻找一本关于某个主题的书。图书馆员会先根据你的描述，从书架上找出一些相关的书籍和文章。这就是RAG中的“检索”部分。在这个步骤中，系统会从知识库或文档集合中找到与用户问题相关的内容。A：Augmented（增强）接下来，图书馆员会打开那些找出来的书籍和文章，挑选出最相关的段落和信息，并把它们汇总起来。这就是“增强”部分。这里，大模型会把检索到的信息进行筛选和优化，确保最相关和最有用的信息被选中。G：Generation（生成）最后，图书馆员会把汇总的信息组织成一个连贯的、易于理解的回答，用通俗易懂的语言告诉你。这就是“生成”部分。在这一阶段，大模型将整合的信息生成一个自然流畅的回答，像是一个专家在直接回答你的问题。综合解释RAG就像是一个超级智能的图书馆员：1.检索：它会从庞大的知识库中找到与你问题相关的信息。2.增强：它会筛选和优化这些信息，确保找到的是最相关的部分。3.生成：它会把这些信息整合起来，用通俗易懂的语言给出一个连贯的回答了解了RAG的基本概念，他的优缺点也就显而易见啦！优点：成本效益：相比训练和维护一个大型专有模型，RAG的实现成本更低灵活性：RAG可以利用多种数据源，包括结构化数据和非结构化数据。它能迅速适应不同领域和变化的数据可扩展性：可以随时增加或更新知识库中的内容，而不需要重新训练模型缺点：相比于专有模型的方案，他的回答准确性不够