RAG 案例

其中，她是陈美嘉，这里是人设中的设定。吵架的经过是知识库中的内容。在我提问了之后，大模型去知识库里找到了相关内容，然后回复了我。这就是一个简单的正确回复的demo示例。然而，我们会发现，有时候她的回答会十分不准确。图二明显回答的牛头不对马嘴。图三是知识库截图，其中是有“一菲为美嘉找了一份助教工作”的内容的。但是回答这个问题时，AI并没有根据正确的知识库内容回答。这，就是基于知识库问答中的一个非常常见的错误场景。在其他情况下，甚至有可能出现报价错误、胡编乱造等等。这在严肃场景中，是不能接受的出错。现在应该能够直观的理解，为什么需要让大模型根据知识库回答的更加准确、更符合我们的要求。在AI领域中，优化AI更准确回答问题的过程，有一个更加专业的术语，叫做RAG。接下来，咱们进入正题，一步一步探索，如何优化回答。二、基础概念如果我们要优化幻觉问题和提高准确性，就务必要了解清楚从“问题输入”--“得到回复”，这个过程中，究竟发生了什么。然后针对每一个环节，逐个调优，以达到效果最佳化。因此，我们先深入其中了解问答全貌。[heading3]1、RAG介绍[content]RAG（Retrieval-Augmented Generation），即检索增强生成，是一种结合信息检索和文本生成能力的技术，它由两部分组成：一个“检索器”和一个“生成器”。检索器从外部知识中快速找到与问题相关的信息，生成器则利用这些信息来制作精确和连贯的答案。这种结合使得RAG非常适合处理需要广泛知识的任务，如问答系统，能够提供详细而准确的回答。

案例B中，用户要查询的是一篇特定的研究论文。该查询要求系统识别论文中的“表格8”，并列举它所列出的所有因变量。表格的标题和内容对于识别这些变量都是必需的。图11和图12显示了ChatDOC和Baseline模型在该案例中的表现。图11 ChatDOC模型在研究论文中定位特定表格的结果(原始文档:[7])图12 Baseline模型在研究论文中定位特定表格的结果(原始文档:[7])ChatDOC有效地检索了整个表格，包括其标题和内容。这种全面的检索使其能够准确地响应查询。Baseline模型没有检索到真正的“表格8”，而只检索到“表格7”下面的文本块（因为它包含“表格8”的文本）。由于Baseline模型的分割策略，“表格8”的内容和同一页面上的其他内容被合并为一个大的分块。这个分块中混合了不相关的内容，与查询的相关性系数较低，因此不会出现在检索结果中。这个案例突出了ChatDOC处理复杂文档结构的卓越能力，以及它在检索特定片段以获得准确响应方面的作用。

上面的章节提到了了很多论文，论文的特点决定了他们的方法更多的是从细节出发，解决具体的细节问题。而RAG是更是一个在工业领域大放异彩的技术，下面我们将从RAG Flow的角度介绍几个行业最佳的RAG实践，看看在真实应用场景下应该如何构建RAG Flow。[heading3]1、OpenAI[content]从OpenAI Demo day的演讲整理所得，并不能完全代表OpenAI的实际操作。在提升RAG的成功案例中，OpenAI团队从45%的准确率开始，尝试了多种方法并标记哪些方法最终被采用到生产中。他们尝试了假设性文档嵌入（HyDE）和精调嵌入等方法，但效果并不理想。通过尝试不同大小块的信息和嵌入不同的内容部分，他们将准确率提升到65%。通过Reranking和对不同类别问题特别处理的方法，他们进一步提升到85%的准确率。最终，通过提示工程、查询扩展和其他方法的结合，他们达到了98%的准确率。团队强调了模型精调和RAG结合使用时的强大潜力，尤其是在没有使用复杂技术的情况下，仅通过简单的模型精调和提示工程就接近了行业领先水平。