以下是为您提供的关于 RAG 案例的相关内容:
在商业化问答场景中,存在大模型根据知识库回复不准确的情况,如回答牛头不对马嘴、未依据正确内容回答等错误场景,这凸显了优化大模型根据知识库回答准确性的重要性,而在 AI 领域中,此优化过程称为 RAG。
RAG(Retrieval-Augmented Generation)即检索增强生成,由检索器和生成器两部分组成。检索器从外部知识中快速找到与问题相关的信息,生成器利用这些信息制作精确连贯的答案,适合处理需要广泛知识的任务,如问答系统。
在案例研究中:
其中,她是陈美嘉,这里是人设中的设定。吵架的经过是知识库中的内容。在我提问了之后,大模型去知识库里找到了相关内容,然后回复了我。这就是一个简单的正确回复的demo示例。然而,我们会发现,有时候她的回答会十分不准确。图二明显回答的牛头不对马嘴。图三是知识库截图,其中是有“一菲为美嘉找了一份助教工作”的内容的。但是回答这个问题时,AI并没有根据正确的知识库内容回答。这,就是基于知识库问答中的一个非常常见的错误场景。在其他情况下,甚至有可能出现报价错误、胡编乱造等等。这在严肃场景中,是不能接受的出错。现在应该能够直观的理解,为什么需要让大模型根据知识库回答的更加准确、更符合我们的要求。在AI领域中,优化AI更准确回答问题的过程,有一个更加专业的术语,叫做RAG。接下来,咱们进入正题,一步一步探索,如何优化回答。二、基础概念如果我们要优化幻觉问题和提高准确性,就务必要了解清楚从“问题输入”--“得到回复”,这个过程中,究竟发生了什么。然后针对每一个环节,逐个调优,以达到效果最佳化。因此,我们先深入其中了解问答全貌。[heading3]1、RAG介绍[content]RAG(Retrieval-Augmented Generation),即检索增强生成,是一种结合信息检索和文本生成能力的技术,它由两部分组成:一个“检索器”和一个“生成器”。检索器从外部知识中快速找到与问题相关的信息,生成器则利用这些信息来制作精确和连贯的答案。这种结合使得RAG非常适合处理需要广泛知识的任务,如问答系统,能够提供详细而准确的回答。
案例B中,用户要查询的是一篇特定的研究论文。该查询要求系统识别论文中的“表格8”,并列举它所列出的所有因变量。表格的标题和内容对于识别这些变量都是必需的。图11和图12显示了ChatDOC和Baseline模型在该案例中的表现。图11 ChatDOC模型在研究论文中定位特定表格的结果(原始文档:[7])图12 Baseline模型在研究论文中定位特定表格的结果(原始文档:[7])ChatDOC有效地检索了整个表格,包括其标题和内容。这种全面的检索使其能够准确地响应查询。Baseline模型没有检索到真正的“表格8”,而只检索到“表格7”下面的文本块(因为它包含“表格8”的文本)。由于Baseline模型的分割策略,“表格8”的内容和同一页面上的其他内容被合并为一个大的分块。这个分块中混合了不相关的内容,与查询的相关性系数较低,因此不会出现在检索结果中。这个案例突出了ChatDOC处理复杂文档结构的卓越能力,以及它在检索特定片段以获得准确响应方面的作用。
上面的章节提到了了很多论文,论文的特点决定了他们的方法更多的是从细节出发,解决具体的细节问题。而RAG是更是一个在工业领域大放异彩的技术,下面我们将从RAG Flow的角度介绍几个行业最佳的RAG实践,看看在真实应用场景下应该如何构建RAG Flow。[heading3]1、OpenAI[content]从OpenAI Demo day的演讲整理所得,并不能完全代表OpenAI的实际操作。在提升RAG的成功案例中,OpenAI团队从45%的准确率开始,尝试了多种方法并标记哪些方法最终被采用到生产中。他们尝试了假设性文档嵌入(HyDE)和精调嵌入等方法,但效果并不理想。通过尝试不同大小块的信息和嵌入不同的内容部分,他们将准确率提升到65%。通过Reranking和对不同类别问题特别处理的方法,他们进一步提升到85%的准确率。最终,通过提示工程、查询扩展和其他方法的结合,他们达到了98%的准确率。团队强调了模型精调和RAG结合使用时的强大潜力,尤其是在没有使用复杂技术的情况下,仅通过简单的模型精调和提示工程就接近了行业领先水平。