RAG 即 Retrieval-augmented-Generation（检索增强技术），是大模型中的一个重要概念。
首先回顾 LLM 的原理，它是把互联网文献材料降维到 latent space 中，并通过 transformer 方式学习其中的“经验”。但固定文献资料存在局限性，可能无法回答某些问题。
RAG 的出现解决了这一问题，它允许模型到搜索引擎上搜索问题相关资料，并结合自身知识体系综合回复。其中，RAG 的“R”即搜索环节并非简单操作，还涉及传统搜索的逻辑，如对输入问题的纠错、补充、拆分，以及对搜索内容的权重逻辑等。
例如，对于“中国界世杯夺冠那年的啤酒销量如何”的问题，会先纠错为“中国世界杯夺冠那年的啤酒销量如何”，然后拆分问题进行综合搜索，将搜索到的资料提供给大模型进行总结性输出。
RAG 是一种结合检索和生成的技术，能让大模型在生成文本时利用额外数据源，提高生成质量和准确性。其基本流程为：首先，给定用户输入（如问题或话题），RAG 从数据源中检索出相关文本片段（称为上下文）；然后，将用户输入和检索到的上下文拼接成完整输入传递给大模型（如 GPT），输入通常包含提示，指导模型生成期望输出（如答案或摘要）；最后，从大模型输出中提取或格式化所需信息返回给用户。
rag，也就是Retrieval-augmented-Generation，检索增强技术，应该也是大家经常看到的一个名词了。那么他到底是个什么东西呢？首先我们先回顾llm的原理，其实就是把一堆互联网文献材料，降维到latentspace中，并通过transformer的方式用学习到了其中的“经验”。但文献资料是死的，如果仅通过固定的资料去回答问题，势必会出现一些无法回答的问题。那么rag的出现就解决了这个问题，rag允许模型可以到搜索引擎上去搜索问题相关的资料，并将获取到的信息，综合自己的知识体系内容，综合进行回复。当然rag不全是这些，rag的r，也就是搜索，其实不是一件简单的事情。所以这个环节还会有些传统的搜索的逻辑在，比如对于输入问题的纠错，补充，拆分，以及对于搜索内容的权重逻辑等等的事情。打个比方，比如问中国界世杯夺冠那年的啤酒销量如何，那就首先会做一次纠错，把“界世”纠错为“世界”，然后把问题拆分为两个问题，然后综合去搜索，把搜索到的资料在给到大模型，让其进行总结性输出
RAG是一种结合了检索和生成的技术，它可以让大模型在生成文本时利用额外的数据源，从而提高生成的质量和准确性。RAG的基本流程如下：首先，给定一个用户的输入，例如一个问题或一个话题，RAG会从一个数据源中检索出与之相关的文本片段，例如网页、文档或数据库记录。这些文本片段称为上下文（context）。然后，RAG会将用户的输入和检索到的上下文拼接成一个完整的输入，传递给一个大模型，例如GPT。这个输入通常会包含一些提示（prompt），指导模型如何生成期望的输出，例如一个答案或一个摘要。最后，RAG会从大模型的输出中提取或格式化所需的信息，返回给用户。
RAG是一种结合了检索和生成的技术，它可以让大模型在生成文本时利用额外的数据源，从而提高生成的质量和准确性。RAG的基本流程如下：首先，给定一个用户的输入，例如一个问题或一个话题，RAG会从一个数据源中检索出与之相关的文本片段，例如网页、文档或数据库记录。这些文本片段称为上下文（context）。然后，RAG会将用户的输入和检索到的上下文拼接成一个完整的输入，传递给一个大模型，例如GPT。这个输入通常会包含一些提示（prompt），指导模型如何生成期望的输出，例如一个答案或一个摘要。最后，RAG会从大模型的输出中提取或格式化所需的信息，返回给用户。