以下是关于大模型流程的详细说明：
RAG（Retrieval Augmented Generation，检索增强生成）技术应用于利用大模型能力搭建知识库，其流程主要包括以下 5 个过程：
从用户提出问题开始，还经历了以下流程：
需要注意的是，重排序的结果通常不会都被用作大模型的上下文，因为大模型的上下文有限制。可以设置一个阈值进行截断，比如只使用前 3 - 5 个文档；也可以设置一个相关性分数的阈值，只取相关性分数大于某个值的文档。一些先进的 RAG 系统会对选中的文档进行摘要或压缩，以在有限的空间内包含更多相关信息。
在大模型输出结果后还有后置处理，可能包括敏感内容检测和移除、格式化输出等。
LLM 的工作原理可以这样理解：以“我今天吃了狮子头和蔬菜”这句话为例，在 Transformer 中，会由 Attention 层对这句话加入更多的信息来补充，比如补充“狮子头是一道菜”“今天是星期六”等等。这些补充信息，会作为输入给到下一个 Attention 层进行补充。最终层与层之间，哪些信息需要补充，哪些信息需要保留，哪些信息传递，均由模型自主学习完成。总结起来就是大模型以词向量和 Transformer 的模型学习了海量的知识，把知识作为向量空间中的一种关系网进行存储，并在接受输入时，通过向量空间中的一系列匹配进行输出。这就像人脑在阅读学习的过程，记忆的不是点状的知识，而是网状的经验。
文本加载器就是将用户提供的文本加载到内存中，便于进行后续的处理
从用户提出问题开始：我们经历了用户问题的理解根据用户问题进行路由进行初步的检索对初步检索的结果进行重排序现在终于要到了生成结果的时候了，这个环节的流程可以简化如下：将重排序后的结果和用户的查询意图组合成上下文输入给大模型大模型通过指定的提示词生成输出结果这个环节理解起来很简单，但是同样有几个需要注意的点重排序的结果通常不会都被用作大模型的上下文，因为大模型的上下文有限制可以设置一个阈值进行截断，比如只使用前3-5个文档可以设置一个相关性分数的阈值，只取相关性分数大于某个值的文档一些先进的RAG系统会对选中的文档进行摘要或压缩，以在有限的空间内包含更多相关信息。[heading3]后置处理[heading3][content]在大模型输出结果后就是一些后置的处理了，这可能包括敏感内容检测和移除格式化输出.....这些不是本文的重点，我们就不再这里展开了至此，关于普通的RAG的原理基本就全部讲完了，非常感谢你能耐心看到这里！这里我再引用智谱清言的一张图给大家复习，看完上述流程，我理解这张图理解起来更容易
[title]Ranger：【AI大模型】非技术背景，一文读懂大模型（长文）[heading2]三、理解模型如何运作[heading3]1.LLm工作原理打个比方，“我今天吃了狮子头和蔬菜”这句话，在transformer中，会由attention层对这句话加入更多的信息来补充。比如补充“狮子头是一道菜”“今天是星期六”等等。这些补充信息，会作为输入给到下一个attention层进行补充。当然有些信息可能是不重要的，也会被忽视掉。最终层与层之间，哪些信息需要补充，哪些信息需要保留，哪些信息传递，均由模型自主学习完成。而最终学习的结果就是，模型可以把海量的数据以关系网的形式“消化”掉，并保留其重要的相关性。这些表述可能还不够直观，再打个比方，这些层就好像人在去阅读文章的时候的一个连贯性注意力的过程。就好像我们在去阅读理解一篇文章的时候，脑子里会对输入的内容进行消化然后吸收记忆，而记忆下来的不是点状的知识，而是网状的经验。3）再形象些的比喻llm的原理基本就是这样了，总结起来就是大模型以词向量和transformer的模型学习了海量的知识，把知识作为向量空间中的一种关系网进行存储，并在接受输入时，通过向量空间中的一系列匹配进行输出。这个过程其实大家想一想，是不是就像是人脑在阅读学习的个过程？比如我们在记忆一些资料时，其实记忆的也不可能是逐字逐句去记忆的，也是按照相关性，重要程度，再结合历史经验信息进行记忆的。记忆下来的东西，也不是一个个的文字，而更像是一种感觉，一种“意象”。再比如我们去看红色，会觉得这个代表温暖，代表强烈，这也是因为我们在去记忆这个信息时，同时受到来自生理、社会伦理等的关联记忆，所以一个简单的“红色”在我们的脑海中记忆时，也不仅是一个简单的词语，而是带有了很多的“feature”信息。