大型语言模型（LLM）基于Transformer架构的模型的优缺点是什么，有什么局限性

大型语言模型（LLM），包括基于Transformer架构的模型，已经成为自然语言处理领域的重要推动力。这些模型通过在大量数据集上进行预训练，以预测接下来的Token，展现出了卓越的语言处理能力。然而，尽管它们功能强大，LLM仍然受到一些固有限制的影响，这些限制影响了它们的应用和有效性。瞬态状态：LLM天生缺乏持久的记忆或状态，这就需要额外的软件或系统来保留和管理上下文。概率性质：LLM的随机性导致了响应的不确定性，即使是对相同的提示词，也可能产生不同的回答。这意味着你每次可能得到略有差异的答案。过时信息：依赖于预训练数据，LLM只能访问历史知识，无法获取实时更新。内容制造：LLM可能会生成看似合理但实际上并不准确的信息，这种现象通常被称为“幻觉”。资源密集：LLM的巨大规模意味着显著的计算和财务成本，影响了它们的可扩展性和可访问性。领域特定性：虽然本质上是通用的，LLM通常需要特定领域的数据才能在专业任务中表现出色。这些限制强调了需要高级提示词工程和专门技术来提高LLM的实用性，并减轻这些固有限制。后续章节将深入探讨旨在优化LLM性能的复杂策略和工程创新。

LLM还有一个比较大的问题：缺乏创造性，这一点应该比较容易理解，从原理上讲，LLM就是大量收集公开资料，之后借助深度学习技术，尤其是神经网络中的Transformer架构，来捕捉语言中的复杂模式和语义关系，进而训练出一套尽可能准确理解与生成自然语言的模型。通俗地讲，LLM就像一个具有超高性能与智慧度的知识检索工具，并且出厂时默认就自带了海量互联网公开资料，结果就是，当你提问的问题有对应的资料解释时，它能非常好地生成答案，但超出其检索范围时，表现就会差很多，甚至出现所谓的“幻觉”。当然，这一问题目前已经有一个成熟的解决方案：Retrieval-Augmented Generation，可以简单理解为通过向量数据库给LLM外挂更多知识，LLM在执行时会同时检索这些知识，从中推算出更接近特定领域的答案，这就使得LLM能够被应用在各类具体业务领域中，适用性增强了许多。但面对一些更深层次的问题，即使应用了RAG架构恐怕也很难解决，例如某些不甚知名框架，网络上并没有太多相关讨论资料，并且你也无法提供相关知识时，LLM就很难给出比较准确的答案，这是因为LLM本质上只是在做数学意义上的概率推算，但不具备复杂逻辑推导能力，无法基于新的语料推演出新的知识，缺乏人类智能的创造力。举个更具体的例子，当你编程过程遇到一些具体的Bug，如果是前人研究过的点，并且在互联网上详细解释了问题的原因与解决方案，那么LLM会表现的很好，直接给出最终答案；如果是框架的问题，但缺乏相关资料的，LLM大概率无法给出解决方案，需要你深挖框架细节，自己找到答案；而如果是具体业务系统代码本身的问题，LLM基本是力不从心的，无法给出有价值的答案。因此，面对复杂而具体的问题时，依然还是需要人类智能出场。

开发：产品视角的大模型RAG应用[heading1]一文看懂RAG：大语言模型落地应用的未来[heading2]RAG发展的四个阶段大型语言模型（LLMs）如GPT系列在自然语言处理方面取得了显著的成功，Super-GLUE等各种基准测试中表现出色。尽管有了这些进展，LLMs仍然存在显著的局限性，特别是在处理特定领域或高度专业化的查询时，一个常见问题是产生错误的信息，或者称为“幻觉”。特别是当查询超出模型的训练数据或需要最新信息时。所以说在直接将LLMs部署运行到生产环境中时，其就是一个黑盒，鬼知道它会输出什么的结果...解决这些问题的一种有希望的方法是检索增强生成（RAG），它将外部数据检索整合到生成过程中，从而提高模型提供准确和相关回答的能力。RAG于2020年中期由Lewis等人提出，是LLMs领域中的一种范式，可增强生成任务。具体而言，RAG包括一个初始的检索步骤，LLMs在此步骤中查询外部数据源以获取相关信息，然后才回答问题或生成文本。这个过程不仅为后续的生成阶段提供信息，还确保回答基于检索到的证据，从而显著提高了输出的准确性和相关性。在推断阶段动态检索来自知识库的信息使RAG能够解决生成事实错误内容的问题，通常被称为“幻觉”。将RAG整合到LLMs中已经迅速被采用，并成为完善聊天机器人能力和使LLMs更适用于实际应用的关键技术。RAG的演进轨迹在四个不同阶段展开，如下图所示。在2017年的创始阶段，与Transformer架构的出现相一致，主要重点是通过预训练模型（PTM）来吸收额外的知识以增强语言模型。这个时代见证了RAG的基础工作主要集中在优化预训练方法上。