LLM 即大型语言模型（Large Language Model），是一种基于深度学习的自然语言处理模型，具有强大的语言理解和生成能力。例如 Flan-T5、ChatGLM、UL2、Qwen、Chinchilla、OPT、PaLM、LLaMA、LLaMA2、Vicuna 等都是常见的 LLM 模型。
COT 即思维链（Chain-of-Thought），它能引导 LLM 逐步推理，增强其逻辑推理能力，对于需要逻辑解决方案的任务非常有效，但在创造性问题解决中存在局限性。在一些研究中，如多模态大模型中，LLM 作为核心智能体可以继承包括 COT 在内的一些显著属性。同时，ReAct 框架中也提到了将 ReAct 和 COT 结合使用的方法。
[title]训练LLM成为吐槽能手投稿：觉老师https://zhongshsh.github.io/CLoT/论文：https://arxiv.org/pdf/2312.02439.pdf这篇名为《让我们跳出思维框架：在大型语言模型中探索飞跃思维》的论文，探讨了大型语言模型（LLM）中的飞跃思维（Leap-of-Thought，LoT）概念。以下是基于可获得信息的详细分析：1.LLM中的思维链（CoT）:论文讨论了思维链（Chain-of-Thought，CoT）如何引导LLM逐步推理，增强其逻辑推理能力。CoT对于需要逻辑解决方案的任务非常有效2.CoT在创造性问题解决中的局限性:虽然CoT在逻辑任务中有益，但它并不利于创造性问题解决。创造性问题解决通常需要跳出框架思考，这对于创新和进步至关重要3.引入飞跃思维（LoT）:论文引入了LLM中的飞跃思维（LoT）。LoT代表一种非顺序的、创造性思考方式。从CoT到LoT的这种范式转变表明了专注于增强LLM的创造能力4.利用LoT生成创造性幽默:论文特别探讨了如何改进LLM，以通过创造性飞跃思维（CLoT）范式生成创造性幽默。这种方法表明LLM在生成不仅逻辑性强，而且创造性强的内容方面具有重大潜力5.使用大喜利探索LoT:为了进一步探索LLM中的LoT能力，论文提到了使用大喜利，一种传统的日本喜剧游戏。大喜利是一项创造性幽默生成任务，挑战玩家对多模态信息进行跳出框架的思考。这个游戏为调查LLM在创新、非线性思维过程方面的能力提供了理想的平台
LLM作为核心智能体，MM-LLMs可以继承一些显着的属性，如零样本泛化（zero-shot）、少样本ICL、思想链(CoT)和指令遵循。LLM主干处理来自各种模态的表示，参与有关输入的语义理解、推理和决策。它产生(1)直接文本输出t，以及(2)来自其他模式（如果有）的信号token S_x。这些信号token充当指导生成器是否生成MM内容的指令，如果是，则指定要生成的内容：t,S_X = LLM(P_X,F_T)上式中，其他模态P_X的对齐后的表征，可以认为是软prompt-tuning，输给LLM Backbone。发而且一些研究工作引入了PEFT的方法，例如Prefix-tuning，Adapter和LoRA。这些case里面，希望更少的参数可以被训练，甚至少于0.1%的LLM的参数参与训练。通常用到的LLM模型有Flan-T5，ChatGLM，UL2，Qwen，Chinchilla，OPT，PaLM，LLaMA，LLaMA2，Vicuna等。[heading3]2.4 Output Projector：[content]输出Projector将LLM的输出的token表征S_X转变成特征H_X，然后输给生成器MG_X。给定数据X-text数据集\{I_X,t\}，首先将文本t输给LLM，生成对应的S_X，然后映射得到H_X。模型优化的目标是最小化H_X与MG_X的条件文本之间的距离。
[title]ReAct框架从[Yao等人，2022(opens in a new tab)](https://arxiv.org/abs/2210.03629)引入了一个框架，其中LLMs以交错的方式生成推理轨迹和任务特定操作。生成推理轨迹使模型能够诱导、跟踪和更新操作计划，甚至处理异常情况。操作步骤允许与外部源（如知识库或环境）进行交互并且收集信息。ReAct框架允许LLMs与外部工具交互来获取额外信息，从而给出更可靠和实际的回应。结果表明，ReAct可以在语言和决策任务上的表现要高于几个最先进水准要求的的基线。ReAct还提高了LLMs的人类可解释性和可信度。总的来说，作者发现了将ReAct和链式思考(CoT)结合使用的最好方法是在推理过程同时使用内部知识和获取到的外部信息。