大模型 泛化能力

图9大模型核心基础概念泛化能力：不用人话说是“指模型在未曾见过的数据上表现良好的能力”，用大白话讲就是“举一反三”的能力，人类就是泛化能力很强的物种，我们不需要见过这个世界上的每一只猫，就能认识猫这个概念。多模态：指多数据类型交互，从而能够提供更接近人类感知的场景。正如人有眼、耳、鼻、舌、身、意等多个模态，大模型对应的模态是文本、图像、音频、视频……对齐能力：指与人类价值观与利益目标保持一致的能力。大模型相比我们普通人类个体是“无所不知”的，但他并不会把他知道的都告诉你，例如你问chatGPT如何制造炸弹，他虽然知道，但并不会告诉你具体步骤和配方，这是因为chatGPT做了很好的对齐工程，但目前阶段，有很多提示词注入的方法，也能绕过各种限制，这也开辟了大模型领域黑白对抗的新战场（事实上，人类自身就不是一个价值观对齐的物种，同一件事在一些群体眼中稀松平常，但在另一些群体眼中十恶不赦，因此“和谁对齐”确实是一个灵魂问题）。图10大模型核心基础概念

(8)InstructBLIP基于预训练的BLIP-2模型进行训练，在MM IT期间仅更新Q-Former。通过引入指令感知的视觉特征提取和相应的指令，该模型使得能够提取灵活多样的特征。(9)PandaGPT是一种开创性的通用模型，能够理解6不同模式的指令并根据指令采取行动：文本、图像/视频、音频、热、深度和惯性测量单位。(10)PaLI-X使用混合VL目标和单峰目标进行训练，包括前缀完成和屏蔽令牌完成。事实证明，这种方法对于下游任务结果和在微调设置中实现帕累托前沿都是有效的。(11)Video-LLaMA张引入了多分支跨模式PT框架，使LLMs能够在与人类对话的同时同时处理给定视频的视觉和音频内容。该框架使视觉与语言以及音频与语言保持一致。(12)视频聊天GPT Maaz等人。（2023）是专门为视频对话设计的模型，能够通过集成时空视觉表示来生成有关视频的讨论。(13)Shikra Chen等人。(2023d)介绍了一种简单且统一的预训练MM-LLM，专为参考对话（涉及图像中区域和对象的讨论的任务）而定制。该模型展示了值得称赞的泛化能力，可以有效处理看不见的设置。(14)DLP提出P-Former来预测理想提示，并在单模态句子数据集上进行训练。这展示了单模态训练增强MM学习的可行性。

[heading2]总结关于大模型的思考与探讨大模型中文表达：李继刚认为作为普通用户，语言在大模型中不是关键，核心是向量空间中的游走脉络，输出时的语言翻译是次要的，且训练语料的中英文差异在于embedding环节。垂类模型与大模型公式：Olivia提出通过合适的模型、prompt和test入口表达，用大模型公式调试出好效果以替代垂类模型，李继刚认为微调垂类模型可能使大模型泛化能力下降，需分场景看待。提示词的挖掘：李继刚认为写提示词未挖掘出大模型的天花板，还有提升空间。读书方法与提示词相关书籍推荐：李继刚认为读书最有效的是笨方法，不取巧，花时间读。并推荐了从数学、作家、代码、原理角度写大模型的四本书。内置思维链提示词：李继刚认为针对小技巧类的思维链提示词有新模型能力涌现和大模型内置两个趋势，但对于某些如COT这类的内置可能会改变大模型的原味，对此存疑。关于编写提示词的经验与思考原汁原味与生效元素的平衡：为得到原汁原味的效果，需考虑是否反刻某些元素；生效的小技巧大模型可能会内置，如指定角色效果有变化。压缩与歧义的处理：找到凝练的核心概念（a）后，根据对象用不同方式（b）表达，核心在于找到准确的a，而寻找a的方法目前主要是多读多泡在相关领域。持续学习与输出：通过阅读吸收输入，转换为自己的语言输出，与大模型交互提炼精华，多输出促进吸收输入。