视觉大模型的代表模型有哪些

如表1所示，对26 SOTA MM-LLMs的架构和训练数据集规模进行了全面比较。随后，简要介绍这些模型的核心贡献并总结了它们的发展趋势。(1)Flamingo。代表了一系列视觉语言(VL)模型，旨在处理交错的视觉数据和文本，生成自由格式的文本作为输出。(2)BLIP-2引入了一个资源效率更高的框架，包括用于弥补模态差距的轻量级Q-Former，实现对冻结LLMs的充分利用。利用LLMs，BLIP-2可以使用自然语言提示进行零样本图像到文本的生成。(3)LLaVA率先将IT技术应用到MM领域。为了解决数据稀缺问题，LLaVA引入了使用ChatGPT/GPT-4创建的新型开源MM指令跟踪数据集以及MM指令跟踪基准LLaVA-Bench。(4)MiniGPT-4提出了一种简化的方法，仅训练一个线性层即可将预训练的视觉编码器与LLM对齐。这种有效的方法能够复制GPT-4所展示的功能。(5)mPLUG-Owl提出了一种新颖的MM-LLMs模块化训练框架，结合了视觉上下文。为了评估不同模型在MM任务中的表现，该框架包含一个名为OwlEval的教学评估数据集。(6)X-LLM陈等人扩展到包括音频在内的各种模式，并表现出强大的可扩展性。利用Q-Former的语言可迁移性，X-LLM成功应用于汉藏语境。(7)VideoChat开创了一种高效的以聊天为中心的MM-LLM用于视频理解对话，为该领域的未来研究制定标准，并为学术界和工业界提供协议。

视觉模型的规模化定律。有了LLMs的规模化定律，自然会问视觉模型的发展是否遵循类似的规模化定律。最近，Zhai等人[24]展示了，有足够训练数据的ViT模型的性能-计算前沿大致遵循（饱和）幂律。继他们之后，谷歌研究[25]提出了一种高效稳定训练22B参数ViT的方法。结果显示，使用冻结模型产生嵌入，然后在顶部训练薄层可以实现出色的性能。Sora作为一个大型视觉模型（LVM），符合这些规模化原则，揭示了文本到视频生成中的几种新兴能力。这一重大进展强调了LVMs实现类似LLMs所见进步的潜力。新兴能力。LLMs中的新兴能力是在某些规模上——通常与模型参数的大小有关——表现出的复杂行为或功能，这些行为或功能并未被开发者明确编程或预期。这些能力被称为“新兴”，因为它们源于模型在多样化数据集上的全面训练，以及其庞大的参数数量。这种组合使模型能够形成联系并做出超越简单模式识别或死记硬背的推断。通常，这些能力的出现不能通过从小规模模型的性能外推来直接预测。虽然许多LLMs，如ChatGPT和GPT-4，展示了新兴能力，但直到Sora的出现，展示类似能力的视觉模型还很少。根据Sora的技术报告，它是第一个展示确认新兴能力的视觉模型，标志着计算机视觉领域的一个重要里程碑。除了其新兴能力，Sora还展示了其他显著能力，包括遵循指令、视觉提示工程和视频理解。Sora的这些功能方面代表了视觉领域的重大进步，并将在后续部分进行探讨和讨论。

自2021年以来，AI领域的一个重要焦点是能够解释人类指令的生成式语言和视觉模型，即多模态模型。例如，CLIP[18]是一种开创性的视觉-语言模型，它将变压器架构与视觉元素相结合，使其能够在大量的文本和图像数据集上进行训练。通过从一开始就整合视觉和语言知识，CLIP可以在多模态生成框架中充当图像编码器。另一个值得注意的例子是Stable Diffusion[19]，这是一个多才多艺的文本到图像AI模型，以其适应性和易用性而受到赞誉。它采用变压器架构和潜在扩散技术来解码文本输入，并生成各种风格的图像，进一步展示了多模态AI的进步。随着2022年11月ChatGPT的发布，我们在2023年见证了商业文本到图像产品的出现，如Stable Diffusion[19]、Midjourney[20]、DALL-E 3[21]。这些工具使用户能够用简单的文本提示生成高分辨率和高质量的新图像，展示了AI在创意图像生成方面的潜力。然而，从文本到图像过渡到文本到视频由于视频的时间复杂性而具有挑战性。尽管工业界和学术界做出了许多努力，但大多数现有的视频生成工具，如Pika[22]和Gen-2[23]，仅限于生成几秒钟的短视频片段。在这种背景下，Sora代表了一个重大突破，类似于ChatGPT在NLP领域的影响。Sora是第一个能够根据人类指令生成长达一分钟的视频的模型，标志着对生成式AI研究和开发产生深远影响的里程碑。为了便于轻松访问最新的视觉生成模型进展，最新的作品已被汇编并提供在附录和我们的GitHub中。