Google 的多模态大模型叫 Gemini，是由 Google DeepMind 团队开发的。它不仅支持文本、图片等提示，还支持视频、音频和代码提示，能够理解和处理几乎任何输入，结合不同类型的信息，并生成几乎任何输出，被称为 Google 迄今为止最强大、最全面的模型，从设计之初就支持多模态，能够处理语言、视觉、听觉等不同形式的数据。
以下是 26 个多模态大模型的部分介绍：
随着 ChatGPT 的蓬勃发展，大型模型正深刻地影响着各个行业。多模态技术作为行业前沿突飞猛进，呈现出一统计算机视觉（CV）和自然语言处理（NLP）的势头。有一款基于多模态大型模型的应用能够迅速解释现实世界，将手机置于车载摄像机位置，能实时分析当前地区今年新春的最新流行趋势。该应用后端采用 llama.cpp 挂载 LLaVA 模型，为应用提供推理服务。同时，部署了一个 Flask 应用用于数据前处理和后处理，提供 Stream 流服务。前端页面采用 HTML5，用于采集画面和用户输入，整体设计以简单高效为主。
Google的人工智能多模态大模型叫Gemini。具体介绍如下：- Gemini是Google DeepMind团队开发的多模态模型，不仅支持文本、图片等提示，还支持视频、音频和代码提示。- Gemini能够理解和处理几乎任何输入，结合不同类型的信息，并生成几乎任何输出。- Gemini被称为Google迄今为止最强大、最全面的模型。- Gemini被描述为一种"原生多模态大模型"，从设计之初就支持多模态，能够处理语言、视觉、听觉等不同形式的数据。内容由AI大模型生成，请仔细甄别
(6)X-LLM陈等人扩展到包括音频在内的各种模式，并表现出强大的可扩展性。利用Q-Former的语言可迁移性，X-LLM成功应用于汉藏语境。(7)VideoChat开创了一种高效的以聊天为中心的MM-LLM用于视频理解对话，为该领域的未来研究制定标准，并为学术界和工业界提供协议。(8)InstructBLIP基于预训练的BLIP-2模型进行训练，在MM IT期间仅更新Q-Former。通过引入指令感知的视觉特征提取和相应的指令，该模型使得能够提取灵活多样的特征。(9)PandaGPT是一种开创性的通用模型，能够理解6不同模式的指令并根据指令采取行动：文本、图像/视频、音频、热、深度和惯性测量单位。(10)PaLI-X使用混合VL目标和单峰目标进行训练，包括前缀完成和屏蔽令牌完成。事实证明，这种方法对于下游任务结果和在微调设置中实现帕累托前沿都是有效的。(11)Video-LLaMA张引入了多分支跨模式PT框架，使LLMs能够在与人类对话的同时同时处理给定视频的视觉和音频内容。该框架使视觉与语言以及音频与语言保持一致。
随着ChatGPT()的蓬勃发展，大型模型正深刻地影响着各个行业，技术的飞速发展让人感觉仿佛“度日如年”（每天涌现的新技术数量甚至超过过去一年）。在这个快速发展的潮流中，多模态技术作为行业的前沿更是突飞猛进，呈现出一统计算机视觉（CV）和自然语言处理（NLP）的势头。本文介绍了一款能够迅速解释现实世界的应用，它基于多模态大型模型，为现实世界提供了一本实时说明书。将手机置于车载摄像机位置，该应用能够实时分析当前地区今年新春的最新流行趋势。不仅展示了多模态技术的强大之处，还为我们提供了对真实世界的深入解释。这是快速在手机上利用多模态技术的方式之一，「近距离地感受一下大模型对传统APP开发的降维打击」。在这种架构中，后端采用llama.cpp挂载LLaVA模型，为应用提供推理服务。同时，部署了一个Flask应用用于数据前处理和后处理，提供Stream流服务。前端页面采用HTML5，用于采集画面和用户输入，整体设计以简单高效为主打。