多模态大模型

多模态指多数据类型交互，能够提供更接近人类感知的场景。大模型对应的模态包括文本、图像、音频、视频等。例如，Gemini 模型本身就是多模态的，它展示了无缝结合跨模态能力，如从表格、图表或图形中提取信息和空间布局，以及语言模型的强大推理能力，在识别输入中的细微细节、在空间和时间上聚合上下文，以及在一系列视频帧和/或音频输入上应用这些能力方面表现出强大的性能。 跨模态通常指不同模态之间的交互和融合。例如在 GPT4 的相关研究中，探索了视觉和音频等可能出乎意料的模态。智能的一个关键衡量标准是能够从不同的领域或模式中综合信息，并能够跨不同的情境或学科应用知识和技能。

多模态应用是生成式人工智能领域的重要突破点，具有以下特点和潜力： 能够无缝处理和生成多种音频或视觉格式的内容，将交互扩展到超越语言的领域。如 GPT4、Character.AI 和 Meta 的 ImageBind 等模型已能处理和生成图像、音频等模态，但能力还较基础，不过进展迅速。 随着 LLMs 不断进化，能更好地理解和与多种模态交互，使用依赖 GUI 的现有应用程序，为消费者提供更引人入胜、连贯和全面的体验，改变娱乐、学习与发展以及跨各种消费者和企业用例的内容生成。 与工具使用密切相关，使 LLMs 能够使用设计给人类使用但没有自定义集成的工具，如传统的企业资源计划（ERP）系统等。从长远看，多模态特别是与计算机视觉的集成，可通过机器人、自动驾驶车辆等应用程序，将 LLMs 扩展到物理现实中。 关键突破点在于多模态模型能够在没有重大定制的情况下推理图像、视频甚至物理环境。 基于多模态大模型的应用能够迅速解释现实世界，如将手机置于车载摄像机位置，实时分析当前地区新春的流行趋势。其架构中后端采用 llama.cpp 挂载 LLaVA 模型提供推理服务，部署 Flask 应用用于数据处理，前端页面采用 HTML5 采集画面和用户输入。

以下为您推荐几个国内能用的支持多模态交流的 APP 及相关模型： 1. 百度（文心一言）：https://wenxin.baidu.com 2. 抖音（云雀大模型）：https://www.doubao.com 3. 智谱 AI（GLM 大模型）：https://chatglm.cn 4. 中科院（紫东太初大模型）：https://xihe.mindspore.cn 5. 百川智能（百川大模型）：https://www.baichuanai.com/ 6. 商汤（日日新大模型）：https://www.sensetime.com/ 7. MiniMax（ABAB 大模型）：https://api.minimax.chat 8. 上海人工智能实验室（书生通用大模型）：https://internai.org.cn 此外，智谱·AI 开源的多模态模型有： 1. CogAgent18B：基于 CogVLM17B 改进的开源视觉语言模型。拥有 110 亿视觉参数和 70 亿语言参数，支持 11201120 分辨率的图像理解，具备 GUI 图像的 Agent 能力。 代码链接： 模型下载： 2. CogVLM17B：强大的开源视觉语言模型（VLM），在多模态权威学术榜单上综合成绩优异。 代码链接：无 模型下载： 3. Visualglm6B：开源的支持图像、中文和英文的多模态对话语言模型。 代码链接： 模型下载：

以下几家的大模型支持通过手机视频多模态实时交流： 1. PandaGPT：能够理解不同模式的指令并根据指令采取行动，包括文本、图像/视频、音频、热、深度和惯性测量单位。 2. VideoLLaMA：引入了多分支跨模式 PT 框架，使语言模型能够在与人类对话的同时处理给定视频的视觉和音频内容。 3. 视频聊天 GPT：专门为视频对话设计，能够通过集成时空视觉表示来生成有关视频的讨论。 4. NExTGPT：端到端、通用的 anytoany 多模态语言模型，支持图像、视频、音频、文本的自由输入输出。

CLIP 模型能应用于跨模态检索。以下是关于 CLIP 模型的一些详细信息： 对比语言图像预训练（CLIP）通过将图像和文本转换成固定大小的向量，使它们在一个共同的嵌入空间中对齐来训练模型，对于多模态信息检索和相关任务非常重要。 在 Stable Diffusion 中，CLIP 模型作为文生图模型的文本编码模块，决定了语义信息的优良程度，影响图片生成的多样性和可控性。它包含 Text Encoder 和 Image Encoder 两个模型，分别用于提取文本和图像的特征，可灵活切换，且具有强大的 zeroshot 分类能力。其庞大的图片与标签文本数据的预训练赋予了其强大的能力，把自然语言领域的抽象概念带到了计算机视觉领域。 自 2021 年以来，多模态模型成为热门议题，CLIP 作为开创性的视觉语言模型，将 Transformer 架构与视觉元素相结合，便于在大量文本和图像数据集上进行训练，可在多模态生成框架内充当图像编码器。 为解决 CLIP 模型在仅文本任务中表现不如专门用于文本的模型，导致信息检索系统处理仅文本和多模态任务时效率低下的问题，已提出新颖的多任务对比训练方法训练相关模型，使其在文本图像和文本文本检索任务中达到最先进性能。

多模态 AI 是指能够处理和生成多种数据类型（如文本、图像、音频、视频等）交互的人工智能技术，从而能够提供更接近人类感知的场景。 多模态 AI 与深度学习有着密切的关系。在深度学习时期，深度神经网络等技术的发展为多模态 AI 提供了基础。当前，多模态 AI 是 AI 领域的前沿技术之一。 多模态 AI 具有以下特点和应用： 1. 能够无缝地处理和生成多种音频或视觉格式的内容，将交互扩展到超越语言的领域。 2. 像 GPT4、Character.AI 和 Meta 的 ImageBind 等模型已经能够处理和生成图像、音频等模态，但能力还比较基础，不过进展迅速。 3. 多模态模型可以为消费者提供更加引人入胜、连贯和全面的体验，使用户能够超越聊天界面进行互动。 4. 多模态与工具使用密切相关，能够使用设计给人类使用但没有自定义集成的工具。 5. 从长远来看，多模态（特别是与计算机视觉的集成）可以通过机器人、自动驾驶车辆等应用程序，将大语言模型扩展到物理现实中。

卷积神经网络（CNN）通常由卷积层、池化层和全连接层叠加构成。在卷积过程中，卷积层中的卷积核依次与输入图像的像素做卷积运算来自动提取图像中的特征。卷积核尺寸一般小于图像，并以一定的步长在图像上移动得到特征图。步长设置越大，特征图尺寸越小，但过大步长会损失部分图像特征。此外，池化层作用于产生的特征图上，能保证 CNN 模型在不同形式的图像中识别出相同物体，同时减少模型对图像的内存需求，其最大特点是为 CNN 模型引入了空间不变性。

以下是一些常见的 AI 模型： OpenAI 模型： GPT4 Beta：一组改进 GPT3.5 的模型，可以理解和生成自然语言或代码。 GPT3.5：一组改进 GPT3 的模型，可以理解并生成自然语言或代码。 DALL·E Beta：可以在给定自然语言提示的情况下生成和编辑图像的模型。 Whisper Beta：可以将音频转换为文本的模型。 Embeddings：一组可以将文本转换为数字形式的模型。 Codex Limited Beta：一组可以理解和生成代码的模型，包括将自然语言转换为代码。 Moderation：可以检测文本是否敏感或不安全的微调模型。 GPT3：一组可以理解和生成自然语言的模型。 智谱·AI 模型： WebGLM10B：利用百亿参数通用语言模型（GLM）提供高效、经济的网络增强型问题解答系统。 WebGLM2B MathGLM2B：在训练数据充足的情况下，20 亿参数的 MathGLM 模型能够准确地执行多位算术运算，准确率几乎可以达到 100%。 MathGLM500M MathGLM100M MathGLM10M MathGLMLarge：采用 GLM 的不同变体作为骨干来训练 MathGLM。 ProductHunt 2023 年度最佳产品榜单中的模型： GPT4（免费可用）：与人类水平相当的 LLM，是 OpenAI 在深度学习规模扩大方面的最新里程碑，是一个大型多模态模型（接受图像和文本输入，输出文本），在各种专业和学术基准测试中表现出与人类相当的水平。 Midjourney v5（免费）：最新、最先进的模型，具有极高的一致性，擅长以更高分辨率解释自然语言 prompt，并支持像使用 tile 这样的重复图案等高级功能。 DALL·E 3（免费可用）：代表了生成完全符合文本的图像能力的一大飞跃。 Mistral 7B（免费）：是一个具有 73 亿参数的模型，在所有基准测试上超越了 Llama 2 13B，在许多基准测试上超越了 Llama 1 34B，在代码任务上接近 CodeLlama 7B 的性能，同时在英语任务上表现良好。

大模型的成本趋势如下： 目前存在唱衰大模型的观点，认为其难以找到可商用场景，部分功能存在幻觉问题，且算力成本高，导致商业模式难以形成闭环。 但也有观点认为，关于算力成本，已有许多解决方案，如模型蒸馏、苹果的端云方案等，今年内算力成本问题有望不再是难题。 对于不同规模的模型，小模型在某些特定应用中有其优势且足够好用，但大模型会解锁新的有价值的应用程序。不过并非所有应用都能证明大模型的成本合理。 在多模态大模型方面，随着数据集和模型规模扩大，传统模型带来巨大计算量。研究人员利用现成训练好的单模态基础模型，可减少多模态训练费用、提升效率。不同模态模型分开训练，如何实现模态连接和协同推理是核心挑战。

大模型的成本主要通过 token 数量来计算。普通常见单词使用一个 token，不常见单词可能被拆分从而消耗更多 token。一般 300 个单词约需 400 个 token，token 消耗通常比单词数多出 33%左右。 以 GPT 为例，一个成年人一小时阅读约 30000 个词，按转化率约需 40000 个 token。GPT3.5 每 1000 个 token 需 0.002 美元，供成年人阅读使用 1 小时消耗 0.08 美元（8 美分）；GPT4 则需 2.4 美元。 在搭建 AI 微信聊天机器人方面，极简未来平台的费用取决于使用的大模型和调用次数，按 Token 数量计费。如使用 GPT3.5 模型每次对话大约消耗不到 20 积分，平台有签到免费领积分福利，也可充值，19 元可兑换 10000 积分，能满足日常使用好几个月。

以下是一些在语音对话方面表现较强的 AI 模型： 1. 智谱·AI 的 ChatGLM26B：这是第二代 ChatGLM 对话模型，相比一代模型性能更强，基座模型的上下文长度从 2k 扩展到 32k，在对话阶段使用 8K 的上下文长度训练，推理速度相比初代提升 42%。此外还有 ChatGLM26Bint4 这一 int4 量化版本，具备最小 5.1GB 显存即可运行，在 INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。 2. Hertzdev 开源会话音频模型：具有实时对话、双向交流无需等待对方讲完，超低延迟（120 毫秒），高效压缩（占用带宽少、音质优秀、支持长对话生成）等特点。 在游戏中的语音对话方面，生成式 AI 对话使得角色可以说任何话，完全响应玩家正在做的事情。结合更智能的 NPC AI 模型，完全对玩家作出反应的游戏将很快成为现实。例如，使用与玩家的虚拟形象匹配的生成声音可以维持角色扮演的幻觉，还可以控制声音的细微差别，以及实现对话的本地化。像 Deepdub 这样的公司专注于这个特定的领域。

训练模型进行标题改写可以参考以下方法： Sora 模型： 对于视频标题改写，首先训练一个能够为视频生成详细描述的视频标题生成器。可利用 CoCa 架构进行视频标题生成，如 VideoCoCa，通过取视频的多个帧并将每个帧输入到图像编码器，产生的帧令牌嵌入被展平并连接成一个长序列的视频表示，再由生成性池化器和对比性池化器处理，与对比损失和标题生成损失一起联合训练。构建视频标题生成器的其他替代方法包括 mPLUG2、GIT、FrozenBiLM 等。为确保用户提示与训练数据中的描述性标题格式一致，执行额外的提示扩展步骤，用 GPT4V 将用户输入扩展为详细的描述性提示。 对于语言指令跟随，通过开发一个能够生成长而详细标题的字幕器，然后用这些标题来训练模型。但收集用于训练此类字幕器的数据的过程未知，且可能需要大量劳动。 DALL·E 3 模型：通过用详细、描述性的标题重新标注现有图像来解决指令遵循问题。首先训练一个图像标题生成器，这是一个视觉语言模型，用于生成精确和描述性的图像标题。然后，使用标题生成器生成的描述性图像标题来微调文本到图像模型。具体来说，DALL·E 3 遵循对比标题生成器（CoCa）的方法，联合训练一个图像标题生成器，该生成器具有 CLIP 架构和一个语言模型目标。进一步在详细描述图像的主要对象、周围环境、背景、文本、风格和颜色方面进行微调后，图像标题生成器能够为图像生成详细的描述性标题。文本到图像模型的训练数据集是由图像标题生成器生成的重新标注数据集和真实人类编写的数据混合而成，通过上采样来解决实际用户提示与训练数据中的描述性图像描述之间的不匹配问题。 关于 Midjourney 的训练 prompt： The issue with DMs is that the powerful ones often consume hundreds of GPU days,and inference is quite expensive due to sequential evaluations.To enable DM training on limited computational resources without compromising their quality as well as flexibility,DMs are applied in the latent space of powerful pretrained autoencoders. Training a diffusion model on such a representation makes it possible to achieve an optimal point between complexity reduction and detail preservation,significantly improving visual fidelity.Introducing a cross attention layer to the model architecture turns the diffusion model into a powerful and flexible generator for generally conditioned inputs such as text and bounding boxes,enabling highresolution convolutionbased synthesis. Midjourney 会例行发布新的模型版本以提高效率、连贯性和质量。最新的模型是默认的，但可以使用 version 或 v 参数或通过 /settings 命令选择其他模型版本。不同的模型在不同类型的图像上表现出色。Midjourney V5 模型是最新和最先进的模型，于 2023 年 3 月 15 日发布。使用此模型，可在 prompt 末尾添加 v 5 参数，或使用 /settings 命令并选择 MJ Version 5。该模型具有很高的连贯性，擅长解释自然语言提示，分辨率更高，并支持诸如 tile 等高级功能。其新特点包括更广泛的风格范围、对提示更敏感、更高的图像质量、更详细的图像、细节更可能正确以及更少不需要的文本。