Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

多模态大模型

Answer

Google 的多模态大模型叫 Gemini。Gemini 是由 Google DeepMind 团队开发的，不仅支持文本、图片等提示，还支持视频、音频和代码提示。它能够理解和处理几乎任何输入，结合不同类型的信息，并生成几乎任何输出，被称为 Google 迄今为止最强大、最全面的模型，从设计之初就支持多模态，能够处理语言、视觉、听觉等不同形式的数据。

多模态大模型（MLLM）是一种在统一的框架下，集成了多种不同类型数据处理能力的深度学习模型，这些数据可以包括文本、图像、音频和视频等。通过整合这些多样化的数据，MLLM 能够更全面地理解和解释现实世界中的复杂信息，在面对复杂任务时表现出更高的准确性和鲁棒性。其典型架构包括一个编码器、一个连接器和一个 LLM，还可选择性地在 LLM 上附加一个生成器，以生成除文本之外的更多模态。连接器大致可分为基于投影的、基于查询的和基于融合的三类。

有基于多模态大模型给现实世界加一本说明书的应用，例如将手机置于车载摄像机位置，能够实时分析当前地区今年新春的最新流行趋势。该应用后端采用 llama.cpp 挂载 LLaVA 模型，为应用提供推理服务，同时部署了一个 Flask 应用用于数据前处理和后处理，提供 Stream 流服务，前端页面采用 HTML5 用于采集画面和用户输入。下载模型 ggml_llava-v1.5-13b，BakLLaVA 推理速度更快，但对中文支持较差，7b 的模型在语义理解方面存在不足，特别是在需要规范数据格式进行交互的场合，对于 function call 和 action 操作极度依赖模型的 AGI 能力。

Content generated by AI large model, please carefully verify (powered by aily)

References

问：Google 的多模态大模型叫什么？

Google的人工智能多模态大模型叫Gemini。具体介绍如下：-Gemini是Google DeepMind团队开发的多模态模型，不仅支持文本、图片等提示，还支持视频、音频和代码提示。-Gemini能够理解和处理几乎任何输入，结合不同类型的信息，并生成几乎任何输出。-Gemini被称为Google迄今为止最强大、最全面的模型。-Gemini被描述为一种"原生多模态大模型"，从设计之初就支持多模态，能够处理语言、视觉、听觉等不同形式的数据。内容由AI大模型生成，请仔细甄别

谷歌Gemini多模态提示词培训课——Part1

本系列课程是Deeplearning联合谷歌Gemini团队开发的免费在线课程，课程中使用了Gemini模型作为教学模型，教授大家如何使用多模态提示词与模型交互。由于课程内容中有很多在国内无法应用的部分，在其之中也缺乏了某些概念。有鉴于此，我截取了部分教程内容，并适当混合了一些入门概念。将其进行重新整理和刊发，以增强其普世价值。（如有需要，请访问[原版在线课程](https://learn.deeplearning.ai/)）在这个系列中你可以学到：1.了解什么是多模态大模型2.了解Gemini系列模型3.使用Gemini API进行多模态提示词最佳实践（其提示词理念也同样也适用于完整AI产品的交互，0代码读者不必过多担心）[heading1]一、什么是多模态大模型（MLLM）[content]多模态大模型（MLLM）是一种在统一的框架下，集成了多种不同类型数据处理能力的深度学习模型，这些数据可以包括文本、图像、音频和视频等，通过整合这些多样化的数据，MLLM能够更全面地理解和解释现实世界中的复杂信息。这种多元化的数据处理能力使得MLLM在面对复杂任务时表现出更高的准确性和鲁棒性。通过综合分析不同类型的信息，这些模型能够得出更加全面和准确的结论，从而在各种应用场景中发挥重要作用。下方是一个典型MLLM架构的示意图。它包括一个编码器、一个连接器和一个LLM。可以选择性地在LLM上附加一个生成器，以生成除文本之外的更多模态。编码器接收图像、音频或视频并输出特征，这些特征经由连接器处理，使LLM能更好地理解。连接器大致可分为三类：基于投影的、基于查询的和基于融合的连接器。前两种类型采用词元级融合，将特征处理成词元，与文本词元一起发送，而最后一种类型则在LLM内部实现特征级融合。注：词元=Token

基于多模态大模型给现实世界加一本说明书

随着ChatGPT()的蓬勃发展，大型模型正深刻地影响着各个行业，技术的飞速发展让人感觉仿佛“度日如年”（每天涌现的新技术数量甚至超过过去一年）。在这个快速发展的潮流中，多模态技术作为行业的前沿更是突飞猛进，呈现出一统计算机视觉（CV）和自然语言处理（NLP）的势头。本文介绍了一款能够迅速解释现实世界的应用，它基于多模态大型模型，为现实世界提供了一本实时说明书。将手机置于车载摄像机位置，该应用能够实时分析当前地区今年新春的最新流行趋势。不仅展示了多模态技术的强大之处，还为我们提供了对真实世界的深入解释。这是快速在手机上利用多模态技术的方式之一，「近距离地感受一下大模型对传统APP开发的降维打击」。在这种架构中，后端采用llama.cpp挂载LLaVA模型，为应用提供推理服务。同时，部署了一个Flask应用用于数据前处理和后处理，提供Stream流服务。前端页面采用HTML5，用于采集画面和用户输入，整体设计以简单高效为主打。[heading2]建立llama.cpp服务器[heading2]LLaVA模型[content]下载模型ggml_llava-v1.5-13b，这里选择是13b 4bit的模型。BakLLaVA推理速度更快，但对中文的支持较差，7b的模型在语义理解方面普遍存在不足，特别是在需要规范数据格式进行交互的场合。对于function call和action操作，极度依赖模型的AGI能力。希望开源社区在不断努力，早日赶上GPT-4V的水平。

Others are asking
多模态的AI工具有哪些
以下是一些多模态的 AI 工具： GPT4VAct：这是一个多模态 AI 助手，能够模拟人类通过鼠标和键盘进行网页浏览。它可以识别网页上的元素并理解其功能，目的是自动完成一些人工操作任务以提高效率。主要特点包括有限的视觉处理能力、自动标记、鼠标和键盘操作等，但目前存在一些功能暂不支持。 Sora：是第一个能够根据人类指令生成长达一分钟视频的模型，标志着在生成式 AI 研究和开发中的重大突破。 DiT：能将视频分解为一帧帧图像并逐帧去噪生成流畅连贯的视频，不仅能生成高质量逐帧图像，还能在时间维度上保持一致性。 Topview.ai：是一款面向海外市场的多模态转换工具，作为 AI 驱动的营销视频生成工具，可自动实现模态转换，帮助社交媒体达人将素材一键转换为爆款商业短视频。
2025-02-18
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
国内有哪些多模态大模型
国内的多模态大模型有： “悟道・天鹰”（北京智源人工智能研究院）：“悟道・天鹰”（Aquila）是首个具备中英文双语知识、支持商用许可协议、国内数据合规需求的开源语言大模型。 文心一言（百度）：大语言模型，可用以文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成。
2025-02-14
多模态是什么？如何使用多模态模型构建 AI 智能体
多模态是指对同一概念的多维度理解，例如人类可以边看、边交谈，还能同时听着背景音乐和察觉危险，而仅靠语言来描述和理解世界是远远不够的。拥有多模态能力的模型可以更全面地学习世界，理解人类的行为和需求，提高任务解决能力，并克服单一模态的局限性，是让 AI 能在现实世界中运行极为重要的一环。 2023 年 9 月 GPT4v 的发布把大语言模型的竞赛带入了多模态模型（LMM Large Multimodal Models）的时代，如 ChatGPT 可以看图说话，还能通过内置的 DallE 3 直接画图；几个月后 Google 的 Gemini 正式推出，直接支持了文本、视频和声音多种模态。今年 5 月，OpenAI 完成了 GPT4 的实时听说和视频模态输入，发布了 GPT4o，向智能体方向迈进了一大步。 多模态大模型由解码器、backbone、Generator 等部件组成，左侧多模态理解，右侧生成输出。其架构基于大圆模型，能识别页面组件结构和位置绝对值信息，并与组件、文本映射。 在应用方面，多模态模型有着广泛的用途。例如 Stable Diffusion 模型可用于带货商品图生成、模特服装展示、海报生成、装修设计等。吉梦 AI 提供 AI 视频生成等能力，吐司是类似的在线生成平台，具备多种 AI 能力。 关于模型训练，需要大量图像数据和标签化处理。AI 视频生成原理主要基于特定架构，如基于 Sara 的整体架构，采用 diffusion Transformer 架构，以扩散模型通过随机造点、加噪和去噪得到连续图像帧，输入视频可看成若干帧图片，经处理后生成视频。Meta 的视频生成模型能生成视频和声音，可替换视频中的物体和人脸，其把 diffusion 架构换成纯 transformer 架构，基于 LLAMA3 训练，与 diffusion 在 CLIP 等方面有区别。 要使用多模态模型构建 AI 智能体，需要考虑实时性，保持模型能力不变的情况下缩小参数规模，升级架构来提升性能，最好让终端也参与进来分担一部分模型的计算量。同时，让科技变简单，设计出从未有过的硬件产品或重新设计现有的产品，以适应这种毫无机械感、完全类人化的交互方式。
2025-02-06
deepseek的多模态大模型？
DeepSeek 发布了大一统模型 JanusPro，将图像理解和生成统一在一个模型中。以下是关于该模型的一些重要信息： 最新消息：DeepSeek 深夜发布该模型，它是一个强大的框架。 特点： 统一了多模态理解和生成，通过将视觉编码解耦为独立路径解决先前方法的局限性，利用单一的统一 Transformer 架构进行处理，缓解了视觉编码器在理解和生成中的角色冲突，增强了框架的灵活性。 超越了之前的统一模型，匹配或超过了特定任务模型的性能，其简单性、高灵活性和有效性使其成为下一代统一多模态模型的有力候选者。 规模：提供 1B 和 7B 两种规模，适配多元应用场景。 开源及商用：全面开源，支持商用，采用 MIT 协议，部署使用便捷。 测试案例： 模型直接支持中文交互（图像理解+图像生成）。 云上 L4 测试，显存需 22GB。 图像生成速度约 15s/张。 图像理解质量方面，文字和信息识别基本准确，内容理解完整清晰，局部细节有欠缺。 Colab（需 Pro，因需 20GB 以上显存）：https://colab.research.google.com/drive/1V3bH2oxhikj_B_EYy5yRG_9yqSqxxqgS?usp=sharing 模型地址： 7B 模型：https://huggingface.co/deepseekai/JanusPro7B 1B 模型：https://huggingface.co/deepseekai/JanusPro1B 下载地址：https://github.com/deepseekai/Janus
2025-01-30
你使用了哪些大模型
以下是关于大模型的相关信息： 大模型的定义：大模型的“大”指用于表达 token 之间关系的参数多，主要是模型中的权重（weight）与偏置（bias），例如 GPT3 拥有 1750 亿参数。以 Transform 为代表的大模型采用自注意力（Selfattention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。数字化便于计算机处理，为让计算机理解 Token 之间的联系，需把 Token 表示成稠密矩阵向量，这个过程称为 embedding，常见算法有基于统计的 Word2Vec、GloVe，基于深度网络的 CNN、RNN/LSTM，基于神经网络的 BERT、Doc2Vec 等。 国内部分大模型： 北京：百度（文心一言）https://wenxin.baidu.com 、抖音（云雀大模型）https://www.doubao.com 、智谱 AI（GLM 大模型）https://chatglm.cn 、中科院（紫东太初大模型）https://xihe.mindspore.cn 、百川智能（百川大模型）https://www.baichuanai.com/ 上海：商汤（日日新大模型）https://www.sensetime.com/ 、MiniMax（ABAB 大模型）https://api.minimax.chat 、上海人工智能实验室（书生通用大模型）https://internai.org.cn 部分大模型的特点：在聊天状态下能生成 Markdown 格式的有智谱清言、商量 Sensechat、MiniMax；目前不能进行自然语言交流的有昇思、书生；受限制使用的有 MiniMax；特色功能方面，昇思能生图，MiniMax 能语音合成。 大模型的动手实验：由于作者使用的是 macOS 系统，因此采用 GGML 量化后的模型。比较有名的相关项目有 ggerganov/llama.cpp:Port of Facebook's LLaMA model in C/C++ 中下载模型，3G 到 7G 不等。此外，llama.cpp 还提供了 WebUI 供用户使用，首先启动 server，它默认监听 8080 端口，打开浏览器就可以对话。
2025-02-20
养老场景实时健康监测与风险预警在技术上怎么实现，用AI大模型实现，请给出一个可行的方案
以下是一个利用 AI 大模型实现养老场景实时健康监测与风险预警的可行方案： 首先，需要明确相关的概念和技术名词。AI 即人工智能，机器学习是电脑找规律学习，包括监督学习、无监督学习和强化学习。监督学习是基于有标签的训练数据，学习输入和输出之间的映射关系，包括分类和回归。无监督学习是在无标签数据中自主发现规律，例如聚类。强化学习是从反馈中学习以最大化奖励或最小化损失，类似训小狗。深度学习参照人脑，具有神经网络和神经元，因层数多被称为深度，神经网络可用于多种学习方式。生成式 AI 能生成文本、图片、音频、视频等内容形式，LLM 是大语言模型，生成图像的扩散模型不属于大语言模型，像谷歌的 BERT 模型可用于语义理解，如上下文理解、情感分析、文本分类。 在技术里程碑方面，2017 年 6 月谷歌团队发表的《Attention is All You Need》论文首次提出了 Transformer 模型，其完全基于自注意力机制处理序列数据，不依赖循环神经网络或卷积神经网络。 对于养老场景的实时健康监测与风险预警，可利用传感器收集老人的生理数据，如心率、血压、血糖等。这些数据通过物联网传输到服务器，利用深度学习算法对数据进行分析和处理。例如，使用基于 Transformer 模型的大模型，对历史健康数据和当前实时数据进行学习和分析，建立老人的健康模型。通过与正常健康指标的对比，及时发现异常情况，并结合无监督学习中的聚类算法，对不同健康状况的老人进行分类，以便提供个性化的预警和建议。同时，利用强化学习不断优化模型的预警准确性和及时性。 总之，通过整合传感器数据采集、物联网传输、深度学习算法分析和模型优化等环节，借助 AI 大模型实现养老场景的实时健康监测与风险预警。
2025-02-20
大模型和小模型区别是什么？为什么大模型有幻觉，小模型没有？
大模型和小模型的区别主要体现在以下几个方面： 1. 规模和参数：大模型通常具有更多的参数和更复杂的架构，而小模型相对规模较小。 2. 能力和性能：在处理自然语言等任务时，大模型往往表现出更强的能力，例如更准确的理解和生成能力。 3. 应用场景：大模型适用于通用的、复杂的任务，小模型则更适合特定的、简单的场景。 关于大模型存在幻觉而小模型没有的原因： 1. 工作原理：大模型基于统计模型预测生成内容，通过训练数据猜测下一个输出结果，可能因错误数据导致给出错误答案。 2. 数据局限性：大模型的知识完全源于其训练数据，可能存在过时、不准确或不完整的信息。 3. 不可预测性：大模型的输出结果具有不可预测性，而小模型相对更稳定和可预测。
2025-02-20
大模型讲解
大模型是指输入大量语料，使计算机获得类似人类“思考”能力，能进行文本生成、推理问答、对话、文档摘要等工作。 大模型的训练和使用过程可以用“上学参加工作”来类比： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练。 2. 确定教材：大模型需要大量数据，几千亿序列（Token）的输入基本是标配。 3. 找老师：选择合适算法让大模型更好理解 Token 之间的关系。 4. 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位，会被数字化形成词汇表，便于计算机处理。为让计算机理解 Token 之间的联系，还需把 Token 表示成稠密矩阵向量，这个过程称为 embedding，常见算法有基于统计的 Word2Vec、GloVe，基于深度网络的 CNN、RNN/LSTM，基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力（Selfattention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。大模型的“大”在于用于表达 token 之间关系的参数多，主要是模型中的权重（weight）与偏置（bias）。 从整体分层的角度来看，大模型整体架构分为以下几层： 1. 基础层：为大模型提供硬件支撑、数据支持，如 A100、数据服务器等。 2. 数据层：包括静态的知识库和动态的三方数据集。 3. 模型层：有 LLm（大语言模型，如 GPT，一般使用 transformer 算法实现）或多模态模型（如文生图、图生图等模型，训练数据与 llm 不同，用图文或声音等多模态数据集）。 4. 平台层：如大模型的评测体系、langchain 平台等，提供模型与应用间的组成部分。 5. 表现层：即应用层，是用户实际看到的地方。
2025-02-20
生成3d模型可以让模型动起来吗？
生成 3D 模型后是可以让模型动起来的。例如，通过以下工具和流程可以实现： 工具链：Midjourney（生成等距图像）→Trellis（图像转 3D 模型）→Browser Lab（浏览器内 3D 编辑器）。 步骤： 使用 Midjourney 生成等距 3D 场景，提示词示例：3D isometric bedroom with a bed and desk。（DALLE 3 也可测试） 用 Trellis 工具将图像转为 3D 模型（支持 Tripo 3D 等其他工具）。工具地址： 下载生成的 3D 模型（GLB 文件或高斯分布文件），然后导入 Browser Lab 编辑器中进一步编辑。编辑器地址： 结合可灵 AI、Hailuo AI、Runway 等工具可让场景中的人物动起来。 对于文物雕塑上色，可使用 runway 让固有想法的物体变得动态，runway gen3 的 V2V 可以让物体重新建模、重新上色，再把背景上个色，传到剪映，加上 BGM。 先上传图片，运用提示词，只要让物体动起来就行，一次可能不成功，可以多次抽卡（分够的话）。 生成好的视频的左下方，点击“Reuse”，再点击上方出现的“Video to Video”，视频就会跳转到我们的工作台。 再在下方输入提示词“3D modeling with vibrant colors”等待生成。 再重复上面一个步骤，把提示词换成“Changing the background to the universe,the body emits light”。 最后导入剪映，按照自己喜欢的风格，剪成一个小短片。 另外，可以用即梦 S2.0（或其他可以动效的工具）出动态视频，在剪映提前转成 9:16 或 16:9 的大小，否则 runway 会裁剪尺寸。
2025-02-20
你用的是什么ai模型
以下是关于所使用的 AI 模型的相关信息： 我使用的是 GPT4，其他模型的效果不太好。如果您使用 GPT4 总结的内容质量不行，可以点击“重试”按钮让其重新总结。 默认情况下，Cursor Chat 将 OpenAI 的 GPT4（具体为 GPT4Turbo 实例）用于其 AI 模型，您可以通过选择喜欢的 AI 模型，且为 Chat 选择的模型会保存供未来使用。 有实例中使用的是阿里千问模型。
2025-02-20