Google的人工智能多模态大模型叫什么

以下是为您整合的相关内容： Google 最近发布了 185 个全球企业生成式 AI 应用案例，涵盖客户服务、员工管理、代码开发、数据分析、安全管理和创意领域。案例展示了 AI 如何优化客户体验、提升员工效率、加速代码处理、改善数据分析、增强安全性及简化创意生产。详情可参考：《》 Coze 汽车售后服务知识库 Bot 旨在提升服务顾问和维修技师的专业水平和维修效率。该 Bot 通过提供标准化解决方案，辅助车辆故障分析和检查，弥补专业知识不足和技术支持文档标准化问题。主要目标是提升服务质量，减少对技师经验的依赖，为汽车售后服务提供智能化支持。详情可参考：《》

生成式 AI Studio 是 Google Cloud 上的一个工具，允许应用程序开发人员或数据科学家快速制作原型和自定义生成式 AI 模型，无需代码或代码量少。 生成式人工智能是一种能够生成新的、未曾存在内容的人工智能技术，生成的内容可以是多模态的，包括文本（如文章、报告、诗歌等）、图像（如绘画、设计图、合成照片等）、音频（如音乐、语音、环境声音等）、视频（如电影剪辑、教程、仿真等）。 其应用场景广泛，例如文档摘要、信息提取、代码生成、营销活动创建、虚拟协助、呼叫中心机器人等。 生成式人工智能的工作原理包括训练阶段和应用阶段。在训练阶段，通过从大量现有内容（文本、音频、视频等）中学习，得到一个“基础模型”。在应用阶段，基础模型可用于生成内容并解决一般性问题，还可以使用特定领域的新数据集进一步训练以解决特定问题。 Google Cloud 提供了多种相关工具，如 Vertex AI（端到端机器学习开发平台，帮助构建、部署和管理机器学习模型）、Model Garden（平台，可发现 Google 的基础和第三方开源模型，并提供 MLOps 工具用于自动化机器学习管道）。

谷歌在 I/O 发布会上宣布了一系列搜索产品的更新，包括 AI Overviews、多步骤推理能力、视频提问、提前计划、AI 组织的搜索结果等功能。此外，谷歌还在 Workspace（Gmail）、谷歌文档、谷歌表格、Google Photos 和 Circle to Search 等应用中集成了生成式人工智能技术，以提高用户的使用体验。

以下为您推荐几个国内能用的支持多模态交流的 APP 及相关模型： 1. 百度（文心一言）：https://wenxin.baidu.com 2. 抖音（云雀大模型）：https://www.doubao.com 3. 智谱 AI（GLM 大模型）：https://chatglm.cn 4. 中科院（紫东太初大模型）：https://xihe.mindspore.cn 5. 百川智能（百川大模型）：https://www.baichuanai.com/ 6. 商汤（日日新大模型）：https://www.sensetime.com/ 7. MiniMax（ABAB 大模型）：https://api.minimax.chat 8. 上海人工智能实验室（书生通用大模型）：https://internai.org.cn 此外，智谱·AI 开源的多模态模型有： 1. CogAgent18B：基于 CogVLM17B 改进的开源视觉语言模型。拥有 110 亿视觉参数和 70 亿语言参数，支持 11201120 分辨率的图像理解，具备 GUI 图像的 Agent 能力。 代码链接： 模型下载： 2. CogVLM17B：强大的开源视觉语言模型（VLM），在多模态权威学术榜单上综合成绩优异。 代码链接：无 模型下载： 3. Visualglm6B：开源的支持图像、中文和英文的多模态对话语言模型。 代码链接： 模型下载：

以下几家的大模型支持通过手机视频多模态实时交流： 1. PandaGPT：能够理解不同模式的指令并根据指令采取行动，包括文本、图像/视频、音频、热、深度和惯性测量单位。 2. VideoLLaMA：引入了多分支跨模式 PT 框架，使语言模型能够在与人类对话的同时处理给定视频的视觉和音频内容。 3. 视频聊天 GPT：专门为视频对话设计，能够通过集成时空视觉表示来生成有关视频的讨论。 4. NExTGPT：端到端、通用的 anytoany 多模态语言模型，支持图像、视频、音频、文本的自由输入输出。

以下是关于多模态大模型的相关信息： Google 的多模态大模型叫 Gemini，是由 Google DeepMind 团队开发的。它不仅支持文本、图片等提示，还支持视频、音频和代码提示，能够理解和处理几乎任何输入，结合不同类型的信息，并生成几乎任何输出，被称为 Google 迄今为止最强大、最全面的模型，从设计之初就支持多模态，能够处理语言、视觉、听觉等不同形式的数据。 多模态大模型（MLLM）是一种在统一的框架下，集成了多种不同类型数据处理能力的深度学习模型，这些数据可以包括文本、图像、音频和视频等。通过整合这些多样化的数据，MLLM 能够更全面地理解和解释现实世界中的复杂信息，在面对复杂任务时表现出更高的准确性和鲁棒性。其典型架构包括一个编码器、一个连接器和一个 LLM，还可选择性地在 LLM 上附加一个生成器，以生成除文本之外的更多模态。连接器大致可分为基于投影的、基于查询的和基于融合的三类。 有基于多模态大模型给现实世界加一本说明书的应用，例如将手机置于车载摄像机位置，能够实时分析当前地区今年新春的最新流行趋势。在这种架构中，后端采用 llama.cpp 挂载 LLaVA 模型，为应用提供推理服务。同时，部署了一个 Flask 应用用于数据前处理和后处理，提供 Stream 流服务。前端页面采用 HTML5，用于采集画面和用户输入，整体设计以简单高效为主。下载模型 ggml_llavav1.513b，这里选择是 13b 4bit 的模型。BakLLaVA 推理速度更快，但对中文的支持较差，7b 的模型在语义理解方面普遍存在不足，特别是在需要规范数据格式进行交互的场合。对于 function call 和 action 操作，极度依赖模型的 AGI 能力。

CLIP 模型能应用于跨模态检索。以下是关于 CLIP 模型的一些详细信息： 对比语言图像预训练（CLIP）通过将图像和文本转换成固定大小的向量，使它们在一个共同的嵌入空间中对齐来训练模型，对于多模态信息检索和相关任务非常重要。 在 Stable Diffusion 中，CLIP 模型作为文生图模型的文本编码模块，决定了语义信息的优良程度，影响图片生成的多样性和可控性。它包含 Text Encoder 和 Image Encoder 两个模型，分别用于提取文本和图像的特征，可灵活切换，且具有强大的 zeroshot 分类能力。其庞大的图片与标签文本数据的预训练赋予了其强大的能力，把自然语言领域的抽象概念带到了计算机视觉领域。 自 2021 年以来，多模态模型成为热门议题，CLIP 作为开创性的视觉语言模型，将 Transformer 架构与视觉元素相结合，便于在大量文本和图像数据集上进行训练，可在多模态生成框架内充当图像编码器。 为解决 CLIP 模型在仅文本任务中表现不如专门用于文本的模型，导致信息检索系统处理仅文本和多模态任务时效率低下的问题，已提出新颖的多任务对比训练方法训练相关模型，使其在文本图像和文本文本检索任务中达到最先进性能。

多模态 AI 是指能够处理和生成多种数据类型（如文本、图像、音频、视频等）交互的人工智能技术，从而能够提供更接近人类感知的场景。 多模态 AI 与深度学习有着密切的关系。在深度学习时期，深度神经网络等技术的发展为多模态 AI 提供了基础。当前，多模态 AI 是 AI 领域的前沿技术之一。 多模态 AI 具有以下特点和应用： 1. 能够无缝地处理和生成多种音频或视觉格式的内容，将交互扩展到超越语言的领域。 2. 像 GPT4、Character.AI 和 Meta 的 ImageBind 等模型已经能够处理和生成图像、音频等模态，但能力还比较基础，不过进展迅速。 3. 多模态模型可以为消费者提供更加引人入胜、连贯和全面的体验，使用户能够超越聊天界面进行互动。 4. 多模态与工具使用密切相关，能够使用设计给人类使用但没有自定义集成的工具。 5. 从长远来看，多模态（特别是与计算机视觉的集成）可以通过机器人、自动驾驶车辆等应用程序，将大语言模型扩展到物理现实中。

以下是关于多模态提取图片中表格信息的相关内容： 在多模态任务和评测方法方面，有以下任务及相关信息： |任务名称|简称|数据集名称|数据集大小|指标计算| |||||| |Video Action Recognition|VAR|UCF101|101 类共 13K 个视频片段|Accuracy| |||HMDB51|51 类共 7K 个视频片段|Accuracy| |||Moments in Time|339 类共 1M 个视频片段|Accuracy| |||Kinetics400|400 类且每类 400 个视频片段|Accuracy| |||Kinetics600|600 类且每类 600 个视频片段|Accuracy| |||Kinetics700|700 类且每类 700 个视频片段|Accuracy| |Image Text Retrival|Retrival 任务|Flickr30K|31K 张图片，155K 文字描述|R@1| |||MSCOCO|113K 张图片，567K 文字描述|R@1| |Image Caption|Caption 任务|Visual Genome|108K 图片，5.41M 文字描述|CIDEr| |||CC3M|3.01M 对图片和文字描述|CIDEr| |||SBU|867K 对图片和文字描述|CIDEr| |||LAION400M|400M 图片|CIDEr| |Visual QA|VQA|VQAv2|265K 张图片|Accuracy| |||VisDial|130K 图片|Accuracy| Gemini 模型本身是多模态的，展示了无缝结合跨模态能力，例如从表格、图表或图形中提取信息和空间布局，以及语言模型的强大推理能力。 GPT4V 在视觉编码能力方面，图 46 进一步展示了其将输入图像中的表格重构为 MarkDown/LaTex 代码。

人工智能和机器学习的区别主要体现在以下几个方面： 1. 范畴：机器学习是人工智能的一个子领域。 2. 学习方式：机器学习通过输入数据训练模型，使计算机在没有明确编程的情况下学习。模型可以是监督的（使用标记的数据从过去的例子中学习并预测未来的值），也可以是无监督的（专注于发现原始数据中的模式）。 3. 复杂程度：深度学习是机器学习的一个子集，使用人工神经网络处理更复杂的模式，可使用标记和未标记的数据进行半监督学习。 4. 应用目的：人工智能是一个更广泛的目标，旨在让机器展现智慧；机器学习则是实现这一目标的一种手段，让机器自动从资料中找到公式。 5. 技术手段：生成式人工智能是人工智能的一个子集，试图学习数据和标签之间的关系以生成新内容；而机器学习主要通过训练模型来实现学习和预测。

人工智能（Artificial Intelligence）是一门令人兴奋的科学，旨在使计算机表现出智能行为，例如完成人类擅长的任务。 最初，查尔斯·巴贝奇发明计算机用于按明确程序运算。现代计算机虽更先进，但仍遵循受控计算理念。然而，有些任务如根据照片判断人的年龄，无法明确编程，因为我们不清楚大脑完成此任务的具体步骤，这类任务正是人工智能感兴趣的。 人工智能分为 ANI（artificial narrow intelligence 弱人工智能）和 AGI（artificial general intelligence）。ANI 只能做一件事，如智能音箱、网站搜索、自动驾驶等；AGI 则能做任何人类能做的事。 机械学习是让电脑在不被编程的情况下自己学习的研究领域，是学习输入输出的从 A 到 B 的映射。 数据科学是分析数据集以获取结论和提示，输出通常是幻灯片、结论、PPT 等。 神经网络/深度学习有输入层、输出层和中间层（隐藏层）。

以下是为您整合的相关内容： 拜登签署的 AI 行政命令要求最强大的 AI 系统开发者与美国政府分享安全测试结果等关键信息。依照《国防生产法》，开发对国家安全、经济安全、公共卫生和安全构成严重风险的基础模型的公司，在训练模型时必须通知联邦政府，并分享所有红队安全测试的结果。国家标准与技术研究所将制定严格的标准进行广泛的红队测试，国土安全部将把这些标准应用于关键基础设施部门并建立 AI 安全与保障委员会，能源部和国土安全部也将处理 AI 系统对关键基础设施以及化学、生物、放射性、核和网络安全风险的威胁。同时，商务部将制定内容认证和水印的指导，以明确标记 AI 生成的内容，联邦机构将使用这些工具让美国人容易知道从政府收到的通信是真实的，并为私营部门和世界各地的政府树立榜样。 关于 AI 带来的风险，包括：AI 生成和传播的虚假信息可能破坏获取可靠信息的途径以及对民主机构和进程的信任；AI 工具可能被用于自动化、加速和放大高度针对性的网络攻击，增加恶意行为者的威胁严重性。 大型语言模型等技术进步带来了变革性发展，在经济和社会领域有诸多应用，例如能自动化写代码、用于交通应用、支持基因医学等，但也存在隐私风险等问题。

以下是关于人工智能诈骗的相关信息： 拜登签署的 AI 行政命令中提到，要保护美国人免受人工智能带来的诈骗和欺骗，商务部将为内容认证和水印制定指导方针，以清晰标注人工智能生成的内容。联邦机构将使用这些工具，让美国人容易知晓从政府收到的通信是真实的，并为全球的私营部门和政府树立榜样。 欧洲议会和欧盟理事会规定，特定旨在与自然人互动或生成内容的人工智能系统，无论是否符合高风险条件，都可能带来假冒或欺骗的具体风险。在特定情况下，这些系统的使用应遵守具体的透明度义务，自然人应被告知正在与人工智能系统互动，除非从自然人角度看这一点显而易见。若系统通过处理生物数据能识别或推断自然人的情绪、意图或归类，也应通知自然人。对于因年龄或残疾属于弱势群体的个人，应考虑其特点，相关信息和通知应以无障碍格式提供给残疾人。

以下是关于人工智能诈骗的相关信息： 拜登签署的 AI 行政命令中提到，要保护美国人免受人工智能带来的诈骗和欺骗，商务部将制定内容认证和水印的指导方针，以清晰标注人工智能生成的内容。联邦机构将使用这些工具，让美国人容易知晓从政府收到的通信是真实的，并为全球的私营部门和政府树立榜样。 欧洲议会和欧盟理事会规定，特定旨在与自然人互动或生成内容的人工智能系统，无论是否符合高风险条件，都可能带来假冒或欺骗的具体风险。在特定情况下，这些系统的使用应遵守具体的透明度义务，自然人应被告知正在与人工智能系统互动，除非从自然人角度看这一点显而易见。若系统通过处理生物数据能识别或推断自然人的情绪、意图或归类，也应通知自然人。对于因年龄或残疾属于弱势群体的个人，应考虑其特点，相关信息和通知应以无障碍格式提供给残疾人。

以下是关于人工智能诈骗技术的相关内容： 欧洲议会和欧盟理事会规定，某些人工智能系统采用潜意识成分或其他操纵欺骗技术，以人们无法意识到的方式颠覆或损害人的自主、决策或自由选择，可能造成重大伤害，特别是对身体、心理健康或经济利益产生不利影响，此类系统应被禁止。例如脑机界面或虚拟现实可能促进这种情况发生。同时，若人工智能系统利用个人或特定群体的特殊状况实质性扭曲个人行为并造成重大危害也应被禁止。若扭曲行为由系统之外且不在提供者或部署者控制范围内的因素造成，则可能无法推定有扭曲行为的意图。 拜登签署的 AI 行政命令要求最强大的人工智能系统开发者与美国政府分享安全测试结果等关键信息。依照《国防生产法》，开发对国家安全、经济安全或公共卫生和安全构成严重风险的基础模型的公司，在训练模型时必须通知联邦政府，并分享所有红队安全测试的结果。商务部将为内容认证和水印制定指导方针，以明确标记人工智能生成的内容，联邦机构将使用这些工具让美国人容易知晓从政府收到的通信是真实的，并为私营部门和世界各国政府树立榜样。 关于人工智能相关危害的可争议性或补救途径的评估中，提到了一系列高水平风险，如人工智能生成和传播的虚假信息可能破坏获取可靠信息的途径以及对民主机构和进程的信任。人工智能工具可被用于自动化、加速和放大有针对性的网络攻击，增加恶意行为者的威胁严重性。

学习大模型的路径主要包括以下几个步骤： 1. 收集海量数据：就像教孩子成为博学多才的人需要让其阅读大量书籍、观看纪录片、与人交谈一样，对于大模型，要收集互联网上的文章、书籍、维基百科条目、社交媒体帖子等各种文本数据。 2. 预处理数据：如同为孩子整理学习资料，AI 研究人员需要清理和组织收集到的数据，包括删除垃圾信息、纠正拼写错误、将文本分割成易于处理的片段。 3. 设计模型架构：如同为孩子设计学习计划，研究人员要设计大模型的“大脑”结构，通常是一个复杂的神经网络，例如 Transformer 架构，这种架构擅长处理序列数据如文本。 4. 训练模型：如同孩子开始阅读和学习，大模型开始“阅读”提供的数据，通过反复尝试预测句子中的下一个词，不断重复这个过程，逐渐学会理解和生成人类语言。 此外，关于大模型的底层原理，计算机科学家/工程师以大脑神经元细胞结构为灵感，在计算机上利用概览模型实现对人脑结构的模仿，不过计算机的神经元节点更为简单，本质上只是进行一些加法和乘法运算而后输出。大模型内部如同人类大脑是一个混沌系统，即使是 OpenAI 的科学家也无法解释其微观细节。

Siri 目前并非使用大模型技术。苹果公司的 Siri 概念虽好，但由于技术限制，其表现未达到人工智能的水平，常被称为“人工智障”。不过，随着技术发展，未来可能会用大模型重新改造 Siri，将手机上的所有功能控制起来，使其成为真正的智能助理。例如，苹果公司在手机算力的芯片发展到能够支撑大模型上手机的情况下，可能会推出大模型的小数据量、专业的版本来替代 Siri。同时，苹果公司若 All in 手机，其大模型可能会是本地化的，以重视个人数据保护和隐私。

Sora 是使用大模型技术的。周鸿祎认为 Open AI 训练这个模型会阅读大量视频，大模型加上 Diffusion 技术需要对世界进一步了解，学习样本以视频和摄像头捕捉到的画面为主。Sora 在训练数据上采用在原始尺寸上进行训练的策略，避免了传统 AI 对人为抽象的依赖。此外，Sora 还采用了一些数据预处理技术，如将视觉图块压缩成低维潜在表示，并将其排列成序列，注入噪声后输入扩散变换器的输入层，同时采用时空分块化来降低后续对时间信息建模的复杂性。这种对原始视频和图像特征的细腻处理标志着生成模型领域的重大进步。

在解决模型微调中多轮对话容易受到上轮对话影响的问题时： 对于多轮对话，现实中常伴随指代问题，如使用“它”“他们”“我们”等代词。若仅依据原始提问检索知识片段，可能导致结果不精确或无法检索到信息。同时，对模型回复内容的限制可能影响多轮对话流畅性甚至中断。 为提升对话系统性能和用户体验，需开发提示词解决多轮对话中的指代消解问题，确保模型能在连续交流中提供准确连贯回答。但由于“指代消解”需多轮对话完成，单次交互无法达成，所以要转换测试形式，先解决“指代消解”问题再进行下一轮答复。 首先准备指代消解所需提示词，这里使用的“指代消解”提示词是用 CoT 写出的思维链，列举不同推理情景，让模型适应并推理出需消解的代词，再根据结果重新组织问题。 接着复现指代消解步骤，如进行第一轮对话，提出问题“尼罗河是什么？”，系统召回相关知识片段并回复，然后开始指代消解。 另外，聊天模型通过一串聊天对话输入并返回生成消息输出。聊天格式虽为多轮对话设计，但对单轮任务也有用。会话通过 messages 参数输入，包含不同角色和内容的消息对象数组。通常会话先有系统消息设定助手行为，再交替使用用户和助手消息。当指令涉及之前消息时，包含聊天历史记录有帮助，若超出模型限制需缩减会话。

企业做自己的小模型，可能会用到以下工具及背后的公司： 1. 在编排（Orchestration）方面，涉及的公司如 DUST、FIAVIE、LangChain 等，其提供的工具可帮助管理和协调各部分及任务，确保系统流畅运行。 2. 部署、可扩展性和预训练（Deployment, Scalability, & PreTraining）类别中，像 UWA mosaicm、NMAREL、anyscale 等公司提供的工具，有助于部署模型、保证可扩展性及进行预训练。 3. 处理上下文和嵌入（Context & Embeddings）的工具，相关公司有 TRUDO、Llamalndex、BerriAI 等，能帮助模型处理和理解语言上下文，并将词语和句子转化为计算机可理解的形式。 4. 质量保证和可观察性（QA & Observability）方面，例如 Pinecone、drant、Vald 等公司提供的工具，可确保模型表现并监控其性能和状态。 此外，还有以下工具和相关公司： 1. 图片生成 3D 建模工具，如 Tripo AI（由 VAST 发布）、Meshy、CSM AI（Common Sense Machines）、Sudo AI、VoxCraft（由生数科技推出）等。 企业还可能涉及具身智能、3D 眼镜、AI 绘本、AI 图书、学习机、飞书的多维表格、蚂蚁的智能体、Coze 的智能体、Zeabur 等云平台、0 编码平台、大模型（通义、智谱、kimi、deepseek 等）、编程辅助、文生图（可灵、即梦等）等方面，可能需要相应资质。