多模态的应用场景广泛,主要包括以下方面:
图9大模型核心基础概念泛化能力:不用人话说是“指模型在未曾见过的数据上表现良好的能力”,用大白话讲就是“举一反三”的能力,人类就是泛化能力很强的物种,我们不需要见过这个世界上的每一只猫,就能认识猫这个概念。多模态:指多数据类型交互,从而能够提供更接近人类感知的场景。正如人有眼、耳、鼻、舌、身、意等多个模态,大模型对应的模态是文本、图像、音频、视频……对齐能力:指与人类价值观与利益目标保持一致的能力。大模型相比我们普通人类个体是“无所不知”的,但他并不会把他知道的都告诉你,例如你问chatGPT如何制造炸弹,他虽然知道,但并不会告诉你具体步骤和配方,这是因为chatGPT做了很好的对齐工程,但目前阶段,有很多提示词注入的方法,也能绕过各种限制,这也开辟了大模型领域黑白对抗的新战场(事实上,人类自身就不是一个价值观对齐的物种,同一件事在一些群体眼中稀松平常,但在另一些群体眼中十恶不赦,因此“和谁对齐”确实是一个灵魂问题)。图10大模型核心基础概念
尽管聊天界面对许多用户来说令人兴奋和直观,但人类听和说语言的频率可能与写或读语言的频率相当或更高。正如Amodei所指出的:“AI系统能做的事情是有限的,因为并不是所有的事情都是文本。”具备多模态功能的模型能够无缝地处理和生成多种音频或视觉格式的内容,将这种交互扩展到超越语言的领域。像GPT-4、Character.AI和Meta的ImageBind这样的模型已经能够处理和生成图像、音频和其他模态,但它们在这方面的能力还比较基础,尽管进展迅速。用Gomez的话说,我们的模型在字面上今天是盲的,这一点需要改变。我们构建了很多假设用户能够看到的图形用户界面(GUI)。随着LLMs不断进化,更好地理解和与多种模态交互,它们将能够使用依赖GUI的现有应用程序,比如浏览器。它们还可以为消费者提供更加引人入胜、连贯和全面的体验,使用户能够超越聊天界面进行互动。Shazeer指出:“多模态模型的许多出色整合可以使事物更具吸引力和与用户更紧密相连。”他还说:“我认为,目前大部分核心智能来自文本,但音频和视频可以使这些事物更有趣。”从与AI导师进行视频聊天到与AI合作迭代和编写电视剧剧本,多模态有潜力改变娱乐、学习与发展以及跨各种消费者和企业用例的内容生成。多模态与工具使用密切相关。尽管LLMs最初可能通过API与外部软件进行连接,但多模态将使LLMs能够使用设计给人类使用但没有自定义集成的工具,例如传统的企业资源计划(ERP)系统、桌面应用程序、医疗设备或制造机械。在这方面,我们已经看到了令人兴奋的进展:例如,谷歌的Med-PaLM-2模型可以合成乳腺摄影和X射线图像。而且从长远来看,多模态(特别是与计算机视觉的集成)可以通过机器人、自动驾驶车辆和其他需要与物理世界实时交互的应用程序,将LLMs扩展到我们自己的物理现实中。
资金与投资:李飞飞、Scale AI创始人Alexandr Wang、Nvidia、Intel Capital、Samsung NEXT Ventures模型特点:Pegasus-1是一个先进的视频理解模型,约800亿参数,能够深入理解视频内容。能够处理从10秒到数小时不等长度的视频。能够理解视觉信息以及音频和语音信息,包括人物、物体、场景,背景音乐和对话等。解决方案:视频搜索:语义视频搜索服务,通过描述性语言在数小时的视频内容中快速找到用户想要的那一瞬间视频-文本生成:提供API以从视频生成文本摘要、关键点、标签和标题等,能够在没有音频或者文字的情况下,提供视频内容的报告。定制化模型:提供定制化服务,允许用户微调自己的模型,以满足特定领域的需求落地场景:广告插入与内容审核:用于判断视频内容,例如区分展示刀具的视频是暴力内容还是教学内容流媒体内容分析:自动生成媒体分析报告,比如从视频中自动生成亮点集锦,或者为视频生成标题和标签运动赛事视频分析:与NFL在内的多个行业公司合作,帮助精彩瞬间捕捉、技术动作分析、比赛策略分析等Google:多模态模型MUM(Multitask Unified Model)