Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

基于多模态大模型的具身智能 技术原理是什么

Answer

基于多模态大模型的具身智能技术原理主要包括以下方面: 决策模块是具身智能系统的核心,负责接收感知模块的环境信息,进行任务规划和推理分析,以指导行动模块生成动作。早期决策模块主要依赖人工编程规则和专用任务算法,而基于近端策略优化算法和 Q-learning 算法的强化学习方法在具身智能自主导航等任务中展现出更好的决策灵活性,但在复杂环境适应能力等方面存在局限。 大模型的出现极大增强了具身智能体的智能程度,提高了环境感知、语音交互和任务决策能力。具身智能体的大模型是 AIGA,调用机械臂、相机等身体部件,其发展方向是视觉语言动作模型(VLA)和视觉语言导航模型(VLN)。 VLA 输入语言、图像或视频流,输出语言和动作,在统一框架内融合互联网、物理世界和运动信息,实现从自然语言指令到可执行动作指令的直接转换。 VLN 输入语言、图像或视频流,输出语言和移动轨迹,用于统一指令输入框架,使大模型直接生成运动方向、目标物体位置等操作信息。 Google Deepmind 从大模型入手打造具身智能,率先提出 Robotics Transformer 系列模型,如 RT-1 等,并不断升级。RT-1 基于模仿学习中的行为克隆学习范式,输入短的图像序列和指令,输出每个时间步的动作。随着数据量增加,有从分层模型过渡到端到端模型的趋势。 北大 HMI Lab 团队构建了全新的 RoboMamba 多模态大模型,使其具备视觉常识任务和机器人相关任务的推理能力。 在具身智能应用中,更强调“动态”学习方式,如强化学习、模拟学习等,让机器人与环境不断交互学习,通过奖励机制优化行为,获得最优决策策略,摒弃传统控制论算法物理建模的弊端。

Content generated by AI large model, please carefully verify (powered by aily)

References

一篇具身智能的最新全面综述!(上)

决策模块是整个具身智能系统的核心,它负责接收来自感知模块的环境信息,进行任务规划和推理分析,以指导行动模块生成动作。在早期的技术发展中,决策模块主要依赖于人工编程的规则判断和专用任务的算法设计。然而,这些定制化的算法很难应对动态变化的环境和未知情况。基于近端策略优化算法(Proximal Policy Optimization,PPO)和Q-learning算法的强化学习方法在具身智能自主导航、避障和多目标收集等任务中展现出更好的决策灵活性。然而,这些方法在复杂环境的适应能力、决策准确度和效率方面仍存在局限。大模型的涌现,极大地增强了具身智能体的智能程度,大幅提高了环境感知、语音交互和任务决策的能力。相较于“软件智能体”的AIGC(AI-generated Content),即由大模型生成文字、图片等内容,调用的工具是函数;具身智能体的大模型是AIGA(AI-generated Actions),即由大模型生成动作,调用的工具是机械臂、相机等身体部件。在多模态的视觉语言模型(Vision Language Model,VLM)的基础上,具身智能的大模型的发展方向是视觉语言动作模型(Vision Language Action Model,VLA)和视觉语言导航模型(Vision Language Navigation Model,VLN)。VLA:输入是语言、图像或视频流,输出是语言和动作。在一个统一的框架内融合了互联网、物理世界以及运动信息,从而实现了从自然语言指令到可执行动作指令的直接转换。VLN:输入是语言、图像或视频流,输出是语言和移动轨迹。针对导航任务中的语言描述、视觉观测对象以及运动轨迹等多个阶段的任务需求,VLN用于统一的指令输入框架,使得大模型可以直接生成运动方向、目标物体位置等操作信息。

具身智能赛道爆发的前夕,我们应该了解些什么?(上)|Z研究第 5 期

背景-mp.weixin.qq.comGoogle Deepmind从大模型入手打造具身智能,其率先提出Robotics Transformer(即RT系列)系列模型。后续又提出Saycan和PALM-E模型等等,并把这些整合入RT系列模型。2022年12月,谷歌基于模仿学习中行为克隆学习范式,把Transformer应用到机器人的操纵任务上,提出了RT-1模型;2023年7月,基于RT-1和PaLM-E,升级得到了融合视觉、语言、动作能力的端到端多模态大模型(VLA)RT-2;2023年10月,基于22种不同类型机器人真实场景的数据集Open X-Embodiment进一步训练,推出能力更强的RT-X模型;2024年3月,Google推出RT-H。技术路线:RT-1是分层模型,直到RT2成为一个端到端的模型。可以看到Google的研究成果有一个聚合的趋势。随着数据量的增加,从分层模型过渡到端到端模型也许是一个自然趋势。技术和意义RT-1:基于模仿学习中的行为克隆学习范式,输入一段短的图像序列和一个指令,输出每个时间步的一个动作,历时17个月基于13个机器人采集了130k episodes以及超过700个任务的数据集,使机器人具备了一定的泛化性,能够发现结构相似任务之间的模式,且应用到新任务上。RT-1的输入由图片序列、自然语言指令构成,输出由机械臂运动的目标位姿(Toll,pitch gaw,gripper stαtus)、基座的运动、模式转换指令构成。

具身智能赛道爆发的前夕,我们应该了解些什么?(上)|Z研究第 5 期

北大HMI Lab团队将视觉编码器与高效的状态空间语言模型集成,构建了全新的RoboMamba多模态大模型,使其具备视觉常识任务和机器人相关任务的推理能力,并都取得了先进的性能表现。论文链接:https://arxiv.org/abs/2406.04339分层架构与端到端对比分层架构的优点:绝大多数人形机器人企业采用传统X86+AI芯片的具身智能控制平台。该平台虽然在一定程度上能够实现机器人的运动控制和智能决策,但仍然存在一些显著的缺点。c.机器学习技术流派那么,上述具身智能解决方案的底层技术是什么呢?首先,传统机器学习的技术是对一套设计好的神经网络系统输入大量的数据(包括图片/文本/图片-标签对等等),让神经网络自动的进行迭代,这种学习技术,我们可以称之为“静态”机器学习方案,在此不多赘述。然而,在具身智能的应用中,我们更强调一种“动态”的学习方式(包括强化学习/模拟学习等),即让机器人和环境不断交互和学习,获得新技能以适应环境,从而完成复杂任务,这和人类的学习方式更接近。传统控制论算法需要对整个系统进行物理建模,但是在某些复杂的场景无法做到精确建模;而这种动态的Robot learning方案通过与环境的交互来学习,并通过奖励机制来优化行为,获得最优的决策策略(policy),摒弃了传统方法物理建模的弊端。接下来简单介绍一下动态机器学习方案的发展思路。第一阶段:传统控制算法结合强化学习

Others are asking
最新具身智能新闻
以下是关于具身智能的最新新闻: 具身智能是将机器学习算法适配至物理实体,从而与物理世界交互的人工智能范式。以 ChatGPT 为代表的“软件智能体”通过网页端、手机 APP 与用户交互,而具身智能体则将大模型嵌入到物理实体上,通过机器配备的传感器与人类交流。人形机器人是具身智能的代表产品。 具身智能的三要素包括本体(硬件载体)、智能(大模型、语音、图像、控制、导航等算法)、环境(本体所交互的物理世界),三者高度耦合是高级智能的基础。不同环境下会有不同形态的硬件本体适应,如室内平地适用轮式机器人,崎岖地面适用四足机器人。 具身智能体的行动分为“感知决策行动反馈”四个步骤,感知模块负责收集和处理信息,通过多种传感器感知和理解环境。常见的传感器有可见光相机、红外相机、深度相机、激光雷达、超声波传感器、压力传感器、麦克风等。 最近,具身智能的概念很火。例如稚晖君开源人形机器人全套图纸+代码引发圈内热议,各类具身智能产品如李飞飞的 Voxposer、谷歌的 RT1 和 RT2、RTX、字节跳动的 Robot Flamingo、斯坦福的 ACT 和卡耐基梅隆的 3D_diffuser_act 等,在不同任务和场景中展示了强大能力,并有潜力带来革命性变革。本文拆分为上下两篇,明天会更新下篇,聚焦人机交互、发展讨论。本文部分参考中国信息通信研究院和北京人形机器人创新有限公司的《具身智能发展报告》。
2025-01-27
具身智能
具身智能是人工智能领域的一个子领域。 它强调智能体(如机器人、虚拟代理等)通过与物理世界或虚拟环境的直接交互来发展和展现智能。智能不仅仅是处理信息的能力,还包括感知环境、自主导航、操作物体、学习和适应环境等能力。 具身智能的核心在于智能体的“身体”或“形态”,其可以是物理形态(如机器人的机械结构)或虚拟形态(如模拟环境中的虚拟角色)。这些身体为智能体提供了与环境互动的手段,并影响其学习和发展。 具身智能的研究涉及多个学科,如机器人学、认知科学、神经科学和计算机视觉等。在机器人学中,关注设计能自主行动和适应环境的机器人;在认知科学和神经科学中,探索大脑处理与身体相关信息的机制及应用于人造智能系统;在计算机视觉中,致力于开发使智能体理解和解释视觉信息的算法。 具身智能在机器人领域(如服务机器人、工业自动化和辅助技术等)、虚拟现实、增强现实和游戏设计等领域有广泛应用。 具身智能的三要素包括“本体”(硬件载体)、“智能”(大模型、语音、图像、控制、导航等算法)、“环境”(本体所交互的物理世界),三者高度耦合是高级智能的基础。其行动分为“感知决策行动反馈”四个步骤,并形成闭环。 尽管具身智能取得了显著进展,但仍面临诸多挑战,如智能体身体的设计、在复杂多变环境中的有效学习以及与人类社会相关的伦理和安全问题等。
2024-12-31
具身智能
具身智能是人工智能领域的一个子领域。 它强调智能体(如机器人、虚拟代理等)通过与物理世界或虚拟环境的直接交互来发展和展现智能。智能不仅仅是处理信息的能力,还包括感知环境、自主导航、操作物体、学习和适应环境等能力。 具身智能的核心在于智能体的“身体”或“形态”,其可以是物理形态(如机器人的机械结构)或虚拟形态(如模拟环境中的虚拟角色)。这些身体为智能体提供了与环境互动的手段,并影响其学习和发展。 具身智能的研究涉及多个学科,如机器人学、认知科学、神经科学和计算机视觉等。在机器人学中,关注设计能自主行动和适应环境的机器人;在认知科学和神经科学中,探索大脑处理与身体相关信息的机制及应用于人造智能系统;在计算机视觉中,致力于开发使智能体理解和解释视觉信息的算法。 具身智能在机器人领域(服务机器人、工业自动化和辅助技术等)、虚拟现实、增强现实和游戏设计等领域有广泛应用。通过具身智能,机器人能更好地理解和适应人类生活环境,提供更自然有效的人机交互,也能创造更具沉浸感和交互性的体验。 具身智能的三要素包括“本体”(硬件载体)、“智能”(大模型、语音、图像、控制、导航等算法)、“环境”(本体所交互的物理世界),三者高度耦合是高级智能的基础。不同环境下有不同形态的硬件本体适应环境。 具身智能的行动可分为“感知决策行动反馈”四个步骤,形成一个闭环。 在追求人工通用智能(AGI)的过程中,具身 Agent 正成为核心研究范式,它强调智能系统与物理世界的紧密结合。与传统深度学习模型相比,LLMbased Agent 能主动感知和理解所在物理环境并互动,进行“具身行动”。 尽管具身智能取得显著进展,但仍面临诸多挑战,如设计智能体身体以最大化智能表现、让智能体在复杂环境中有效学习、处理智能体与人类社会的伦理和安全问题等。未来研究将继续探索这些问题以推动其发展和应用。
2024-12-31
基于世界模型的具身智能 技术原理是什么
基于世界模型的具身智能技术原理主要包括以下方面: 谷歌发布的世界模型 Genie: 能够学习一致的动作空间,可能适合训练机器人,打造通用化的具身智能。 其架构中的多个组件基于 Vision Transformer构建而成,为平衡模型容量与计算约束,在所有模型组件中采用内存高效的 STtransformer 架构。 Genie 包含三个关键组件:潜在动作模型(Latent Action Model,LAM)用于推理每对帧之间的潜在动作;视频分词器(Tokenizer)用于将原始视频帧转换为离散 token;动态模型给定潜在动作和过去帧的 token,用来预测视频的下一帧。潜在动作模型以完全无监督的方式学习潜在动作。 相关论文《Genie:Generative Interactive Environments》已公布,论文地址为 https://arxiv.org/pdf/2402.15391.pdf,项目主页为 https://sites.google.com/view/genie2024/home?pli=1 ,论文的共同一作多达 6 人,包括华人学者石宇歌。 具身智能算法层: 机器人创业公司 Covariant 推出的首个机器人基础模型 RFM1 是基于真实任务数据训练的机器人大模型,共有 80 亿参数,是基于文本、图片、视频、机器人动作、传感器信息等多模态数据进行训练的 any to any 序列模型。 RFM1 将机器人的实际动作也视作 Token,其 token 包括多种模态,每个模块都有专门的 tokenizer 进行处理。操作只有一个——预测下一个 token。 RFM1 对物理世界的理解源自于其学习生成视频的过程,通过接受初始图像和机器人动作的输入,预测接下来视频帧的变化,掌握了模拟世界每个瞬间变化的低层次世界模型。 行业进展: 李飞飞在 AI 3D 生成领域的工作极大地加速了进展,通过对 3D 物体的生成所构建出的世界,再进行降维的视频生成,生成的视频自然符合物理世界的规律,生成的世界也可交互。 世界模型开启了在虚拟世界中预训练机器人的可能,这个虚拟世界完全符合物理规律,可以快速生成无限场景,支持并行训练多个任务,大幅降低试错成本,加速机器人的学习过程,为实现更复杂的机器人行为打开可能。这种进步正在催生新的应用可能,如更自然的人机交互界面、更安全的机器人控制系统、更高效的虚拟训练平台等。世界模型也在改变 AI 理解和交互世界的基本方式。
2024-12-27
具身智能
具身智能是人工智能领域的一个子领域,以下是关于具身智能的详细介绍: 1. 定义:强调智能体(如机器人、虚拟代理等)通过与物理世界或虚拟环境的直接交互来发展和展现智能。 2. 核心要素: 智能体的“身体”或“形态”,包括物理形态(如机器人的机械结构)和虚拟形态(如模拟环境中的虚拟角色)。 身体不仅是互动手段,也影响智能体的学习和发展。 3. 涉及学科:包括机器人学、认知科学、神经科学和计算机视觉等。 机器人学关注设计能自主行动和适应环境的机器人。 认知科学和神经科学探索大脑处理与身体相关信息的机制及应用于人造智能系统。 计算机视觉致力于开发算法,使智能体能够理解和解释视觉信息。 4. 应用领域: 机器人领域,如服务机器人、工业自动化和辅助技术等,能更好地理解和适应人类生活环境,提供更自然有效的人机交互。 虚拟现实、增强现实和游戏设计等领域,创造更具沉浸感和交互性的体验。 5. 特点: 即“具身+智能”,是将机器学习算法适配至物理实体,与物理世界交互的人工智能范式。 三要素包括“本体”(硬件载体)、“智能”(大模型、语音、图像、控制、导航等算法)、“环境”(本体所交互的物理世界),三者高度耦合是高级智能的基础。 四个模块为“感知决策行动反馈”,形成一个闭环。 6. 面临挑战: 如何设计智能体的身体以最大化其智能表现。 如何让智能体在复杂多变的环境中有效学习。 如何处理智能体与人类社会的伦理和安全问题。 人形机器人是具身智能的代表产品,不同环境下会有不同形态的硬件本体适应环境。在追求人工通用智能(AGI)的征途中,具身 Agent 正成为核心的研究范式,它强调将智能系统与物理世界紧密结合,能够主动感知和理解所在的物理环境并互动,产生具身行动。
2024-12-26
请描述具身智能的技术原理
具身智能是人工智能领域的一个子领域,其原理包括以下几个方面: 1. 强调智能体通过与物理世界或虚拟环境的直接交互来发展和展现智能。智能体的“身体”或“形态”很重要,它可以是物理形态如机器人的机械结构,也可以是虚拟形态如模拟环境中的虚拟角色。这些身体为智能体提供了与环境互动的手段,并影响其学习和发展。 2. 涉及多个学科,如机器人学、认知科学、神经科学和计算机视觉等。在机器人学中关注设计能自主行动和适应环境的机器人;在认知科学和神经科学中探索大脑处理与身体相关信息的机制及应用于人造智能系统;在计算机视觉中致力于开发使智能体能够理解和解释视觉信息的算法。 3. 以“具身+智能”的范式,将机器学习算法适配至物理实体,与物理世界交互。例如将大模型嵌入到物理实体上,通过机器配备的传感器与人类交流。 4. 具身智能的三要素包括“本体”(硬件载体)、“智能”(大模型、语音、图像、控制、导航等算法)、“环境”(本体所交互的物理世界),三者高度耦合是高级智能的基础。 5. 行动分为“感知决策行动反馈”四个步骤,分别由四个模块完成并形成闭环。 6. 在追求人工通用智能(AGI)的过程中,具身 Agent 强调将智能系统与物理世界紧密结合,能够主动感知和理解所在环境并互动,产生具身行动。 具身智能在机器人领域,特别是服务机器人、工业自动化和辅助技术等方面有重要应用,也在虚拟现实、增强现实和游戏设计等领域广泛应用。但仍面临诸多挑战,如设计智能体身体以最大化智能表现、让智能体在复杂环境中有效学习、处理智能体与人类社会的伦理和安全问题等。
2024-12-25
多模态
以下是关于多模态的相关信息: 智谱·AI 开源模型列表中的多模态模型: CogAgent18B:基于 CogVLM17B 改进的开源视觉语言模型,拥有 110 亿视觉参数和 70 亿语言参数,支持 11201120 分辨率的图像理解,在 CogVLM 功能的基础上,具备 GUI 图像的 Agent 能力。代码链接:、始智社区。 CogVLM17B:强大的开源视觉语言模型(VLM),基于对视觉和语言信息之间融合的理解,能在不牺牲任何 NLP 任务性能的情况下,实现视觉语言特征的深度融合,是目前多模态权威学术榜单上综合成绩第一的模型,在 14 个数据集上取得了 stateoftheart 或者第二名的成绩。代码链接:。 Visualglm6B:开源的,支持图像、中文和英文的多模态对话语言模型,语言模型基于。 生成式人工智能领域的突破点:多模态模型能够在没有重大定制的情况下推理图像、视频,甚至物理环境。尽管 LLMs 存在一些实际限制,但研究人员在短时间内对这些模型进行了惊人的改进。 走入 AI 的世界中的相关解释:多模态指多数据类型交互,从而能够提供更接近人类感知的场景。正如人有眼、耳、鼻、舌、身、意等多个模态,大模型对应的模态是文本、图像、音频、视频等。
2025-01-27
什么是多模态模型?
多模态模型是指能够处理和融合多种不同模态信息(如视觉、语言、音频等)的模型。 以下为一些常见的多模态模型示例: 智谱·AI 推出的具有视觉和语言双模态的模型: CogAgent18B:基于 CogVLM17B 改进的开源视觉语言模型,拥有 110 亿视觉参数和 70 亿语言参数,支持 11201120 分辨率的图像理解,在 CogVLM 功能的基础上,具备 GUI 图像的 Agent 能力。代码链接:。 CogVLM17B:强大的开源视觉语言模型(VLM),基于对视觉和语言信息之间融合的理解,在多模态权威学术榜单上综合成绩优异。代码链接:。 Visualglm6B:开源的支持图像、中文和英文的多模态对话语言模型,语言模型基于 ChatGLM6B,具有 62 亿参数;图像部分通过训练 BLIP2Qformer 构建起视觉模型与语言模型的桥梁,整体模型共 78 亿参数。代码链接:。 RDM:Relay Diffusion Model,级联扩散模型,可以从任意给定分辨率的图像快速生成,而无需从白噪声生成。代码链接:。 Google 的人工智能多模态大模型叫 Gemini,它是 Google DeepMind 团队开发的,不仅支持文本、图片等提示,还支持视频、音频和代码提示。能够理解和处理几乎任何输入,结合不同类型的信息,并生成几乎任何输出。被称为 Google 迄今为止最强大、最全面的模型,被描述为一种“原生多模态大模型”,从设计之初就支持多模态,能够处理语言、视觉、听觉等不同形式的数据。但请注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-01-13
多模态大模型与图像、视频生成
多模态大模型与图像、视频生成相关知识如下: 多模态大模型的架构和原理:基于大圆模型,能识别页面组件结构和位置绝对值信息,并与组件、文本映射。由解码器、backbone、Generator 等部件组成,左侧多模态理解,右侧生成输出。 Stable Diffusion 模型原理:是生成模型,通过加噪和去噪实现图像的正向扩散和反向还原,解决潜在空间模型中的速度问题。其应用场景包括带货商品图生成、模特服装展示、海报生成、装修设计等。 吉梦 AI 和吐司平台的使用体验:吉梦 AI 提供 AI 视频生成等能力,通过简单提示词生成图像,对数字体有专项场景训练;吐司是类似的在线生成平台,具备多种 AI 能力,有模型、在线训练、上传模型工作流等功能,可通过输入提示词生成图片。 模型训练:训练模型需要大量图像数据和标签化处理。 AI 视频生成原理:主要基于 Sara 的整体架构,采用 diffusion Transformer 架构,以扩散模型通过随机造点、加噪和去噪得到连续图像帧,输入视频可看成若干帧图片,经处理后生成视频。 模态生成器 MG_X 一般用于生成不同的模态来输出。当前的工作一般使用现成的扩大模型(Latent diffusion model),例如 Stable Diffusion 用于图像生成,Zeroscope 用于视频生成,AudioLDM2 用于音频生成。 多模态模型的技术架构:如果模型既支持 3D 生成,又支持视频生成,就可以实现图文编辑以及具有强一致性的视频生成。Open AI 可能会尝试把图片、视频、3D 变为一个自然空间。Transformer 架构的多模态模型给机器提供了像人类一样与世界互动的新机会,杨立昆(Yann LeCun)提出的世界模型可能是近一年值得关注的研究点。
2025-01-07
多模态大模型与图像、视频生成
多模态大模型与图像、视频生成相关知识如下: 多模态大模型的架构和原理:基于大圆模型,能识别页面组件结构和位置绝对值信息,并与组件、文本映射。由解码器、backbone、Generator 等部件组成,左侧多模态理解,右侧生成输出。 Stable Diffusion 模型原理:是生成模型,通过加噪和去噪实现图像的正向扩散和反向还原,解决潜在空间模型中的速度问题。其应用场景包括带货商品图生成、模特服装展示、海报生成、装修设计等。 吉梦 AI 和吐司平台的使用体验:吉梦 AI 提供 AI 视频生成等能力,通过简单提示词生成图像,对数字体有专项场景训练;吐司是类似的在线生成平台,具备多种 AI 能力,有模型、在线训练、上传模型工作流等功能,可通过输入提示词生成图片。 模型训练:训练模型需要大量图像数据和标签化处理。 AI 视频生成原理:主要基于 Sara 的整体架构,采用 diffusion Transformer 架构,以扩散模型通过随机造点、加噪和去噪得到连续图像帧,输入视频可看成若干帧图片,经处理后生成视频。 模态生成器 MG_X 一般用于生成不同的模态来输出。当前的工作一般使用现成的扩大模型(Latent diffusion model),例如 Stable Diffusion 用于图像生成,Zeroscope 用于视频生成,AudioLDM2 用于音频生成。 多模态模型的技术架构:如果模型既支持 3D 生成,又支持视频生成,就可以实现图文编辑以及具有强一致性的视频生成。Open AI 可能会尝试把图片、视频、3D 变为一个自然空间,Google 的 VideoPoet 已在这个方向上有尝试,但分辨率不够高。Transformer 架构的多模态模型给机器提供了像人类一样与世界互动的新机会,杨立昆(Yann LeCun)提出的世界模型可能是近一年值得关注的研究点。
2025-01-07
Video-LLaVA与多模态图像视频识别
以下是对 26 个多模态大模型的全面比较总结: 1. Flamingo:是一系列视觉语言(VL)模型,能处理交错的视觉数据和文本,并生成自由格式的文本作为输出。 2. BLIP2:引入资源效率更高的框架,包括用于弥补模态差距的轻量级 QFormer,能利用冻结的 LLM 进行零样本图像到文本的生成。 3. LLaVA:率先将 IT 技术应用到多模态(MM)领域,为解决数据稀缺问题,引入使用 ChatGPT/GPT4 创建的新型开源 MM 指令跟踪数据集及基准 LLaVABench。 4. MiniGPT4:提出简化方法,仅训练一个线性层即可将预训练的视觉编码器与 LLM 对齐,能复制 GPT4 展示的功能。 5. mPLUGOwl:提出新颖的 MMLLMs 模块化训练框架,结合视觉上下文,包含用于评估的 OwlEval 教学评估数据集。 6. XLLM:陈等人将其扩展到包括音频在内的各种模式,具有强大的可扩展性,利用 QFormer 的语言可迁移性成功应用于汉藏语境。 7. VideoChat:开创高效的以聊天为中心的 MMLLM 用于视频理解对话,为该领域未来研究制定标准,并为学术界和工业界提供协议。
2025-01-07
多模态模型与多模态问答
多模态模型与多模态问答相关内容如下: Gemini 模型在图像理解方面表现出色,在多个基准测试中处于领先地位。它在高级对象识别、细粒度转录、空间理解和多模态推理等任务中展现出强大性能,在 zeroshot QA 评估中优于其他模型,在学术基准测试中如 MathVista 和 InfographicVQA 有显著改进,在 MMMU 基准测试中取得最好分数。 智谱·AI 推出了具有视觉和语言双模态的模型,如 CogAgent18B、CogVLM17B 和 Visualglm6B。CogAgent18B 拥有 110 亿视觉参数和 70 亿语言参数,支持高分辨率图像理解,具备 GUI 图像的 Agent 能力。CogVLM17B 是多模态权威学术榜单上综合成绩第一的模型。VisualGLM6B 是支持图像、中文和英文的多模态对话语言模型。 Zhang 等人(2023)提出了一种多模态思维链提示方法,将文本和视觉融入到一个两阶段框架中,多模态 CoT 模型(1B)在 ScienceQA 基准测试中的表现优于 GPT3.5。
2025-01-07
如何让 ai 做一个自己的智能ai 软件
要让 AI 做一个自己的智能 AI 软件,可以参考以下步骤: 1. 选择合适的平台:例如字节跳动旗下的扣子(Coze),其是新一代一站式 AI Bot 开发平台,无论是否具备编程基础,都能在该平台上迅速构建基于 AI 模型的各类问答 Bot。 2. 明确创建流程: 起一个智能体的名称。 写一段智能体的简单介绍。 使用 AI 创建一个头像。 3. 对于让 AI 写出想要的代码,可遵循以下.cursorrules 写法: 先说清楚自己是谁,告诉 AI 期待其具备的专业技能。 告诉 AI 要干什么,明确项目需求。 定好项目的“规矩”,强调代码规范。 明确文件存放位置。 指定使用的“工具”,如框架和库。 告诉 AI 怎么做测试。 推荐参考资料。 如有 UI 需求,补充相关要求。 4. 在与 AI 合作编程时,了解其边界和限制,遵循编程准则: 能不编,尽量不编。优先找线上工具、插件、本地应用,先找现成的开源工具或考虑付费服务,实在找不到再自己编程。以终为始,聚焦目标。
2025-01-29
智能体能干嘛
智能体(Agent)在人工智能和计算机科学领域是一种能够感知环境并采取行动以实现特定目标的实体,可以是软件程序或硬件设备。 智能体具有以下关键组成部分和功能: 1. 规划:将大型任务分解为更小、可管理的子目标,有效处理复杂任务。 2. 反思和完善:对过去的行为进行自我批评和反思,从错误中吸取教训,完善未来步骤,提高最终结果质量。 3. 记忆:包括短期记忆用于上下文学习,长期记忆用于长时间保留和回忆信息,通常通过外部向量存储和快速检索实现。 4. 工具使用:学习调用外部 API 获取模型权重中缺失的额外信息,包括当前信息、代码执行能力、对专有信息源的访问等。 以下是一些具体的智能体应用示例: 1. 新年心语智能体: 功能包括写祝福语、做对联、预测新年运势、生成 AI 图片、陪用户闲聊等。 由于使用了代码节点访问外部 API,未提供体验。 2. 买买买!💥产品买点提炼神器强化版🚀智能体: 应用场景针对企业和品牌营销团队,尤其是活跃于小红书和抖音的市场推广者。 解决难以精准提炼产品卖点、不能以友好的用户侧表达讲述卖点、社交媒体营销文案和脚本创作无系统等痛点。 主要功能有产品卖点深度挖掘、优质买点文案生成、小红书笔记和抖音脚本生成,所有内容可一键同步到飞书。
2025-01-29
人工智能设计拜年PPT的软件
以下是一些可以用于人工智能设计拜年 PPT 的软件: 1. Gamma:在线 PPT 制作网站,可通过输入文本和想法提示快速生成幻灯片,支持嵌入多媒体格式,如 GIF 和视频,增强演示文稿吸引力,网址:https://gamma.app/ 2. 美图 AI PPT:由美图秀秀开发团队推出,通过输入简单文本描述生成专业 PPT 设计,包含丰富模板库和设计元素,适用于多种场合,网址:https://www.xdesign.com/ppt/ 3. Mindshow:AI 驱动的 PPT 辅助工具,提供自动布局、图像选择和文本优化等智能设计功能,还可能包含互动元素和动画效果,网址:https://www.mindshow.fun/ 4. 讯飞智文:科大讯飞推出的 AI 辅助文档编辑工具,利用语音识别和自然语言处理技术优势,提供智能文本生成、语音输入、文档格式化等功能,网址:https://zhiwen.xfyun.cn/ 此外,还有以下相关内容: 1. 2024 年 6 月 22 日更新的一批研究报告,如《》等。 2. 熊猫 Jay 编写的超全的 AI 工具生成 PPT 的思路和使用指南,介绍了 MindShow、爱设计、闪击、Process ON、WPS AI 等工具,并因该培训获得 1000 元奖励。原文:https://mp.weixin.qq.com/s/uVoIIcePa7WTx7GNqkAPA 公众号:熊猫 Jay 字节之旅
2025-01-28
智能合规性分析
以下是关于智能合规性分析的相关内容: 在金融服务业中,生成式 AI 能带来更好的合规性,具体表现为: 1. 高效筛查:迅速汇总个体在不同系统中的关键信息,让合规官员更快得出交易是否存在问题的答案。 2. 更准确地预测洗钱者:根据过去 10 年的可疑活动报告训练模型,创建对洗钱者构成的定义。 3. 更快的文档分析:分析大量文档,标记潜在问题或关注区域。 4. 培训和教育:开发培训材料,模拟真实场景,教育合规官员。 欧洲议会和欧盟理事会规定了人工智能的统一规则,包括成员国的市场监督管理机关和委员会应能提议联合行动,促进合规、查明不合规情况等。对于建立在通用人工智能模型基础上的人工智能系统,明确了国家和联盟一级的责任和权限。 未来,拥抱生成式 AI 的合规部门有望阻止每年在全球范围内非法洗钱的巨额资金。如今,合规软件主要基于“硬编码”规则,存在诸多问题,生成式 AI 可能带来改变。
2025-01-27
Coze + 飞书 + 飞书多维表格:通过飞书机器人与 Coze 搭建的智能体进行对话,在聊天窗口中完成链接输入和阅读计划输出。由 Coze 调用大模型、插件完成内容的整理、推荐,利用飞书多维表格存储和管理稍后读数据,无需开发任何插件、APP,能实现跨平台的稍后读收集与智能阅读计划的推荐。其设计思路包括简化“收集”,实现跨平台收集和通过输入 URL 完成收集;自动化“整理入库”,自动整理关键信息并支持跨平台查看;智能“选择”推荐,根据收藏记录和用户兴趣生成阅读计划——这个方法具体如何操作?
以下是关于通过飞书机器人与 Coze 搭建的智能体进行对话,并利用飞书多维表格存储和管理稍后读数据,实现跨平台的稍后读收集与智能阅读计划推荐的具体操作方法: 前期准备: 1. 简化“收集”: 实现跨平台收集功能,支持电脑(web 端)、安卓、iOS 多端操作。 输入一个 URL 即可完成收集,借鉴微信文件传输助手的方式,通过聊天窗口完成收集输入。 2. 自动化“整理入库”: 系统在入库时自动整理每条内容的关键信息,包括标题、摘要、作者、发布平台、发布日期、收集时间和阅读状态。 阅读清单支持跨平台查看。 3. 智能“选择”推荐: 根据当前收藏记录和用户阅读兴趣进行相关性匹配,生成阅读计划。 使用飞书·稍后读助手: 1. 设置稍后读存储地址: 首次使用,访问。 点击「更多创建副本」,复制新表格的分享链接。 将新链接发送到智能体对话中。 还可以发送“查询存储位置”、“修改存储位置”来更换飞书多维表格链接,调整稍后读存储位置。 2. 收藏待阅读的页面链接: 在对话中输入需要收藏的页面链接,第一次使用会要求授权共享数据,授权通过后再次输入即可完成收藏。但目前部分页面链接可能小概率保存失败。 3. 智能推荐想看的内容: 在对话中发送“我想看 xx”、“xx 内容”,即可按个人兴趣推荐阅读计划。 至此,专属 AI 稍后读智能体大功告成,您可以尽情享受相关服务。
2025-01-27
怎样构建一个自己专业的AI小模型
构建一个自己专业的 AI 小模型可以参考以下步骤: 1. 搭建 OneAPI:这是为了汇聚整合多种大模型接口,方便后续更换使用各种大模型,同时了解如何白嫖大模型接口。 2. 搭建 FastGpt:这是一个知识库问答系统,将知识文件放入,接入上面的大模型作为分析知识库的大脑,最后回答问题。如果不想接到微信,搭建完此系统就可以,它也有问答界面。 3. 搭建 chatgptonwechat 并接入微信,配置 FastGpt 把知识库问答系统接入到微信,建议先用小号以防封禁风险。若想拓展功能,可参考 Yaki.eth 同学的教程,里面的 cow 插件能进行文件总结、MJ 绘画等。 部署和训练自己的 AI 开源模型的主要步骤如下: 1. 选择合适的部署方式,包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等,根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源,确保有足够的训练数据覆盖目标应用场景,并准备足够的计算资源,如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础,可以使用开源的预训练模型如 BERT、GPT 等,也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练,根据具体应用场景对预训练模型进行微调训练,优化模型结构和训练过程以提高性能。 5. 部署和调试模型,将训练好的模型部署到生产环境,并对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护,大模型涉及大量数据和隐私信息,需要重视安全性和合规性。 大模型的构建过程包括: 1. 收集海量数据:像教孩子成为博学多才的人一样,让模型阅读大量的文本数据,如互联网上的文章、书籍、维基百科条目、社交媒体帖子等。 2. 预处理数据:清理和组织收集到的数据,如删除垃圾信息,纠正拼写错误,将文本分割成易于处理的片段。 3. 设计模型架构:为模型设计“大脑”结构,通常是一个复杂的神经网络,如使用 Transformer 架构。 4. 训练模型:让模型“阅读”提供的数据,通过反复尝试预测句子中的下一个词等方式,逐渐学会理解和生成人类语言。
2025-01-29
现在最好的AI大模型
目前较为出色的 AI 大模型包括: 1. GPT4(免费可用):是 OpenAI 在深度学习规模扩大方面的最新里程碑,是一个大型多模态模型,在各种专业和学术基准测试中表现出与人类相当的水平。 2. Midjourney v5(免费):具有极高的一致性,擅长以更高分辨率解释自然语言 prompt,并支持像使用 tile 这样的重复图案等高级功能,能生成令人惊叹的逼真 AI 图像。 3. DALL·E 3(免费可用):代表了生成完全符合文本的图像能力的一大飞跃,能轻松将想法转化为极其精准的图像。 4. Mistral 7B(免费):是一个具有 73 亿参数的模型,在所有基准测试上超越了 Llama 2 13B,在许多基准测试上超越了 Llama 1 34B,在代码任务上接近 CodeLlama 7B 的性能,同时在英语任务上表现良好。 此外,在主要的大语言模型方面: 1. OpenAI 系统:包括 3.5 和 4.0 版本,3.5 模型在 11 月启动了当前的 AI 热潮,4.0 模型功能更强大。微软的 Bing 使用 4 和 3.5 的混合,通常是 GPT4 家族中首个推出新功能的模型。 2. 谷歌:一直在测试自己的人工智能 Bard,由各种基础模型驱动,最近是一个名叫 PaLM 2 的模型。 3. Anthropic 发布了 Claude 2,其最值得注意的是有一个非常大的上下文窗口。
2025-01-29
你好,你是什么模型?
您好,我是一名 AI 知识专家,能够为您提供全面的 AI 知识指导和解答相关问题。 关于模型方面的知识: LoRA 和 LyCORIS 都属于微调模型,常用于控制画风、生成的角色、角色姿势等。它们的后缀均为.safetensors,体积较主模型小,一般在 4M 300M 之间,使用 LoRA 模型较多,LyCORIS 可调节范围更大,现在 SD 已内置。在 WebUl 中使用时,可在 LoRA 菜单中点击使用,也可直接使用 Prompt 调用。 在 Tusiart 中,首页有模型、帖子、排行榜,展示了大手子炼成的模型和图片。生图必需基础模型(Checkpoint),任何生图操作必须选定一个 Checkpoint 模型才能开始,lora 是低阶自适应模型,可有可无,但对细节控制有价值。ControlNet 可控制图片中特定图像,VAE 类似于滤镜调整生图饱和度,选择 840000 即可。Prompt 提示词是想要 AI 生成的内容,负向提示词是想要 AI 避免产生的内容。还有图生图,即上传图片后 SD 会根据相关信息重绘。 如果您想搭建类似的群问答机器人,可以参考以下内容:
2025-01-28
为什么要布置大模型到本地
布置大模型到本地主要有以下原因: 1. 无需科学上网,也无需支付高昂的 ChatGPT 会员费用。 2. 可以通过 Web UI 实现和大模型进行对话的功能,如 Open WebUI 一般有两种使用方式,包括聊天对话和 RAG 能力(让模型根据文档内容回答问题),这也是构建知识库的基础之一。 3. 能够更加灵活地掌握个人知识库。 但需要注意的是,运行大模型需要很高的机器配置: 1. 生成文字大模型,最低配置为 8G RAM + 4G VRAM,建议配置为 16G RAM + 8G VRAM,理想配置为 32G RAM + 24G VRAM(如果要跑 GPT3.5 差不多性能的大模型)。 2. 生成图片大模型(比如跑 SD),最低配置为 16G RAM + 4G VRAM,建议配置为 32G RAM + 12G VRAM。 3. 生成音频大模型,最低配置为 8G VRAM,建议配置为 24G VRAM。 个人玩家的大多数机器可能负担不起,最低配置运行速度非常慢。但亲自实操一遍可以加深对大模型构建的知识库底层原理的了解。
2025-01-27
大语言模型
大语言模型相关知识如下: Encoder:在大型语言模型中,Encoder 是模型的编码器部分,负责对输入的文本序列进行编码,获取其对应的语义表示。具有词嵌入、位置编码、注意力机制、层叠编码、上下文建模等关键作用。其输出是输入序列对应的上下文化语义表示,会被模型的 Decoder 部分利用。 介绍:大型语言模型是深度学习的一个子集,可以预训练并进行特定目的的微调。能解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题,还可利用相对较小的领域数据集进行定制以解决不同领域的特定问题。其三个主要特征是大型(训练数据集规模和参数数量大)、通用性(能解决常见问题)、预训练微调(用大型数据集预训练,用较小数据集微调)。使用大型语言模型的好处包括一种模型可用于不同任务、微调所需领域训练数据较少、性能随数据和参数增加而增长等。视频中还提到了自然语言处理中的提示设计和提示工程,以及三种类型的大型语言模型:通用语言模型、指令调整模型和对话调整模型。 性能对比:对比不同大型语言模型的性能需考虑多个维度,如理解能力、生成质量、知识广度和深度、泛化能力、鲁棒性、偏见和伦理、交互性和适应性、计算效率和资源消耗、易用性和集成性等。可采用标准基准测试、自定义任务、人类评估、A/B 测试、性能指标等方法进行有效比较。
2025-01-27