Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

数字孪生

Answer

数字孪生是一个涉及多个领域的概念。在表演方面,曾测试过号称能做数字孪生的软件,结果发现存在一定局限性,如只是换脸的小变体且表现中庸。表演的本质是放大情感,通过强烈的情感表达来吸引观众。

在人际关系中,每个人都可能有一个由 AI 驱动的“数字双胞胎”,它接受了我们所有的写作和言语的训练,已经有人开始这样的探索。

在前期筹备方面,包括为患病老人构建能语音输出的数字人,如一位大哥为患病母亲自学 AI 构建数字人;还有 AI 相声,如为侯宝林、马三立、马季三位相声大师做数字化形象和声音建模;以及网站图片的生成和红包封面的探讨等相关工作。

Content generated by AI large model, please carefully verify (powered by aily)

References

谈表演

今天测试了一个号称可以做数字孪生的软件,结果是换脸的小变体,说他骗人吧也不是,确实数字孪生了,我们自己误以为对方是3D而已,那么2D有什么问题呢?2D不是问题,问题是形式限制带来的表现中庸,不够戏剧化。我前面说了戏剧性,但是很多人会提戏剧化,什么是戏剧化?戏剧性是结果,戏剧化是方法;传统的戏剧主要指那些话剧歌剧歌舞剧,甚至京剧,他们的特点明显,缺乏空间变化,演员表演夸张,强调肢体语言与语言的结合;肢体语言也可以简称为行为,行为是创造人物个性的最佳方式,因为更加明显,更容易被解读,而带动行为的通常是情感(不是语言的原因是语言其实是情感表达的另一面,行为和语言双方是平等的、互补的、互相影响的,但双方都是被情感带动的);情感是深层的,必须展现出来,这其实就是表演的本质,而表演的精彩与否有时不是简单的什么动作或者什么声音,而是对观众的“影响力”,观众是否被吸引,被触动,被共情;生活中的情感不会那么强烈,甚至因为性格的问题,很多人不擅长表达,而表演则不行,不但要表达出来,而且要强烈表达,否则无法吸引人的注意力,这里就是今天的主题——放大情感,开心要大笑,伤心要痛哭,生气要砸东西......这不再是一个“正常”的人,表演就是要更加的戏剧化!表演不能单靠语言,语言是讲故事,那不是完整的表演。

生成式 AI:下一个消费者平台

此外,AI还可以帮助我们与已经去世或不再联系的人建立联系。你是否曾经希望能再听到一个已故家庭成员的故事,或者从多年未联系的人那里得到一些建议?已经有人[尝试做这样的事情](https://www.wired.com/story/a-sons-race-to-give-his-dying-father-artificial-immortality/)。可以想象,我们每个人都可能有一个由AI驱动的“数字双胞胎”,这个“双胞胎”接受了我们所有的写作和言语的训练。对一些人来说,这种探索已经[开始了](https://every.to/chain-of-thought/can-gpt-3-explain-my-past-and-tell-me-my-future)。

前期筹备

1、数字往生:需要为一位患病的老人构建一个能语音输出的数字人。(可以有延迟)[太阳]背景:我们找到了一位母亲被病魔困扰的大哥,他从0自学AI就是为了趁母亲还在构建一个数字人,让母亲能一直陪在身边。我和辽台的导演@张小琳已经取得了他家人同意,愿意拍摄一部纪实短片,讲述他对AI的探索和AI对人的意义[太阳]他的母亲也很慷慨,愿意讲述为何支持孩子这么做。(这样的活人数字人成立了,相信有很多老人和子女会被打动,这等于提前为自己的家人留下一份数字遗产。他的奶奶也不在了,他手握着不到1分钟的影响资料,一直期待着技术进步,让自己的孩子跟她见面)[苦涩]2、AI相声:缺一位声音建模大佬+给三位相声大师做数字化形象(嘴型要对的上)目前规划侯宝林,马三立,马季三位同台讲演,每位都由不同的大佬训练声音某位圈内顶级大佬已完成了马三立声音模型,并愿意参与共创[奸笑]现在缺数字化形象&再加入一位声音模型大佬主题脚本可以参考@程宇Alex的脱口秀方向3、网站图片:目前@云尚AI-图形处理-设计老哥已经MJ生成了近1500张入场券头像,网站首页(春晚预约)也将在周末上线,现在还差一半的入场券头像。有prompt参考。需求MJ图像批量生成。可提供技术支持,但需求大量图片[社会社会]4、红包封面探讨:大家觉得AI还是新年元素重要?还是先有龙的动画再体现AI春晚?可以随意甩图到群里来

Others are asking
数字孪生的关键技术
数字孪生的关键技术包括以下方面: 利用定制软件实现工厂的数字孪生,如 Wistron 利用 Omniverse SDK 定制软件将 NVIDIA DGX 和 HGX 工厂实现数字孪生,大幅缩短调试周期。 运用生成式 AI 进行天气预测,如 CoreDev 可通过超高分辨率 AI 预测严重风暴。 构建端到端的机器人系统,让 AI 理解物理世界,需要 AI 计算机、监测分析计算机和执行任务的机器人三位一体。 提供模拟环境,如 Omniverse 提供模拟环境,教会机器人如何成为机器人。 实现软件定义的仓储、工厂,让机器人自主协同工作。 解决数字人构建中的工程关键点,如构建像人一样思考的 AI Agent、实现灵魂驱动躯壳、保证实时性、实现多元跨模态、处理拟人化场景等。
2025-01-02
数据孪生 怎么在企业中搭建
在企业中搭建数字孪生可以参考以下要点: 1. 利用定制软件:如 Wistron 利用 Omniverse SDK 定制软件,将 NVIDIA DGX 和 HGX 工厂实现数字孪生,大幅缩短调试周期。 2. 集成多类数据:将 Multicad 和过程模拟数据虚拟集成到统一视图中,进行测试和优化布局。 3. 提高效率和缩短上线时间:如 Wistron 工厂使用数字孪生,工人效率提高 51%,上线时间缩短一半。 4. 验证物理构建与数字化计划的匹配:尽早发现差异,避免成本高昂的变更订单。 5. 快速测试新布局和改进操作:使用生产线上每台机器的实时物联网数据监控实时操作。 6. 与合作伙伴共同构建:如西门子正在构建工业元宇宙,并将其皇冠宝石加速器连接到 NVIDIA Omniverse。 未来,设施仓库、工厂建筑将由软件定义,在数字孪生中运行自主机器人堆栈,集成软件的方式是使用数字孪生。同时,NVIDIA 已将 Omniverse 变得更易访问,创建云 API,将其与语言聊天能力集成,可在 3D 环境中进行设计、模拟或生成。
2025-01-02
我想要能代替我直播的数字人工具
以下是一些能代替您直播的数字人工具相关信息: 数字人类型和应用场景: 1. 二维/三维虚拟人:用于游戏、IP 品牌(柳夜熙)、内容创作等。 2. 真人形象数字人:用于直播卖货、营销/投流广告视频录制(Heygen)、语言学习(CallAnnie)等。 数字人的价值: 1. 代替人说话,提升表达效率和营销效率,例如真人做不到 24 小时直播,但数字人可以。 2. 创造真实世界无法完成的对话或交流。 数字人面临的问题: 1. 平台限制:目前数字人水平参差不齐,平台担心直播观感,有一定打压限制。比如抖音出台一些标准,而微信视频号容忍度更低,人工检查封号。 2. 技术限制:形象只是皮囊,智能水平和未来想象空间,依赖大模型技术提升。 3. 需求限制:直播带货算个落地场景,但不刚。“懂得都懂”的刚需场景,国内搞不了。目前更多是体验新鲜感。 4. 伦理/法律限制:声音、影像版权等,比如换脸、数字永生等等。 数字人直播盈利方式: 1. 直接卖数字人工具软件。分实时驱动和非实时驱动两类,实时驱动在直播时能改音频话术,真人接管。市面价格在一年 4 6 万往上(标准零售价)。非实时一个月 600 元,效果很差,类似放视频的伪直播,市场价格混乱,靠发展代理割韭菜。 2. 提供数字人运营服务,按直播间成交额抽佣。 AI 直播卖货适用品类和场景: 1. 适用于不需要强展示的商品,如品牌食品饮料。如果服装就搞不了,过品快,衣服建模成本高。 2. 适用于虚拟商品,如门票、优惠券等。 3. 不适用于促销场景,这涉及主播话术、套路,调动直播间氛围能力等。 4. 电商直播分为达播跟店播,数字人直播跑下来效果最好的是店播,数据基本能保持跟真人一样(朋友公司数据)。 AI 直播的壁垒和未来市场格局: 1. 时间拉长,技术上没壁垒。但目前看仍有技术门槛,单纯靠开源算法拼的东西,实时性、可用性不高。比如更真实的对口型,更低的响应延迟等。 2. 不会一家独大,可能 4 5 家一线效果,大多二三线效果公司。因为它只是工具,迁移成本低。 3. 真正把客户服务好,能规模化扩张的公司更有价值。疯狂扩代理割韭菜,不考虑客户效果的公司,售后问题很麻烦。 4. 有资源、有业务的大平台下场,可能会带来降维打击,例如剪映马上要做,如果不仅提供数字人,还提供货品供应链、数据复盘分析等等,全环节打通会绑定商家,很难打。 虚拟主播的驱动方式: 目前,虚拟数字人从技术驱动方式上可以分为两类,一种是“中之人”驱动,另一种是由 AI 驱动。 “中之人”通过动作捕捉和面部捕捉技术,实现虚拟人与现实的交互。动作捕捉技术可以提供一套全身动捕硬件设备,售价约为 29000 元,另需缴纳 800 元的软件年度服务费。如果只需要捕捉面部表情,价格则约为 6000 元左右。总的来说,“中之人”是虚拟人物的“皮囊”,而“中之人”才是其真正的灵魂。 AI 驱动是通过 AI 技术实现虚拟人的创建、驱动和内容生成的综合技术,使其具备感知、表达等交互能力。AI 驱动的虚拟人能够智能地读取并解析外部输入信息,并根据解析结果做出决策,然后驱动人物模型生成相应的语音和动作,从而与用户进行互动。这种“一站式”技术让虚拟数字人具备更加自然、智能、人性化的交互能力。
2025-01-31
数字人制作
以下是一些制作数字人的工具及相关介绍: 1. HeyGen:这是一个 AI 驱动的平台,能创建逼真的数字人脸和角色。使用深度学习算法生成高质量肖像和角色模型,适用于游戏、电影和虚拟现实等。优点是人物灵活,五官自然,视频生成快;缺点是中文人声选择较少。使用方法为点击网址注册后,进入数字人制作,选择 Photo Avatar 上传照片,然后按步骤操作。 2. Synthesia:AI 视频制作平台,允许创建虚拟角色并进行语音和口型同步,支持多种语言,可用于教育视频、营销内容和虚拟助手等场景。 3. DID:提供 AI 拟真人视频产品服务和开发,只需上传人像照片和输入内容,平台的 AI 语音机器人会自动转换成语音并合成逼真的会开口说话的视频。优点是制作简单,人物灵活;缺点是免费版下载后有水印。使用方法为点击网址,点击右上角的 Create vedio,然后按步骤操作。 4. KreadoAI:优点是免费,功能齐全;缺点是音色较 AI。使用方法为点击网址注册后,选择“照片数字人口播”功能,然后按步骤操作。 5. 剪映:在剪映右侧窗口顶部打开“数字人”选项,选取免费且适合的数字人形象,添加数字人,还可增加背景图片等进行美化。 更多数字人工具请访问网站查看:https://www.waytoagi.com/category/42 。请注意,这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时,请确保遵守相关使用条款和隐私政策,并注意保持对生成内容的版权和伦理责任。内容由 AI 大模型生成,请仔细甄别。
2025-01-28
数字人工具
以下是一些制作数字人的工具: 1. HeyGen:这是一个 AI 驱动的平台,能创建逼真的数字人脸和角色。它运用深度学习算法生成高质量的肖像和角色模型,适用于游戏、电影和虚拟现实等领域。 2. Synthesia:这是一个 AI 视频制作平台,允许用户创建虚拟角色并实现语音和口型同步。支持多种语言,可用于教育视频、营销内容和虚拟助手等场景。 3. DID:这是一家提供 AI 拟真人视频产品服务和开发的公司,只需上传人像照片和输入要说的内容,平台提供的 AI 语音机器人将自动转换成语音,然后合成逼真的会开口说话的视频。 此外,还有适合小白用户的开源数字人工具,其特点是一键安装包,无需配置环境,简单易用。功能包括生成数字人视频,支持语音合成和声音克隆,操作界面中英文可选。系统兼容 Windows、Linux、macOS,模型支持 MuseTalk(文本到语音)、CosyVoice(语音克隆)。使用时需下载 8G+3G 语音模型包,启动模型即可。相关链接:GitHub: 。 请注意,这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时,请确保遵守相关使用条款和隐私政策,并注意对生成内容的版权和伦理责任。更多数字人工具请访问网站查看:https://www.waytoagi.com/category/42 。内容由 AI 大模型生成,请仔细甄别。
2025-01-24
我想用扣子完成AI数字分身的搭建,应该怎么操作
以下是使用扣子完成 AI 数字分身搭建的步骤: 1. 登录扣子官网(https://www.coze.cn/)并注册。 2. 创建个人 Bot: 点击个人空间。 点击创建 Bot。 填入 Bot 的名字和功能介绍,以及上传或生成对应的头像。如果没想好,可以先随便填,后面可更改。 3. 在搭建生产力工具的过程中,要先深入了解自己的工作内容和需求,做出有针对性的规划。 4. 通过整合知识库,并结合提示词进行情感或行为上的描述,创建一个 Bot,形成自己的数字分身。 5. 构建整个 Flow 时要尽量减少控件使用(非必要不增加),越少的控件代表越少的逻辑,越少的逻辑代表越小的运行风险。 6. 对于复杂的批处理任务,尽量平衡批处理次数和并发,同时还要考虑模型的推理速度,不然会增大推理失败的概率。 需要注意的是,Coze 目前提供的组件,包括 bot 等工具,能满足一些基本的生产力搭建需求。虽然现阶段它还不支持循环等高级功能,但未来有望支持更多工作流的设计模式。自 Coze 推出以来,它已明确面向 C 端用户,这些用户能从中获得实质性好处。
2025-01-24
开源项目数字人
以下是关于开源项目数字人的相关内容: 一、构建高质量的 AI 数字人 1. 构建数字人躯壳 建好的模型可以使用 web 前端页面(Live2D 就提供了 web 端的 SDK)或者 Native 的可执行程序进行部署,最后呈现在用户面前的是一个 GUI。 开源数字人项目选择了 live2d 作为数字人躯壳,因为这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然,相比虚幻引擎这些驱动方式又更加轻量和简单。 卡通二次元的形象给人的接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例:https://github.com/Live2D 。 2. 构建数字人灵魂 自建代码实现各模块开发工作量巨大,迭代难度高,对于个人开发者不现实。 推荐借助开源社区的力量,如 dify、fastgpt 等成熟的高质量 AI 编排框架,它们有大量开源工作者维护,集成各种主流的模型供应商、工具以及算法实现等。 在开源项目中,使用了 dify 的框架,利用其编排和可视化交互任意修改流程,构造不同的 AI Agent,并且实现相对复杂的功能,比如知识库的搭建、工具的使用等都无需任何的编码和重新部署工作。 Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口,基于这两个接口就可以将数字人的语音识别和语音生成都交由 Dify 控制,从而低门槛做出自己高度定制化的数字人。具体的部署过程参考 B 站视频:https://www.bilibili.com/video/BV1kZWvesE25 。 如果有更加高度定制的模型,也可以在 Dify 中接入 XInference 等模型管理平台,然后部署自己的模型。 数字人 GUI 工程中仍然保留了 LLM、ASR、TTS、Agent 等多个模块,能够保持更好的扩展。 上述 Dify 接口使用注意事项: 必须在应用编排功能中打开文字转语音和语音转文字功能,否则接口会返回未使能的错误。 只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商,才会在功能板块中展示出来,Dify 的模型供应商图标下标签有展示该供应商支持哪些功能,这里可以自行选择自己方便使用的。对于 TTS,不同的模型供应商支持的语音人物不同,可以根据个人喜好添加。 二、写在最后 数字人在未来肯定会有很多的应用场景,比如家庭中有数字人管家,全面接管智能家居或其他设备;学校中有数字人老师,孜孜不倦的为学生答疑解惑;商场里有数字人导购,为顾客提供指路、托管个人物品等悉心服务。 数字人在未来肯定还有很多的技术突破,比如可以将五感数据作为输入(例如声音、图像、气味、震动等等),将所有可以控制躯壳的参数也作为输入(例如躯壳骨骼节点,面部混合形状参数等);次世代的算法可以自我迭代升级,也可以拿到感官输入以及躯壳控制方法后,自行演化躯壳控制方式。 作者希望通过 Dify 搭建数字人的开源项目,给大家展现低门槛高度定制数字人的基本思路,但数字人的核心还是在于我们的 Agent,也就是数字人的灵魂,怎样在 Dify 上面去编排专属自己的数字人灵魂是值得大家自己亲自体验的。真诚的希望看到,随着数字人的多模态能力接入、智能化水平升级、模型互动控制更精确,用户在需要使用 AI 的能力时,AI 既可以给你提供高质量的信息,也能关注到你的情绪,给你一个大大的微笑,也许到了那时,数字世界也开始有了温度。
2025-01-22
我能否借助开源社区力量构建高质量的 AI 数字人
您可以借助开源社区力量构建高质量的 AI 数字人。 构建数字人的躯壳有多种方式: 1. 2D 引擎:风格偏向二次元,亲和力强,定制化成本低,代表是 Live2D Cubism。 2. 3D 引擎:风格偏向超写实的人物建模,拟真程度高,定制化成本高,代表是 UE、Unity、虚幻引擎 MetaHuman 等,但个人学习在电脑配置和学习难度上有一定门槛。 3. AIGC:省去建模流程直接生成数字人的展示图片,但存在算法生成的数字人很难保持 ID 一致性、帧与帧连贯性差等弊端。如果对人物模型真实度要求不高,可以使用,典型项目有 wav2lip、videoretalking 等。AIGC 还有直接生成 2D/3D 引擎模型的方向,但仍在探索中。 构建数字人的灵魂需要注意以下几个工程关键点: 1. AI Agent:要让数字人像人一样思考就需要写一个像人一样的 Agent,工程实现所需的记忆模块、工作流模块、各种工具调用模块的构建都是挑战。 2. 驱动躯壳的实现:灵魂部分通过定义接口由躯壳部分通过 API 调用,调用方式可以是 HTTP、webSocket 等。但包含情绪的语音表达以及如何保证躯壳的口型、表情、动作和语音的同步及匹配,目前主流方案只能做到预设一些表情动作,再做一些逻辑判断来播放预设,语音驱动口型相对成熟但闭源。 3. 实时性:由于算法部分组成庞大,几乎不能实现单机部署,特别是大模型部分,所以算法一般会部署到额外的集群或者调用提供出来的 API,这里面就会涉及到网络耗时和模型推理耗时,如果响应太慢就会体验很差,所以低延时也是亟需解决的一个问题。 4. 多元跨模态:不仅仅是语音交互,还可以通过添加摄像头数据获取数据,再通过系列 CV 算法做图像解析等。 5. 拟人化场景:正常和人交流时不是线性对话,会有插话、转移话题等情况,这些情景需要通过工程丝滑处理。 如果都要自建代码实现各模块,开发工作量巨大,迭代难度也很高,对于个人开发者来讲不现实。因此推荐借助开源社区的力量,现在开源社区已经有了像 dify、fastgpt 等等成熟的高质量 AI 编排框架,它们有大量的开源工作者维护,集成各种主流的模型供应商、工具以及算法实现等等。我们可以通过这些框架快速编排出自己的 AI Agent,赋予数字人灵魂。在笔者的开源项目中,使用了 dify 的框架,利用其编排和可视化交互任意修改流程,构造不同的 AI Agent,并且实现相对复杂的功能,比如知识库的搭建、工具的使用等都无需任何的编码和重新部署工作。同时 Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口,基于这个两个接口就可以将数字人的语音识别和语音生成都交由 Dify 控制,从而低门槛做出来自己高度定制化的数字人。具体的部署过程参考 B 站视频:https://www.bilibili.com/video/BV1kZWvesE25 。如果有更加高度定制的模型,也可以在 Dify 中接入 XInference 等模型管理平台,然后部署自己的模型。此外,数字人 GUI 工程中仍然保留了 LLM、ASR、TTS、Agent 等多个模块,能够保持更好的扩展,比如实现更加真实性感的语音转换、或者如果有更加 Geek 的 Agent 实现也可以选择直接后端编码扩展实现。 使用 Dify 接口需要注意: 1. 必须在应用编排功能中打开文字转语音和语音转文字功能,否则接口会返回未使能的错误。 2. 只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商,才会在功能板块中展示出来,Dify 的模型供应商图标下标签有展示该供应商支持哪些功能,这里可以自行选择自己方便使用的。对于 TTS,不同的模型供应商支持的语音人物不同,可以根据个人喜好添加。
2025-01-21