数字人

您可以借助开源社区力量构建高质量的 AI 数字人。 构建数字人的躯壳有多种方式： 1. 2D 引擎：风格偏向二次元，亲和力强，定制化成本低，代表是 Live2D Cubism。 2. 3D 引擎：风格偏向超写实的人物建模，拟真程度高，定制化成本高，代表是 UE、Unity、虚幻引擎 MetaHuman 等，但个人学习在电脑配置和学习难度上有一定门槛。 3. AIGC：省去建模流程直接生成数字人的展示图片，但存在算法生成的数字人很难保持 ID 一致性、帧与帧连贯性差等弊端。如果对人物模型真实度要求不高，可以使用，典型项目有 wav2lip、videoretalking 等。AIGC 还有直接生成 2D/3D 引擎模型的方向，但仍在探索中。 构建数字人的灵魂需要注意以下几个工程关键点： 1. AI Agent：要让数字人像人一样思考就需要写一个像人一样的 Agent，工程实现所需的记忆模块、工作流模块、各种工具调用模块的构建都是挑战。 2. 驱动躯壳的实现：灵魂部分通过定义接口由躯壳部分通过 API 调用，调用方式可以是 HTTP、webSocket 等。但包含情绪的语音表达以及如何保证躯壳的口型、表情、动作和语音的同步及匹配，目前主流方案只能做到预设一些表情动作，再做一些逻辑判断来播放预设，语音驱动口型相对成熟但闭源。 3. 实时性：由于算法部分组成庞大，几乎不能实现单机部署，特别是大模型部分，所以算法一般会部署到额外的集群或者调用提供出来的 API，这里面就会涉及到网络耗时和模型推理耗时，如果响应太慢就会体验很差，所以低延时也是亟需解决的一个问题。 4. 多元跨模态：不仅仅是语音交互，还可以通过添加摄像头数据获取数据，再通过系列 CV 算法做图像解析等。 5. 拟人化场景：正常和人交流时不是线性对话，会有插话、转移话题等情况，这些情景需要通过工程丝滑处理。 如果都要自建代码实现各模块，开发工作量巨大，迭代难度也很高，对于个人开发者来讲不现实。因此推荐借助开源社区的力量，现在开源社区已经有了像 dify、fastgpt 等等成熟的高质量 AI 编排框架，它们有大量的开源工作者维护，集成各种主流的模型供应商、工具以及算法实现等等。我们可以通过这些框架快速编排出自己的 AI Agent，赋予数字人灵魂。在笔者的开源项目中，使用了 dify 的框架，利用其编排和可视化交互任意修改流程，构造不同的 AI Agent，并且实现相对复杂的功能，比如知识库的搭建、工具的使用等都无需任何的编码和重新部署工作。同时 Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口，基于这个两个接口就可以将数字人的语音识别和语音生成都交由 Dify 控制，从而低门槛做出来自己高度定制化的数字人。具体的部署过程参考 B 站视频：https://www.bilibili.com/video/BV1kZWvesE25 。如果有更加高度定制的模型，也可以在 Dify 中接入 XInference 等模型管理平台，然后部署自己的模型。此外，数字人 GUI 工程中仍然保留了 LLM、ASR、TTS、Agent 等多个模块，能够保持更好的扩展，比如实现更加真实性感的语音转换、或者如果有更加 Geek 的 Agent 实现也可以选择直接后端编码扩展实现。 使用 Dify 接口需要注意： 1. 必须在应用编排功能中打开文字转语音和语音转文字功能，否则接口会返回未使能的错误。 2. 只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商，才会在功能板块中展示出来，Dify 的模型供应商图标下标签有展示该供应商支持哪些功能，这里可以自行选择自己方便使用的。对于 TTS，不同的模型供应商支持的语音人物不同，可以根据个人喜好添加。

生成数字人的效果因使用的工具和方法而异。以下是一些常见的情况： 在剪映中生成数字人： 打开“数字人”选项，选择免费且适合的形象，如“婉婉青春”，软件会播放其声音，可判断是否需要，点击“添加数字人”将其添加到视频中，剪映会根据提供的内容生成对应音视频并添加到轨道中。左下角会提示渲染完成时间，可点击预览按钮查看效果。 腾讯的 MimicMotion 项目： 效果显著优于阿里，支持面部特征和唇形同步，不仅用于跳舞视频，也可应用于数字人。其优化包括基于置信度的姿态引导机制确保视频连贯流畅、基于姿态置信度的区域损失放大技术减少图像扭曲变形、创新的渐进式融合策略实现任意长度视频生成。项目地址：https://github.com/tencent/MimicMotion 节点地址：https://github.com/AIFSH/ComfyUIMimicMotion 此外，还有适合小白用户的开源数字人工具，如： 特点：一键安装包，无需配置环境，简单易用。 功能：生成数字人视频，支持语音合成和声音克隆，操作界面中英文可选。 系统兼容：支持 Windows、Linux、macOS。 模型支持：MuseTalk（文本到语音）、CosyVoice（语音克隆）。 使用步骤：下载 8G+3G 语音模型包，启动模型即可。 GitHub： 官网：

以下是组织一个团队完成属于自己的一套数字人制作技术的相关内容： 方案一：剪映数字人“个性化“—无限免费私模数字人 1. 准备谷歌账号（可在淘宝或“”购买）。 2. 第一步：打开谷歌浏览器，点击链接https://github.com/facefusion/facefusioncolab 并点击 open colab 进入程序主要运行界面，在右上角点击“代码执行程序”选择“全部运行”，无需安装和付费。点击红框对应的 URL 打开操作界面。 3. 第二步：点击“source”上传自己的照片和“target”上传之前的剪映数字人视频，保持默认参数，点击“START”生成。 4. 第三步：等待专属数字人视频出炉。 方案二：借助开源社区力量构建高质量的 AI 数字人 1. 推荐借助开源社区的像 dify、fastgpt 等成熟的高质量 AI 编排框架，它们有大量开源工作者维护，集成各种主流模型供应商、工具及算法实现等。 2. 可通过这些框架快速编排出自己的 AI Agent，赋予数字人灵魂。 在开源项目中，使用 dify 框架，利用其编排和可视化交互任意修改流程，构造不同的 AI Agent，实现相对复杂功能，如知识库搭建、工具使用等，无需编码和重新部署工作。 Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口，基于此可将数字人的语音识别和语音生成都交由 Dify 控制，低门槛做出高度定制化的数字人。具体部署过程参考 B 站视频：https://www.bilibili.com/video/BV1kZWvesE25 。 若有更高度定制的模型，也可在 Dify 中接入 XInference 等模型管理平台部署自己的模型。 数字人 GUI 工程中保留了 LLM、ASR、TTS、Agent 等多个模块，能保持更好的扩展。 注意事项： 1. 使用 Dify 接口时，必须在应用编排功能中打开文字转语音和语音转文字功能，否则接口会返回未使能的错误。 2. 只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商，才会在功能板块中展示出来，Dify 的模型供应商图标下标签有展示该供应商支持哪些功能，可自行选择方便使用的。对于 TTS，不同的模型供应商支持的语音人物不同，可根据个人喜好添加。 制作数字人的工具： 1. HeyGen：AI 驱动的平台，可创建逼真的数字人脸和角色，适用于游戏、电影和虚拟现实等应用。 2. Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：提供 AI 拟真人视频产品服务和开发，上传人像照片和输入要说的内容，平台提供的 AI 语音机器人将自动转换成语音，然后合成逼真的会开口说话的视频。 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。请注意，这些工具的具体功能和可用性可能会变化，使用时请遵守相关使用条款和隐私政策，并注意保持对生成内容的版权和伦理责任。

生成 AI 数字人主要有以下步骤： 1. 在剪映中生成数字人： 打开剪映右侧窗口顶部的“数字人”选项，选取免费且适合的数字人形象，如“婉婉青春”。 软件会播放数字人的声音，可判断是否需要，点击右下角“添加数字人”将其添加到当前视频中，软件会生成对应音视频并添加到轨道中，左下角会提示渲染完成时间，可点击预览查看效果。 2. 增加背景图片： 删除先前导入的文本内容，因为视频音频已包含文字。 点击左上角“媒体”菜单并“导入”，选择本地图片上传，如一张书架图片，点击图片右下角加号添加到视频轨道（会覆盖数字人）。 拖动轨道最右侧竖线使图片与视频对齐，选中轨道，拖动图片角放大到合适尺寸，并将数字人拖动到合适位置。 3. 增加字幕： 点击文本智能字幕识别字幕，点击开始识别，软件会自动将文字智能分段形成字幕。 4. 算法驱动的数字人实现流程： 核心算法包括 ASR（语音识别），能将用户音频数据转化为文字，便于数字人理解和生成回应。 AI Agent（人工智能体）充当数字人大脑，可接入大语言模型，拥有记忆模块等使其更真实。 TTS（文字转语音）将数字人依靠 LLM 生成的文字输出转换为语音。 完成上述步骤后，点击右上角“导出”按钮导出视频备用。若希望数字人换脸，则需使用其他工具。

数字人是运用数字技术创造出来的人，虽现阶段不能如科幻作品中的人型机器人般高度智能，但已在生活各场景中常见，且随 AI 技术发展迎来应用爆发。目前业界对其无准确定义，一般按技术栈分为真人驱动和算法驱动两类。 真人驱动的数字人重在通过动捕设备或视觉算法还原真人动作表情，主要用于影视行业及直播带货，表现质量与手动建模精细度及动捕设备精密程度直接相关，不过视觉算法进步使无昂贵动捕设备时，通过摄像头捕捉人体骨骼和人脸关键点信息也能有不错效果。 制作数字人的工具主要有： 1. HeyGen：AI 驱动的平台，能创建逼真数字人脸和角色，使用深度学习算法生成高质量肖像和角色模型，适用于游戏、电影和虚拟现实等。 2. Synthesia：AI 视频制作平台，可创建虚拟角色并进行语音和口型同步，支持多种语言，用于教育视频、营销内容和虚拟助手等场景。 3. DID：提供 AI 拟真人视频产品服务和开发，上传人像照片和输入内容，平台的 AI 语音机器人自动转换成语音并合成逼真说话视频。 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。使用这些工具时，请遵守相关使用条款和隐私政策，注意生成内容的版权和伦理责任。 以下是一些包含数字人的节目单示例： 1. 节目“猜真人”：魔术互动类表演，2 个、8 个数字分身，猜哪个是真正的我，需求技术为 AI 数字人。 2. 节目“亲情的应用场景（逝者）”：女儿打扫房间扫到去世父亲二维码再次对话，涉及 AI 分身积累准备。 3. 节目“AI 转绘”：经典电影混剪，涉及短片素材、AI 转绘、Lora 等。 4. 节目“AI 贺岁”：晚会中场致谢，包括共创团队记录、新年祝福等。 5. 节目“打工人共情”：涉及 AI 素材、共情脚本、炫技视频剪辑等。

数字人带货的相关内容如下： 1. 数字人直播盈利方式： 直接卖数字人工具软件，分为实时驱动和非实时驱动两类。实时驱动价格一年 4 6 万往上，非实时驱动一个月 600 元，效果差且市场价格混乱。 提供数字人运营服务，按直播间成交额抽佣。 2. 数字人直播卖货适用品类和场景： 适用于不需要强展示的商品，如品牌食品饮料，不适用于服装，因衣服建模成本高。 适用于虚拟商品，如门票、优惠券等。 不适用于促销场景，涉及主播话术、套路和调动直播间氛围能力等。 电商直播分达播跟店播，数字人直播效果最好的是店播，数据基本能保持跟真人一样。 3. 数字人直播的壁垒和未来市场格局： 时间拉长，技术上没壁垒，但目前仍有技术门槛，如更真实的对口型、更低的响应延迟等。 不会一家独大，可能 4 5 家一线效果，大多二三线效果公司。 真正把客户服务好，能规模化扩张的公司更有价值。 有资源、有业务的大平台下场，可能会带来降维打击。 此外，还有关于数字人带货的具体操作案例： 1. 用 ChatGPT 生成短视频选题文案，表明身份、描述需求和回答要求，以美妆行业为例。 2. 用 ChatGPT 生产短视频文案，将需求与框架结合。 3. 生成虚拟数字人短视频： 打开网站 https://studio.did.com/editor 。 在右侧文字框输入 ChatGPT 生成的内容，选择想要的头像、不同的国家和声音。 点击右上角的 Create Video ，等待生成。生成后结合产品做讲解即可发布去做视频带货。 数字人的简介：数字人是运用数字技术创造出来的人，目前业界没有准确定义，一般根据技术栈不同分为真人驱动和算法驱动两类。真人驱动的数字人重在通过动捕设备或视觉算法还原真人动作表情，主要应用于影视行业和直播带货，表现质量与手动建模精细程度及动捕设备精密程度直接相关，随着视觉算法进步，在无昂贵动捕设备时也能通过摄像头捕捉人体骨骼和人脸关键点信息达到不错效果。