数字分身

以下是一些制作数字分身的方法和相关信息： 可以在一些网站如 Elevenlabs.io、speechify.com、Heygen 等自助购买服务，以低成本制作自己的数字人分身。 当 Coze 接入飞书后，将自己的知识数据上传到 Coze，基于个人知识库开发 bot，并将其部署到个人订阅号上，这个 bot 可以作为数字分身与粉丝互动。 通过整合知识库，并结合提示词进行情感或行为上的描述，可以创建一个 bot，形成自己的数字分身。

实现基于个人聊天记录的数字分身的最佳实践包括以下方面： 虚拟数字人的类型和驱动方式： 虚拟数字人通过各种技术创造，具有外观、行为和思想等人类特征，呈现为虚拟形象。 从驱动层面可分为中之人驱动和 AI 驱动两类。中之人驱动运用动作捕捉和面部捕捉技术实现交互，有上限且缺乏高并发和量产化能力；AI 驱动使用 AI 技术创建、驱动和生成内容，赋予感知和表达等交互能力。 虚拟数字人的应用类型： 服务型：如虚拟主播、助手、教师、客服和医生等，为物理世界提供服务。 表演型：如虚拟偶像，用于娱乐、影视等场景。 身份型：是物理世界“真人”进入虚拟世界的数字分身，在元宇宙中有广泛应用场景。 相关开源项目： 熊猫大侠基于 COW 框架的 ChatBot 最新版本支持多端部署、基础对话、语音识别、图片生成、丰富插件、Tool 工具和知识库等功能。可接入个人微信、微信公众号、企业微信应用，支持多种模型和个性化插件扩展，通过上传知识库文件自定义专属机器人，可作为数字分身、领域知识库、智能客服使用。项目地址包括 Github：https://github.com/zhayujie/chatgptonwechat ，Gitee：https://gitee.com/zhayujie/chatgptonwechat 。

以下是使用扣子完成 AI 数字分身搭建的步骤： 1. 登录扣子官网（https://www.coze.cn/）并注册。 2. 创建个人 Bot： 点击个人空间。 点击创建 Bot。 填入 Bot 的名字和功能介绍，以及上传或生成对应的头像。如果没想好，可以先随便填，后面可更改。 3. 在搭建生产力工具的过程中，要先深入了解自己的工作内容和需求，做出有针对性的规划。 4. 通过整合知识库，并结合提示词进行情感或行为上的描述，创建一个 Bot，形成自己的数字分身。 5. 构建整个 Flow 时要尽量减少控件使用（非必要不增加），越少的控件代表越少的逻辑，越少的逻辑代表越小的运行风险。 6. 对于复杂的批处理任务，尽量平衡批处理次数和并发，同时还要考虑模型的推理速度，不然会增大推理失败的概率。 需要注意的是，Coze 目前提供的组件，包括 bot 等工具，能满足一些基本的生产力搭建需求。虽然现阶段它还不支持循环等高级功能，但未来有望支持更多工作流的设计模式。自 Coze 推出以来，它已明确面向 C 端用户，这些用户能从中获得实质性好处。

构建一个 AI 数字人分身主要包括以下两个方面： 一、构建数字人躯壳 数字人的躯壳建模有多种方式： 1. 2D 引擎：风格偏向二次元，亲和力强，定制化成本低，在日本、东南亚等国家比较受欢迎，也深受年轻人喜欢。能将喜欢的动漫人物变成数字人的躯壳。代表是 Live2D Cubism。 2. 3D 引擎：风格偏向超写实的人物建模，拟真程度高，定制化成本高。目前有很多公司都在做这个方向的创业，已经可以实现用户通过手机摄像头快速创建一个自己的虚拟人身体。如 NextHuman、Unity，虚幻引擎 MetaHuman 等。但个人学习在电脑配置和学习难度上有一定门槛。 3. AIGC：虽然省去了建模流程，直接生成数字人的展示图片，但弊端也明显，算法生成的数字人很难保持 ID 一致性，帧与帧的连贯性上会让人有虚假的感觉。如果项目对人物模型真实度要求没有那么高，可以使用这种方案。典型的项目有 wav2lip等。AIGC 还有一个方向是直接生成 2d/3d 引擎的模型，而不是直接生成数字人的最终展示部分，但该方向还在探索中。 建好的模型可以使用 web 前端页面（Live2D 就提供了 web 端的 SDK）或者 Native 的可执行程序进行部署，最后呈现在用户面前的是一个 GUI。 二、构建数字人灵魂 有了数字人躯壳，还需要构建数字人的灵魂，让数字人具备各种智能，比如记得个人信息，充当个人助手；在某个领域具备更专业的知识；能处理复杂的任务等等。实现这些能力有以下几个工程关键点： 1. AI Agent：要想数字人像人一样思考就需要写一个像人一样的 Agent，工程实现所需的记忆模块，工作流模块、各种工具调用模块的构建都是挑战。 2. 驱动躯壳的实现：灵魂部分通过接口定义，躯壳部分通过 API 调用，调用方式可以是 HTTP、webSocket 等，视躯壳部分的实现而定。但包含情绪的语音表达以及如何保证躯壳的口型、表情、动作和语音的同步及匹配，目前主流方案只能做到预设一些表情动作，再做一些逻辑判断来播放预设，语音驱动口型相对来说成熟一些，但都是闭源的，效果可以参考 Nvidia 的 Audio2Face。 3. 实时性：由于整个数字人的算法部分组成庞大，几乎不能实现单机部署，特别是大模型部分，所以算法一般会部署到额外的集群或者调用提供出来的 API，这里面就会涉及到网络耗时和模型推理耗时，如果响应太慢就会体验很差，所以低延时也是亟需解决的一个问题。 4. 多元跨模态：仅仅是语音交互的数字人是远远不够的，人有五感（听觉、视觉、嗅觉、触觉、味觉），听觉只是其中一种，其他的感官可以根据实际需求来做，比如视觉可以通过添加摄像头数据来获取数据，再通过系列 CV 算法做图像解析等。 5. 拟人化场景：正常和人交流的时候不是线性对话，会有插话、转移话题等情况，这些情景需要通过工程丝滑处理。

目前在 AI 社交产品领域，有一些相关的探索和尝试。例如，某 AI 社交 APP 创始人认为，在社交场景中，核心分为陌生人社交和熟人社交。他们尝试过纯 AI 虚拟陪聊产品，但发现用户主要是年龄偏低的人群，商业价值相对较低，且可能被模型侵蚀。有效的用户留存来源于真实的人际关系，越接近熟人社交的场景，平台的用户留存能力越高。 同时，AI 赛道投资人认为，产品不应仅限于情感陪伴，应扩展为类人助手，解决理性严肃场景的问题解决和感性需求的满足。AI 社交软件的开发者认为，为用户打造数字分身、创造社交关系是有价值的，通过 AI Agent 可以在人与人之间创造新的社交关系，用户也愿意为这种新型社交互动支付相当的金额。但目前尚未有明确的专门以 AI 分身促进真人交友的成熟产品。

以下是一些用照片创建数字人分身且成本低、不限时长的方法： 1. 剪映 AI：只要有图就可以制作逼真的说话或唱歌的 UGC 数字人娱乐视频。其亮点包括口型自然，制作效率高，写好口播脚本可批量快速制作内容。可以一键克隆专属形象和声音，生成数字分身，快速生产口播视频。数字人适用于口播自媒体等场景。 2. 实战方法：首先添加新轨道，将背景图片轨道的右侧竖线向右拖拽至与视频对齐。然后调整背景图片的尺寸和数字人的位置。接着点击文本智能字幕识别字幕，软件会自动将文字智能分段并形成字幕。最后点击导出按钮导出视频备用。如果希望数字人换成自己希望的面孔，需要用另一个工具进行换脸。 3. VividTalk：让照片说话的技术，单张照片和一段音频可生成看似真实的说话视频，支持多种语言和风格，如真实和卡通风格。 4. HeyGen 的 Avatar2.0：可在 5 分钟内用手机创建个人虚拟分身，支持多语言和口型同步，免费提供服务。

数字人是运用数字技术创造出来的人，目前业界尚无准确定义，一般可根据技术栈分为真人驱动和算法驱动两类。 真人驱动的数字人重在通过动捕设备或视觉算法还原真人动作表情，主要应用于影视行业及直播带货，其表现质量与手动建模精细程度及动捕设备精密程度直接相关，不过视觉算法的进步使在无昂贵动捕设备时也能通过摄像头捕捉人体骨骼和人脸关键点信息以达不错效果。 制作数字人的工具主要有： 1. HeyGen：AI 驱动的平台，可创建逼真数字人脸和角色，使用深度学习算法生成高质量肖像和角色模型，适用于游戏、电影和虚拟现实等应用。 2. Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：提供 AI 拟真人视频产品服务和开发，上传人像照片和输入内容，平台的 AI 语音机器人自动转换成语音，合成逼真会开口说话的视频。 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。请注意，这些工具的具体功能和可用性可能会变化。使用时请确保遵守相关使用条款和隐私政策，并注意对生成内容的版权和伦理责任。 以下是每个人都可以用 10 分钟轻松制作 AI 数字人视频的方法： 在显示区域，拖动背景图的一个角将图片放大到适合尺寸，比如覆盖视频窗口，并将数字人拖动到合适位置。增加字幕，点击文本智能字幕识别字幕，点击开始识别，软件会自动将文字智能分段并形成字幕。至此，数字人视频完成，点击右上角“导出”按钮导出视频以作备用。若希望数字人换成自己希望的面孔，则需要用另一个工具来进行换脸。

以下是关于 AI 音频与数字人的相关信息： 数字人口播配音： 操作指引：输入口播文案，选择期望生成的数字人形象及目标语言，选择输出类型，点击开始生成。 支持的数字人形象和语言多样，能让视频制作更高效。 图片换脸： 操作指引：上传原始图片和换脸图片，点击开始生成。 图片大小上限 5M，支持 JPG、PNG 格式。 视频换脸： 操作指引：上传原始视频和换脸图片，点击生成。 音频合成数字人： 操作指引：上传音频文件，选择数字人角色和输出类型，点击开始生成。 支持 MP3 和 WAV 格式的音频文件，文件大小上限 5M，工具支持使用 100+数字人模板，可解决无素材冷启问题。 AI 配音： 多语种（包含菲律宾语、印地语、马来语等小语种）智能配音，同时支持区分男声和女声。 操作指引：输入需配音文案，选择音色，点击立即生成。 注意输入的配音文案需和选择音色语种保持一致。 AI 字幕： 操作指引：点击上传视频，开始生成，字幕解析完成后下载 SRT 字幕。 支持 MP4 文件类型，大小上限为 50M。 在数字人语音合成方面，提到了声音克隆，有新的声音克隆且音质很不错。算法驱动的数字人相关开源代码仓库有： ASR 语音识别：openai 的 whisper（https://github.com/openai/whisper）、wenet（https://github.com/wenete2e/wenet）、speech_recognition（https://github.com/Uberi/speech_recognition）。 大模型：ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 Agent 部分：可以使用 LangChain 的模块去做自定义（https://www.langchain.com/）。 TTS：微软的 edgetts（https://github.com/rany2/edgetts）、VITS（https://github.com/jaywalnut310/vits）、sovitssvc（https://github.com/svcdevelopteam/sovitssvc）。 构建简单数字人的方式包括通过手动建模（音频驱动）或者 AIGC 的方式生成人物的动态效果（例如 wav2lip 模型），但仍存在一些问题，如如何生成指定人物的声音、TTS 生成的音频如何精确驱动数字人口型以及做出相应的动作、数字人如何使用知识库做出某个领域的专业性回答等。

数字人是运用数字技术创造出来的人，目前业界尚无准确定义，一般可根据技术栈分为真人驱动和算法驱动两类。 真人驱动的数字人重在通过动捕设备或视觉算法还原真人动作表情，主要应用于影视行业及直播带货，其表现质量与手动建模精细程度及动捕设备精密程度直接相关，不过视觉算法的进步使在无昂贵动捕设备时也能通过摄像头捕捉人体骨骼和人脸关键点信息以达不错效果。 制作数字人的工具主要有： 1. HeyGen：AI 驱动的平台，可创建逼真数字人脸和角色，使用深度学习算法生成高质量肖像和角色模型，适用于游戏、电影和虚拟现实等应用。 2. Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：提供 AI 拟真人视频产品服务和开发，上传人像照片和输入内容，平台的 AI 语音机器人自动转换成语音，合成逼真会开口说话的视频。 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。请注意，这些工具的具体功能和可用性可能会随时间和技术发展而变化。使用时请确保遵守相关使用条款和隐私政策，并注意保持对生成内容的版权和伦理责任。 以下是每个人都可以用 10 分钟轻松制作 AI 数字人视频的方法： 在显示区域，拖动背景图的一个角将图片放大到适合尺寸，比如覆盖视频窗口，并将数字人拖动到合适位置。 增加字幕，点击文本智能字幕识别字幕，点击开始识别，软件会自动将文字智能分段并形成字幕。 至此，数字人视频完成，点击右上角“导出”按钮，导出视频以作备用。若希望数字人换成自己希望的面孔，则需要用另一个工具来进行换脸。

以下是用 10 分钟轻松制作 AI 换脸、AI 数字人视频的方法： 生成数字人： 1. 在剪映右侧窗口顶部，打开“数字人”选项，选取免费且适合的数字人形象，如“婉婉青春”。选择数字人形象时会播放其声音，可判断是否需要，点击右下角“添加数字人”将其添加到当前视频中，剪映会生成对应音视频并添加到视频轨道中，左下角会提示渲染完成，可点击预览按钮查看效果。 2. 增加背景图片：删除先前导入的文本内容，为视频增加背景图片。点击左上角“媒体”菜单并点击“导入”按钮选择本地图片上传，如选择一张书架图片上传，点击图片右下角的加号将其添加到视频轨道上（会覆盖数字人）。点击轨道最右侧竖线向右拖拽，直到与视频对齐。 增加字幕： 点击文本智能字幕识别字幕，点击开始识别，软件会自动将文字智能分段并形成字幕。 导出视频： 数字人视频完成后，点击右上角的“导出”按钮，导出视频以作备用。 AI 换脸： 执行完成后，在输出位置会出现处理后的视频，输出窗口右上角有下载按钮，点击可导出变量后的视频到本地。 成本方面： 1. 时间：大约 10 分钟左右。 2. 制作数字人视频：免费。 3. 数字人换脸：约 0.8 元。 4. 数字人换脸时长：经实际测试 1 分 28 秒的视频，总转换时间在 200 秒。GPU 服务器此次整体运行时长所需花费 0.97 元，facefusion 软件运行只占服务器运行时长的一部分，所以换脸成本约 0.8 元。