开源的数字人工具-WayToAGI

回答

以下是一些开源的数字人工具：

HeyGen：这是一个 AI 驱动的平台，能创建逼真的数字人脸和角色，使用深度学习算法生成高质量肖像和角色模型，适用于游戏、电影和虚拟现实等应用。
Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。
D-ID：提供 AI 拟真人视频产品服务和开发，上传人像照片和输入内容，平台的 AI 语音机器人能自动转换成语音并合成逼真的说话视频。

此外，还有一些相关的开源算法代码仓库：

ASR 语音识别：
- openai 的 whisper：https://github.com/openai/whisper
- wenet：https://github.com/wenet-e2e/wenet
- speech_recognition（语音识别的接口集合）：https://github.com/Uberi/speech_recognition
AI Agent：
- 大模型部分包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。
- Agent 部分可使用 LangChain 的模块自定义，包含了 Agent 实现的几个组件：https://www.langchain.com/
TTS：
- 微软的 edge-tts：https://github.com/rany2/edge-tts，只能使用预设人物声音，目前接口免费。
- VITS：https://github.com/jaywalnut310/vits，还有很多分支版本。
- so-vits-svc：https://github.com/svc-develop-team/so-vits-svc，专注于唱歌。

请注意，这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时，请确保遵守相关使用条款和隐私政策，并注意保持对生成内容的版权和伦理责任。更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。上周 HeyGen 工具创始人的演示视频刷屏，效果很好。LKS 也有相关的数字人介绍视频：https://www.bilibili.com/video/BV1vm4y1x7nm/?share_source=copy_web&vd_source=6c09aa7f53b69992e1cd572bbd2dbf94 。斯坦福 AI 小镇上周正式开源，相关论文链接：https://arxiv.org/abs/2304.03442 。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

问：有哪些制作数字人的工具

制作数字人（Digital Human）的工具主要是指那些能够创建虚拟角色、虚拟形象或者虚拟代言人的软件和技术。以下是几个可以用来制作数字人的工具：1.HeyGen：HeyGen是一个AI驱动的平台，可以创建逼真的数字人脸和角色。它使用深度学习算法来生成高质量的肖像和角色模型，适用于游戏、电影和虚拟现实等应用。2.Synthesia：Synthesia是一个AI视频制作平台，允许用户创建虚拟角色并进行语音和口型同步。它支持多种语言，并可以用于教育视频、营销内容和虚拟助手等场景。3.D-ID：D-ID是一家提供AI拟真人视频产品服务和开发的公司，只需上传人像照片和输入要说的内容，平台提供的AI语音机器人将自动转换成语音，然后就能合成一段非常逼真的会开口说话的视频。更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42请注意，这些工具的具体功能和可用性可能会随着时间和技术的发展而变化。在使用这些工具时，请确保遵守相关的使用条款和隐私政策，并注意保持对生成内容的版权和伦理责任。内容由AI大模型生成，请仔细甄别。类似问题：对口型的软件有哪些？

AI 数字人-定义数字世界中的你

上述算法开源的代码有很多，这里列出一些仓库供大家参考：ASR语音识别openai的whisper:https://github.com/openai/whisperwenet:https://github.com/wenet-e2e/wenetspeech_recognition(这是一个语音识别的接口集合，里面有不同实现的语音识别的接口):https://github.com/Uberi/speech_recognitionAI Agent大模型部分就比较多了，包括ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等等。Agent部分可以使用LangChain的模块去做自定义，里面基本包含了Agent实现的几个组件(https://www.langchain.com/)TTS微软的edge-tts：https://github.com/rany2/edge-tts，只能使用里面预设的人物声音，目前接口免费。VITS：https://github.com/jaywalnut310/vits，还有很多的分支版本，可以去搜索一下，vits系列可以自己训练出想要的人声。so-vits-svc:https://github.com/svc-develop-team/so-vits-svc，专注到唱歌上面，前段时间很火的AI孙燕姿。除了算法，人物建模模型可以通过手动建模(音频驱动)或者AIGC的方式生成人物的动态效果(例如wav2lip模型)实现，这样就完成了一个最简单的数字人。当然这种简单的构建方式还存在很多的问题，例如：如何生成指定人物的声音？TTS生成的音频如何精确驱动数字人口型以及做出相应的动作？数字人如何使用知识库，做出某个领域的专业性回答？

AIGC Weekly #34

上周这个HeyGen工具创始人的演示视频刷屏了，这个数字人视频看起来非常逼真不像我们之前看到的数字人有一些恐怖谷效应和僵硬的肢体动作、面部表情，同时在你申请等待列表之后会收到一个他们创始人针对你的申请内容生成的回复视频，效果也很好。我理解还是在现有的技术路线上做的优化，只是效果确实好，如果想要了解数字人的创建过程和效果还有局限性的话可以去看LKS前几天的这视频。演示的还是比较全面的，手势和动作都是预先录制好的比较通用的动作，如果需要新增新的动作就需要重新录制，同时数字人也不能进行较大幅度的动作。LKS制作的数字人介绍视频：[https://www.bilibili.com/video/BV1vm4y1x7nm/?share_source=copy_web&vd_source=6c09aa7f53b69992e1cd572bbd2dbf94](https://www.bilibili.com/video/BV1vm4y1x7nm/?share_source=copy_web&vd_source=6c09aa7f53b69992e1cd572bbd2dbf94)[heading2][斯坦福AI小镇上周正式开源](https://github.com/joonspk-resea[content]25个角色居住在一个类似西部世界中，却没有意识到自己生活在模拟中。他们去工作、闲聊、组织社交活动、结交新朋友，甚至坠入爱河。每个人都有独特的个性和背景故事。这个能力要用在游戏里的话感觉有无限的可能，可能真的会出现自己发展的游戏世界。论文链接：[https://arxiv.org/abs/2304.03442](https://arxiv.org/abs/2304.03442)