Chat with Wiki - 我想制作AI数字人，如何去寻找相关资料和教程

Answer

以下是寻找制作 AI 数字人相关资料和教程的途径：

在线文档和公众号：可以查看WaytoAGI这个 AI 知识共创在线文档，以及卡兹克大佬的公众号数字生命卡兹克。
B 站：在 B 站搜索相关视频教程。
具体操作方法：
- 在剪映中，右侧窗口顶部打开“数字人”选项，选取免费且适合的数字人形象，如“婉婉-青春”。选择数字人形象时，软件会播放其声音，可判断是否需要，点击右下角“添加数字人”将其添加到当前视频。剪映会根据提供的内容生成对应音视频并添加到轨道中，左下角会提示渲染完成时间，可点击预览查看效果。
- 为让视频更美观，可增加背景图片。删除先前导入的文本内容，点击左上角“媒体”菜单并“导入”按钮选择本地图片上传，将图片添加到视频轨道上，可通过拖拽轨道右侧竖线使其与视频对齐。

此外，还有一些开源的算法代码仓库可供参考：

ASR 语音识别：
- openai 的 whisper:https://github.com/openai/whisper
- wenet:https://github.com/wenet-e2e/wenet
- speech_recognition(语音识别的接口集合)：https://github.com/Uberi/speech_recognition
AI Agent：
- 大模型包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。
- Agent 部分可使用 LangChain 的模块去做自定义，包含了 Agent 实现的几个组件(https://www.langchain.com/)
TTS：
- 微软的 edge-tts：https://github.com/rany2/edge-tts，只能使用里面预设的人物声音，目前接口免费。
- VITS：https://github.com/jaywalnut310/vits，还有很多分支版本。
- so-vits-svc:https://github.com/svc-develop-team/so-vits-svc，专注到唱歌方面。

除了算法，人物建模模型可以通过手动建模(音频驱动)或者 AIGC 的方式生成人物的动态效果(例如 wav2lip 模型)实现，但这种简单的构建方式还存在一些问题，如如何生成指定人物的声音、TTS 生成的音频如何精确驱动数字人口型以及做出相应动作、数字人如何使用知识库做出某个领域的专业性回答等。

Content generated by AI large model, please carefully verify (powered by aily)

References

大峰：AI音乐创作全流程解析《梦回温州》AIMV荣获AI金曲奖并获央视推荐！

最后附上我获取AI知识与教程的方式，我就只看[WaytoAGI](http://mp.weixin.qq.com/s?__biz=MzkzMzQ5MDA5Ng==&mid=2247484966&idx=1&sn=7c7e30db2ed564dd1f7fdc14ca85e092&chksm=c24afaf9f53d73ef89e8a8b34e53e62e5ac9297a1a78fb7da1d5d20955855b797d83b3a2081e&scene=21#wechat_redirect)这个AI知识共创在线文档，和卡兹克大佬的公众号[数字生命卡兹克](http://mp.weixin.qq.com/s?__biz=MzIyMzA5NjEyMA==&mid=2647662111&idx=1&sn=b982780ab549a16b0cc94ae74bb2d0a4&chksm=f007c248c7704b5e96feaadd277d598febac1ce3b6ea4330a37f5ff1a283fec4b08614d4a630&scene=21#wechat_redirect)。其他一些视频教程我都是在B站搜索，几乎都可以搜索到。AI音乐相关的也可以看[AIGCxChina的音乐工具包](https://mp.weixin.qq.com/s?__biz=MzkzMDQ5ODQ0NQ==&mid=2247487755&idx=1&sn=d39a4f48e491d137b3355825eb55c8dd&scene=21&token=141285030&lang=zh_CN#wechat_redirect)

实战：每个人都可以用10分钟轻松制作AI换脸、AI数字人视频的方法！

3.1生成数字人在剪映右侧窗口顶部，我们打开“数字人”选项，选取一位免费的、适合的数字人形象，这里我选择“婉婉-青春”。当你选择一个数字人形象时，软件会马上播放出该数字人的声音。你可以判断是否是你需要的，点击右下角的“添加数字人”，就会将选择的数字人添加到当前视频中。剪映App将会根据之前提供的内容，来生成对应音视频，并添加到当前视频文件的轨道中。左下角会提示你渲染何时完成。然后你可以点击预览按钮，查看生成的数字人效果。3.2增加背景图片接下来，可以直接删除先前导入的文本内容。这是因为视频中的音频中已经包含文字内容了。鼠标点击下方代表文字的轨道，或者点击软件中间文字内容，按删除键删去文字：为了让视频更美观，我们为视频增加背景图片。当然你可以增加多个背景图片，为简化演示，这里增加1张图片。点击左上角的“媒体”菜单，并点击“导入”按钮，来选择本地的一张图片上传：我选择一张书架图片上传，然后像添加文字内容一样，点击图片右下角的加号，将这个图片添加到视频的轨道上（会覆盖数字人）：此时，书架图片就会在视频轨道的下面，添加一条新轨道：为了让图片在整个视频播放的时候都显示，可以点击这个轨道最右侧的竖线，向右拖拽，直到视频的最后，也就是和视频对齐：此时，背景图片所在的轨道是选中状态。如果没选中，鼠标点击一下这个规定即可。

AI 数字人-定义数字世界中的你

上述算法开源的代码有很多，这里列出一些仓库供大家参考：ASR语音识别openai的whisper:https://github.com/openai/whisperwenet:https://github.com/wenet-e2e/wenetspeech_recognition(这是一个语音识别的接口集合，里面有不同实现的语音识别的接口):https://github.com/Uberi/speech_recognitionAI Agent大模型部分就比较多了，包括ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等等。Agent部分可以使用LangChain的模块去做自定义，里面基本包含了Agent实现的几个组件(https://www.langchain.com/)TTS微软的edge-tts：https://github.com/rany2/edge-tts，只能使用里面预设的人物声音，目前接口免费。VITS：https://github.com/jaywalnut310/vits，还有很多的分支版本，可以去搜索一下，vits系列可以自己训练出想要的人声。so-vits-svc:https://github.com/svc-develop-team/so-vits-svc，专注到唱歌上面，前段时间很火的AI孙燕姿。除了算法，人物建模模型可以通过手动建模(音频驱动)或者AIGC的方式生成人物的动态效果(例如wav2lip模型)实现，这样就完成了一个最简单的数字人。当然这种简单的构建方式还存在很多的问题，例如：如何生成指定人物的声音？TTS生成的音频如何精确驱动数字人口型以及做出相应的动作？数字人如何使用知识库，做出某个领域的专业性回答？