以下是寻找制作 AI 数字人相关资料和教程的途径:
此外,还有一些开源的算法代码仓库可供参考:
除了算法,人物建模模型可以通过手动建模(音频驱动)或者 AIGC 的方式生成人物的动态效果(例如 wav2lip 模型)实现,但这种简单的构建方式还存在一些问题,如如何生成指定人物的声音、TTS 生成的音频如何精确驱动数字人口型以及做出相应动作、数字人如何使用知识库做出某个领域的专业性回答等。
最后附上我获取AI知识与教程的方式,我就只看[WaytoAGI](http://mp.weixin.qq.com/s?__biz=MzkzMzQ5MDA5Ng==&mid=2247484966&idx=1&sn=7c7e30db2ed564dd1f7fdc14ca85e092&chksm=c24afaf9f53d73ef89e8a8b34e53e62e5ac9297a1a78fb7da1d5d20955855b797d83b3a2081e&scene=21#wechat_redirect)这个AI知识共创在线文档,和卡兹克大佬的公众号[数字生命卡兹克](http://mp.weixin.qq.com/s?__biz=MzIyMzA5NjEyMA==&mid=2647662111&idx=1&sn=b982780ab549a16b0cc94ae74bb2d0a4&chksm=f007c248c7704b5e96feaadd277d598febac1ce3b6ea4330a37f5ff1a283fec4b08614d4a630&scene=21#wechat_redirect)。其他一些视频教程我都是在B站搜索,几乎都可以搜索到。AI音乐相关的也可以看[AIGCxChina的音乐工具包](https://mp.weixin.qq.com/s?__biz=MzkzMDQ5ODQ0NQ==&mid=2247487755&idx=1&sn=d39a4f48e491d137b3355825eb55c8dd&scene=21&token=141285030&lang=zh_CN#wechat_redirect)
3.1生成数字人在剪映右侧窗口顶部,我们打开“数字人”选项,选取一位免费的、适合的数字人形象,这里我选择“婉婉-青春”。当你选择一个数字人形象时,软件会马上播放出该数字人的声音。你可以判断是否是你需要的,点击右下角的“添加数字人”,就会将选择的数字人添加到当前视频中。剪映App将会根据之前提供的内容,来生成对应音视频,并添加到当前视频文件的轨道中。左下角会提示你渲染何时完成。然后你可以点击预览按钮,查看生成的数字人效果。3.2增加背景图片接下来,可以直接删除先前导入的文本内容。这是因为视频中的音频中已经包含文字内容了。鼠标点击下方代表文字的轨道,或者点击软件中间文字内容,按删除键删去文字:为了让视频更美观,我们为视频增加背景图片。当然你可以增加多个背景图片,为简化演示,这里增加1张图片。点击左上角的“媒体”菜单,并点击“导入”按钮,来选择本地的一张图片上传:我选择一张书架图片上传,然后像添加文字内容一样,点击图片右下角的加号,将这个图片添加到视频的轨道上(会覆盖数字人):此时,书架图片就会在视频轨道的下面,添加一条新轨道:为了让图片在整个视频播放的时候都显示,可以点击这个轨道最右侧的竖线,向右拖拽,直到视频的最后,也就是和视频对齐:此时,背景图片所在的轨道是选中状态。如果没选中,鼠标点击一下这个规定即可。
上述算法开源的代码有很多,这里列出一些仓库供大家参考:ASR语音识别openai的whisper:https://github.com/openai/whisperwenet:https://github.com/wenet-e2e/wenetspeech_recognition(这是一个语音识别的接口集合,里面有不同实现的语音识别的接口):https://github.com/Uberi/speech_recognitionAI Agent大模型部分就比较多了,包括ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等等。Agent部分可以使用LangChain的模块去做自定义,里面基本包含了Agent实现的几个组件(https://www.langchain.com/)TTS微软的edge-tts:https://github.com/rany2/edge-tts,只能使用里面预设的人物声音,目前接口免费。VITS:https://github.com/jaywalnut310/vits,还有很多的分支版本,可以去搜索一下,vits系列可以自己训练出想要的人声。so-vits-svc:https://github.com/svc-develop-team/so-vits-svc,专注到唱歌上面,前段时间很火的AI孙燕姿。除了算法,人物建模模型可以通过手动建模(音频驱动)或者AIGC的方式生成人物的动态效果(例如wav2lip模型)实现,这样就完成了一个最简单的数字人。当然这种简单的构建方式还存在很多的问题,例如:如何生成指定人物的声音?TTS生成的音频如何精确驱动数字人口型以及做出相应的动作?数字人如何使用知识库,做出某个领域的专业性回答?