即梦 AI 的“对口型”功能是其“视频生成”中的二次编辑功能,现支持中文、英文配音,主要针对写实/偏真实风格化人物的口型及配音生成,为用户创作提供更多视听信息传达能力。
使用方法如下:
此外,关于 liveportrait 工作流,它是基于SeasonYou 工作流 ,注意事项一致。特殊之处包括:
「对口型」是即梦AI「视频生成」中的二次编辑功能,现支持中文、英文配音。目前主要针对写实/偏真实风格化人物的口型及配音生成,为用户的创作提供更多视听信息传达的能力。可上传包含完整人物面容的图片,进行视频生成,待视频生成完成后,点击预览视频下的「对口型」(嘴唇)按钮,输入台词并选择音色,或上传配音文件进行对口型效果生成。目前支持语言:中文(全部音色),英文(推荐「超拟真」内的音色)
上传写实/近写实的人物单人图片,目前不支持多人物图片对口型;输入prompt,选择参数,点击生成视频,尽量确保人物无形变等扭曲效果;确保人物生成的情绪与希望匹配的口型内容匹配;在生成的视频下方,点击【对口型】;输入或上传需要配音的内容,注意视频生成时长和配音试听时长尽量对齐,点击生成先对口型,再超分补帧
该工作流是基于[SeasonYou工作流](https://ixqye9ulc13.feishu.cn/wiki/LCh0wrxsEi6xiakinsXcWmJNnSg)因此注意事项一致,比如:接下来我们讨论一下该工作流中的特殊之处:文档链接:https://ixqye9ulc13.feishu.cn/drive/folder/Vb3BfOwBMlRu3edY87Dc5eIZnjD?from=space_personal_filelist①将input输入(中间和右边的图最好用我提供的,最左边是自己要上传的人像图/生活照)然后得到自己左边工作流生成的图②当跑到liveportrait的部分时,首先最好安装个comfyui-easy-use的管理节点插件(放在了文档),打开liveportrait的部分和output部分并且需要更改你的动作视频路径:然后,就可以开run了(添加提示词队列)③liveportrait的一些报错:一个是下图,可能不是很清楚,简单来说就是缺少了文件第二个是可能会报以下的错误,因此我推荐使用将一个大工作流换为两个工作流的方法(分别命名为“大工作流.json”和“liveportrait小工作流.json”)修改输入的图片(大工作流产生的)和视频(四个)就行了