以下是一些效果较好的对口型、换脸、配音的 AI 应用:
即梦 AI 对口型的相关教程:
关于 AI 短片的相关信息:
|网站名|网址|费用|优势/劣势|教程||-|-|-|-|-||Runway|https://runwayml.com||有网页有app方便|[工具教程:Runway Gen-3](https://waytoagi.feishu.cn/wiki/Eun9wqDgii1Q7GkoUvCczYjln7r)||即梦|https://dreamina.jianying.com/|剪映旗下|生成3秒,动作幅度有很大升级,最新S模型,P模型|[工具教程:Dreamina即梦](https://waytoagi.feishu.cn/wiki/AxZuwUQmEipTUEkonVScdWxKnWd)||Minimax海螺AI|https://hailuoai.video/||非常听话,语义理解能力非常强|[视频模型:MiniMax海螺AI](https://waytoagi.feishu.cn/wiki/F8dnw521kixl8tkJLHYc6YEsnlh)||Kling|kling.kuaishou.com||支持运动笔刷,1.5模型可以直出1080P30帧视频|[视频模型:可灵](https://waytoagi.feishu.cn/wiki/GevKwyEt1i4SUVk0q2JcqQFtnRd)||Vidu|https://www.vidu.studio/|||[视频模型:Vidu](https://waytoagi.feishu.cn/wiki/AL93whR9RiAVmekqyflcBkfpn5b)||haiper|https://app.haiper.ai/|||||Pika|https://pika.art/||可控性强,可以对嘴型,可配音|[工具教程:Pika](https://waytoagi.feishu.cn/wiki/V150wUonIiHafQkb8hzcO1E5nCe)<br>[群友分享入门教程](https://mp.weixin.qq.com/s/maLCP_KLqZwuAxKd2US_RQ)||智谱清影|https://chatglm.cn/video||开源了,可以自己部署cogvideo|[工具教程:清影](https://waytoagi.feishu.cn/wiki/PxKiwpqe2iTk0HkYJz6cYclAnjf)||PixVerse|https://pixverse.ai/||人少不怎么排队,还有换脸功能|[工具教程:Pixverse](https://waytoagi.feishu.cn/wiki/LPuqwx3kuiTMfIkXDPDckosDndc)||通义万相|https://tongyi.aliyun.com/wanxiang/||大幅度运动很强|[通义万相2.1视频/图像模型新升级](https://waytoagi.feishu.cn/wiki/Luz9woG7UikHe3kxvdpcXEAcneh)||luma|https://lumalabs.ai/|||[视频模型:luma Dream Machine](https://waytoagi.feishu.cn/wiki/EOCmw4SMhiEMMBkvNePcz1Jxntd)|
[即梦AI|对口型功能介绍](https://bytedance.sg.larkoffice.com/docx/Uh5gd3ZkboIX4lx4ayRl3fZigwf)[heading4]功能介绍[content]「对口型」是即梦AI「视频生成」中的二次编辑功能,现支持中文、英文配音。目前主要针对写实/偏真实风格化人物的口型及配音生成,为用户的创作提供更多视听信息传达的能力。可上传包含完整人物面容的图片,进行视频生成,待视频生成完成后,点击预览视频下的「对口型」(嘴唇)按钮,输入台词并选择音色,或上传配音文件进行对口型效果生成。目前支持语言:中文(全部音色),英文(推荐「超拟真」内的音色)[heading4]技巧[content]上传写实/近写实的人物单人图片,目前不支持多人物图片对口型;输入prompt,选择参数,点击生成视频,尽量确保人物无形变等扭曲效果;确保人物生成的情绪与希望匹配的口型内容匹配;在生成的视频下方,点击【对口型】;输入或上传需要配音的内容,注意视频生成时长和配音试听时长尽量对齐,点击生成先对口型,再超分补帧
[heading2]总结AI图片与视频生成的新能力与应用图片编辑功能:Midjourney新增本地图片上传编辑入口,可进行局部重绘、扩图和风格转换等操作。视频生成模型:解梦新出p模型和s模型,p模型支持人物多动作和变焦,易改变画风;s模型生成速度快、积分消耗少,能保持原始画风但语义理解有限。特效玩法:皮卡和Pixforce有特效玩法,如人物爆炸、漂浮等,可用于优化视频效果。视频转会:Runway的GN3模型支持上传视频并转换风格,可用于实现多元宇宙等风格穿梭的片子,也能将简单场景转换为难以拍摄的场景。视频生成中的角色生视频技术角色生视频突破关键帧限制:当前视频生成多依赖关键帧,而角色生视频不再是关键帧输入,而是直接传入角色本身,可更灵活生成视频,如让小男孩从左跑到右。多角色参考生成创意视频:支持上传多张图,最多三张,可将人物、衣服、背景等元素融合生成视频,如小男孩穿裙子在宇宙飞。角色对口型技术:如吉梦的对口型技术,支持文本朗诵和本地配音,能根据输入生成人物开口讲话的视频,但有上传人物长相等限制。不同工具的角色生视频效果:对比了吉梦、Runway等工具的角色生视频效果,如Runway的x one在身体、头部、眼神动态上表现更好。角色生视频的应用场景:可用于规避机器人念台词的尴尬瞬间,让机器人有更丰富的表情和神态。角色生视频的未来发展:未来视频生成将摆脱纯关键帧方式,采用多模态信息输入,如定义角色和场景的三视图等。