直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

liveportrait对口型

回答

即梦 AI 的“对口型”功能是其“视频生成”中的二次编辑功能，现支持中文、英文配音，主要针对写实/偏真实风格化人物的口型及配音生成，为用户创作提供更多视听信息传达能力。

使用方法如下：

  1. 可上传包含完整人物面容的图片进行视频生成，待视频生成完成后，点击预览视频下的“对口型”（嘴唇）按钮，输入台词并选择音色，或上传配音文件进行对口型效果生成。目前支持语言包括中文（全部音色）和英文（推荐“超拟真”内的音色）。
  2. 上传写实/近写实的人物单人图片（目前不支持多人物图片对口型），输入 prompt，选择参数，点击生成视频，尽量确保人物无形变等扭曲效果，确保人物生成的情绪与希望匹配的口型内容匹配。在生成的视频下方，点击【对口型】，输入或上传需要配音的内容，注意视频生成时长和配音试听时长尽量对齐，点击生成先对口型，再超分补帧。

此外，关于 liveportrait 工作流，它是基于SeasonYou 工作流 ，注意事项一致。特殊之处包括：

  1. 将 input 输入（中间和右边的图最好用提供的，最左边是自己要上传的人像图/生活照），然后得到左边工作流生成的图。
  2. 当跑到 liveportrait 的部分时，首先最好安装 comfyui-easy-use 的管理节点插件（放在了文档），打开 liveportrait 的部分和 output 部分，并需要更改动作视频路径。然后，就可以开 run 了（添加提示词队列）。
  3. liveportrait 可能会出现一些报错，如缺少文件或报其他错误，推荐使用将一个大工作流换为两个工作流的方法（分别命名为“大工作流.json”和“liveportrait 小工作流.json”），修改输入的图片（大工作流产生的）和视频（四个）就行了。文档链接：https://ixqye9ulc13.feishu.cn/drive/folder/Vb3BfOwBMlRu3edY87Dc5eIZnjD?from=space_personal_filelist
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

即梦AI | 视频生成V1.2 全站教程

「对口型」是即梦AI「视频生成」中的二次编辑功能，现支持中文、英文配音。目前主要针对写实/偏真实风格化人物的口型及配音生成，为用户的创作提供更多视听信息传达的能力。可上传包含完整人物面容的图片，进行视频生成，待视频生成完成后，点击预览视频下的「对口型」(嘴唇)按钮，输入台词并选择音色，或上传配音文件进行对口型效果生成。目前支持语言：中文（全部音色），英文（推荐「超拟真」内的音色）

即梦AI | 视频生成V1.2 全站教程

上传写实/近写实的人物单人图片，目前不支持多人物图片对口型；输入prompt，选择参数，点击生成视频，尽量确保人物无形变等扭曲效果；确保人物生成的情绪与希望匹配的口型内容匹配；在生成的视频下方，点击【对口型】；输入或上传需要配音的内容，注意视频生成时长和配音试听时长尽量对齐，点击生成先对口型，再超分补帧

5-liveportrait工作流 副本

该工作流是基于[SeasonYou工作流](https://ixqye9ulc13.feishu.cn/wiki/LCh0wrxsEi6xiakinsXcWmJNnSg)因此注意事项一致，比如：接下来我们讨论一下该工作流中的特殊之处：文档链接：https://ixqye9ulc13.feishu.cn/drive/folder/Vb3BfOwBMlRu3edY87Dc5eIZnjD?from=space_personal_filelist①将input输入（中间和右边的图最好用我提供的，最左边是自己要上传的人像图/生活照）然后得到自己左边工作流生成的图②当跑到liveportrait的部分时，首先最好安装个comfyui-easy-use的管理节点插件（放在了文档），打开liveportrait的部分和output部分并且需要更改你的动作视频路径：然后，就可以开run了（添加提示词队列）③liveportrait的一些报错：一个是下图，可能不是很清楚，简单来说就是缺少了文件第二个是可能会报以下的错误，因此我推荐使用将一个大工作流换为两个工作流的方法（分别命名为“大工作流.json”和“liveportrait小工作流.json”）修改输入的图片（大工作流产生的）和视频（四个）就行了

其他人在问
对口型ai工具
以下是一些对口型 AI 工具的相关信息： 即梦 AI：“对口型”是其“视频生成”中的二次编辑功能，现支持中文、英文配音。可上传包含完整人物面容的图片，进行视频生成，待视频生成完成后，点击预览视频下的“对口型”（嘴唇）按钮，输入台词并选择音色，或上传配音文件进行对口型效果生成。目前支持语言为中文（全部音色）、英文（推荐“超拟真”内的音色）。使用技巧包括上传写实/近写实的人物单人图片，输入 prompt 并选择参数生成视频，确保人物无形变等扭曲效果，确保人物生成的情绪与希望匹配的口型内容匹配，在生成的视频下方点击【对口型】，输入或上传需要配音的内容，注意视频生成时长和配音试听时长尽量对齐，点击生成。 HeyGen：是一个 AI 驱动的平台，可以创建逼真的数字人脸和角色。使用深度学习算法生成高质量的肖像和角色模型，适用于游戏、电影和虚拟现实等应用。网址：https://www.heygen.com/ 。 Synthesia：是一个 AI 视频制作平台，允许用户创建虚拟角色并进行语音和口型同步。支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 DID：提供 AI 拟真人视频产品服务和开发，只需上传人像照片和输入要说的内容，平台提供的 AI 语音机器人将自动转换成语音，然后就能合成一段非常逼真的会开口说话的视频。 此外，还有以下一些 AI 视频工具网站： Morph Studio：https://app.morphstudio.com/ ，还在内测。 Kaiber：https://kaiber.ai/ 。 Moonvalley：https://moonvalley.ai/ 。 Mootion：https://discord.gg/AapmuVJqxx ，3d 人物动作转视频。 美图旗下：https://www.miraclevision.com/ 。 Neverends：https://neverends.life/create ，操作傻瓜。 SD：Animatediff SVD deforum ，自己部署。 Leiapix：https://www.leiapix.com/ ，可以把一张照片转动态。 Krea：https://www.krea.ai/ 。 Opusclip：https://www.opus.pro/ ，利用长视频剪成短视频。 Raskai：https://zh.rask.ai/ ，短视频素材直接翻译至多语种。 invideoAI：https://invideo.io/make/aivideogenerator/ ，输入想法>自动生成脚本和分镜描述>生成视频>人工二编>合成长视频。 descript：https://www.descript.com/?ref=feizhuke.com 。 veed.io：https://www.veed.io/ ，自动翻译自动字幕。 clipchamp：https://app.clipchamp.com/ 。 typeframes：https://www.revid.ai/?ref=aibot.cn 。 请注意，这些工具的具体功能和可用性可能会随着时间和技术的发展而变化。在使用这些工具时，请确保遵守相关的使用条款和隐私政策，并注意保持对生成内容的版权和伦理责任。
2024-12-19
短视频对口型的ai
以下是一些短视频对口型的 AI 工具： Runway：网址为 https://runwayml.com ，有网页和 app ，使用方便。工具教程： 即梦：网址为 https://dreamina.jianying.com/ ，是剪映旗下产品，生成 3 秒，动作幅度有很大升级，有最新 S 模型、P 模型。工具教程： Kling：网址为 kling.kuaishou.com ，支持运动笔刷，1.5 模型可以直出 1080P30 帧视频。视频模型： Vidu：网址为 https://www.vidu.studio/ haiper：网址为 https://app.haiper.ai/ Pika：网址为 https://pika.art/ ，可控性强，可以对嘴型，可配音。工具教程： 智谱清影：网址为 https://chatglm.cn/video ，开源了，可以自己部署 cogvideo 。工具教程： PixVerse：网址为 https://pixverse.ai/ ，人少不怎么排队，还有换脸功能。工具教程： luma：网址为 https://lumalabs.ai/ 。视频模型： Minimax 海螺 AI：网址为 https://hailuoai.video/ ，非常听话，语义理解能力非常强。视频模型： SVD：网址为 https://stablevideo.com/ ，对于景观更好用。工具教程： 此外，还有以下工具： Morph Studio：网址为 https://app.morphstudio.com/ ，还在内测。 Heygen：网址为 https://www.heygen.com/ ，数字人/对口型。 Kaiber：网址为 https://kaiber.ai/ Moonvalley：网址为 https://moonvalley.ai/ Mootion：网址为 https://discord.gg/AapmuVJqxx ，3d 人物动作转视频。 美图旗下：网址为 https://www.miraclevision.com/ Neverends：网址为 https://neverends.life/create ，操作傻瓜。 SD：Animatediff SVD deforum ，需自己部署。 Leiapix：网址为 https://www.leiapix.com/ ，可以把一张照片转动态。 Krea：网址为 https://www.krea.ai/ Opusclip：网址为 https://www.opus.pro/ ，利用长视频剪成短视频。 Raskai：网址为 https://zh.rask.ai/ ，短视频素材直接翻译至多语种。 invideoAI：网址为 https://invideo.io/make/aivideogenerator/ ，输入想法>自动生成脚本和分镜描述>生成视频>人工二编>合成长视频。 descript：网址为 https://www.descript.com/?ref=feizhuke.com veed.io：网址为 https://www.veed.io/ ，自动翻译自动字幕。 clipchamp：网址为 https://app.clipchamp.com/ typeframes：网址为 https://www.revid.ai/?ref=aibot.cn 即梦 AI 对口型功能介绍： 「对口型」是即梦 AI「视频生成」中的二次编辑功能，现支持中文、英文配音。目前主要针对写实/偏真实风格化人物的口型及配音生成，为用户的创作提供更多视听信息传达的能力。可上传包含完整人物面容的图片，进行视频生成，待视频生成完成后，点击预览视频下的「对口型」按钮，输入台词并选择音色，或上传配音文件进行对口型效果生成。目前支持语言：中文（全部音色），英文（推荐「超拟真」内的音色）。 技巧： 1. 上传写实/近写实的人物单人图片，目前不支持多人物图片对口型。 2. 输入 prompt，选择参数，点击生成视频，尽量确保人物无形变等扭曲效果。 3. 确保人物生成的情绪与希望匹配的口型内容匹配。 4. 在生成的视频下方，点击【对口型】。 5. 输入或上传需要配音的内容，注意视频生成时长和配音试听时长尽量对齐，点击生成。 6. 先对口型，再超分补帧。
2024-12-12
动物开口说话、对口型的api
以下为您介绍一些关于动物开口说话、对口型的 API 相关信息： 即梦 AI： 对口型功能是即梦 AI 「视频生成」中的二次编辑功能，现支持中文、英文配音。 目前主要针对写实/偏真实风格化人物的口型及配音生成，为用户的创作提供更多视听信息传达的能力。 可上传包含完整人物面容的图片，进行视频生成，待视频生成完成后，点击预览视频下的「对口型」按钮，输入台词并选择音色，或上传配音文件进行对口型效果生成。目前支持语言：中文（全部音色），英文（推荐「超拟真」内的音色）。 技巧：上传写实/近写实的人物单人图片，目前不支持多人物图片对口型；输入 prompt，选择参数，点击生成视频，尽量确保人物无形变等扭曲效果；确保人物生成的情绪与希望匹配的口型内容匹配；在生成的视频下方，点击【对口型】；输入或上传需要配音的内容，注意视频生成时长和配音试听时长尽量对齐，点击生成；先对口型，再超分补帧。 快手可灵 AI： 快手旗下可灵 AI（Kling AI）新增对口型功能，全面开放 API，并支持创意圈发布作品。 希望以上内容对您有所帮助。
2024-12-09
我想要视频音频对口型 要怎么办？有什么工具可以用？
以下是一些关于视频音频对口型的工具和方法： 1. SadTalker： 利用目前主流的开源程序让照片说话唱歌，达到基本的唇形同步。 相关链接： GitHub 地址：https://github.com/OpenTalker/SadTalker 视频教程：https://www.bilibili.com/video/BV1Dc411W7V6/?vd_source=35e62d366d8173e12669705f7aedd122 对于编程、python、conda 不熟的，可使用整合包： 夸克网盘分享：「EZAIStarterv0.9.8.zip」，链接：https://pan.quark.cn/s/1d5ca9f57f5c 视频地址：https://www.bilibili.com/video/BV1ga4y1u7Ep/?spm_id_from=333.337.searchcard.all.click&vd_source=35e62d366d8173e12669705f7aedd122 具体步骤：点我启动，在启动界面中，选择音频、图像口型同步的下载图标，下载完毕后启动应用，等待，会弹出一个独立的窗口（而不是默认浏览器），选择 sadtalker 同步器，分别导入图片和声音。 2. HeyGen：是一个 AI 驱动的平台，可以创建逼真的数字人脸和角色。使用深度学习算法生成高质量的肖像和角色模型，适用于游戏、电影和虚拟现实等应用。 3. Synthesia：是一个 AI 视频制作平台，允许用户创建虚拟角色并进行语音和口型同步。支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 4. DID：一家提供 AI 拟真人视频产品服务和开发的公司，只需上传人像照片和输入要说的内容，平台提供的 AI 语音机器人将自动转换成语音，然后就能合成一段非常逼真的会开口说话的视频。 5. 即梦 AI「视频生成」中的「对口型」功能：是即梦 AI「视频生成」中的二次编辑功能，现支持中文、英文配音。目前主要针对写实/偏真实风格化人物的口型及配音生成，可上传包含完整人物面容的图片，进行视频生成，待视频生成完成后，点击预览视频下的「对口型」按钮，输入台词并选择音色，或上传配音文件进行对口型效果生成。目前支持语言：中文（全部音色），英文（推荐「超拟真」内的音色） 请注意，这些工具的具体功能和可用性可能会随着时间和技术的发展而变化。在使用这些工具时，请确保遵守相关的使用条款和隐私政策，并注意保持对生成内容的版权和伦理责任。更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42
2024-09-28
AI对口型拍摄真人视频的软件
以下是一些 AI 对口型拍摄真人视频的软件： 1. HeyGen：是一个 AI 驱动的平台，能创建逼真的数字人脸和角色，使用深度学习算法生成高质量肖像和角色模型，适用于游戏、电影和虚拟现实等应用。 2. Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：提供 AI 拟真人视频产品服务和开发，只需上传人像照片和输入要说的内容，平台的 AI 语音机器人将自动转换成语音，然后合成逼真的会开口说话的视频。 此外，还有以下相关软件： 1. Runway：有网页和 app 方便使用。网址：https://runwayml.com 2. haiper：网址：https://app.haiper.ai/ ，免费。 3. SVD：网址：https://stablevideo.com/ ，有免费额度，对于景观更好用。 4. Pika：网址：https://pika.art/ ，收费，可控性强，可以对嘴型，可配音。 5. PixVerse：网址：https://pixverse.ai/ ，免费，人少不怎么排队，还有换脸功能。 6. Dreamina：剪映旗下，网址：https://dreamina.jianying.com/ ，生成 3 秒，动作幅度有很大升级。 7. Morph Studio：网址：https://app.morphstudio.com/ ，还在内测。 8. Kaiber：网址：https://kaiber.ai/ 9. Moonvalley：网址：https://moonvalley.ai/ 10. Mootion：https://discord.gg/AapmuVJqxx ，3d 人物动作转视频。 11. 即梦 AI：「对口型」是其「视频生成」中的二次编辑功能，现支持中文、英文配音。可上传包含完整人物面容的图片，进行视频生成，待视频生成完成后，点击预览视频下的「对口型」按钮，输入台词并选择音色，或上传配音文件进行对口型效果生成。 请注意，这些工具的具体功能和可用性可能会随着时间和技术的发展而变化。在使用这些工具时，请确保遵守相关的使用条款和隐私政策，并注意保持对生成内容的版权和伦理责任。更多相关信息请访问网站查看：https://www.waytoagi.com/category/42
2024-09-25
AI对口型拍摄真人视频的软件
以下是一些 AI 对口型拍摄真人视频的软件： 1. HeyGen：是一个 AI 驱动的平台，能创建逼真的数字人脸和角色，使用深度学习算法生成高质量肖像和角色模型，适用于游戏、电影和虚拟现实等。 2. Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：提供 AI 拟真人视频产品服务和开发，上传人像照片和输入内容，平台的 AI 语音机器人自动转换成语音，合成逼真的会开口说话的视频。 此外，还有以下相关软件： 1. Runway：有网页和 app 方便使用。 2. haiper：免费。 3. SVD：有免费额度，对于景观更好用。 4. Pika：可控性强，可以对嘴型，可配音。 5. PixVerse：人少不怎么排队，还有换脸功能。 6. Dreamina：剪映旗下，生成 3 秒，动作幅度有很大升级。 7. Morph Studio：还在内测。 8. Kaiber 。 9. Moonvalley 。 10. Mootion：3d 人物动作转视频。 即梦 AI 的「视频生成」中有「对口型」二次编辑功能，现支持中文、英文配音。针对写实/偏真实风格化人物的口型及配音生成，可上传包含完整人物面容的图片，视频生成完成后，点击预览视频下的「对口型」按钮，输入台词并选择音色，或上传配音文件进行对口型效果生成。目前支持语言：中文（全部音色），英文（推荐「超拟真」内的音色） 更多相关软件请访问网站查看：https://www.waytoagi.com/category/42 。请注意，这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时，请确保遵守相关使用条款和隐私政策，并注意保持对生成内容的版权和伦理责任。内容由 AI 大模型生成，请仔细甄别。
2024-09-25