以下是一些关于使用 AI 制作动画的信息:
最佳动画工具:用于在视频中为人脸制作动画的[D-iD](https://www.d-id.com/)。用于从文本创建视频的[Runway v2](https://app.runwayml.com/)最佳语音克隆:[ElevenLabs](https://beta.elevenlabs.io/speech-synthesis)现在,生成一个完全由人工智能生成的角色的视频,阅读完全由人工智能编写的脚本,用人工智能制作的声音说话,由人工智能制作动画,这简直是微不足道的。[它也可以深度伪造人,正如你在这个链接中看到的那样,我伪造了自己](https://oneusefulthing.substack.com/p/a-quick-and-sobering-guide-to-cloning),谨慎使用,但这对于制作解释视频和介绍来说可能很棒。最近还发布了第一个商用文本到视频工具Runway v2。它创建了4秒的短剪辑,更像是对未来发展的展示,但如果你想了解这个领域的未来发展,值得一看。一些需要担心的事情:深度伪造是一个巨大的问题,这些系统需要合乎道德地使用。
制作方面,从图像到视频再到文字翻译,Junie用到了多种AI工具——AI图像生成:Stable Diffusion/Midjourney v5.2/DALL·EAI动画:Pika/Runway/Deforum(基于Stable Diffusion的开源项目,支持多种动画模式和功能,可以根据文本描述或参考图像和视频生成连续的图像序列,并将这些图像序列拼接成视频)口型同步:D-ID AI旁白:ElevenLabs剪辑:Premiere文字翻译:ChatGPT据Junie介绍,每个创作者、每个章节都会用到不同的技术,除了AI工具,也会用到3D技术、AE(After Effects)以及实拍等传统影视制作中常见的制片手段,以达成创作者最终想要实现的影片效果。例如,制片人Nem负责的第41章是一场打斗戏。“涉及到武打部分的内容,没办法在Runway直接生成。为此,Nem只能采取真人绿幕实拍+Kaiber(一款AI视频生成工具)的工作流,一人分饰两角,才完成了这场武戏。”工作流:实拍绿幕+Kaiber动作戏通常包含快速、连续且复杂的动作序列。AI在处理复杂的动作序列,尤其是在模拟人类动作的真实性和流畅性方面,仍然存在局限性。如果把动幅较大的场景,交给AI视频工具直接生成,往往只会让人物或画面显得生硬和不自然甚至崩坏。
本片核心就是研究,怎么利用AI的可控,和AI的不可控。AI最擅长的就是乱画(不是),所以我很想让它画一下泼墨风格的背景,利用线条和曲线的灵动感。AI不擅长的就是可控的人像,要让它稳定的画一个人物,单帧的不可控性就有20%,动画就更加不可控…最后就会变成调参工程。所以我选择Devices,尤其是常见的物体,不要选择它不理解的物体。这样提示词也可以很简单。