以下为根据分镜生成连续漫画的相关信息:
在动画短片制作中,按照正常流程,脚本完成后应画分镜草图再进行动画制作。但由于 AI 视频生成尚处于不确定性较大的阶段,无法准确判断生成的图片能否完美生成动作视频。因此,在生成一张合适的图片后就直接开始对应动画镜头的生成,若视频未达预期效果,及时修改图片、补充镜头。例如:
在首部 AI 长电影的幕后制作中,用到了多种 AI 工具,如在图像生成方面有 Stable Diffusion、Midjourney v5.2、DALL·E;在动画方面有 Pika、Runway、Deforum 等。但对于动作戏等复杂场景,AI 处理仍存在局限性,可能需要结合实拍等传统手段,如真人绿幕实拍结合 Kaiber 等工作流。
分镜图片这里通过生成尝试,注意到一个事情。因为我们是做动画短片,按照正常动画制作流程,脚本制作完成之后,是画分镜草图,然后再进行动画制作。但因为AI视频生成目前仍然处于抽盲盒阶段,我们无法精准的判断一个生成好的图片是否能够生成较为完美的动作视频生成。所以为了能够对分镜画面进行及时的调整,这里,我决定生成一张合适的图片就直接开始进行对应动画镜头的生成。一旦有视频无法生成预期效果,就及时修改图片,补充镜头。Heavy rain hits the grass,close-up of the grass,dark environment,in the style of Hayao Miyazaki --ar 16:9 --v 6.0 --s 250A tornado rolls in,dark,Hayao Miyazaki style --ar 16:9 --v 6.0 --s 250Dark sky,dark clouds,lightning and thunder,sky close-up,in the style of Hayao Miyazaki --ar 16:9 --v 6.0 --s 250直接使用文生视频,后期需要叠加到镜2的画面上dark,bad environment,After a dark and dilapidated environment after a big storm,a white cat's paw walks on the wet dirt,side shot,close-up of the cat's paw,dim environment,in the style of Hayao Miyazaki --ar 16:9 --niji 6 --s 250
分镜图片这里通过生成尝试,注意到一个事情。因为我们是做动画短片,按照正常动画制作流程,脚本制作完成之后,是画分镜草图,然后再进行动画制作。但因为AI视频生成目前仍然处于抽盲盒阶段,我们无法精准的判断一个生成好的图片是否能够生成较为完美的动作视频生成。所以为了能够对分镜画面进行及时的调整,这里,我决定生成一张合适的图片就直接开始进行对应动画镜头的生成。一旦有视频无法生成预期效果,就及时修改图片,补充镜头。Heavy rain hits the grass,close-up of the grass,dark environment,in the style of Hayao Miyazaki --ar 16:9 --v 6.0 --s 250A tornado rolls in,dark,Hayao Miyazaki style --ar 16:9 --v 6.0 --s 250Dark sky,dark clouds,lightning and thunder,sky close-up,in the style of Hayao Miyazaki --ar 16:9 --v 6.0 --s 250直接使用文生视频,后期需要叠加到镜2的画面上dark,bad environment,After a dark and dilapidated environment after a big storm,a white cat's paw walks on the wet dirt,side shot,close-up of the cat's paw,dim environment,in the style of Hayao Miyazaki --ar 16:9 --niji 6 --s 250
制作方面,从图像到视频再到文字翻译,Junie用到了多种AI工具——AI图像生成:Stable Diffusion/Midjourney v5.2/DALL·EAI动画:Pika/Runway/Deforum(基于Stable Diffusion的开源项目,支持多种动画模式和功能,可以根据文本描述或参考图像和视频生成连续的图像序列,并将这些图像序列拼接成视频)口型同步:D-ID AI旁白:ElevenLabs剪辑:Premiere文字翻译:ChatGPT据Junie介绍,每个创作者、每个章节都会用到不同的技术,除了AI工具,也会用到3D技术、AE(After Effects)以及实拍等传统影视制作中常见的制片手段,以达成创作者最终想要实现的影片效果。例如,制片人Nem负责的第41章是一场打斗戏。“涉及到武打部分的内容,没办法在Runway直接生成。为此,Nem只能采取真人绿幕实拍+Kaiber(一款AI视频生成工具)的工作流,一人分饰两角,才完成了这场武戏。”工作流:实拍绿幕+Kaiber动作戏通常包含快速、连续且复杂的动作序列。AI在处理复杂的动作序列,尤其是在模拟人类动作的真实性和流畅性方面,仍然存在局限性。如果把动幅较大的场景,交给AI视频工具直接生成,往往只会让人物或画面显得生硬和不自然甚至崩坏。