AI 可以用于动画中割。当前的生成式人工智能能够直接从视频中捕捉动画,无需成本高昂的动作捕捉设备,还能从现有视频中获取动画。例如 Junie 这部 AI 长电影,在制作中就用到了多种 AI 工具,如 AI 图像生成工具 Stable Diffusion/Midjourney v5.2/DALL·E,AI 动画工具 Pika/Runway/Deforum 等。不过,AI 在处理复杂的动作序列,尤其是模拟人类动作的真实性和流畅性方面仍存在局限性。在游戏领域,生成式人工智能也有机会,比如用于关卡设计和游戏世界构建,像《Minecraft》《No Man's Sky》和《Diablo》等游戏就因程序化技术生成关卡而闻名。艺术家在这一过程中也并非被取代,而是可以设定初始创意方向,将耗时和技术执行工作交给人工智能。但目前仍处于行业变革的初期,还有很多需要完善的部分。
我们发现,当前的生成式人工智能,可以直接从视频中捕捉动画。这就更高效了,因为这样就不需要成本高昂的的动作捕捉设备,也意味着我们可以从现有视频中捕捉动画。人工智能模型的另一个令人兴奋的点在于,可以用于过滤现有动画,加上新的特效,例如让动画人物一键看起来喝醉了,或者老了,或者高兴。这一领域的公司包括Kinetix、DeepMotion、RADiCAL、Move Ai和Plask。KinetixDeepMotionRADiCAL关卡设计和游戏世界构建(Level design & world building)游戏创作中最耗时的方面之一是构建游戏世界,生成式人工智能可以用于这项任务。像《Minecraft》、《No Man's Sky》和《Diablo》这样的游戏,因程序化技术生成关卡而闻名,其中关卡是随机生成的,每次都不一样,但都遵循关卡设计者制定的规则。新的The new Unreal 5游戏引擎的一大卖点在于,它收集了用于开放世界设计的程序化工具,例如叶子的放置。例如Promethean、MLXAR或Meta的Builder Bot这些公司,都是看到了生成式AI技术的机会。这方面的学术研究已经有一段时间了,包括Minecraft的生成技术或Doom的关卡设计。
制作方面,从图像到视频再到文字翻译,Junie用到了多种AI工具——AI图像生成:Stable Diffusion/Midjourney v5.2/DALL·EAI动画:Pika/Runway/Deforum(基于Stable Diffusion的开源项目,支持多种动画模式和功能,可以根据文本描述或参考图像和视频生成连续的图像序列,并将这些图像序列拼接成视频)口型同步:D-ID AI旁白:ElevenLabs剪辑:Premiere文字翻译:ChatGPT据Junie介绍,每个创作者、每个章节都会用到不同的技术,除了AI工具,也会用到3D技术、AE(After Effects)以及实拍等传统影视制作中常见的制片手段,以达成创作者最终想要实现的影片效果。例如,制片人Nem负责的第41章是一场打斗戏。“涉及到武打部分的内容,没办法在Runway直接生成。为此,Nem只能采取真人绿幕实拍+Kaiber(一款AI视频生成工具)的工作流,一人分饰两角,才完成了这场武戏。”工作流:实拍绿幕+Kaiber动作戏通常包含快速、连续且复杂的动作序列。AI在处理复杂的动作序列,尤其是在模拟人类动作的真实性和流畅性方面,仍然存在局限性。如果把动幅较大的场景,交给AI视频工具直接生成,往往只会让人物或画面显得生硬和不自然甚至崩坏。
值得注意的是,艺术家并没有被取代的危险,这意味着艺术家不再需要自己亲自上手去完成所有的工作:艺术家和设计师们可以设定初始的创意方向,然后将大部分耗时和技术执行工作交给人工智能。在这一点上,就像早期手绘动画的画师一样,高度熟练的"绘画专家"描绘出动画的轮廓,然后由成本相对较低的画手们完成耗时的工作,为动画胶片上色,填充线条,只是我们谈到的是游戏创作领域的应用。5.我们仍然处于这场行业变革领域的初期,尚且有很多部分需要完善尽管最近很多人都很激动,但我们仍然刚刚处于起跑线。在大家清如何真正应用这种新技术与游戏领域的结合时,还有大量的工作要做,而对那些之前、以及迅速进入这个新领域的公司来说,将会存在巨大的机会。