AI 可以做动画中割。在动画制作方面,有多种 AI 工具可用于相关工作。例如,Pika、Runway、Deforum 等工具可基于 Stable Diffusion 的开源项目,根据文本描述或参考图像和视频生成连续的图像序列,并拼接成视频。但需要注意的是,AI 在处理复杂的动作序列,尤其是模拟人类动作的真实性和流畅性方面仍存在局限性。对于动幅较大的场景,直接交给 AI 视频工具生成可能会导致人物或画面显得生硬、不自然甚至崩坏。此外,当前的生成式人工智能还可以直接从视频中捕捉动画,提高效率,也能用于过滤现有动画并添加新特效。
制作方面,从图像到视频再到文字翻译,Junie用到了多种AI工具——AI图像生成:Stable Diffusion/Midjourney v5.2/DALL·EAI动画:Pika/Runway/Deforum(基于Stable Diffusion的开源项目,支持多种动画模式和功能,可以根据文本描述或参考图像和视频生成连续的图像序列,并将这些图像序列拼接成视频)口型同步:D-ID AI旁白:ElevenLabs剪辑:Premiere文字翻译:ChatGPT据Junie介绍,每个创作者、每个章节都会用到不同的技术,除了AI工具,也会用到3D技术、AE(After Effects)以及实拍等传统影视制作中常见的制片手段,以达成创作者最终想要实现的影片效果。例如,制片人Nem负责的第41章是一场打斗戏。“涉及到武打部分的内容,没办法在Runway直接生成。为此,Nem只能采取真人绿幕实拍+Kaiber(一款AI视频生成工具)的工作流,一人分饰两角,才完成了这场武戏。”工作流:实拍绿幕+Kaiber动作戏通常包含快速、连续且复杂的动作序列。AI在处理复杂的动作序列,尤其是在模拟人类动作的真实性和流畅性方面,仍然存在局限性。如果把动幅较大的场景,交给AI视频工具直接生成,往往只会让人物或画面显得生硬和不自然甚至崩坏。
我们发现,当前的生成式人工智能,可以直接从视频中捕捉动画。这就更高效了,因为这样就不需要成本高昂的的动作捕捉设备,也意味着我们可以从现有视频中捕捉动画。人工智能模型的另一个令人兴奋的点在于,可以用于过滤现有动画,加上新的特效,例如让动画人物一键看起来喝醉了,或者老了,或者高兴。这一领域的公司包括Kinetix、DeepMotion、RADiCAL、Move Ai和Plask。KinetixDeepMotionRADiCAL关卡设计和游戏世界构建(Level design & world building)游戏创作中最耗时的方面之一是构建游戏世界,生成式人工智能可以用于这项任务。像《Minecraft》、《No Man's Sky》和《Diablo》这样的游戏,因程序化技术生成关卡而闻名,其中关卡是随机生成的,每次都不一样,但都遵循关卡设计者制定的规则。新的The new Unreal 5游戏引擎的一大卖点在于,它收集了用于开放世界设计的程序化工具,例如叶子的放置。例如Promethean、MLXAR或Meta的Builder Bot这些公司,都是看到了生成式AI技术的机会。这方面的学术研究已经有一段时间了,包括Minecraft的生成技术或Doom的关卡设计。
By contrast,if you’re teaching a health class where a student develops an app,you might not care if they use generative AI to help write the code.Instead,your focus is on helping students design a health campaign based on healthy habits.You might not have time to teach students to code by hand.You might not care about coding by hand.The app is merely a way for students to demonstrate their understanding of a health standard.If you’re teaching an art class,you might not want AI-generated images but you might embrace AI-generated images in a history class where students work on making infographics to demonstrate their understanding of macroeconomics principles.It might feel like cheating for a student in a film class to use AI for video editing but the AI-generated jump cuts might save loads of time in a science class where students demonstrate their learning in a video.In a film class,it’s critical for students to learn how to edit by hand in order to tell a story.In science,AI-generated jump cuts allow students to create videos quickly so they can focus on the science content.I also want to recognize that some of what students learn can and will become obsolete.I’m pretty sure I didn’t actually need to memorize the state capitols,for example.Which leads me to the next question...But What If We Don’t Need That Skill Anymore?I grew up in an era where teachers were moving away from memorization.We still had to memorize math facts and,for some reason,state capitols.I’ve never visited a state and thought,“Man,I really need to see the capitol.” If I’m Nevada,I’m not like,“Screw Vegas,I’m going to Carson City!”