绿幕虚拟拍摄与AI技术结合

[title]Junie：首部AI长电影幕后制作全流程揭秘[heading1]制作幕后：拆解与重组例如，制片人Nem负责的第41章是一场打斗戏。“涉及到武打部分的内容，没办法在Runway直接生成。为此，Nem只能采取真人绿幕实拍+Kaiber（一款AI视频生成工具）的工作流，一人分饰两角，才完成了这场武戏。”工作流：实拍绿幕+Kaiber动作戏通常包含快速、连续且复杂的动作序列。AI在处理复杂的动作序列，尤其是在模拟人类动作的真实性和流畅性方面，仍然存在局限性。如果把动幅较大的场景，交给AI视频工具直接生成，往往只会让人物或画面显得生硬和不自然甚至崩坏。也因此，“团队很多创作者采用的工作流是实拍/CG/AE等传统影视制作方法+AIGC工具的这样一个结合”，Junie表示，“基本上每个章节都会运用到不同的工作流，所以当别人问我这部电影究竟用了什么技术，我都很难在短时间内用一两句话讲明白”。实拍绿幕+RunwayMidjourney+comfyui+CG+AE实拍+Runway+deepfake“影片素材制作时间截至2023年12月31日，整理下来，我们几乎使用了当时市面上所有的AI视频制作工具。”Junie分享的AI视频/动画常用工具图（中文版）目前，《Our T2 Remake》已支持线上观看，感兴趣的玩家可以前往以下地址注册收看：https://rad.live/watch/feature/3a457e3e-87f1-4607-bf70-38a9c92ab5fe/

直播间的特点在于真实性，其中包括真实的商品展示、试用以及真实的评测，然而这也是虚拟主播面临的致命挑战。比如虚拟网红翎Ling的美妆带货翻车案例，没有皮肤问题困扰的虚拟人很难让消费者共情。尽管SLAM等3D交互技术可以完善数字人与真实空间的交互，但要想实现与商品的互动，则较为困难，更何况用户还希望能够尽可能多的了解到商品的细节。在《2022虚拟数字人综合评估指数报告》中指出虚拟数字人发展的三个阶段：拟人化：由计算机虚拟合成的高度逼真的三维动画人物，动作形态声音等与真人吻合，初步基于AI实现虚拟人驱动，实时进行信息沟通和反馈。同人化：从外观的形态模拟进阶到情感的可交互，情感算法技术实现与人类高质量情感互动。超人化：虚拟人的能力超越自然人，“虚拟”实体化，机器人承载虚拟人意识回到现实世界。或许再过十余载，虚拟主播肉身化，具备了真实的身体，他就真的能在直播间站稳脚跟了。[heading3]场景变幻，无限可能[content]相比于“人”与“货”，直播场景虽然没有那么重要，但优质的直播视觉效果也是促进观众停留的因素。绿幕的虚拟直播场景方案是一个比较低成本的直播样式。选择绿幕作为背景，通过抠图技术打造虚拟背景，可以低成本的快速打造一个直播间。手机上就有相关绿幕视频抠图App，288元就能购买永久会员，解锁所有功能。虚拟直播间的场景搭建成本也因多种因素而异，包括场景规模、复杂度、细节程度、互动特效等，更大、更复杂、更详细的直播间就需要更多的投入了。MR设备在未来的普及，也会带动新的一轮技术迭代，届时用户可以身临其境，还能与场景、主播、观众联动，更加沉浸式的互动购物体验。

这是一个通过绿幕动作捕捉，在虚幻中制作虚拟场景，然后通过Stable Diffusion生成的动漫。120个视觉特效镜头由一个3人小组在一秒钟内完成。效率非常高，同时成片的质量也有所保证。他们关于制作过程描述的具体视频[在这里](https://www.youtube.com/watch?v=_9LX9HSQkWo&t=710s)。有点长如果懒得看的话也可以看我下面总结的一些他们使用到的技术Corridor基本上做了一个开源的video2anime工作流程来完成这个视频。他们使用的主要工具为：Stable Diffusion模型+DreamBooth微调虚幻引擎+资产存储3D模型Img2Img + DeFlickering效果大量的老式的VFX合成视频的制作步骤是：1.训练模型复制特定风格2.训练一个LoRA模型来认识一个角色3.通过img2img处理绿屏动捕的视频4.使用Deflicker插件减少闪烁5.在虚幻5中添加3D元素6.在Resolve中进行最终VFX合成/编辑为了最后的打磨，他们添加了大量老式视觉特效：强调运动的速度线模拟电影摄像机/单元格动画的发光体虚幻中的动态元素（如蜡烛）设置室内气氛的体积光射线编辑和设计声音。