AIGC 动画创作可以通过以下方式实现:
这是一个通过绿幕动作捕捉,在虚幻中制作虚拟场景,然后通过Stable Diffusion生成的动漫。120个视觉特效镜头由一个3人小组在一秒钟内完成。效率非常高,同时成片的质量也有所保证。他们关于制作过程描述的具体视频[在这里](https://www.youtube.com/watch?v=_9LX9HSQkWo&t=710s)。有点长如果懒得看的话也可以看我下面总结的一些他们使用到的技术Corridor基本上做了一个开源的video2anime工作流程来完成这个视频。他们使用的主要工具为:Stable Diffusion模型+DreamBooth微调虚幻引擎+资产存储3D模型Img2Img + DeFlickering效果大量的老式的VFX合成视频的制作步骤是:1.训练模型复制特定风格2.训练一个LoRA模型来认识一个角色3.通过img2img处理绿屏动捕的视频4.使用Deflicker插件减少闪烁5.在虚幻5中添加3D元素6.在Resolve中进行最终VFX合成/编辑为了最后的打磨,他们添加了大量老式视觉特效:强调运动的速度线模拟电影摄像机/单元格动画的发光体虚幻中的动态元素(如蜡烛)设置室内气氛的体积光射线编辑和设计声音。
[title]上海国际AIGC大赛第三名—《嘉定汇龙》复盘[heading3]复杂场景的生成对于复杂场景,我们结合了即梦和可灵,实现了许多动态画面。例如,在生成汽车变成龙的场景时,我们使用了即梦的首尾帧功能,结合动态效果,达到预期的视觉表现。跑图是考验审美的,我们组的Komu、咖啡猫咪、源SiYuan、Zzz这些都是设计师,设计师对于画面的审美质量超越了宣传片标准的。6、多人协同的剪辑布丁是一位优秀的TVC剪辑,因为得益于我们在线文档的规整,视频块输出的很到位。剪辑工作进行的非常顺利,布丁用了两个晚上就剪出了一版能看的版本。为了能多人协同剪辑,我们放弃了惯常使用的Final cut和premiere,使用剪映的最大原因,是它可以多人无缝剪辑同一个工程。每天剪完了之后大家互相上传一下到云工程里,就能在不同电脑里同样打开,解决了旧时代剪辑软件的沉疴。央视的张昱老师也被我们打动,倾情献声进行配音。这里也是一个小经验,我认为在于目前AI配音其实已经到了能读电子书的程度,但是真的用来制作一个宣传片,还是欠火候的。对于主题的情感,表达,还是需要一个真人才能完美演绎。1.团队合作与创作心得因为经常做一些AI短片,所以会有一些朋友、同事经常来问我该怎么学习。我的回答都是要先去学一下一些基础的教程,这些在视频网站上有,也可以去报一些培训班。但是最锤炼技术的,还是去和社群的小伙伴一起组队打比赛,在这里你才能真的看到高手们的秘方。(prompt如下图)而且,秘方也不是一成不变的刻板,而是面对不同命题、复杂环境,AIGC的高手们能够指哪打哪的经验。
初步生成:我们使用DALL-E 3和Midjourney(MJ)进行初步图像生成。DALL-E 3以其强大的文本识别能力帮助我们快速生成符合意图的画面,而MJ则通过垫图功能(--Sref和--iw组合)确保图像的风格一致。图像优化:D3和MJ跑不出来的图,我们用Stable Diffusion(SD)用于图像的细节处理,尤其是局部重绘,例如调整人物的手部细节。通过magnific.ai工具对图像进行超分处理,进一步提高画质。