以下是关于制作动画的一些方法和经验:
这个是外国大佬@Ror_Fly的创意思路,很好的利用了runway的尾帧来制作动画,我也进行了实测,记录下来,关键的点,大家也可以发掘更多的玩法。[heading3]生成图片[content]提示词告诉flux,去生成一张技术草图,CAD提示词:eg:Flux短提示词,可以在上面提示词的里面提取[heading3]绘制的视频[content]在runway里面,使用提示词,告诉是从空白页面开始,逐行创建在runway里面,把生成的图片作为尾帧。[Gen-3 Alpha 1963070634,sketch drawing of a,ComfyUI_temp_lnmie_0,M 5.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/IsBRbeFi3oPoUGxYao9cwBcQn2d?allow_redirect=1)[heading3]草图上色[content]使用flux的controlNet,depth固定controlNet使用的是Union的版本,目前这个版本,不建议权重调的太高,结束时间也是。[heading3]生成上色后的视频[content][Gen-3 Alpha Turbo 766422618,A robot cat running,ComfyUI_temp_lnmie_0,M 5.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/RQBfbBGipoz4yNxpuZOcjc0Kn6c?allow_redirect=1)[heading3]how2draw Flux lora[content]再分享一个好玩的flux lora,用来展示绘画的过程。触发词:how2draw
在时间和金钱的双重压力下,我找到了一条适合我的制作捷径。(AI就是烧钱!开发的人烧钱!用的人也烧钱!)简单说,AI帮忙搞定图和片,其他的还得靠人。AI这玩意,目前还是个辅助工具。以下是我的大致工作流程。这次的视频制作,效率是王道,其他的对我来说太烧钱烧时间。具体我是怎么操作的呢?和视频相关的所有内容、资料,都记录在飞书文档里。按照我俩在字节的摸爬滚打经验,他曾经是编导,我是分镜,搞定故事大纲和脚本是分分钟的事,花时间的在后面的生成部分。分工上,大雍负责前期的内容构思和脚本编写;我主要负责图片、视频生成和视频剪辑。我的Midjourney提示词也没什么特别技巧,主要就是围绕皮克斯、迪士尼、3D风格来写。例如:"a small white Chiense dragon,anthropomorphic,Smile with surprise,wearing a school uniform,looking at a blurry gift box in the foreground,super close-up shot,camera focus on his face,3D render,Unreal Engine,Pixar 3D style,blurry classroom scene,bright sunshine--ar 16:9--niji 6"重点就是"a small white Chiense dragon,anthropomorphic,3D render,Unreal Engine,Pixar 3D style"尺寸比例16:9,模型选择niji 6。其他的根据需求调整即可。动画主要用的是Runway,因为看中它的控制笔刷。(笔刷控制示意,在我做的时候Runway还没有更新自动识别区域的笔刷,还得靠自己手动选择范围)
在时间和金钱的双重压力下,我找到了一条适合我的制作捷径。(AI就是烧钱!开发的人烧钱!用的人也烧钱!)简单说,AI帮忙搞定图和片,其他的还得靠人。AI这玩意,目前还是个辅助工具。以下是我的大致工作流程。这次的视频制作,效率是王道,其他的对我来说太烧钱烧时间。具体我是怎么操作的呢?和视频相关的所有内容、资料,都记录在飞书文档里。按照我俩在字节的摸爬滚打经验,他曾经是编导,我是分镜,搞定故事大纲和脚本是分分钟的事,花时间的在后面的生成部分。分工上,大雍负责前期的内容构思和脚本编写;我主要负责图片、视频生成和视频剪辑。我的Midjourney提示词也没什么特别技巧,主要就是围绕皮克斯、迪士尼、3D风格来写。例如:"a small white Chiense dragon,anthropomorphic,Smile with surprise,wearing a school uniform,looking at a blurry gift box in the foreground,super close-up shot,camera focus on his face,3D render,Unreal Engine,Pixar 3D style,blurry classroom scene,bright sunshine--ar 16:9--niji 6"重点就是"a small white Chiense dragon,anthropomorphic,3D render,Unreal Engine,Pixar 3D style"尺寸比例16:9,模型选择niji 6。其他的根据需求调整即可。动画主要用的是Runway,因为看中它的控制笔刷。(笔刷控制示意,在我做的时候Runway还没有更新自动识别区域的笔刷,还得靠自己手动选择范围)