以下是一份小白学习 AI 视频制作的教程:
一、剧本初稿思路
二、视频风格与尺寸确定
使用 Fanbook 中的 niji6 模型以及--sref 指令,确定尺寸为 16:9,根据主题确定视频风格。
三、故事主线与镜头设定
设定故事主线和镜头,参考分镜头基本格式要求,按照场景、地点、镜号、画面描述、台词、音效等维度进行填充。注意精简人物对话,提炼重点。当缺乏画面灵感时,可借助语言大模型获取帮助。
四、角色与场景生成
五、让图片动起来
使用即梦进行图生视频,上传图片至视频生成模块,用简单提示词描绘画面中的动态内容,可生成时长为 3 秒钟的画面。运镜类型根据剧本中的镜头描绘设置,以随机运镜为主,根据视频节奏选择生成速度。
因为之前做过离谱村第四集支线,首先跟GPT探讨了MV与微电影的相似之处,找到制作MV缺少的知识。然后了解关键元素和成熟方法论,为下一步提问做好准备。了解到的有用讯息是:需要明确视频要传达的信息和目标观众。对于城市介绍MV,通常是突出城市的独特魅力、文化、历史或现代发展。MV的剧本更侧重于视觉和音乐元素。关键元素有【音乐与节奏】和【视觉风格】【叙事与主题】。[heading3]2、进一步沟通MV关键元素[content]接下来决定从【音乐与节奏】开始设计,让GPT告诉我他还缺少的资料(一方面方便我编辑,另一方面方便他根据我给出的资料生成对应的格式):得到的内容还蛮核心的:在此基础上,我编辑完成了初步的MV概念然后结构化,接下来和GPT继续探讨,先把我的思路结构化(方便后续的调用):结构化初步概念[heading3]3、一步一步地得到核心元素内容[content]此步骤在前面内容的铺垫下,输入的提示词只需要:分别得到【音乐与节奏】【视觉风格】【叙事与主题】:【音乐与节奏】【视觉风格】【叙事与主题】
这里我们使用了Fanbook中的niji6模型以及--sref指令,最后加上每张图片的提示词,完成了整个视频风格保持一致性的确定。(当然风格一致性......等等诸多详细教程,后续.....赶紧小关小注)尺寸选择16:9。根据丝绸之路的古风主题,风格和时长的确定。接下来就需要设定故事主线和镜头。有了以上故事剧本及相关资料的基础,就可以进一步扩充每一个画面啦。我们可以参考分镜头的基本格式要求,按照场景、地点、镜号、画面描述、台词、音效等维度进行填充。这里提一个小建议,画面数量与台词长短密切相关,比如,主角一句话有6个字,按照3~4字/秒核算,需要有2秒的时长,而通常1个画面可以生成2~3秒的短视频,因此,6个字的台词长度,使用一个画面便可以满足。换句话说,当台词越长,所需的画面量越多,生图的工作量也越大。所以我们要尽可能精简人物的对话,提炼重点。当然,当你对某一句台词,没有足够的画面灵感,你还可以借助语言大模型来帮助你。比如,在这次的分镜头创作过程中,我们便与Kimi进入了深入的交流。你可以要求Kimi帮你写好画面描述(如下左图)。你还可以直接将台词抛给Kimi,让他帮你写好画面描述,甚至加上对音效的需求(如下图)大模型可以为你提供足够多的灵感,你可以多提问,多尝试。当然,最终选取哪个画面,如何平衡画面之间的联系,这都需要你进一步思考。就在以上的AI辅助下,我们的分镜头剧本就完成啦。(如下图)
剧本中的两位主人公,共3个形象,分别是年轻船员:开朗积极、充满好奇;老船长:经验丰富、坚韧不拔,以及老船长年轻时候的形象。通过性格特征和时代背景,描绘人物的提示词、上传角色参考图--cref,最后将角色背景扣除以便于进行角色加背景的融合生成时进行垫图操作。以老船长年轻形象为例,生成了全身、半身、侧身多角度人物图。根据剧本创作,场景主要概括为三个场景部分,分别是海上、沙漠、市集。提示词从剧本中的画面描述进行提取。生成过程均采用文生图模式,画面风格选择前准备好的风格图进行垫图。上传角色图、场景背景进行参考生成,使得人物和场的融合度更高。通过以上阶段,我们的台词、剧本、风格、人物形象、画面场景就都确立好啦。小插曲:感谢团队小伙伴积极投入在本次创作中,分工明确,协同并进,最终产出一份较为满意的作品。当然最最最可爱且重要的是:留下关注、收藏、认知看完文章的你~现在画面静态图片有了,那么接下来该让图片动起来了吧......使用即梦进行图生视频,只需上传图片至视频生成模块,提示词简单描绘画面中的动态内容即可。能生成时长为3秒钟的画面。运镜类型可根剧本中的镜头描绘设置,主要设置以随机运镜为主。生成速度根据我们的视频节奏,选择了慢速。生成效果:下方这类由图片+简单提示词生成出的3秒时长的短视频。