以下是关于通过分镜头生成 MG 动画的相关内容:
动态叙事动画生成器
方案效果: 通过 NAG 模块,用户能够轻松创建出具有叙事性和连贯性的动画视频,同时保持人物特征的一致性。这将大大提升 AnimateDiff 框架的创作能力和应用范围,为用户提供更加丰富和多样化的动画创作体验。
系统处理流程:
模块设计:
尾鳍 Vicky:AI 动画短片制作全流程--《月夜行》森林篇
分镜头写作: 假如已有简单的故事梗概,1 分钟的视频大概需要 25 - 30 个镜头,需要写出 30 个镜头的分镜头脚本,并将其翻译成英文,放到 Dalle3 或者 Midjourney 中去进行文生图的工作。文生图的逻辑是要写清楚画面内容。 模板包括景别、风格、角色、环境、比例等。例如:Close-up macro shot,A white flower blooms,the sun shines on the white flower,in the forest,Makoto Shinkai style,Japanese anime style --ar 235:100 。以下是最开始写的分镜内容(超级简化版本)作为参考,如 1. 主观,海边电闪雷鸣;2. 特写,树干被折断等。
1.Prompt解析器(Prompt Parser)处理:解析上述Prompt,提取关键信息,如主要人物(年轻女性)、场景(公园、海滩、家后院)、活动(画画、吃冰淇淋、扫落叶、堆雪人)以及时间线索(春、夏、秋、冬)。1.分镜生成器(Storyboard Generator)处理:根据提取的信息生成分镜脚本,每个季节一个分镜,每个分镜包含具体的背景、人物动作和情感状态。春天:公园里,女性坐在画板前,周围是盛开的花朵。夏天:海滩上,女性坐在遮阳伞下,手里拿着冰淇淋,海浪轻轻拍打着沙滩。秋天:后院里,女性穿着温暖的毛衣,正在扫落叶。冬天:女性戴着手套和帽子,正在堆一个雪人。1.视频渲染引擎(Video Rendering Engine)处理:将分镜脚本转换为视频帧,并渲染成连贯的视频动画。使用AnimateDiff框架生成每一帧的图像,确保人物动作的连贯性和场景的平滑过渡。对每个季节的场景应用不同的色调和光影效果,以传达季节变化的感觉。
1.Prompt解析器(Prompt Parser)模块目的:准确解析用户的描述性Prompt,提取关键信息,如人物特征、动作、情感状态和场景要求。模块功能:自然语言处理(NLP):使用先进的NLP技术来理解和分析用户输入的文本。实体和关系抽取:识别Prompt中的关键实体(如人物、动作、情感)及其相互关系。场景和动作映射:将文本描述映射到具体的场景和动作序列。技术实现:利用预训练的NLP模型,如BERT或GPT,进行文本分析和理解。应用依存解析和实体识别技术来提取关键信息。使用知识图谱和语义理解来确定实体之间的关系。1.分镜生成器(Storyboard Generator)模块目的:根据解析出的信息生成详细的分镜脚本,为视频生成提供蓝图。模块功能:分镜脚本创建:根据实体和关系生成一系列分镜脚本。时序和逻辑校验:确保分镜脚本在时间和逻辑上的连贯性。风格和情感适配:根据指定的风格和情感基调调整分镜内容。技术实现:使用脚本编写规则和模式识别技术来生成分镜脚本。通过有限状态机(FSM)或Petri网来管理和调整分镜的时序。集成风格迁移和情感分析工具,以适配视频的风格和情感。1.视频渲染引擎(Video Rendering Engine)
二、分镜头写作:假如我已经有了一个简单的故事梗概,那么1分钟的视频大概需要25-30个镜头,我们需要写出30个镜头的分镜头脚本,并将其翻译成英文,放到Dalle3或者Midjourney中去进行文生图的工作。文生图的逻辑是要写清楚画面内容。模版如下:景别:远景/全景/中景/近景/特写风格:真实影像风格/日本动漫风格/水墨画风格等(在Dalle3里无法直接写作者的名字,比如新海诚,但Midjourney是可以的。)角色:具体到是什么样的角色,有什么特殊的颜色、道具、服饰等等。环境:森林、家、海边等等比例:16:9/2.35:1等等如果套用我的故事,那么我给出的Prompt大概会是这样(动画可调niji模式):Close-up macro shot,A white flower blooms,the sun shines on the white flower,in the forest,Makoto Shinkai style,Japanese anime style --ar 235:100以下是我最开始写的分镜内容(超级简化版本),可以作为参考。1,主观,海边电闪雷鸣2,特写,树干被折断,或者衣服被吹走3,特写,白猫躲在草里满眼无奈4,中景,侧拍,白猫饥肠辘辘,无处可去,听到肚子叫的声音5,中景,正拍,白猫回头,角落里有双红色眼睛6,特写,红色眼睛,是一匹恶狠狠的灰狼