以下是关于听音乐制作画面的 AI 的相关内容:
工具使用:
分镜创作:
其他方面:
[2058d81834f871ef80020764a0ec0102.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/VFW1bOnqGoGGldxZbyAciduhnNd?allow_redirect=1)[8041702d34f871ef97106733a68f0102.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/NxwqbPOnXoaeuhxAdj6cx7HHnDc?allow_redirect=1)AI生成音乐的工具使用的是Suno,它能够根据用户对音乐的具体描述,快速生成符合预期的音乐作品。这不仅能够为我们的视频增添独特的音乐元素,也能进一步提升视频作品的艺术性和观赏性。本次制作共生成了30首歌曲,从中挑选出符合视频节奏的背景音乐。本次人物对白比较简单,经过对比我们选择了即开即用的ondoku进行配音,输入文字后就可以快速得到配音文件。后期合成主要使用了剪映,即梦AI生成的视频时长是3秒钟,并非整个3秒都能使用,根据剧本和画面内容,需要做部分截取。合成的过程中,会发现画面内容出现不协调情况,或者出现画面内容缺少的情况,需要重新生成画面视频进行补充。不过大多数情况下,画面原有的素材能够应对剪辑工作。视频音乐再合成时也可以进行画面匹配后再听听音乐是否协调。视频轨道层分别是:台词层、效果层(关键帧、蒙版)、视频画面(AI生成的视频画面加闭幕)、人声台词、音效、背景音乐。
歌曲创作完成之后就是要给视频出分镜脚本,但是这个分镜脚本和真正影视拍摄里的分镜还不太一样。影视里的分镜是给拍摄提供依据的,是剧本和实际拍摄之间的一个桥梁。但是由于AI视频制作的特殊性,我们其实是没有拍摄的实际过程的,而是通过图生视频来直接生成,所以我们的分镜就直接决定了最终视频呈现效果的好坏。我们现在就需要根据音乐来进行画面的生成。画面的生成我分成了三个大类:一类是有歌词的部分,我打算用midjourney来进行生成,它的画面美感是顶级的;第二类是无歌词的部分,比如长达20秒的前奏,这里我打算使用SD来制作南京12个区的字体设计,包括主标题的设计;第三类是转场,比如主歌进副歌的时候,需要让镜头之间更有设计感,我选择使用deforum来进行制作。虽然有了歌词,但是我还是需要一些具体的画面描述,所以接下来,我就让gpt帮我按照每段歌词生成了一系列的mj提示词。当然这些提示词只是一个大概的画面参考,具体的还是需要我们去调整和编写。比如开头的部分,歌词并没有体现,所以我们需要我们自己去构思。我在创作这个歌曲的时候就想过融入古筝这个传统乐器,所以在开篇的时候我就想过通过一名弹古筝的女子来引入。为了增加神秘感,我希望画面的开篇是女子的背景,然后镜头慢慢的拉进。但是在mj出图的过程中,虽然画出了背对画面的女子,但是古筝的位置一直不对,甚至还出现了反弹古筝的诡异姿势。于是我打算曲线救国,首先使用对语义理解最准确的DALL·E3来绘制出我们需要的构图。然后再使用垫图的方式给到mj,就画出了我想要的构图。
可以直接抠图,也可以安装PS里的进行操作:图片上传即可抠图,可以用于做一些素材,在用素材辅助做一些氛围动画。如叶子飘落,战斗时石头等素材[media2.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/F4lpbVDMtoyDIDxj233cAXzpn6e?allow_redirect=1)[heading2]2.9声音素材[content]背景音乐Aive尝试制作背景音乐。但是由于需要一些乐理知识,对于我们来说有点困难,于是其中一名团队成员想着可以用下方的工具,生成差不多背景音乐,这个还会有版权使用许可证。为了在紧张刺激的场景画面时体现激烈的氛围,需要在音乐中加上鼓点,但高潮部分音乐又要足够气势磅礴,使得整体的画面和节奏相互协调。我们发现大部分的AI音乐难以达到我们的要求。于是我们利用了一款分离人声的AI软件,它能够将人声从背景音乐中分离出来。并且对一些游戏宣传的音乐进行了人声去除和剪辑处理。尽管这个项目只是借用了人工智能的概念,但实际上也应用了一些简单的技术,目前的音乐是一种无版权的剪辑形式。旁白微软AI语音:制作使用了微软声音库制作旁白,语音库支持147种语言,相对而言选择就会多一些,除了语音库,还有定制声音。(也可以根据你的声调跟节奏来制作旁白)[媒体8.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/IPSKbhwOloeMsIxAQjVcRD0wnWb?allow_redirect=1)