ai音乐创作管线

论文：https://arxiv.org/abs/2402.17785ByteComposer是一个由字节跳动人工智能实验室开发的创新音乐创作代理，它利用大型语言模型（LLM）的强大能力，模仿人类创作旋律的过程。这个系统通过四个关键步骤——概念分析、草稿创作、自我评估与修改、审美选择——来生成旋律，旨在提供一个与人类作曲家相媲美的创作体验。在概念分析阶段，ByteComposer深入分析输入文本的主题，并将其转化为音乐语言，识别与文本内容相关的音乐元素，并选择适当的音乐属性。接着，在草稿创作阶段，系统使用这些音乐属性作为种子，通过各种作曲生成模块创作出初步的旋律。在自我评估与修改阶段，系统会根据音乐理论识别并纠正草稿中的任何客观错误。最后，在审美选择阶段，系统会在所有无误的作品中进行主观评估，选择最具审美价值的作曲。ByteComposer的核心模块包括专家模块（Expert）、生成器模块（Generator）、投票器模块（Voter）以及记忆模块（Memory），这些模块共同协作，确保创作过程的连贯性和用户交互数据的记录。此外，系统通过精心设计的提示（prompt）来激发LLM的音乐理论知识，并通过交叉验证来优化提示设计。在实验中，ByteComposer在GPT-4和其他开源大型语言模型上进行了广泛的测试，证明了其在音乐创作方面的有效性。专业音乐作曲家的评价也显示，ByteComposer在音乐创作的各个方面达到了初级作曲家的水平。总的来说，ByteComposer是一个先进的音乐创作工具，它通过结合LLM的交互性和知识理解能力，为用户提供了一个直观、可控且富有创造性的音乐创作平台。

We know that many musicians—especially the next generation—are eager to use AI in their creative workflows.In the near future,artists will compose music alongside their fans,amateur musicians will create entirely new musical genres,and talented creators—regardless of means—will be able to scale the heights of the music industry.我们知道，许多音乐家——特别是新一代音乐家——渴望在他们的创作流程中使用人工智能。在不久的将来，艺术家将与他们的粉丝一起创作音乐，业余音乐家将创造全新的音乐流派，而有才华的创作者——不论其经济条件如何——都将有机会攀登音乐产业的高峰。The future of music will see more creative expression than ever before.Let us use this watershed moment in technology to expand the circle of creators,empower artists,and celebrate human creativity.音乐的未来将展现前所未有的创造力表达。让我们利用这一技术的分水岭时刻，扩大创作者的圈子，赋予权力给艺术家，并庆祝人类的创造力。[heading2]关于本文[content]正如SUNO和UDIO的愿景所展示，AI技术将成为未来音乐创作不可或缺的一部分。本文旨在呼应这一愿景，为提升AI音乐创作者们的制作能力贡献力量。本文核心是介绍使用AI音乐平台UDIO.com进行音乐创作的技术分享。UDIO通过其先进的功能，如上传音轨、REMIX、INPAINT等，为我们提供了前所未有的创作自由和控制能力。这些功能不仅增强了我们对音乐制作的技术理解，还开启了全新的艺术表达方式。本文将以歌曲《We Are the One》的制作过程为主要示例，展示如何结合AI与传统音频处理手段，将控制程度提升至超过90%，从而打造出一种以AI为主导的音乐制作工作流。值得注意的是，本文详细介绍了使用AI技术进行音乐制作的具体方法。然而，这些方法并非一成不变，也不是普遍适用的。每位创作者都应根据自己对工具的熟悉程度，选择最适合自己的制作方式。

Suno和Udio都推出了上传音频文件生成音乐的功能，很多行业大号都拿来做了各种无厘头编曲（像卡兹克的：倒车请注意），确实狠魔性~短期可以出很多流量。不过玩归玩，这个功能对于AI音乐的作用，在于精确的控制力。有了前置的旋律，我们可以精确控制每首歌的：速度（Tempo）再也不用去背那些绕口的速度词了（什么Allegro，Moderato...)，可以精确控制我们想要的BPM旋律（Melody）通过自己制作一段简单的旋律，让AI补全并在整首歌贯穿，并且可以旋律+速度实现一谱变速，节省大量Roll旋律的时间。配器（Instrumentation）按照自己的想法选择音乐的乐器，减少提示词里乐器不灵光的情况（比如Suno的Drum solo），也可以自己开脑洞选择一些特殊的音色，比如用笛子吹小步舞曲~合成（synthesizer）当我们手上有两支BPM完全相同，调性也相同的音乐时，可以尝试更多的拆分组合，尝试一些更好玩的效果。这个还没试，之后会找时间试一些曲子。既然上传音频大大节省了对着一首歌猛roll的点数消耗，那每个月的点数拿来干嘛呢？首先，我们可以用提示词多Roll一些和流派，心情，场景相关的曲子。在减少了限制以后，AI音乐会发挥更多的创造力，Suno官方也提过（less is more），让AI音乐展现更强的一面。然后把这些好的旋律存起来，可能是前奏，副歌，或者一段和声，都可以作为之后制作的素材。其次，把点数用来roll更多细节调整的部分，比如某段曲子里面，一定要让它升调，不走平调，把冲的钱用在提升每首作品的品质上。下面用一个简单的例子来演示一下这个工作流：