音效AI生成 最佳方案

声音和音乐是游戏体验的重要组成部分。我们开始看到公司使用生成性AI来生成音频，以补充图形方面已经进行的工作。音效音效是AI的一个具有吸引力的开放领域。已经有[学术论文](https://arxiv.org/abs/2107.09262)探讨了使用AI在电影中生成“现场效果音”（例如，脚步声）的想法，但在游戏中的商业产品尚属稀少。我们认为这只是时间问题，因为游戏的交互性质使这成为生成性AI的明显应用，既可以在生产过程中创建静态音效（例如，“以星球大战的风格制作激光枪声音”），也可以在运行时创建实时交互式音效。考虑一个简单的任务：为玩家角色生成脚步声音。大多数游戏通过包含少量预先录制的脚步声音来解决这个问题：草地上行走的声音、碎石上行走的声音、草地上奔跑的声音、碎石上奔跑的声音等。这些声音生成和管理起来都很繁琐，并且在运行时听起来重复和不真实。更好的方法是使用实时的生成性AI模型来制作现场效果音（foley sound effects），它可以在飞行中生成适当的音效，每次都略有不同，而且能够根据游戏参数（如地面表面、角色体重、步态、鞋履等）进行响应。音乐音乐一直是游戏开发中的一个挑战。音乐很重要，因为它可以帮助设置情感基调，就像在电影或电视中一样。但由于游戏可以持续数百甚至数千小时，音乐很快就可能变得重复或令人烦躁。此外，由于游戏的交互性质，让音乐精确匹配屏幕上发生的事情可能很困难。

在3D模型生成中，AI主要完成了对3D模型生成流程的“⼀步到位”。△图：3D美术工作流拆解，《AI游戏产业驱动力研究报告》工作流中的每⼀个环节几乎都需要⼀位或⼀组3D美术工程师来完成，而使用3D生成模型可以直接完成⼀个可调整的3D粗模，大大提升效率。△图：GAME BOT，超参数科技②测试与优化AI在游戏测试环节中存在3大模拟场景，分别是AI玩家模拟、AI NPC和AI游戏模型测试。在优化环节往往承担改善角色动画、编程&加速、自动化游戏测试等功能。通过生成文字、图片、视频、音乐来缩减时间和资源消耗，也能快速识别游戏开发过程中的基本问题，并提出改善方法。③故事情节与NPC游戏设计是整个游戏开发过程的核⼼，AI在角色与故事生成、游戏机制创新等方面，依托最基础的自然语言生成用法。生成式AI阶段，游戏开发者在决策式AI的基础上融合更多思维和方法用以训练智能NPC，通过针对性训练数据集，强化NPC模型的基础能力，如角色知识、对话能力、情节演绎和逻辑推理。目前，小型的智能NPC可以实现封包在游戏中本地运行。④音乐与音效AI生成音乐的存在2种主流技术路线：基于乐理规则的符号生成模型和基于音频数据的音频生成模型。开发者正在使用AI生成音乐来填充游戏过程与游戏UI中需要使用到的各类音效、不同游戏场景中用以渲染氛围的各种音乐。AI生成音乐作为音乐资产在游戏制作和发行环节使用都是非常可行的，像MusicLM等模型已经支持生成多音轨的作品。使用AI生成音乐为原型、佐以专业制作人的协调，将使AI音乐更快进入游戏制作与发行的生产线。⑤玩家体验与个性化

配音一开始打算用AI，但测试多种不同的工具后，觉得AI语音在影视作品台词的表达上情绪依旧不够丰满，因此最后邀请了专业声音表演者来配音。音效方面，由于这次的音效需求比较简单，所以直接采用了剪映中的音效资源库。随着AI技术的不断发展，相信之后会有AI生成音效的工具来供我们选择。[316_1718987871.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/Is05b3R9coD8texdl9Nc3zennVe?allow_redirect=1)资源彩蛋附上三个音效资源站作为分享（无广）：https://www.lookae.com/sucai/sfx/有大部分免费且分好类的音效包可供下载https://www.epidemicsound.com/专业的音效站点，Gen48合作站https://sc.chinaz.com/yinxiao/适合搜索单个音效下载的站点点击阅读原文：欢迎前往XHS浏览社群成员优秀作品one more thing：我不是天才，我只是有幸和众多天才一起工作from牛马：飞扬