以下是一些可以实现把视频中的人声换成另外一个人的 AI 工具和技术:
作者:叮当不是机器猫|分享AI音乐动态,探索AI与音乐的无限可能!公众号:智音Brook 2024-03-02 21:40广东原文:https://mp.weixin.qq.com/s/q1TqyzJao8Z2YJYVK2s_VQ[heading3]目录[heading3]Voice-Swap推出Stem-Swap,可重塑混音曲目的人声[heading3]SALMONN:语音音频语言音乐开放神经网络[heading3]LAIVE:AI生成器乐曲目、歌词和人声一体[heading3]Combobulator:用AI合成技术重塑音乐创作界限[heading3]Vocs AI:您的免费人工智能语音生成器和转换器[heading3]Voice-Swap推出Stem-Swap,可重塑混音曲目的人声[content][videoplayback(4).mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/CEYXbCuDIoKYLKxVYCPcpCXontb?allow_redirect=1)链接:https://www.voice-swap.ai/Voice-Swap推出了Stem-Swap工具,允许用户从完全混音的曲目中轻松快速地更改人声。这个基于浏览器的工具可以将歌曲分成四部分,隔离人声,并将其转换为其他歌手的声音。用户可以从授权歌手名单中选择新声音,并下载完整混音或各个音轨。这一功能预计将开启前所未有的创意和合作新途径。
所谓深度伪造技术(deepfakes),是一种利用AI程序和深度学习算法实现音视频模拟和伪造的技术,投入深度学习的内容库越大,合成的视音频真实性越高,甚至可以达到以假乱真的程度。[heading2]AI翻唱[content]粉丝们会通过Stems音轨分离工具将人声与原始歌曲分离,再使用人声转换模型将人声转换成另一位明星的风格,然后将新的人声轨道与原始作品重新拼接在一起。Diff-SVC就是一种特别流行的用于此目的的语音传输模型。
Viggle由一支15人团队打造,创始人是一位在多家知名公司工作过的华人AI研究员。该产品核心能力是将视频中的角色替换成其他形象,类似之前介绍过的WonderDynamics和阿里全民舞王。此前小丑模仿说唱歌手在夏季音乐节上蹦跳的视频火出了圈,并有多个视频在社媒传播形成了新的Meme Trend。Viggle的视频工具背后依赖自家训练的3D视频模型「JST-1」,能够根据一张角色图片生成360度角色动画,可以进行更可控的视频生成。目前Viggle支持Discord访问和网页版访问,Discord平台已经积累了超400w用户。网页版访问:https://www.viggle.ai/官方推特:https://x.com/ViggleAI[heading3]Move:使图像角色移动,原始图像背景保持不变[content]和Mix的区别是,该模式更擅长将特定角色融入到某个动作场景中,大火的小丑视频可以看出,Viggle的视频生成稳定性、角色前后一致性非常强。用用户输入的新角色覆盖原有运动轨迹,并做到了动作、表情的高度还原。[xG2lRryQwt9rslvq.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/DIzJbDA7uoMFH5xs26bc2XJ1nPg?allow_redirect=1)By AIWarper