Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

克隆音色

Answer

以下是一些关于克隆音色的相关信息:

  • 产品推荐:
    • PlayHT:https://play.ht/studio/ ,包含预设音色,可免费克隆一个音色,若想生成多个,删除上一个音色即可做新的。
    • Elevenlabs:https://elevenlabs.io/app ,包含预设音色,新用户 1 美元开通一个月会员,可使用克隆音色。
    • 魔搭社区:https://www.modelscope.cn/home ,是一个模型开源社区及创新平台,由阿里巴巴通义实验室联合 CCF 开源发展委员会发起,包含各种声音模型,有开发经验的朋友可使用。
    • Dubbingx:https://dubbingx.com/ ,免费克隆音色,有桌面版,Mac、Window 均可用。
    • 魔音工坊:https://www.moyin.com/
  • 对口型相关:
    • Runway:静态图片+音频文件,可生成对口型视频;动态视频+音频文件,可生成对口型视频,但需要消耗 20 点。
    • Pika:静态图片+音频文件,可生成对口型视频。
  • 其他:
    • 剪映:不能使用预录制的音频,只能现场朗读随机提供的文字材料收集音色信息,1 积分=2 个字,消耗积分生成配音,会员每个月赠送 1200 积分。
    • GPT-SoVITS:开源 AI 克隆音色项目,部署难度较高,但是效果很好,完整的教程和测评请查看原作者主页:https://space.bilibili.com/5760446 。
    • ElevenLabs 推出全自动化的 AI 配音或视频翻译工具,上传视频或粘贴视频链接,能全自动在几十秒到几分钟内将视频翻译成 29 种语言,还能克隆原视频里面的声音来配音。群友测试豆包的音色模仿,读大概 20 个字的句子,5 秒就可生成非常像的音色,之后可用自己的声音读生成的文字内容,声音音色模仿非常像。
Content generated by AI large model, please carefully verify (powered by aily)

References

《摩尔弗斯》制作分享

PlayHThttps://play.ht/studio/包含预设音色可免费克隆一个音色,如果想生成多个,把上一个音色删除就可以做新的Elevenlabshttps://elevenlabs.io/app包含预设音色新用户1美元开通一个月会员,可使用克隆音色魔搭社区https://www.modelscope.cn/home一个模型开源社区及创新平台,由阿里巴巴通义实验室(Institute for Intelligent Computing),联合CCF开源发展委员会,共同作为项目发起方。包含各种声音模型,有开发经验的朋友可使用Dubbingxhttps://dubbingx.com/免费克隆音色,有桌面版,Mac、Window均可用魔音工坊https://www.moyin.com/[heading2]对口型[content]Runway静态图片+音频文件,可生成对口型视频动态视频+音频文件,可生成对口型视频,但需要消耗20点Pika静态图片+音频文件,可生成对口型视频

AI配音/转录工具深度测评(含保姆级教程)

[heading1]支持克隆音色的平台[heading2]剪映丨10s用自己的音色生成配音[content][heading3]注意事项[content]不能使用预录制的音频,只能现场朗读随机提供的文字材料收集音色信息1积分=2个字,消耗积分生成配音,会员每个月赠送1200积分[heading3]基本功能[heading3]订阅价格[heading3]配音效果(音色采样自本文作者~)[content][JianYin_CN.MP3](https://bytedance.feishu.cn/space/api/box/stream/download/all/T63ZbZEW2ofbtAx2TI7cJc1HnJC?allow_redirect=1)[JianYin_EN.MP3](https://bytedance.feishu.cn/space/api/box/stream/download/all/OSYVbeg74onNi3xZpSNcKEO6nQf?allow_redirect=1)[heading2]GPT-SoVITS丨开源AI克隆音色项目[content][heading3]注意事项[content]部署难度较高,但是效果很好完整的教程和测评请直接查看原作者主页:https://space.bilibili.com/5760446[heading3]配音效果(音色采样自本文另一个AI~)[content][高速3.wav](https://bytedance.feishu.cn/space/api/box/stream/download/all/R8OAb8rFNo6HBOxN62ecJzoJngg?allow_redirect=1)

声音克隆合集

ElevenLabs推出一个全自动化的AI配音或视频翻译工具。你只需要上传视频或者粘贴视频链接,这个工具就能全自动的在几十秒到几分钟内将你的视频翻译成29种语言。更牛P的是直接克隆原视频里面的声音,来给你配音。群友瑞華测试:[2080_1706113804.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/HQ8sb2smBodPZpxOX2och4DmnIc?allow_redirect=1)[2081_1706113807.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/OVuvbds5XoxSjpx8lPmcUqtEnsg?allow_redirect=1)[2082_1706113840.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/VJzQbRRdZoOgSdx2eXicmfn8nHd?allow_redirect=1)[2083_1706113844.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/N2avbWxMZoVKxSxswcucQ27encf?allow_redirect=1)另外刚才有群友试了下豆包的音色模仿,读了大概20个字的句子,5s就可以生成非常像的音色,之后就可以用你自己的声音读生成的文字内容了。声音音色的模仿非常像了

Others are asking
中文语音克隆比较强的有哪些
以下是一些中文语音克隆能力较强的产品: XiaoHu.AI:通过 250,000 小时的中英双语数据训练,仅需 15 秒的声音即可完美克隆,包括音色和情感。基于 LLaMA 模型,支持从文本生成语音,或基于语音提示生成目标语音(保留情感特征)。参数规模有 Llasa1B(轻量级,适合资源受限硬件部署,链接:https://huggingface.co/HKUSTAudio/Llasa1B )和 Llasa3B(更高性能,提供更复杂的语音生成,链接:https://huggingface.co/HKUSTAudio/Llasa3B )。详细介绍:https://www.xiaohu.ai/c/a066c4/llasattsllama3233827b03e5f44a989bf29c06d43d11ce 。 开源产品: GPTSoVITS:https://github.com/RVCBoss/GPTSoVITS ,对中、英、日语言支持良好,需要 10 分钟左右干素材,瞬时 clone 功能未开放。 OpenVoice:https://github.com/myshellai/OpenVoice ,对中文支持较好,主打瞬时 clone,发展势头良好,一个月前测试时中文声音 clone 有英语味道。 商业产品: ElevenLab:https://elevenlabs.io ,支持最多语言种类,支持瞬时 clone,综合效果最好。 Reecho:https://reecho.ai ,中国团队,支持长音频和瞬时声音 clone,据说与火山引擎的声音 clone 技术同源。 自得语音:https://zideai.com ,中国团队,支持瞬时声音 clone 和声音定制,尚未测试。
2025-02-11
推荐免费的tts公有模型站点,需要支持中文,克隆自己的声音
以下为您推荐支持中文且能克隆自己声音的免费 TTS 公有模型站点: GPTSoVITS: 只需 1 分钟语音即可训练一个自己的 TTS 模型。 5 秒数据就能模仿您,1 分钟的声音数据就能训练出一个高质量的 TTS 模型,完美克隆您的声音,且适配中文,界面易用。 主要特点: 零样本 TTS:输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练:只需 1 分钟的训练数据即可微调模型,提高声音相似度和真实感。模仿出来的声音会更加接近原声,听起来更自然。 跨语言支持:支持与训练数据集不同语言的推理,目前支持英语、日语和中文。 易于使用的界面:集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具,帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统:项目可以在不同的操作系统上安装和运行,包括 Windows。 预训练模型:项目提供了一些已经训练好的模型,您可以直接下载使用。 GitHub: 视频教程: 需要注意的是,Stuart 模型存在一些问题: 语音生成基本功能方面: 支持的语音时长不超过 30 秒,超过 30 秒的需要特别修复。 某些 audio seed 在念某些语句时会丢失一些语句。 Refine 过程中有些字会被丢失,比如“儿童节”在大概率会被 refine 成“童节”,丢失一个“儿”字。解决方法是跳过自动 refine,以手动修改文本的方式来控制停顿。 即使同一个 audio seed,如果使用不同的语句分段方式,或者不同的 text seed,生成的音色也不是很稳定,会给人感觉不是同一个人的声音。 代码 Bug: uv_break 等提示词可能会在 refine 之后缺少,甚至有时候在有中括号的情况下也会被念出来。 没提供微调 SFT 的接口。 本模型特别申明:不支持商用,仅用于学术研究。在生成的语音内,作者加了听不见的噪音水印,可以很容易的被检测出来是他的模型生成的语音。ChatTTS 还没放出训练代码无法自己克隆声音,作者还只放出了 4w 小时训练的版本,确保这个模型的声音能被 AI 检测出来。作者还留着一个 10w 小时训练数据的版本。
2025-02-07
声音克隆
GPTSoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架,具有以下特点和使用方法: 特点: 零样本 TTS:输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练:只需 1 分钟的训练数据即可微调模型,提高声音相似度和真实感,模仿出来的声音更接近原声且自然。 跨语言支持:支持与训练数据集不同语言的推理,目前支持英语、日语和中文。 易于使用的界面:集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具,帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统:项目可以在不同的操作系统上安装和运行,包括 Windows。 预训练模型:项目提供了一些已经训练好的模型,可直接下载使用。 使用: 先剪出音频,使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits 克隆声音,做出文案的音频。 使用 wav2lip 整合包,导入视频和音频,对口型得到视频。 基础 wav2lip+高清修复整合包下载地址:https://github.com/Rudrabha/Wav2Lip 产品:https://synclabs.so/ 注册 colab,启动准备:点击进入按照步骤注册即可,新建笔记本,运行脚本启动 GPTSo VITS。整个过程比较漫长,需要耐心等待,可以整个脚本一起运行,也可以一段一段运行。运行过程包括克隆项目代码库、进入项目目录、安装 Python 依赖包、安装系统依赖、下载 NLTK 资源、启动 Web UI。运行成功后出现 public URL,然后进行训练音频准备与上传。 开源项目:https://github.com/RVCBoss/GPTSoVITS
2025-01-23
免费克隆一个人的声音
以下是一些可以免费克隆一个人声音的工具和平台: PlayHT:https://play.ht/studio/ ,包含预设音色,可免费克隆一个音色,若想生成多个,删除上一个音色即可做新的。 Elevenlabs:https://elevenlabs.io/app ,包含预设音色,新用户 1 美元开通一个月会员,可使用克隆音色。 魔搭社区:https://www.modelscope.cn/home ,是一个模型开源社区及创新平台,由阿里巴巴通义实验室联合 CCF 开源发展委员会共同发起,包含各种声音模型,有开发经验的朋友可使用。 Dubbingx:https://dubbingx.com/ ,免费克隆音色,有桌面版,Mac、Window 均可用。 魔音工坊:https://www.moyin.com/
2025-01-21
集合视频翻译和音色克隆,照片说话功能为一体的平台,ViiTorai
很抱歉,目前没有关于“ViiTorai”这个集合视频翻译、音色克隆和照片说话功能为一体的平台的相关信息。
2025-01-12
语音克隆软件
以下为您介绍一些语音克隆相关的软件和技术: 1. CloneVoice:这是一款声音克隆工具,基于 Coqui AI TTS 模型,能够变换不同声音。它支持 16 种语言,包括中英日韩法,支持在线声音克隆,录音时长为 5 20 秒。链接:https://x.com/xiaohuggg/status/1739178877153681846?s=20 2. GPTSoVITS:这是一个声音克隆和文本到语音转换的开源 Python RAG 框架。只需 1 分钟语音即可训练一个自己的 TTS 模型。5 秒数据就能模仿您,1 分钟的声音数据就能训练出一个高质量的 TTS 模型,完美克隆您的声音。它完美适配中文,主要特点包括零样本 TTS、少量样本训练、跨语言支持、易于使用的界面、适用于不同操作系统以及提供预训练模型。GitHub:https://github.com/RVCBoss/GPTSoVITS 视频教程:https://bilibili.com/video/BV12g4y1m7Uw/
2025-01-09
现在AI领域做语音模型比较好的有哪几家?音色复刻做的比较好的有哪些
在 AI 领域,做语音模型较好的有阿里,其 CosyVoice 语音合成模型有以下特点: 精细控制:能生成符合性别、年龄和个性特征的声音。 自然模拟:可模拟笑声、咳嗽和呼吸等人类语音自然特征。 情感和风格:能够为声音添加情感和风格,更具表现力。 GitHub 链接:https://github.com/FunAudioLLM/CosyVoice 相关链接:https://x.com/imxiaohu/status/1818942399705710700 。但关于音色复刻做的比较好的,上述信息中未明确提及。
2025-01-19
我想有一个模仿名人的音色。
如果您想模仿名人的音色,一开始可能会觉得比较简单,只是字生成语音并选择不同的音色。音色通常基于网络红人训练,生成的语音音色会和对应的网络红人非常相像。您只要选择和自己需要非常接近的音色即可。如果没有接近的音色,也可以自己训练一个,参考 WaytoAGI 的知识库:。但真正准备开始用就会发现,只改音色可能不够用。我们真正说话或配音时,通常是边思考边说,因此会带着一些口头禅,如“嗯”“啊”,甚至更特别的“m3?”,说话过程中会有重音、停顿,且一句手写语句也不全相同。
2025-01-15
怎么文字转语音,用自己的音色
要实现文字转语音并使用自己的音色,以下是一些方法和相关信息: ChatTTS 增强版整合包:当文本内容很多时,可以勾选文本切割来处理,默认五十字符切割,还能将音频片段合并为一整段音频。切割的音频片段也支持增强处理。保存后的音频文件结构清晰,包括合成的一整段音频、增强处理后的整段音频、切分的音频片段等。该版本增加了批量处理功能,可上传按句换行格式的 TXT 文本。音色固定,可通过点击随机按钮多尝试找到满意音色,并将设置和音色种子保存到配置文件方便下次使用。 ElevenLabs 工具:能全自动将视频翻译成 29 种语言,更能克隆原视频里的声音来配音。 GPTSoVITS + BertVITS2:一开始可选不同音色,基于网络红人训练,音色与网络红人相像。若没有接近的音色,可自己训练,参考 WaytoAGI 的知识库: 。但实际使用中只改音色可能不够,如说话时的口头禅、重音、停顿等。
2024-11-06
克隆音色
以下是一些关于克隆音色的相关信息: 产品推荐: PlayHT:https://play.ht/studio/ ,包含预设音色,可免费克隆一个音色,若想生成多个,删除上一个音色即可做新的。 Elevenlabs:https://elevenlabs.io/app ,包含预设音色,新用户 1 美元开通一个月会员,可使用克隆音色。 魔搭社区:https://www.modelscope.cn/home ,是一个模型开源社区及创新平台,由阿里巴巴通义实验室联合 CCF 开源发展委员会发起,包含各种声音模型,有开发经验的朋友可使用。 Dubbingx:https://dubbingx.com/ ,免费克隆音色,有桌面版,Mac、Window 均可用。 魔音工坊:https://www.moyin.com/ 对口型相关: Runway:静态图片+音频文件,可生成对口型视频;动态视频+音频文件,可生成对口型视频,但需要消耗 20 点。 Pika:静态图片+音频文件,可生成对口型视频。 其他: 剪映:不能使用预录制的音频,只能现场朗读随机提供的文字材料收集音色信息,1 积分=2 个字,消耗积分生成配音,会员每个月赠送 1200 积分。 GPTSoVITS:开源 AI 克隆音色项目,部署难度较高,但效果很好,完整的教程和测评请查看:https://space.bilibili.com/5760446 。 Uberduck:克隆效果怪怪的,附官方使用指南:https://docs.uberduck.ai/guides/gettingstarted 。 ElevenLabs 推出全自动化的 AI 配音或视频翻译工具,可上传视频或粘贴视频链接,能全自动将视频翻译成 29 种语言,并克隆原视频声音。 豆包的音色模仿,读约 20 个字的句子,5 秒可生成相似音色,之后可用自己声音读生成的文字内容。 剪映也有新的声音克隆功能,效果不错。
2024-10-21
我指的是要用我的音色翻唱歌曲 用AI来克隆 推荐不错的吧
以下是为您推荐的关于用 AI 克隆音色翻唱歌曲的相关内容: ElevenLabs 推出了全自动化的 AI 配音或视频翻译工具。您只需上传视频或粘贴视频链接,它能在几十秒到几分钟内将视频翻译成 29 种语言,还能克隆原视频中的声音进行配音。群友瑞华测试发现,模仿豆包的音色读约 20 个字的句子,5 秒就能生成非常相似的音色,之后可用自己的声音读生成的文字内容。详情可参考:https://mp.weixin.qq.com/s/nHIPaq4evPbvSQS1ctYZrA 剪映也有新的声音克隆功能,卡兹克做了对比,效果不错。 Stuart:免费 AI 真人语音入门 GPTSoVITS + BertVITS2 。一开始只是字生成语音并能选不同音色,音色基于网络红人训练,与对应的网络红人非常相像,也可自己训练,参考: 但真正使用时会发现只改音色不够用,因为真正说话或配音时有口头禅、重音、停顿等。 一些提供 AI Mastering 的网站列表: https://www.landr.com/onlineaudiomastering/ (收费) https://emastered.com/ (收费) https://app.kits.ai/aimastering (收费,推荐,除母带处理,还有分轨、替换人声、人声克隆等功能) https://app.bakuage.com/ (免费!强烈推荐,本文主角!正常情况下不需要魔法,为保证流畅,建议打开魔法)
2024-08-27