Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

克隆音色

Answer

以下是一些关于克隆音色的相关信息：

  • 产品推荐：
    • PlayHT：https://play.ht/studio/ ，包含预设音色，可免费克隆一个音色，若想生成多个，删除上一个音色即可做新的。
    • Elevenlabs：https://elevenlabs.io/app ，包含预设音色，新用户 1 美元开通一个月会员，可使用克隆音色。
    • 魔搭社区：https://www.modelscope.cn/home ，是一个模型开源社区及创新平台，由阿里巴巴通义实验室联合 CCF 开源发展委员会发起，包含各种声音模型，有开发经验的朋友可使用。
    • Dubbingx：https://dubbingx.com/ ，免费克隆音色，有桌面版，Mac、Window 均可用。
    • 魔音工坊：https://www.moyin.com/
  • 对口型相关：
    • Runway：静态图片+音频文件，可生成对口型视频；动态视频+音频文件，可生成对口型视频，但需要消耗 20 点。
    • Pika：静态图片+音频文件，可生成对口型视频。
  • 其他：
    • 剪映：不能使用预录制的音频，只能现场朗读随机提供的文字材料收集音色信息，1 积分=2 个字，消耗积分生成配音，会员每个月赠送 1200 积分。
    • GPT-SoVITS：开源 AI 克隆音色项目，部署难度较高，但是效果很好，完整的教程和测评请查看原作者主页：https://space.bilibili.com/5760446 。
    • ElevenLabs 推出全自动化的 AI 配音或视频翻译工具，上传视频或粘贴视频链接，能全自动在几十秒到几分钟内将视频翻译成 29 种语言，还能克隆原视频里面的声音来配音。群友测试豆包的音色模仿，读大概 20 个字的句子，5 秒就可生成非常像的音色，之后可用自己的声音读生成的文字内容，声音音色模仿非常像。
Content generated by AI large model, please carefully verify (powered by aily)

References

《摩尔弗斯》制作分享

PlayHThttps://play.ht/studio/包含预设音色可免费克隆一个音色，如果想生成多个，把上一个音色删除就可以做新的Elevenlabshttps://elevenlabs.io/app包含预设音色新用户1美元开通一个月会员，可使用克隆音色魔搭社区https://www.modelscope.cn/home一个模型开源社区及创新平台，由阿里巴巴通义实验室（Institute for Intelligent Computing），联合CCF开源发展委员会，共同作为项目发起方。包含各种声音模型，有开发经验的朋友可使用Dubbingxhttps://dubbingx.com/免费克隆音色，有桌面版，Mac、Window均可用魔音工坊https://www.moyin.com/[heading2]对口型[content]Runway静态图片+音频文件，可生成对口型视频动态视频+音频文件，可生成对口型视频，但需要消耗20点Pika静态图片+音频文件，可生成对口型视频

AI配音/转录工具深度测评（含保姆级教程）

[heading1]支持克隆音色的平台[heading2]剪映丨10s用自己的音色生成配音[content][heading3]注意事项[content]不能使用预录制的音频，只能现场朗读随机提供的文字材料收集音色信息1积分=2个字，消耗积分生成配音，会员每个月赠送1200积分[heading3]基本功能[heading3]订阅价格[heading3]配音效果（音色采样自本文作者~）[content][JianYin_CN.MP3](https://bytedance.feishu.cn/space/api/box/stream/download/all/T63ZbZEW2ofbtAx2TI7cJc1HnJC?allow_redirect=1)[JianYin_EN.MP3](https://bytedance.feishu.cn/space/api/box/stream/download/all/OSYVbeg74onNi3xZpSNcKEO6nQf?allow_redirect=1)[heading2]GPT-SoVITS丨开源AI克隆音色项目[content][heading3]注意事项[content]部署难度较高，但是效果很好完整的教程和测评请直接查看原作者主页：https://space.bilibili.com/5760446[heading3]配音效果（音色采样自本文另一个AI~）[content][高速3.wav](https://bytedance.feishu.cn/space/api/box/stream/download/all/R8OAb8rFNo6HBOxN62ecJzoJngg?allow_redirect=1)

声音克隆合集

ElevenLabs推出一个全自动化的AI配音或视频翻译工具。你只需要上传视频或者粘贴视频链接，这个工具就能全自动的在几十秒到几分钟内将你的视频翻译成29种语言。更牛P的是直接克隆原视频里面的声音，来给你配音。群友瑞華测试：[2080_1706113804.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/HQ8sb2smBodPZpxOX2och4DmnIc?allow_redirect=1)[2081_1706113807.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/OVuvbds5XoxSjpx8lPmcUqtEnsg?allow_redirect=1)[2082_1706113840.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/VJzQbRRdZoOgSdx2eXicmfn8nHd?allow_redirect=1)[2083_1706113844.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/N2avbWxMZoVKxSxswcucQ27encf?allow_redirect=1)另外刚才有群友试了下豆包的音色模仿，读了大概20个字的句子，5s就可以生成非常像的音色，之后就可以用你自己的声音读生成的文字内容了。声音音色的模仿非常像了

Others are asking
中文语音克隆比较强的有哪些
以下是一些中文语音克隆能力较强的产品： XiaoHu.AI：通过 250,000 小时的中英双语数据训练，仅需 15 秒的声音即可完美克隆，包括音色和情感。基于 LLaMA 模型，支持从文本生成语音，或基于语音提示生成目标语音（保留情感特征）。参数规模有 Llasa1B（轻量级，适合资源受限硬件部署，链接：https://huggingface.co/HKUSTAudio/Llasa1B ）和 Llasa3B（更高性能，提供更复杂的语音生成，链接：https://huggingface.co/HKUSTAudio/Llasa3B ）。详细介绍：https://www.xiaohu.ai/c/a066c4/llasattsllama3233827b03e5f44a989bf29c06d43d11ce 。 开源产品： GPTSoVITS：https://github.com/RVCBoss/GPTSoVITS ，对中、英、日语言支持良好，需要 10 分钟左右干素材，瞬时 clone 功能未开放。 OpenVoice：https://github.com/myshellai/OpenVoice ，对中文支持较好，主打瞬时 clone，发展势头良好，一个月前测试时中文声音 clone 有英语味道。 商业产品： ElevenLab：https://elevenlabs.io ，支持最多语言种类，支持瞬时 clone，综合效果最好。 Reecho：https://reecho.ai ，中国团队，支持长音频和瞬时声音 clone，据说与火山引擎的声音 clone 技术同源。 自得语音：https://zideai.com ，中国团队，支持瞬时声音 clone 和声音定制，尚未测试。
2025-02-11
推荐免费的tts公有模型站点，需要支持中文，克隆自己的声音
以下为您推荐支持中文且能克隆自己声音的免费 TTS 公有模型站点： GPTSoVITS： 只需 1 分钟语音即可训练一个自己的 TTS 模型。 5 秒数据就能模仿您，1 分钟的声音数据就能训练出一个高质量的 TTS 模型，完美克隆您的声音，且适配中文，界面易用。 主要特点： 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 预训练模型：项目提供了一些已经训练好的模型，您可以直接下载使用。 GitHub： 视频教程： 需要注意的是，Stuart 模型存在一些问题： 语音生成基本功能方面： 支持的语音时长不超过 30 秒，超过 30 秒的需要特别修复。 某些 audio seed 在念某些语句时会丢失一些语句。 Refine 过程中有些字会被丢失，比如“儿童节”在大概率会被 refine 成“童节”，丢失一个“儿”字。解决方法是跳过自动 refine，以手动修改文本的方式来控制停顿。 即使同一个 audio seed，如果使用不同的语句分段方式，或者不同的 text seed，生成的音色也不是很稳定，会给人感觉不是同一个人的声音。 代码 Bug： uv_break 等提示词可能会在 refine 之后缺少，甚至有时候在有中括号的情况下也会被念出来。 没提供微调 SFT 的接口。 本模型特别申明：不支持商用，仅用于学术研究。在生成的语音内，作者加了听不见的噪音水印，可以很容易的被检测出来是他的模型生成的语音。ChatTTS 还没放出训练代码无法自己克隆声音，作者还只放出了 4w 小时训练的版本，确保这个模型的声音能被 AI 检测出来。作者还留着一个 10w 小时训练数据的版本。
2025-02-07
声音克隆
GPTSoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架，具有以下特点和使用方法： 特点： 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感，模仿出来的声音更接近原声且自然。 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 预训练模型：项目提供了一些已经训练好的模型，可直接下载使用。 使用： 先剪出音频，使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits 克隆声音，做出文案的音频。 使用 wav2lip 整合包，导入视频和音频，对口型得到视频。 基础 wav2lip+高清修复整合包下载地址：https://github.com/Rudrabha/Wav2Lip 产品：https://synclabs.so/ 注册 colab，启动准备：点击进入按照步骤注册即可，新建笔记本，运行脚本启动 GPTSo VITS。整个过程比较漫长，需要耐心等待，可以整个脚本一起运行，也可以一段一段运行。运行过程包括克隆项目代码库、进入项目目录、安装 Python 依赖包、安装系统依赖、下载 NLTK 资源、启动 Web UI。运行成功后出现 public URL，然后进行训练音频准备与上传。 开源项目：https://github.com/RVCBoss/GPTSoVITS
2025-01-23
免费克隆一个人的声音
以下是一些可以免费克隆一个人声音的工具和平台： PlayHT：https://play.ht/studio/ ，包含预设音色，可免费克隆一个音色，若想生成多个，删除上一个音色即可做新的。 Elevenlabs：https://elevenlabs.io/app ，包含预设音色，新用户 1 美元开通一个月会员，可使用克隆音色。 魔搭社区：https://www.modelscope.cn/home ，是一个模型开源社区及创新平台，由阿里巴巴通义实验室联合 CCF 开源发展委员会共同发起，包含各种声音模型，有开发经验的朋友可使用。 Dubbingx：https://dubbingx.com/ ，免费克隆音色，有桌面版，Mac、Window 均可用。 魔音工坊：https://www.moyin.com/
2025-01-21
集合视频翻译和音色克隆，照片说话功能为一体的平台，ViiTorai
很抱歉，目前没有关于“ViiTorai”这个集合视频翻译、音色克隆和照片说话功能为一体的平台的相关信息。
2025-01-12
语音克隆软件
以下为您介绍一些语音克隆相关的软件和技术： 1. CloneVoice：这是一款声音克隆工具，基于 Coqui AI TTS 模型，能够变换不同声音。它支持 16 种语言，包括中英日韩法，支持在线声音克隆，录音时长为 5 20 秒。链接：https://x.com/xiaohuggg/status/1739178877153681846?s=20 2. GPTSoVITS：这是一个声音克隆和文本到语音转换的开源 Python RAG 框架。只需 1 分钟语音即可训练一个自己的 TTS 模型。5 秒数据就能模仿您，1 分钟的声音数据就能训练出一个高质量的 TTS 模型，完美克隆您的声音。它完美适配中文，主要特点包括零样本 TTS、少量样本训练、跨语言支持、易于使用的界面、适用于不同操作系统以及提供预训练模型。GitHub：https://github.com/RVCBoss/GPTSoVITS 视频教程：https://bilibili.com/video/BV12g4y1m7Uw/
2025-01-09
现在AI领域做语音模型比较好的有哪几家？音色复刻做的比较好的有哪些
在 AI 领域，做语音模型较好的有阿里，其 CosyVoice 语音合成模型有以下特点： 精细控制：能生成符合性别、年龄和个性特征的声音。 自然模拟：可模拟笑声、咳嗽和呼吸等人类语音自然特征。 情感和风格：能够为声音添加情感和风格，更具表现力。 GitHub 链接：https://github.com/FunAudioLLM/CosyVoice 相关链接：https://x.com/imxiaohu/status/1818942399705710700 。但关于音色复刻做的比较好的，上述信息中未明确提及。
2025-01-19
我想有一个模仿名人的音色。
如果您想模仿名人的音色，一开始可能会觉得比较简单，只是字生成语音并选择不同的音色。音色通常基于网络红人训练，生成的语音音色会和对应的网络红人非常相像。您只要选择和自己需要非常接近的音色即可。如果没有接近的音色，也可以自己训练一个，参考 WaytoAGI 的知识库：。但真正准备开始用就会发现，只改音色可能不够用。我们真正说话或配音时，通常是边思考边说，因此会带着一些口头禅，如“嗯”“啊”，甚至更特别的“m3？”，说话过程中会有重音、停顿，且一句手写语句也不全相同。
2025-01-15
怎么文字转语音，用自己的音色
要实现文字转语音并使用自己的音色，以下是一些方法和相关信息： ChatTTS 增强版整合包：当文本内容很多时，可以勾选文本切割来处理，默认五十字符切割，还能将音频片段合并为一整段音频。切割的音频片段也支持增强处理。保存后的音频文件结构清晰，包括合成的一整段音频、增强处理后的整段音频、切分的音频片段等。该版本增加了批量处理功能，可上传按句换行格式的 TXT 文本。音色固定，可通过点击随机按钮多尝试找到满意音色，并将设置和音色种子保存到配置文件方便下次使用。 ElevenLabs 工具：能全自动将视频翻译成 29 种语言，更能克隆原视频里的声音来配音。 GPTSoVITS + BertVITS2：一开始可选不同音色，基于网络红人训练，音色与网络红人相像。若没有接近的音色，可自己训练，参考 WaytoAGI 的知识库： 。但实际使用中只改音色可能不够，如说话时的口头禅、重音、停顿等。
2024-11-06
克隆音色
以下是一些关于克隆音色的相关信息： 产品推荐： PlayHT：https://play.ht/studio/ ，包含预设音色，可免费克隆一个音色，若想生成多个，删除上一个音色即可做新的。 Elevenlabs：https://elevenlabs.io/app ，包含预设音色，新用户 1 美元开通一个月会员，可使用克隆音色。 魔搭社区：https://www.modelscope.cn/home ，是一个模型开源社区及创新平台，由阿里巴巴通义实验室联合 CCF 开源发展委员会发起，包含各种声音模型，有开发经验的朋友可使用。 Dubbingx：https://dubbingx.com/ ，免费克隆音色，有桌面版，Mac、Window 均可用。 魔音工坊：https://www.moyin.com/ 对口型相关： Runway：静态图片+音频文件，可生成对口型视频；动态视频+音频文件，可生成对口型视频，但需要消耗 20 点。 Pika：静态图片+音频文件，可生成对口型视频。 其他： 剪映：不能使用预录制的音频，只能现场朗读随机提供的文字材料收集音色信息，1 积分=2 个字，消耗积分生成配音，会员每个月赠送 1200 积分。 GPTSoVITS：开源 AI 克隆音色项目，部署难度较高，但效果很好，完整的教程和测评请查看：https://space.bilibili.com/5760446 。 Uberduck：克隆效果怪怪的，附官方使用指南：https://docs.uberduck.ai/guides/gettingstarted 。 ElevenLabs 推出全自动化的 AI 配音或视频翻译工具，可上传视频或粘贴视频链接，能全自动将视频翻译成 29 种语言，并克隆原视频声音。 豆包的音色模仿，读约 20 个字的句子，5 秒可生成相似音色，之后可用自己声音读生成的文字内容。 剪映也有新的声音克隆功能，效果不错。
2024-10-21
我指的是要用我的音色翻唱歌曲 用AI来克隆 推荐不错的吧
以下是为您推荐的关于用 AI 克隆音色翻唱歌曲的相关内容： ElevenLabs 推出了全自动化的 AI 配音或视频翻译工具。您只需上传视频或粘贴视频链接，它能在几十秒到几分钟内将视频翻译成 29 种语言，还能克隆原视频中的声音进行配音。群友瑞华测试发现，模仿豆包的音色读约 20 个字的句子，5 秒就能生成非常相似的音色，之后可用自己的声音读生成的文字内容。详情可参考：https://mp.weixin.qq.com/s/nHIPaq4evPbvSQS1ctYZrA 剪映也有新的声音克隆功能，卡兹克做了对比，效果不错。 Stuart：免费 AI 真人语音入门 GPTSoVITS + BertVITS2 。一开始只是字生成语音并能选不同音色，音色基于网络红人训练，与对应的网络红人非常相像，也可自己训练，参考： 但真正使用时会发现只改音色不够用，因为真正说话或配音时有口头禅、重音、停顿等。 一些提供 AI Mastering 的网站列表： https://www.landr.com/onlineaudiomastering/ （收费） https://emastered.com/ （收费） https://app.kits.ai/aimastering （收费，推荐，除母带处理，还有分轨、替换人声、人声克隆等功能） https://app.bakuage.com/ （免费！强烈推荐，本文主角！正常情况下不需要魔法，为保证流畅，建议打开魔法）
2024-08-27