Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

声音克隆

Answer

GPT-SoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架，具有以下特点和使用方法：

  • 特点：
    • 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。
    • 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感，模仿出来的声音更接近原声且自然。
    • 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。
    • 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。
    • 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。
    • 预训练模型：项目提供了一些已经训练好的模型，可直接下载使用。
  • 使用：
    • 开源数字人组合方案中，第一步先剪出音频，使用 https://elevenlabs.io/speech-synthesis 或使用 GPT-sovits 克隆声音，做出文案的音频。第二步使用 wav2lip 整合包，导入视频和音频，对口型得到视频。
    • GPT-SoVITS 实现声音克隆的具体步骤：
      • 前置数据获取处理：选择音频，开启切割；有噪音时，进行降噪处理；降噪处理完成，开启离线 ASR。
      • GPT-Sowits-TTS：训练集格式化，开启一键三连并耐心等待；微调训练，开启 SoVITS 训练和 GPT 训练；推理，开始推理 - 刷新模型 - 选择微调后的模型 - yoyo。成功后会出现新的 URL，说明自己的声音微调完毕。
      • 声音复刻：开启声音复刻之旅，可实现跨多语种语言的声音，如 AIyoyo 普通话 - 满江红、AIyoyo 粤语版 - 满江红。
  • 相关资源：
    • GitHub：https://github.com/RVC-Boss/GPT-SoVITS
    • 视频教程：https://bilibili.com/video/BV12g4y1m7Uw/
    • 基础 wav2lip+高清修复整合包下载地址：https://github.com/Rudrabha/Wav2Lip
    • 产品：https://synclabs.so/
Content generated by AI large model, please carefully verify (powered by aily)

References

GPT-SoVITS实现声音克隆

GPT-SoVITS：只需1分钟语音即可训练一个自己的TTS模型。GPT-SoVITS是一个声音克隆和文本到语音转换的开源Python RAG框架。5秒数据就能模仿你，1分钟的声音数据就能训练出一个高质量的TTS模型，完美克隆你的声音！根据演示来看完美适配中文，应该是目前中文支持比较好的模型。界面也易用。主要特点：1、零样本TTS：输入5秒的声音样本即可体验即时的文本到语音转换。2、少量样本训练：只需1分钟的训练数据即可微调模型，提高声音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。3、易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和GPT/SoVITS模型。4、适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括Windows。5、预训练模型：项目提供了一些已经训练好的模型，你可以直接下载使用。GitHub：[https://github.com/RVC-Boss/GPT-SoVITS](https://t.co/BpHX4SlsO3)[…](https://t.co/BpHX4SlsO3)视频教程：[https://bilibili.com/video/BV12g4y1m7Uw/](https://t.co/Uo7WtSSUGO)[…](https://t.co/Uo7WtSSUGO)[[twi]@小互(@_twi(1).mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/RymsbKdweody4Cxwtsqc7Yuenxd?allow_redirect=1)使用：

开源：数字人组合方案

先剪出音频，使用https://elevenlabs.io/speech-synthesis或使用GPT-sovits[GPT-SoVITS实现声音克隆](https://waytoagi.feishu.cn/wiki/SVyUwotn7itV1wkawZCc7FEEnGg)克隆声音，做出文案的音频。[heading2]第二步[content]使用wav2lip整合包，导入视频和音频，对口型得到视频。基础wav2lip+高清修复整合包下载地址https://github.com/Rudrabha/Wav2Lip这就是目前的本地跑数字人的方案，效果都差不多，都是用的wav2lip产品https://synclabs.so/

GPT-SoVITS-实现 AIyoyo 声音克隆

[heading4]有噪音时，进行降噪处理[content][heading4]降噪处理完成，开启离线ASR[content][heading3]三、GPT-Sowits-TTS[heading4]训练集格式化：开启一键三连，耐心等待即可[content]1.[heading4]微调训练[content]1.开启SoVITS训练，&开启GPT训练[heading4]推理[content]1.开始推理-刷新模型-选择微调后的模型-yoyo[heading4]成功[content]出现新的URL，说明你自己的声音微调完毕，然后可以进行啦[heading3]四、声音复刻[heading4]开启声音复刻之旅吧[content]1.实现跨多语种语言的声音，不是梦[heading4]实践的样本[content]AIyoyo普通话-满江红[满江红普通话。wav](https://drive.weixin.qq.com/s?k=AJMA1Qc4AAwbkbzYu0AQ8AbQYrAGo)AIyoyo粤语版-满江红[满江红粤语。wav](https://drive.weixin.qq.com/s?k=AJMA1Qc4AAwsRaRfHrAQ8AbQYrAGo)

Others are asking
声音克隆
GPTSoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架，具有以下特点和使用方法： 特点： 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感，模仿出的声音更接近原声且自然。 跨语言支持：支持英语、日语和中文等不同语言的推理。 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，方便初学者创建训练数据集和模型。 适用于不同操作系统：可在包括 Windows 在内的多种操作系统上安装和运行。 提供预训练模型：可直接下载使用。 使用： 开源数字人组合方案中，第一步先剪出音频，使用 https://elevenlabs.io/speechsynthesis 或 GPTSoVITS 克隆声音，做出文案的音频。 前置数据获取处理时，选择音频并切割，有噪音时进行降噪处理，完成降噪后开启离线 ASR。 在 GPTSowitsTTS 中，进行训练集格式化，包括微调训练（开启 SoVITS 训练和 GPT 训练）和推理（开始推理、刷新模型、选择微调后的模型），成功后会出现新的 URL，表示声音微调完毕。 可以实现跨多语种语言的声音复刻，例如 AIyoyo 普通话和粤语版的《满江红》。 GitHub 地址： 视频教程： 基础 wav2lip+高清修复整合包下载地址： 相关产品：
2025-02-25
语音克隆
GPTSoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架，具有以下特点和使用步骤： 特点： 1. 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 2. 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感，模仿出来的声音更接近原声且更自然。 3. 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 4. 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 5. 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 6. 提供预训练模型：项目提供了一些已经训练好的模型，可直接下载使用。 使用步骤： 1. 前置数据获取处理： 选择音频，开启切割。 有噪音时，进行降噪处理。 降噪处理完成，开启离线 ASR。 2. GPTSowitsTTS： 训练集格式化：开启一键三连，耐心等待。 微调训练：开启 SoVITS 训练和 GPT 训练。 推理：开始推理 刷新模型 选择微调后的模型 yoyo。 3. 声音复刻：开启声音复刻之旅，可实现跨多语种语言的声音。 相关资源： GitHub：https://github.com/RVCBoss/GPTSoVITS 视频教程：https://bilibili.com/video/BV12g4y1m7Uw/ 注册 colab 并启动准备：点击进入按照步骤注册即可 https://colab.research.google.com/scrollTo=Wf5KrEb6vrkR&uniqifier=2 ，新建笔记本，运行脚本启动 GPTSo VITS，整个过程比较漫长，需要耐心等待，可以整个脚本一起运行，也可以一段一段运行； https://colab.research.google.com/drive/1Z4p4NTR7GYlQTn_MdMen9XgulV0CHza?usp=sharing 。 实践的样本： AIyoyo 普通话 满江红 AIyoyo 粤语版 满江红
2025-02-25
声音克隆
GPTSoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架，具有以下特点和优势： 1. 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 2. 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感，模仿出来的声音更接近原声且自然。 3. 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 4. 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 5. 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 6. 预训练模型：项目提供了一些已经训练好的模型，可直接下载使用。 使用方法： 1. 开源的数字人组合方案中，第一步先剪出音频，使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits 克隆声音，做出文案的音频。 2. 第二步使用 wav2lip 整合包，导入视频和音频，对口型得到视频。基础 wav2lip+高清修复整合包下载地址为 https://github.com/Rudrabha/Wav2Lip 。 在进行 GPTSoVITS 声音克隆时： 1. 前置数据获取处理：选择音频，开启切割。有噪音时，进行降噪处理。降噪处理完成，开启离线 ASR。 2. GPTSowitsTTS：训练集格式化时开启一键三连，耐心等待。微调训练时开启 SoVITS 训练和 GPT 训练。推理时开始推理，刷新模型，选择微调后的模型。成功时会出现新的 URL，说明声音微调完毕。 3. 声音复刻：可以实现跨多语种语言的声音，例如 AIyoyo 普通话满江红（https://drive.weixin.qq.com/s?k=AJMA1Qc4AAwsRaRfHrAQ8AbQYrAGo）。 GitHub 地址： 视频教程：
2025-02-23
中文语音克隆比较强的有哪些
以下是一些中文语音克隆能力较强的产品： XiaoHu.AI：通过 250,000 小时的中英双语数据训练，仅需 15 秒的声音即可完美克隆，包括音色和情感。基于 LLaMA 模型，支持从文本生成语音，或基于语音提示生成目标语音（保留情感特征）。参数规模有 Llasa1B（轻量级，适合资源受限硬件部署，链接：https://huggingface.co/HKUSTAudio/Llasa1B ）和 Llasa3B（更高性能，提供更复杂的语音生成，链接：https://huggingface.co/HKUSTAudio/Llasa3B ）。详细介绍：https://www.xiaohu.ai/c/a066c4/llasattsllama3233827b03e5f44a989bf29c06d43d11ce 。 开源产品： GPTSoVITS：https://github.com/RVCBoss/GPTSoVITS ，对中、英、日语言支持良好，需要 10 分钟左右干素材，瞬时 clone 功能未开放。 OpenVoice：https://github.com/myshellai/OpenVoice ，对中文支持较好，主打瞬时 clone，发展势头良好，一个月前测试时中文声音 clone 有英语味道。 商业产品： ElevenLab：https://elevenlabs.io ，支持最多语言种类，支持瞬时 clone，综合效果最好。 Reecho：https://reecho.ai ，中国团队，支持长音频和瞬时声音 clone，据说与火山引擎的声音 clone 技术同源。 自得语音：https://zideai.com ，中国团队，支持瞬时声音 clone 和声音定制，尚未测试。
2025-02-11
推荐免费的tts公有模型站点，需要支持中文，克隆自己的声音
以下为您推荐支持中文且能克隆自己声音的免费 TTS 公有模型站点： GPTSoVITS： 只需 1 分钟语音即可训练一个自己的 TTS 模型。 5 秒数据就能模仿您，1 分钟的声音数据就能训练出一个高质量的 TTS 模型，完美克隆您的声音，且适配中文，界面易用。 主要特点： 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 预训练模型：项目提供了一些已经训练好的模型，您可以直接下载使用。 GitHub： 视频教程： 需要注意的是，Stuart 模型存在一些问题： 语音生成基本功能方面： 支持的语音时长不超过 30 秒，超过 30 秒的需要特别修复。 某些 audio seed 在念某些语句时会丢失一些语句。 Refine 过程中有些字会被丢失，比如“儿童节”在大概率会被 refine 成“童节”，丢失一个“儿”字。解决方法是跳过自动 refine，以手动修改文本的方式来控制停顿。 即使同一个 audio seed，如果使用不同的语句分段方式，或者不同的 text seed，生成的音色也不是很稳定，会给人感觉不是同一个人的声音。 代码 Bug： uv_break 等提示词可能会在 refine 之后缺少，甚至有时候在有中括号的情况下也会被念出来。 没提供微调 SFT 的接口。 本模型特别申明：不支持商用，仅用于学术研究。在生成的语音内，作者加了听不见的噪音水印，可以很容易的被检测出来是他的模型生成的语音。ChatTTS 还没放出训练代码无法自己克隆声音，作者还只放出了 4w 小时训练的版本，确保这个模型的声音能被 AI 检测出来。作者还留着一个 10w 小时训练数据的版本。
2025-02-07
声音克隆
GPTSoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架，具有以下特点和使用方法： 特点： 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感，模仿出来的声音更接近原声且自然。 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 预训练模型：项目提供了一些已经训练好的模型，可直接下载使用。 使用： 先剪出音频，使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits 克隆声音，做出文案的音频。 使用 wav2lip 整合包，导入视频和音频，对口型得到视频。 基础 wav2lip+高清修复整合包下载地址：https://github.com/Rudrabha/Wav2Lip 产品：https://synclabs.so/ 注册 colab，启动准备：点击进入按照步骤注册即可，新建笔记本，运行脚本启动 GPTSo VITS。整个过程比较漫长，需要耐心等待，可以整个脚本一起运行，也可以一段一段运行。运行过程包括克隆项目代码库、进入项目目录、安装 Python 依赖包、安装系统依赖、下载 NLTK 资源、启动 Web UI。运行成功后出现 public URL，然后进行训练音频准备与上传。 开源项目：https://github.com/RVCBoss/GPTSoVITS
2025-01-23
RVC声音模型训练
RVC 声音模型训练是将输入音频转换为训练的声音，即变声。它对训练素材量级要求较高，最少需要 20 分钟的素材才能达到理想效果，并且可以选择是否关联音高，以区分说话和唱歌两个不同场景。 在节目《马上封喉》中，负责马季老师语音生成部分的人员提到，AI 语音主要涉及 TTS（文本转语音）和 RVC 两项技术。此次的 AI 马季主要以 gptsovits 为主。 在 AI 春晚《西游不能停》的创作过程中，尝试了用 RVC 进行 vocal 变声的两种办法，但效果均不理想。第一种方法是训练声音模型后直接变声，存在变声后 AI 味儿太重、丢失原有强调的问题；第二种方法是训练声音模型，自己录 rap 后再变声，但需要在录音时尽量模仿还原出特点和感觉，这涉及到专业配音技巧，超出了能力范围。此外，八戒和沙僧声音的训练文件丢失，效果也不理想。
2025-02-13
我需要一个拥有自己声音模型的文字转语音的AI
以下为您推荐拥有自己声音模型的文字转语音的 AI 工具： 1. Eleven Labs：https://elevenlabs.io/ ，是一款功能强大且多功能的 AI 语音软件，能高保真地呈现人类语调和语调变化，并能根据上下文调整表达方式。 2. Speechify：https://speechify.com/ ，是一款人工智能驱动的文本转语音工具，可作为多种平台的应用使用，用于收听网页、文档、PDF 和有声读物等。 3. Azure AI Speech Studio：https://speech.microsoft.com/portal ，提供支持 100 多种语言和方言的语音转文本和文本转语音功能，还提供了自定义的语音模型。 4. Voicemaker：https://voicemaker.in/ ，可将文本转换为各种区域语言的语音，并允许创建自定义语音模型。 另外，在算法驱动的数字人中，TTS（文字转语音）是其中的一个核心环节，数字人依靠 LLM 生成的输出是文字，为了保持语音交互一致性，需要将文字转换为语音。在游戏《神谕》中，ChatGPT 返回的中文文字，为提升交互体验，也通过 TTS 服务选择合适的声音播放出来，这里使用的是内部自研的 TTS 以及代码平台。 内容由 AI 大模型生成，请仔细甄别。
2025-02-10
如何复刻我的声音
以下是复刻声音的相关步骤和信息： 1. 前置数据获取处理 选择音频，开启切割。 有噪音时，进行降噪处理。 降噪处理完成，开启离线 ASR。 2. GPTSowitsTTS 训练集格式化：开启一键三连，耐心等待即可。 微调训练：开启 SoVITS 训练和 GPT 训练。 推理：开始推理 刷新模型 选择微调后的模型 yoyo。 3. 声音复刻 开启声音复刻之旅。 实现跨多语种语言的声音。 实践的样本：AIyoyo 普通话 满江红 GPTSoVITS 的特点： 1. 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 2. 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。 3. 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 4. 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 5. 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 6. 预训练模型：项目提供了一些已经训练好的模型，你可以直接下载使用。 GitHub： 视频教程： 使用技巧： 1. 更换音色：一开始会感觉很简单，就只是字生成语音，能选的也就是不同的音色。音色因为基于网络红人训练，因此生成的语音音色会和对应的网络红人非常相像。只要选择和自己需要非常接近的音色即可。如果没有接近的音色，也可以自己训练一个，参考 WaytoAGI 的知识库：
2025-02-08