Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

声音复刻

Answer

声音复刻主要通过 GPT-SoVITS 来实现，以下是相关步骤和信息：

  1. 前置数据获取处理：
    • 选择音频并进行切割。
    • 若有噪音，进行降噪处理。
    • 降噪处理完成后，开启离线 ASR。
  2. GPT-Sowits-TTS：
    • 训练集格式化：开启一键三连，耐心等待。
    • 微调训练：开启 SoVITS 训练和 GPT 训练。
    • 推理：开始推理，刷新模型，选择微调后的模型（如 yoyo）。
  3. 声音复刻：开启声音复刻之旅，可实现跨多语种语言的声音。
  4. 实践的样本：

GPT-SoVITS 是一个声音克隆和文本到语音转换的开源 Python RAG 框架，具有以下特点：

  1. 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。
  2. 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感。
  3. 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。
  4. 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。
  5. 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。
  6. 预训练模型：项目提供了一些已经训练好的模型，你可以直接下载使用。

GitHub：https://github.com/RVC-Boss/GPT-SoVITS 视频教程：https://bilibili.com/video/BV12g4y1m7Uw/

此外，还有以下开源 TTS 数据可供参考： |汇总|大量语音数据的汇总|[https://github.com/RevoSpeechTech/speech-datasets-collection] |----|----|----| |TTS|WenetSpeech4TTS|12,800 小时的配对音频 - 文本数据|[https://huggingface.co/datasets/Wenetspeech4TTS/WenetSpeech4TTS] |TTS|[米哈游 - 星穹铁道]|包含中文和日语英文韩语，请注意版权问题！|[https://github.com/AI-Hobbyist/StarRail_Datasets] |TTS|[米哈游 - 原神]|包含中文和日语英文韩语，请注意版权问题！|[https://github.com/AI-Hobbyist/Genshin_Datasets] |TTS|赛博朋克 2077|请注意版权问题！|[https://openi.pcl.ac.cn/Stardust_minus/fish-speech/datasets] |TTS-中文|[baker 标贝女声]|12 小时|[https://www.data-baker.com/open_source.html] |TTS-中文|[Aishell-3]|85 小时多说话人数据|[http://www.aishelltech.com/aishell_3] |TTS-中文|[DiDiSpeech]|500 人 60 小时，但目前已经 404 无法再获取|[https://outreach.didichuxing.com/research/opendata/] |TTS-中文|[OpenSLR]|提供各种语言的合成、识别等语料|[https://www.openslr.org/resources.php] |TTS-中文|zhvoice|3200 说话人 900 小时，用于声音复刻，合成，识别等|[https://github.com/fighting41love/zhvoice] |TTS-英文|LibriTTS|基于 Librispeech 筛选而来，更适合用于做 TTS，采样率 24k，大约 585 小时 2,456 人，其中的 train-clean-100 包含 53.8 小时/247 个发言人|[https://www.openslr.org/60/] |TTS-英文|LJ Speech|大约 24 小时|[https://keithito.com/LJ-Speech-Dataset/]

Content generated by AI large model, please carefully verify (powered by aily)

References

GPT-SoVITS-实现 AIyoyo 声音克隆

1.[heading4]微调训练[content]1.开启SoVITS训练，&开启GPT训练[heading4]推理[content]1.开始推理-刷新模型-选择微调后的模型-yoyo[heading4]成功[content]出现新的URL，说明你自己的声音微调完毕，然后可以进行啦[heading3]四、声音复刻[heading4]开启声音复刻之旅吧[content]1.实现跨多语种语言的声音，不是梦[heading4]实践的样本[content]AIyoyo普通话-满江红[满江红普通话。wav](https://drive.weixin.qq.com/s?k=AJMA1Qc4AAwbkbzYu0AQ8AbQYrAGo)AIyoyo粤语版-满江红[满江红粤语。wav](https://drive.weixin.qq.com/s?k=AJMA1Qc4AAwsRaRfHrAQ8AbQYrAGo)[heading2]五、关于我[content]大家好～我是yoyo🐱🐈坐标北京，铲屎官一枚🫡AIGC的小白，持续进阶成长，致力于打造一个自己的智能体☕️以上期待能够给到各位一点启发感谢家属带我在“[通往AGI之路](https://waytoagi.feishu.cn/wiki/QPe5w5g7UisbEkkow8XcDmOpn8e)”打开新世界，接触有趣的事情，结识有趣的人

GPT-SoVITS实现声音克隆

GPT-SoVITS：只需1分钟语音即可训练一个自己的TTS模型。GPT-SoVITS是一个声音克隆和文本到语音转换的开源Python RAG框架。5秒数据就能模仿你，1分钟的声音数据就能训练出一个高质量的TTS模型，完美克隆你的声音！根据演示来看完美适配中文，应该是目前中文支持比较好的模型。界面也易用。主要特点：1、零样本TTS：输入5秒的声音样本即可体验即时的文本到语音转换。2、少量样本训练：只需1分钟的训练数据即可微调模型，提高声音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。3、易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和GPT/SoVITS模型。4、适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括Windows。5、预训练模型：项目提供了一些已经训练好的模型，你可以直接下载使用。GitHub：[https://github.com/RVC-Boss/GPT-SoVITS](https://t.co/BpHX4SlsO3)[…](https://t.co/BpHX4SlsO3)视频教程：[https://bilibili.com/video/BV12g4y1m7Uw/](https://t.co/Uo7WtSSUGO)[…](https://t.co/Uo7WtSSUGO)[[twi]@小互(@_twi(1).mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/RymsbKdweody4Cxwtsqc7Yuenxd?allow_redirect=1)使用：

TTS 数据整理

|汇总||大量语音数据的汇总|https://github.com/RevoSpeechTech/speech-datasets-collection||-|-|-|-||TTS|WenetSpeech4TTS|12,800小时的配对音频-文本数据|[https://huggingface.co/datasets/Wenetspeech4TTS/WenetSpeech4TTS](https://huggingface.co/datasets/Wenetspeech4TTS/WenetSpeech4TTS)||TTS|[米哈游-星穹铁道](https://github.com/AI-Hobbyist/StarRail_Datasets)|包含中文和日语英文韩语，请注意版权问题！|https://github.com/AI-Hobbyist/StarRail_Datasets||TTS|[米哈游-原神](https://github.com/AI-Hobbyist/Genshin_Datasets)|包含中文和日语英文韩语，请注意版权问题！|[https://github.com/AI-Hobbyist/Genshin_Datasets](https://github.com/AI-Hobbyist/Genshin_Datasets)||TTS|赛博朋克2077|请注意版权问题！|[https://openi.pcl.ac.cn/Stardust_minus/fish-speech/datasets](https://openi.pcl.ac.cn/Stardust_minus/fish-speech/datasets)||TTS-中文|[baker标贝女声](https://www.data-baker.com/open_source.html)|12小时|[https://www.data-baker.com/open_source.html](https://www.data-baker.com/open_source.html)||TTS-中文|[Aishell-3](http://www.aishelltech.com/aishell_3)|85小时多说话人数据|[http://www.aishelltech.com/aishell_3](http://www.aishelltech.com/aishell_3)||TTS-中文|[DiDiSpeech](https://outreach.didichuxing.com/research/opendata/)|500人60小时，但目前已经404无法再获取|[https://outreach.didichuxing.com/research/opendata/](https://outreach.didichuxing.com/research/opendata/)||TTS-中文|[OpenSLR](https://www.openslr.org/resources.php)|提供各种语言的合成、识别等语料|https://www.openslr.org/resources.php||TTS-中文|zhvoice|3200说话人900小时，用于声音复刻，合成，识别等|[https://github.com/fighting41love/zhvoice](https://github.com/fighting41love/zhvoice)||TTS-英文|LibriTTS|基于Librispeech筛选而来，更适合用于做TTS，采样率24k，大约585小时2,456人，其中的train-clean-100包含53.8小时/247个发言人|[https://www.openslr.org/60/](https://www.openslr.org/60/)||TTS-英文|LJ Speech|大约24小时|[https://keithito.com/LJ-Speech-Dataset/](https://keithito.com/LJ-Speech-Dataset/)|

Others are asking
如何复刻我的声音
以下是复刻声音的相关步骤和信息： 1. 前置数据获取处理 选择音频，开启切割。 有噪音时，进行降噪处理。 降噪处理完成，开启离线 ASR。 2. GPTSowitsTTS 训练集格式化：开启一键三连，耐心等待即可。 微调训练：开启 SoVITS 训练和 GPT 训练。 推理：开始推理 刷新模型 选择微调后的模型 yoyo。 3. 声音复刻 开启声音复刻之旅。 实现跨多语种语言的声音。 实践的样本：AIyoyo 普通话 满江红 GPTSoVITS 的特点： 1. 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 2. 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。 3. 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 4. 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 5. 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 6. 预训练模型：项目提供了一些已经训练好的模型，你可以直接下载使用。 GitHub： 视频教程： 使用技巧： 1. 更换音色：一开始会感觉很简单，就只是字生成语音，能选的也就是不同的音色。音色因为基于网络红人训练，因此生成的语音音色会和对应的网络红人非常相像。只要选择和自己需要非常接近的音色即可。如果没有接近的音色，也可以自己训练一个，参考 WaytoAGI 的知识库：
2025-02-08
现在AI领域做语音模型比较好的有哪几家？音色复刻做的比较好的有哪些
在 AI 领域，做语音模型较好的有阿里，其 CosyVoice 语音合成模型有以下特点： 精细控制：能生成符合性别、年龄和个性特征的声音。 自然模拟：可模拟笑声、咳嗽和呼吸等人类语音自然特征。 情感和风格：能够为声音添加情感和风格，更具表现力。 GitHub 链接：https://github.com/FunAudioLLM/CosyVoice 相关链接：https://x.com/imxiaohu/status/1818942399705710700 。但关于音色复刻做的比较好的，上述信息中未明确提及。
2025-01-19
声音复刻
声音复刻相关知识如下： GPTSoVITS 实现声音克隆： 只需 1 分钟语音即可训练一个自己的 TTS 模型，是一个声音克隆和文本到语音转换的开源 Python RAG 框架。 5 秒数据就能模仿，1 分钟声音数据可训练出高质量 TTS 模型，完美克隆声音，适配中文，界面易用。 主要特点包括零样本 TTS、少量样本训练、跨语言支持、易用界面、适用于不同操作系统、提供预训练模型。 GitHub 链接： 视频教程： 前置数据获取处理： 选择音频，开启切割。 有噪音时，进行降噪处理。 降噪处理完成，开启离线 ASR。 GPTSowitsTTS： 训练集格式化：开启一键三连，耐心等待。 微调训练：开启 SoVITS 训练和 GPT 训练。 推理：开始推理 刷新模型 选择微调后的模型 yoyo。 成功后出现新的 URL 表明声音微调完毕。 声音复刻之旅：可实现跨多语种语言的声音。 实践样本：AIyoyo 普通话 满江红 TTS 数据整理： 开源 TTS 数据汇总： 大量语音数据的汇总：https://github.com/RevoSpeechTech/speechdatasetscollection WenetSpeech4TTS：12,800 小时的配对音频 文本数据， 米哈游 星穹铁道：包含中文和日语英文韩语，请注意版权问题！https://github.com/AIHobbyist/StarRail_Datasets 米哈游 原神：包含中文和日语英文韩语，请注意版权问题！ 赛博朋克 2077：请注意版权问题！ baker 标贝女声：12 小时， Aishell3：85 小时多说话人数据， DiDiSpeech：500 人 60 小时，但目前已经 404 无法再获取， OpenSLR：提供各种语言的合成、识别等语料，https://www.openslr.org/resources.php zhvoice：3200 说话人 900 小时，用于声音复刻，合成，识别等， LibriTTS：基于 Librispeech 筛选而来，更适合用于做 TTS，采样率 24k，大约 585 小时 2,456 人，其中的 trainclean100 包含 53.8 小时/247 个发言人， LJ Speech：大约 24 小时，
2025-01-10
声音复刻
声音复刻相关内容如下： GPTSoVITS 实现 AIyoyo 声音克隆： 前置数据获取处理：选择音频，开启切割；有噪音时，进行降噪处理；降噪处理完成，开启离线 ASR。 GPTSowitsTTS：训练集格式化需开启一键三连，耐心等待；包括微调训练、推理，推理时开始推理刷新模型选择微调后的模型yoyo，成功后会出现新的 URL 表明声音微调完毕。 声音复刻：可以开启声音复刻之旅，能够实现跨多语种语言的声音。 实践的样本：AIyoyo 普通话满江红 。 GPTSoVITS 实现声音克隆： GPTSoVITS 是一个声音克隆和文本到语音转换的开源 Python RAG 框架。只需 1 分钟语音即可训练一个自己的 TTS 模型，5 秒数据就能模仿，1 分钟的声音数据就能训练出高质量的 TTS 模型，完美克隆声音。主要特点包括零样本 TTS、少量样本训练、跨语言支持、易于使用的界面、适用于不同操作系统、提供预训练模型。 GitHub： 。 TTS 数据整理： 开源 TTS 数据汇总： 大量语音数据的汇总： TTS WenetSpeech4TTS：12,800 小时的配对音频 文本数据： TTS 米哈游 星穹铁道：包含中文和日语英文韩语，请注意版权问题！ TTS 米哈游 原神：包含中文和日语英文韩语，请注意版权问题！ TTS 赛博朋克 2077：请注意版权问题！ TTS 中文 baker 标贝女声：12 小时 TTS 中文 Aishell3：85 小时多说话人数据 TTS 中文 DiDiSpeech：500 人 60 小时，但目前已经 404 无法再获取 TTS 中文 OpenSLR：提供各种语言的合成、识别等语料 TTS 中文 zhvoice：3200 说话人 900 小时，用于声音复刻，合成，识别等 TTS 英文 LibriTTS：基于 Librispeech 筛选而来，更适合用于做 TTS，采样率 24k，大约 585 小时 2,456 人，其中的 trainclean100 包含 53.8 小时/247 个发言人 TTS 英文 LJ Speech：大约 24 小时
2024-12-16
AI复刻怎么做
AI 复刻，以吴恩达开源的 AI 翻译项目 Coze 为例，主要步骤如下： 1. 初步的翻译大模型节点：选择一个大模型对源语言文本进行初始翻译，如选择 MiniMax 大模型，提示词可参考吴恩达教授的相关内容。 2. 选择器节点：判断用户填写的要求中是否有特殊的语言翻译特色或口音。 3. 反思优化的大模型节点：配置反思优化的提示词，告诉模型如何思考和优化翻译结果。提示词的设计至关重要，可参考项目给出的示例提示词，也可根据自身经验和需求改进。 4. 结合反思优化建议再翻译的大模型节点：结合反思优化的建议和初始翻译结果再次进行翻译，以获得更好的翻译结果。 此外，该项目还具有以下特点： 1. 反思优化：通过对自身的反思和优化来提升翻译质量。 2. 使用工具：借助外部工具和资源。 3. 计划：预先制定好 Agent 的实现计划。 4. 多 Agent 合作：通过多个 Agent 之间的合作实现目标。 同时，项目还引入了一些创新点，如分块处理（将长文本拆分成若干小块分别进行翻译和优化，提高处理效率和局部优化效果）和语言习惯指定。 首先，在 Coze 上新建一个工作流，逐步导入核心流程。工作流分为若干节点，每个节点完成特定任务，组合形成完整翻译流程。运行测试时可看到每个节点的执行过程和结果。开始节点需选择翻译的源语言和目标语言，还可设置其他参数，如翻译的语言特色等，建议根据实际情况调整。
2024-09-23
如果让 ai 复刻《千里江山图》的局部细节，该如何写提示词
要让AI复刻《千里江山图》的局部细节，需要提供清晰、具体的指令，以确保AI能够理解并执行任务。以下是一些可能的提示词和步骤： 1. 明确任务：首先，明确告诉AI你想要复刻的是《千里江山图》的哪个部分，例如：“请复刻《千里江山图》中的山水细节。” 2. 详细描述：提供该局部细节的具体描述，包括颜色、纹理、风格等特征，例如：“重点复刻山峦的层次、水波的流动感以及树木的形态。” 3. 风格指定：如果需要保持原作的风格，可以指定：“请保持宋代山水画的细腻笔触和深远意境。” 4. 技术要求：如果需要特定的技术或效果，例如：“使用高精度的图像处理技术，确保细节的清晰度和真实感。” 5. 尺寸和比例：指定复刻作品的尺寸和比例，例如：“复刻尺寸为原图的一半，保持原有比例。” 6. 材料和工具：如果AI复刻作品需要使用特定的材料或工具，可以指定：“使用数字绘图板和高级绘画软件。” 7. 质量标准：设定作品的质量标准，例如：“确保复刻作品的色彩和细节与原画高度一致。” 8. 反馈和修正：如果AI可以进行交互，可以要求：“在复刻过程中，根据我的反馈进行必要的修正。” 9. 版权和法律：提醒AI注意版权和法律问题，例如：“在复刻过程中，请确保遵守相关的版权法规。” 10. 最终目标：明确复刻作品的最终目标，例如：“复刻的目的是为了艺术教育和展览，需要具有高度的艺术价值。” 结合以上提示，一个完整的提示词示例可能是： “请复刻《千里江山图》中山水细节部分，重点体现山峦层次、水波流动和树木形态，保持宋代山水画的细腻笔触和深远意境。使用高精度图像处理技术，确保细节清晰度和真实感。复刻尺寸为原图的一半，保持原有比例。使用数字绘图板和高级绘画软件，确保色彩和细节与原画高度一致。在复刻过程中，根据我的反馈进行修正，并确保遵守版权法规。复刻作品用于艺术教育和展览，需要具有高度的艺术价值。” 请注意，AI的复刻能力取决于其训练数据和算法的复杂性，可能无法完全达到人类艺术家的水平。
2024-06-04
最好的语音合成模型是什么？用于我录入语音，合成我自己的声音。
目前在语音合成领域，有多种优秀的模型。例如： ChatTTS：这是一个用于对话的生成式语音合成模型，生成的语音可以达到“以假乱真”的程度。但为防止被用于违法行为，作者在训练中添加了少量高频噪音并压缩了音质。 MiniMax AI 的 T2A01HD 语音合成模型：仅需 10 秒录音，就能实现高精度的声音克隆。生成的语音在音色、语调和情感表达上达到录音室级别，支持 17 种语言，提供 300 多种预置音色库，并支持多种音效调整。 语音合成包括将文本转换为可听声音信息的过程，一般由文本前端和声学后端两个部分组成。当代工业界主流语音合成系统的声学后端主要技术路线包括单元挑选波形拼接、统计参数和端到端语音合成方法，当代主要采用端到端声学后端。端到端声学后端一般包括声学模型和声码器两部分，同时也出现了直接从音素映射为波形的完全端到端语音合成系统。 您可以根据自己的需求选择适合的语音合成模型。例如，如果您希望快速实现高精度的声音克隆，可以考虑 MiniMax AI 的 T2A01HD 模型；如果您对对话场景的语音合成有需求，ChatTTS 可能是一个不错的选择。
2025-03-06
克隆声音
以下是关于克隆声音的相关内容： 开源的数字人组合方案中，克隆声音的步骤如下： 1. 先剪出音频，可使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits（https://waytoagi.feishu.cn/wiki/SVyUwotn7itV1wkawZCc7FEEnGg ）克隆声音，做出文案的音频。 2. 使用 wav2lip 整合包，导入视频和音频，对口型得到视频。基础 wav2lip+高清修复整合包下载地址为 https://github.com/Rudrabha/Wav2Lip 。产品可参考 https://synclabs.so/ 。 在剪映中克隆声音的步骤： 1. 打开剪映，点击左上角菜单——文本，从默认文本开始，在右边文本框输入文字。 2. 输入文字后，点击上面的菜单栏——朗读，会出现克隆音色和文本朗读两个按钮。 3. 克隆音色步骤：点击克隆音色——点击克隆。如果使用电脑版演示，可能会提示未检测到麦克风，手机版则可直接点击下面的按钮开始录制。 4. 文本朗读：直接把输入的文本转换成剪映系统自带的各种成品音色，选择合适的音色，点击开始朗读即可生成。最后别忘了删除输入的文本。 另外还有配音工具 DubbingX 。
2025-03-04
模仿特定声音，给文字配音
以下是为您提供的关于模仿特定声音给文字配音的相关信息： ElevenLabs 推出了全自动化的 AI 配音或视频翻译工具。您只需上传视频或粘贴视频链接，该工具能在几十秒到几分钟内将视频翻译成 29 种语言，还能直接克隆原视频里的声音来配音。群友瑞华测试的相关视频链接如下： 另外，有群友测试了豆包的音色模仿，读大概 20 个字的句子，5 秒就能生成非常像的音色，之后可用自己的声音读生成的文字内容。 用户可通过文字+哼唱、敲打节奏、手势等指导模型生成精确音频，如模仿赛车声或小水流变瀑布声。其基于扩散模型，结合文本和控制信号生成音频，适用于节奏模仿及其他多种输入形式。相关链接：
2025-03-04
声音克隆
GPTSoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架，具有以下特点和使用方法： 特点： 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感，模仿出的声音更接近原声且自然。 跨语言支持：支持英语、日语和中文等不同语言的推理。 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，方便初学者创建训练数据集和模型。 适用于不同操作系统：可在包括 Windows 在内的多种操作系统上安装和运行。 提供预训练模型：可直接下载使用。 使用： 开源数字人组合方案中，第一步先剪出音频，使用 https://elevenlabs.io/speechsynthesis 或 GPTSoVITS 克隆声音，做出文案的音频。 前置数据获取处理时，选择音频并切割，有噪音时进行降噪处理，完成降噪后开启离线 ASR。 在 GPTSowitsTTS 中，进行训练集格式化，包括微调训练（开启 SoVITS 训练和 GPT 训练）和推理（开始推理、刷新模型、选择微调后的模型），成功后会出现新的 URL，表示声音微调完毕。 可以实现跨多语种语言的声音复刻，例如 AIyoyo 普通话和粤语版的《满江红》。 GitHub 地址： 视频教程： 基础 wav2lip+高清修复整合包下载地址： 相关产品：
2025-02-25
声音克隆
GPTSoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架，具有以下特点和使用方法： 特点： 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感，模仿出来的声音更接近原声且自然。 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 预训练模型：项目提供了一些已经训练好的模型，可直接下载使用。 使用： 开源数字人组合方案中，第一步先剪出音频，使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits 克隆声音，做出文案的音频。第二步使用 wav2lip 整合包，导入视频和音频，对口型得到视频。 GPTSoVITS 实现声音克隆的具体步骤： 前置数据获取处理：选择音频，开启切割；有噪音时，进行降噪处理；降噪处理完成，开启离线 ASR。 GPTSowitsTTS：训练集格式化，开启一键三连并耐心等待；微调训练，开启 SoVITS 训练和 GPT 训练；推理，开始推理 刷新模型 选择微调后的模型 yoyo。成功后会出现新的 URL，说明自己的声音微调完毕。 声音复刻：开启声音复刻之旅，可实现跨多语种语言的声音，如 AIyoyo 普通话 满江红、AIyoyo 粤语版 满江红。 相关资源： GitHub：https://github.com/RVCBoss/GPTSoVITS 视频教程：https://bilibili.com/video/BV12g4y1m7Uw/ 基础 wav2lip+高清修复整合包下载地址：https://github.com/Rudrabha/Wav2Lip 产品：https://synclabs.so/
2025-02-25
声音克隆
GPTSoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架，具有以下特点和优势： 1. 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 2. 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感，模仿出来的声音更接近原声且自然。 3. 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 4. 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 5. 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 6. 预训练模型：项目提供了一些已经训练好的模型，可直接下载使用。 使用方法： 1. 开源的数字人组合方案中，第一步先剪出音频，使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits 克隆声音，做出文案的音频。 2. 第二步使用 wav2lip 整合包，导入视频和音频，对口型得到视频。基础 wav2lip+高清修复整合包下载地址为 https://github.com/Rudrabha/Wav2Lip 。 在进行 GPTSoVITS 声音克隆时： 1. 前置数据获取处理：选择音频，开启切割。有噪音时，进行降噪处理。降噪处理完成，开启离线 ASR。 2. GPTSowitsTTS：训练集格式化时开启一键三连，耐心等待。微调训练时开启 SoVITS 训练和 GPT 训练。推理时开始推理，刷新模型，选择微调后的模型。成功时会出现新的 URL，说明声音微调完毕。 3. 声音复刻：可以实现跨多语种语言的声音，例如 AIyoyo 普通话满江红（https://drive.weixin.qq.com/s?k=AJMA1Qc4AAwsRaRfHrAQ8AbQYrAGo）。 GitHub 地址： 视频教程：
2025-02-23