Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

声音克隆

Answer

GPT-SoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架，具有以下特点和使用方法：

  • 特点：
    • 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。
    • 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感，模仿出来的声音更接近原声且自然。
    • 跨语言支持：支持英语、日语和中文等不同语言的推理。
    • 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，方便初学者创建训练数据集和模型。
    • 适用于不同操作系统：可在包括 Windows 在内的多种操作系统上安装和运行。
    • 提供预训练模型：可直接下载使用。
  • 使用：
    • 开源数字人组合方案中，第一步先剪出音频，使用 https://elevenlabs.io/speech-synthesis 或 GPT-SoVITS 克隆声音，做出文案的音频。第二步使用 wav2lip 整合包，导入视频和音频，对口型得到视频。
    • 前置数据获取处理：选择音频并切割，有噪音时进行降噪处理，完成降噪后开启离线 ASR。
    • GPT-Sowits-TTS：训练集格式化时开启一键三连并耐心等待，然后进行微调训练（开启 SoVITS 训练和 GPT 训练）和推理（开始推理、刷新模型、选择微调后的模型），成功后会出现新的 URL，表明声音微调完毕。
    • 声音复刻：可实现跨多语种语言的声音，例如 AIyoyo 普通话和粤语版的《满江红》。
    • GitHub 地址：https://github.com/RVC-Boss/GPT-SoVITS
    • 视频教程：https://bilibili.com/video/BV12g4y1m7Uw/
    • 基础 wav2lip+高清修复整合包下载地址：[https://github.com/Rudrabha/Wav2Lip]
    • 相关产品：[https://synclabs.so/]
Content generated by AI large model, please carefully verify (powered by aily)

References

GPT-SoVITS实现声音克隆

GPT-SoVITS：只需1分钟语音即可训练一个自己的TTS模型。GPT-SoVITS是一个声音克隆和文本到语音转换的开源Python RAG框架。5秒数据就能模仿你，1分钟的声音数据就能训练出一个高质量的TTS模型，完美克隆你的声音！根据演示来看完美适配中文，应该是目前中文支持比较好的模型。界面也易用。主要特点：1、零样本TTS：输入5秒的声音样本即可体验即时的文本到语音转换。2、少量样本训练：只需1分钟的训练数据即可微调模型，提高声音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。3、易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和GPT/SoVITS模型。4、适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括Windows。5、预训练模型：项目提供了一些已经训练好的模型，你可以直接下载使用。GitHub：[https://github.com/RVC-Boss/GPT-SoVITS](https://t.co/BpHX4SlsO3)[…](https://t.co/BpHX4SlsO3)视频教程：[https://bilibili.com/video/BV12g4y1m7Uw/](https://t.co/Uo7WtSSUGO)[…](https://t.co/Uo7WtSSUGO)[[twi]@小互(@_twi(1).mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/RymsbKdweody4Cxwtsqc7Yuenxd?allow_redirect=1)使用：

开源：数字人组合方案

先剪出音频，使用https://elevenlabs.io/speech-synthesis或使用GPT-sovits[GPT-SoVITS实现声音克隆](https://waytoagi.feishu.cn/wiki/SVyUwotn7itV1wkawZCc7FEEnGg)克隆声音，做出文案的音频。[heading2]第二步[content]使用wav2lip整合包，导入视频和音频，对口型得到视频。基础wav2lip+高清修复整合包下载地址https://github.com/Rudrabha/Wav2Lip这就是目前的本地跑数字人的方案，效果都差不多，都是用的wav2lip产品https://synclabs.so/

GPT-SoVITS-实现 AIyoyo 声音克隆

[heading4]有噪音时，进行降噪处理[content][heading4]降噪处理完成，开启离线ASR[content][heading3]三、GPT-Sowits-TTS[heading4]训练集格式化：开启一键三连，耐心等待即可[content]1.[heading4]微调训练[content]1.开启SoVITS训练，&开启GPT训练[heading4]推理[content]1.开始推理-刷新模型-选择微调后的模型-yoyo[heading4]成功[content]出现新的URL，说明你自己的声音微调完毕，然后可以进行啦[heading3]四、声音复刻[heading4]开启声音复刻之旅吧[content]1.实现跨多语种语言的声音，不是梦[heading4]实践的样本[content]AIyoyo普通话-满江红[满江红普通话。wav](https://drive.weixin.qq.com/s?k=AJMA1Qc4AAwbkbzYu0AQ8AbQYrAGo)AIyoyo粤语版-满江红[满江红粤语。wav](https://drive.weixin.qq.com/s?k=AJMA1Qc4AAwsRaRfHrAQ8AbQYrAGo)

Others are asking
声音克隆工具
以下是为您介绍的声音克隆工具： GPTSoVITS 是一个声音克隆和文本到语音转换的开源 Python RAG 框架。它具有以下特点： 1. 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 2. 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感，模仿出来的声音更接近原声且更自然。 3. 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 4. 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 5. 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 6. 预训练模型：项目提供了一些已经训练好的模型，您可以直接下载使用。 GitHub 地址： 视频教程： 此外，语言克隆初创公司 ElevenLabs 完成了 8000 万美元 B 轮融资，开发了逼真声音克隆工具，可调整语调、情感，并计划年底前团队扩展至 100 人。 开源的数字人组合方案中，第一步先剪出音频，使用 https://elevenlabs.io/speechsynthesis 或使用 GPTSoVITS 克隆声音，做出文案的音频。第二步使用 wav2lip 整合包，导入视频和音频，对口型得到视频。基础 wav2lip+高清修复整合包下载地址：https://github.com/Rudrabha/Wav2Lip 产品：https://synclabs.so/
2025-03-12
豆包如何克隆声音
以下是关于克隆声音的相关信息： ElevenLabs 推出了全自动化的 AI 配音或视频翻译工具。您只需上传视频或粘贴视频链接，它能在几十秒到几分钟内将视频翻译成 29 种语言，还能克隆原视频中的声音进行配音。群友瑞华进行了测试，相关视频链接为： 。另外，有群友测试了豆包的音色模仿，读大概 20 个字的句子，5 秒就能生成非常像的音色，之后可用自己的声音读生成的文字内容。 在 Heygen 等网站可以自助购买声音克隆服务。 MiniMax 有两个适合任务的大模型（豆包的也不错）：MiniMaxText01 支持 400 万 token 的上下文，T2A v2（speech01turbo）拥有最好的声音复刻效果。可通过其开放平台 https://platform.minimaxi.com/login 进行注册登录及实名认证。首次注册会赠送 15 元，无需充值就能玩。接着创建 API Key 并保存好，还可以克隆声音，链接为：https://platform.minimaxi.com/examinationcenter/voiceexperiencecenter/voiceCloning 。克隆时有几个地方要填：创建 voice id、上传复刻音频（10 300 秒，尽量安静）、上传音频 prompt（不超过 8 秒的声音）、试听文本（不超过 8 秒声音所念内容），然后勾选用户协议，点击“克隆”选项，过一段时间完成克隆。使用填写的 voice id 生成声音，即为克隆音色生成的声音。
2025-03-11
语音克隆
GPTSoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架，具有以下特点和使用方法： 特点： 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感，模仿出来的声音更接近原声且自然。 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 预训练模型：项目提供了一些已经训练好的模型，可直接下载使用。 使用方法： 前置数据获取处理：选择音频，开启切割；有噪音时，进行降噪处理；降噪处理完成，开启离线 ASR。 GPTSowitsTTS：训练集格式化，开启一键三连，耐心等待；微调训练，开启 SoVITS 训练和 GPT 训练；推理时，开始推理、刷新模型、选择微调后的模型。 声音复刻：实现跨多语种语言的声音。 注册 colab，启动准备：点击进入按照步骤注册，新建笔记本，运行脚本启动 GPTSo VITS，整个过程比较漫长，需要耐心等待，可以整个脚本一起运行，也可以一段一段运行。运行成功后会出现 public URL，还需准备训练音频并上传。 相关资源： GitHub：https://github.com/RVCBoss/GPTSoVITS 视频教程：https://bilibili.com/video/BV12g4y1m7Uw/ 开源项目：https://github.com/RVCBoss/GPTSoVITS colab 注册及启动：https://colab.research.google.com/scrollTo=Wf5KrEb6vrkR&uniqifier=2 实践的样本： AIyoyo 普通话 满江红： AIyoyo 粤语版 满江红：
2025-03-09
克隆声音
以下是关于克隆声音的相关内容： 开源的数字人组合方案中，克隆声音的步骤如下： 1. 先剪出音频，可使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits（https://waytoagi.feishu.cn/wiki/SVyUwotn7itV1wkawZCc7FEEnGg ）克隆声音，做出文案的音频。 2. 使用 wav2lip 整合包，导入视频和音频，对口型得到视频。基础 wav2lip+高清修复整合包下载地址为 https://github.com/Rudrabha/Wav2Lip 。产品可参考 https://synclabs.so/ 。 在剪映中克隆声音的步骤： 1. 打开剪映，点击左上角菜单——文本，从默认文本开始，在右边文本框输入文字。 2. 输入文字后，点击上面的菜单栏——朗读，会出现克隆音色和文本朗读两个按钮。 3. 克隆音色步骤：点击克隆音色——点击克隆。如果使用电脑版演示，可能会提示未检测到麦克风，手机版则可直接点击下面的按钮开始录制。 4. 文本朗读：直接把输入的文本转换成剪映系统自带的各种成品音色，选择合适的音色，点击开始朗读即可生成。最后别忘了删除输入的文本。 另外还有配音工具 DubbingX 。
2025-03-04
声音克隆
GPTSoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架，具有以下特点和使用方法： 特点： 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感，模仿出的声音更接近原声且自然。 跨语言支持：支持英语、日语和中文等不同语言的推理。 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，方便初学者创建训练数据集和模型。 适用于不同操作系统：可在包括 Windows 在内的多种操作系统上安装和运行。 提供预训练模型：可直接下载使用。 使用： 开源数字人组合方案中，第一步先剪出音频，使用 https://elevenlabs.io/speechsynthesis 或 GPTSoVITS 克隆声音，做出文案的音频。 前置数据获取处理时，选择音频并切割，有噪音时进行降噪处理，完成降噪后开启离线 ASR。 在 GPTSowitsTTS 中，进行训练集格式化，包括微调训练（开启 SoVITS 训练和 GPT 训练）和推理（开始推理、刷新模型、选择微调后的模型），成功后会出现新的 URL，表示声音微调完毕。 可以实现跨多语种语言的声音复刻，例如 AIyoyo 普通话和粤语版的《满江红》。 GitHub 地址： 视频教程： 基础 wav2lip+高清修复整合包下载地址： 相关产品：
2025-02-25
声音克隆
GPTSoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架，具有以下特点和使用方法： 特点： 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感，模仿出来的声音更接近原声且自然。 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 预训练模型：项目提供了一些已经训练好的模型，可直接下载使用。 使用： 开源数字人组合方案中，第一步先剪出音频，使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits 克隆声音，做出文案的音频。第二步使用 wav2lip 整合包，导入视频和音频，对口型得到视频。 GPTSoVITS 实现声音克隆的具体步骤： 前置数据获取处理：选择音频，开启切割；有噪音时，进行降噪处理；降噪处理完成，开启离线 ASR。 GPTSowitsTTS：训练集格式化，开启一键三连并耐心等待；微调训练，开启 SoVITS 训练和 GPT 训练；推理，开始推理 刷新模型 选择微调后的模型 yoyo。成功后会出现新的 URL，说明自己的声音微调完毕。 声音复刻：开启声音复刻之旅，可实现跨多语种语言的声音，如 AIyoyo 普通话 满江红、AIyoyo 粤语版 满江红。 相关资源： GitHub：https://github.com/RVCBoss/GPTSoVITS 视频教程：https://bilibili.com/video/BV12g4y1m7Uw/ 基础 wav2lip+高清修复整合包下载地址：https://github.com/Rudrabha/Wav2Lip 产品：https://synclabs.so/
2025-02-25
我是一名短视频创作者，我自身有自己写的现代诗歌，但是因为自己的声音不好，所以想自己制作一个利用网络音频和AI视频来展示我创作的诗歌的coze工作流，但是我对于ai的提示词有很多不明白的地方，您能够给我帮助吗
以下是为您提供的关于利用网络音频和 AI 视频展示诗歌的 Coze 工作流的相关指导： 1. 整体结构和参数配置： 工作流通常包括开始模块、Get_Video 模块、LinkReaderPlugin 模块、标题大模型、内容大模型、图片 Prompt 大模型、文生图 ImageToolPro 模块和输出结果模块等。 每个模块都有其特定的参数配置，例如在开始模块中选择源语言和目标语言等。 2. 标题大模型参数配置： 您需要作为小红书爆款写作专家，根据输入内容产出 3 个标题，采用二极管标题法创作，并善于使用吸引人的特点和爆款关键词，同时要符合小红书平台的标题特性和创作规则。 3. 内容大模型参数配置： 作为小红书爆款写作专家，根据输入内容产出 1 篇正文，每段话包含适当的 emoji 表情，文末有合适的 tag 标签。写作时要注意风格、开篇方法、文本结构、互动引导方法、一些小技巧、爆炸词等，文章尽量口语化、简短，在 200 字左右。 4. 图片 Prompt 大模型参数配置： 作为绘图 Prompt 大师，将输入内容转成 AI 更容易理解的绘画 Prompt。 5. 工作流创建步骤： 点击工作流后面的“+”添加工作流，然后创建工作流。 给工作流起名字和描述，名字只能用字母、数字和下划线，描述要清晰。 初始化工作流后，会生成开始模块和结束模块，左边有各种插件和搭建 Agent 的工具，可根据需要添加和使用。 希望以上内容对您有所帮助，如果您在具体操作过程中还有其他疑问，请随时向我咨询。
2025-03-12
我是一名短视频创作者，我自身有自己写的现代诗歌，但是因为自己的声音不好，所以想自己制作一个利用网络音频和AI视频来展示我创作的诗歌的coze工作流，但是我对于ai的提示词有很多不明白的地方，您能够给我帮助吗
以下是为您提供的关于利用网络音频和 AI 视频展示诗歌的 Coze 工作流的相关指导： 1. 整体结构和参数配置： 工作流通常包括开始模块、Get_Video 模块、LinkReaderPlugin 模块、标题大模型、内容大模型、图片 Prompt 大模型、文生图 ImageToolPro 模块和输出结果模块等。 每个模块都有其特定的参数配置，例如在开始模块中选择源语言和目标语言等。 2. 标题大模型参数配置： 您需要作为小红书爆款写作专家，根据输入内容产出 3 个标题，采用二极管标题法创作，并善于使用吸引人的特点和爆款关键词，同时要符合小红书平台的标题特性和创作规则。 3. 内容大模型参数配置： 作为小红书爆款写作专家，根据输入内容产出 1 篇正文，每段话包含适当的 emoji 表情，文末有合适的 tag 标签。写作时要注意风格、开篇方法、文本结构、互动引导方法、一些小技巧、爆炸词等，文章尽量口语化、简短，在 200 字左右。 4. 图片 Prompt 大模型参数配置： 作为绘图 Prompt 大师，将输入内容转成 AI 更容易理解的绘画 Prompt。 5. 工作流创建步骤： 点击工作流后面的“+”添加工作流，然后创建工作流。 给工作流起名字和描述，名字只能用字母、数字和下划线，描述要清晰。 初始化工作流后，会生成开始模块和结束模块，左边有各种插件和搭建 Agent 的工具，可根据需要添加和使用。 希望以上内容对您有所帮助，如果您在具体操作过程中还有其他疑问，请随时向我咨询。
2025-03-12
我想要一个以自己为蓝本，包括人物和声音的数字人，用来录制课程
以下是制作以自己为蓝本，包括人物和声音的数字人用来录制课程的方法： 1. 生成数字人： 在剪映右侧窗口顶部打开“数字人”选项，选取免费且适合的数字人形象，如“婉婉青春”。选择数字人形象时会播放其声音，可判断是否需要，然后点击右下角“添加数字人”将其添加到当前视频中，软件会生成对应音视频并添加到视频轨道中，左下角会提示渲染完成时间，完成后可点击预览按钮查看效果。 2. 增加背景图片： 可删除先前导入的文本内容，为视频增加背景图片。点击左上角“媒体”菜单并点击“导入”按钮选择本地图片上传，如一张书架图片，点击图片右下角加号将其添加到视频轨道上（会覆盖数字人）。为让图片在整个视频播放时都显示，点击轨道最右侧竖线向右拖拽至与视频对齐。 3. 增加字幕： 点击文本智能字幕识别字幕，点击开始识别，软件会自动将文字智能分段并形成字幕。 4. 换脸： 若希望数字人换成自己的面孔，需要用另一个工具进行换脸。 第一步：打开谷歌浏览器，点击链接 https://github.com/facefusion/facefusioncolab 并点击 open colab 进到程序主要运行界面，在右上角点击“代码执行程序”选择“全部运行”，无需安装和付费，点击红框对应的 URL 打开操作界面。 第二步：点击“source”上传自己的照片和“target”上传之前的剪映数字人视频，保持默认参数，点击“START”生成。 第三步：等待专属数字人视频出炉。 有关数字人使用上的问题，欢迎在底部评论区留言交流。同时如果对数字人课程感兴趣，欢迎查看通往 AGI 之路 X AI 沃茨的《克隆你自己》课程： 课程内容： 在线观看第一节：https://www.bilibili.com/video/BV1yw411E7Rt/?spm_id_from=333.999.0.0
2025-03-11
最好的语音合成模型是什么？用于我录入语音，合成我自己的声音。
目前在语音合成领域，有多种优秀的模型。例如： ChatTTS：这是一个用于对话的生成式语音合成模型，生成的语音可以达到“以假乱真”的程度。但为防止被用于违法行为，作者在训练中添加了少量高频噪音并压缩了音质。 MiniMax AI 的 T2A01HD 语音合成模型：仅需 10 秒录音，就能实现高精度的声音克隆。生成的语音在音色、语调和情感表达上达到录音室级别，支持 17 种语言，提供 300 多种预置音色库，并支持多种音效调整。 语音合成包括将文本转换为可听声音信息的过程，一般由文本前端和声学后端两个部分组成。当代工业界主流语音合成系统的声学后端主要技术路线包括单元挑选波形拼接、统计参数和端到端语音合成方法，当代主要采用端到端声学后端。端到端声学后端一般包括声学模型和声码器两部分，同时也出现了直接从音素映射为波形的完全端到端语音合成系统。 您可以根据自己的需求选择适合的语音合成模型。例如，如果您希望快速实现高精度的声音克隆，可以考虑 MiniMax AI 的 T2A01HD 模型；如果您对对话场景的语音合成有需求，ChatTTS 可能是一个不错的选择。
2025-03-06