Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

声音克隆

Answer

GPT-SoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架，具有以下特点和使用方法：

  • 特点：
    • 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。
    • 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感，模仿出来的声音更接近原声且自然。
    • 跨语言支持：支持英语、日语和中文等不同语言的推理。
    • 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，方便初学者创建训练数据集和模型。
    • 适用于不同操作系统：可在包括 Windows 在内的多种操作系统上安装和运行。
    • 提供预训练模型：可直接下载使用。
  • 使用：
    • 开源数字人组合方案：
      • 第一步：先剪出音频，使用 https://elevenlabs.io/speech-synthesis 或 GPT-SoVITS 克隆声音，做出文案的音频。
      • 第二步：使用 wav2lip 整合包，导入视频和音频，对口型得到视频。基础 wav2lip+高清修复整合包下载地址：https://github.com/Rudrabha/Wav2Lip 。
    • GPT-SoVITS 实现 AIyoyo 声音克隆：
      • 前置数据获取处理：
        • 选择音频，开启切割。
        • 有噪音时，进行降噪处理。
        • 降噪处理完成，开启离线 ASR 。
      • GPT-Sowits-TTS：
        • 训练集格式化：开启一键三连，耐心等待。
        • 微调训练：开启 SoVITS 训练和 GPT 训练。
        • 推理：开始推理 - 刷新模型 - 选择微调后的模型 - yoyo 。成功后会出现新的 URL ，表示声音微调完毕。
      • 声音复刻：可实现跨多语种语言的声音，如 AIyoyo 普通话 - 满江红 满江红普通话.wav 、AIyoyo 粤语版 - 满江红 满江红粤语.wav 。

GitHub 地址：https://github.com/RVC-Boss/GPT-SoVITS 。视频教程：https://bilibili.com/video/BV12g4y1m7Uw/ 。

Content generated by AI large model, please carefully verify (powered by aily)

References

GPT-SoVITS实现声音克隆

GPT-SoVITS：只需1分钟语音即可训练一个自己的TTS模型。GPT-SoVITS是一个声音克隆和文本到语音转换的开源Python RAG框架。5秒数据就能模仿你，1分钟的声音数据就能训练出一个高质量的TTS模型，完美克隆你的声音！根据演示来看完美适配中文，应该是目前中文支持比较好的模型。界面也易用。主要特点：1、零样本TTS：输入5秒的声音样本即可体验即时的文本到语音转换。2、少量样本训练：只需1分钟的训练数据即可微调模型，提高声音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。3、易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和GPT/SoVITS模型。4、适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括Windows。5、预训练模型：项目提供了一些已经训练好的模型，你可以直接下载使用。GitHub：[https://github.com/RVC-Boss/GPT-SoVITS](https://t.co/BpHX4SlsO3)[…](https://t.co/BpHX4SlsO3)视频教程：[https://bilibili.com/video/BV12g4y1m7Uw/](https://t.co/Uo7WtSSUGO)[…](https://t.co/Uo7WtSSUGO)[[twi]@小互(@_twi(1).mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/RymsbKdweody4Cxwtsqc7Yuenxd?allow_redirect=1)使用：

开源：数字人组合方案

先剪出音频，使用https://elevenlabs.io/speech-synthesis或使用GPT-sovits[GPT-SoVITS实现声音克隆](https://waytoagi.feishu.cn/wiki/SVyUwotn7itV1wkawZCc7FEEnGg)克隆声音，做出文案的音频。[heading2]第二步[content]使用wav2lip整合包，导入视频和音频，对口型得到视频。基础wav2lip+高清修复整合包下载地址https://github.com/Rudrabha/Wav2Lip这就是目前的本地跑数字人的方案，效果都差不多，都是用的wav2lip<qa:image>caption=""h="990"image_token="NvYqbagPaolOwyxBLJ3cnnKjnyf"w="1574"</qa>产品https://synclabs.so/<qa:image>caption=""h="1162"image_token="CYqxbrlFpoXvmBxFTdLcZ55bnyf"w="2538"</qa>

GPT-SoVITS-实现 AIyoyo 声音克隆

<qa:image>caption=""h="534"image_token="TnlNbipHioPsE2xBTubc6DG8nPe"w="1249"</qa>[heading4]有噪音时，进行降噪处理[content]<qa:image>caption=""h="263"image_token="EnK9bpZzfotmJsxuS0ScPbZPnne"w="1244"</qa>[heading4]降噪处理完成，开启离线ASR[content]<qa:image>caption=""h="367"image_token="F31TbwbJXoGJWcxQpl5cGjZynBw"w="1247"</qa>[heading3]三、GPT-Sowits-TTS[heading4]训练集格式化：开启一键三连，耐心等待即可[content]<qa:image>caption=""h="774"image_token="NeMqbBbBYopV8Axf8IRc4KaHnre"w="1236"</qa>1.[heading4]微调训练[content]1.开启SoVITS训练，&开启GPT训练<qa:image>caption=""h="753"image_token="WFLTbK02uoxyAXxymVQcD4R4nsb"w="1280"</qa>[heading4]推理[content]1.开始推理-刷新模型-选择微调后的模型-yoyo<qa:image>caption=""h="701"image_token="UsVvboQ5sohwKUxMPktcmRb9nGg"w="785"</qa>[heading4]成功[content]出现新的URL，说明你自己的声音微调完毕，然后可以进行啦<qa:image>caption=""h="575"image_token="NLHpbSJaloMkp7xbYlcc8ZlUnSb"w="763"</qa>[heading3]四、声音复刻[heading4]开启声音复刻之旅吧[content]1.实现跨多语种语言的声音，不是梦<qa:image>caption=""h="966"image_token="NdEnbIovDoujkVxlPHpcWJkbnzf"w="1630"</qa>[heading4]实践的样本[content]AIyoyo普通话-满江红[满江红普通话。wav](https://drive.weixin.qq.com/s?k=AJMA1Qc4AAwbkbzYu0AQ8AbQYrAGo)AIyoyo粤语版-满江红[满江红粤语。wav](https://drive.weixin.qq.com/s?k=AJMA1Qc4AAwsRaRfHrAQ8AbQYrAGo)

Others are asking
coze 语音克隆
以下是关于语音克隆的相关信息： 有一款适合小白用户的开源数字人工具，具有以下特点和功能： 特点：一键安装包，无需配置环境，简单易用。 功能：生成数字人视频，支持语音合成和声音克隆，操作界面中英文可选。 系统兼容：支持 Windows、Linux、macOS。 模型支持：MuseTalk（文本到语音）、CosyVoice（语音克隆）。 使用步骤：下载 8G + 3G 语音模型包，启动模型即可。 GitHub 链接： 官网链接： 另外，CosyVoice 声音克隆仅需几秒音频样本，无需额外训练数据，可控制情绪情感、语速、音高。 详细内容：https://xiaohu.ai/p/10954 项目地址：https://funaudiollm.github.io 在线演示：https://modelscope.cn/studios/iic/CosyVoice300M
2025-04-12
语音克隆
GPTSoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架，具有以下特点和使用步骤： 特点： 1. 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 2. 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感，模仿出来的声音更接近原声且自然。 3. 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 4. 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 5. 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 6. 提供预训练模型：项目提供了一些已经训练好的模型，可直接下载使用。 使用步骤： 1. 前置数据获取处理： 选择音频，开启切割。 有噪音时，进行降噪处理。 降噪处理完成，开启离线 ASR。 2. GPTSowitsTTS： 训练集格式化：开启一键三连，耐心等待。 微调训练：开启 SoVITS 训练和 GPT 训练。 推理：开始推理 刷新模型 选择微调后的模型 yoyo。 3. 声音复刻：开启声音复刻之旅，可实现跨多语种语言的声音。 相关资源： GitHub：https://github.com/RVCBoss/GPTSoVITS 视频教程：https://bilibili.com/video/BV12g4y1m7Uw/ 注册 colab 并启动准备：点击进入按照步骤注册即可 https://colab.research.google.com/scrollTo=Wf5KrEb6vrkR&uniqifier=2 ，新建笔记本，运行脚本启动 GPTSo VITS，整个过程比较漫长，需要耐心等待，可以整个脚本一起运行，也可以一段一段运行；运行过程包括克隆项目代码库、进入项目目录、安装 Python 依赖包、安装系统依赖、下载 NLTK 资源、启动 Web UI，运行成功后出现 public URL。 实践样本： AIyoyo 普通话 满江红 AIyoyo 粤语版 满江红
2025-04-12
我想找一个克隆声音的网站
以下是一些可以克隆声音的网站： Elevenlabs.io speechify.com https://klingai.kuaishou.com/ Fish Audio：https://fish.audio/zhCN/train/newmodel/ （操作步骤：准备一段需要克隆的音频，打开网站上传音频，按照指引完成声音克隆，进入声音库选择需要使用的声音，输入文案生成音频文件并下载备用）
2025-03-31
比较适合语音克隆的有哪些AI
以下是一些适合语音克隆的 AI： ：能将书面内容转化为引人入胜的音频，并实现无缝分发。 ：提供专业音频、语音、声音和音乐的扩展服务。 （被 Spotify 收购）：提供完全表达的 AI 生成语音，带来引人入胜的逼真表演。 ：利用合成媒体生成和检测，带来无限可能。 ：一键使您的内容多语言化，触及更多人群。 ：生成听起来真实的 AI 声音。 ：为游戏、电影和元宇宙提供 AI 语音演员。 ：为内容创作者提供语音克隆服务。 ：超逼真的文本转语音引擎。 ：使用单一 AI 驱动的 API 进行音频转录和理解。 ：听起来像真人的新声音。 ：从真实人的声音创建逼真的合成语音的文本转语音技术。 ：生成听起来完全像你的音频内容。 此外，还有以下相关信息： DubbingX2.0.3 中的海螺 AI 配音可以进行语音克隆，操作时需上传语音、命名声音、选择语言，原音频若有背景音乐最好在剪影中去除以保证生成的音色模型效果好且纯净。去除原音频背景杂音可通过打开剪映，按以下步骤操作：打开剪映，点击开始创作，导入原始音频或视频。 StepAudio：130B 语音文本多模态模型开源，集成语音识别、语义理解、对话生成、语音克隆、音频编辑、语音合成等功能，成本低质量高的语音克隆，支持“蒸馏”技术简化为更轻量版。
2025-03-31
克隆声音
以下是关于克隆声音的相关内容： 开源的数字人组合方案中，克隆声音的步骤如下： 1. 先剪出音频，可使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits（https://waytoagi.feishu.cn/wiki/SVyUwotn7itV1wkawZCc7FEEnGg ）克隆声音，做出文案的音频。 2. 使用 wav2lip 整合包，导入视频和音频，对口型得到视频。基础 wav2lip+高清修复整合包下载地址为 https://github.com/Rudrabha/Wav2Lip 。产品可参考 https://synclabs.so/ 。 在剪映中克隆声音的步骤： 1. 打开剪映，点击左上角菜单——文本，从默认文本开始，在右边文本框输入文字。 2. 输入文字后，点击上面的菜单栏——朗读，会看到克隆音色和文本朗读两个按钮。 3. 克隆音色步骤：点击克隆音色——点击克隆。如果使用电脑版演示，未检测到麦克风时无法录制，手机版可直接点击下面的按钮开始录制。 4. 文本朗读：直接把输入的文本转换成剪映系统自带的各种成品音色，选择合适的音色，点击开始朗读即可生成。 5. 最后，删除输入的文本。 另外，还有配音工具 DubbingX 也可用于配音。
2025-03-31
想要生成克隆某个人的声音，然后做成视频，怎么做
要生成克隆某个人的声音并做成视频，您可以按照以下步骤进行操作： 声音克隆： 1. 准备一段需要克隆的音频（可以是类似屈原的古风声音，或自行录制一段）。 2. 打开网站：https://fish.audio/zhCN/train/newmodel/ 。 3. 上传准备好的音频，按照指引完成声音克隆。 4. 进入声音库选择需要使用的声音，将第一步生成的文案输入，使用克隆好的声音生成对应的音频文件。 5. 下载生成的音频文件备用。 视频合成： 1. 在网上下载“回答我”的原视频。 2. 打开 Viggle.ai 网站，登录后进入视频合成功能：https://viggle.ai/createmix 。 3. 上传“回答我”原视频和第二步生成的人物形象图，生成新版本的“回答我”视频。 4. 预览效果，满意后下载合成好的新视频。 视频剪辑： 1. 打开剪映软件（手机或电脑版均可）。 2. 导入第二步合成好的新视频和第一步生成的音频文件。 3. 将音频与视频时间轴对齐，确保声音和画面同步，添加字幕等。 4. 如需叠加特殊背景，可以导入自己的背景图（如楚国风景）。 5. 预览整个视频，检查效果，微调后导出最终视频（建议 MP4 格式）。 此外，您还可以参考以下工具： 数字人工具：开源且适合小白用户，特点是一键安装包，无需配置环境，简单易用。功能包括生成数字人视频，支持语音合成和声音克隆，操作界面中英文可选。系统兼容 Windows、Linux、macOS。模型支持 MuseTalk（文本到语音）、CosyVoice（语音克隆）。使用步骤：下载 8G+3G 语音模型包，启动模型即可。GitHub：https://github.com/modstartlib/aigcpanel 官网：https://aigcpanel.com 。 希望这些信息对您有所帮助。
2025-03-30
我有一份青年创新讲稿，想用自己的数字形象和我自己的声音讲解，背景要做一些和讲稿内容相符的视频。什么工具最称手呢？
以下是一些适合您需求的工具： 1. HeyGen：这是一个 AI 驱动的平台，能创建逼真的数字人脸和角色。它运用深度学习算法生成高质量肖像和角色模型，适用于游戏、电影和虚拟现实等领域。 2. Synthesia：一个 AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：一家提供 AI 拟真人视频产品服务和开发的公司，只需上传人像照片和输入要说的内容，平台的 AI 语音机器人会自动转换成语音，然后合成逼真的会开口说话的视频。 此外，还有以下工具供您参考： 1. 开源且适合小白用户的工具：具有一键安装包，无需配置环境，简单易用。其功能包括生成数字人视频，支持语音合成和声音克隆，操作界面中英文可选，系统兼容 Windows、Linux、macOS，模型支持 MuseTalk（文本到语音）、CosyVoice（语音克隆）。使用时需下载 8G+3G 语音模型包，启动模型即可。相关链接：GitHub： 2. Google Veo 2：能生成逼真的 Vlog 视频，效果接近真实，几乎难以分辨，适合创作和内容制作。相关链接： 请注意，这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时，请确保遵守相关使用条款和隐私政策，并注意对生成内容的版权和伦理责任。
2025-04-02
我想了解如何提取自己的声音并实现大模型以我的声音回答我
要提取自己的声音并实现大模型以您的声音回答，目前提供的知识库中没有直接相关的详细内容。但可以为您提供一些可能有用的思路和参考方向： 对于声音提取，可能需要使用专业的音频处理软件和设备，将您的声音录制并进行处理和分析。 关于让大模型以您的声音回答，这可能涉及到语音合成技术。您可以先了解一些常见的语音合成模型和工具，例如通过创建大模型问答应用，获取推理 API 服务等。 同时，还可以参考一些关于大模型和语音处理的专业知识，比如大模型的本质是基于语言的概率模型，通过设置合适的 Prompt 来引导模型输出更准确的结果。 由于知识库中没有确切的针对您需求的详细步骤和方法，以上内容仅供您初步参考。
2025-04-01
克隆声音 的
以下是关于克隆声音的相关内容： 使用剪映克隆声音的步骤： 1. 打开剪映，点击左上角菜单——文本，从默认文本开始，在文本框中输入文字，如人物对话或短片旁白介绍。 2. 输入文字后，在该区域点击上面的菜单栏——朗读。 3. 点击朗读后，会跳转到新界面，出现克隆音色和文本朗读两个按钮。 4. 克隆音色步骤：点击克隆音色——点击克隆。如果使用电脑版演示，可能会提示未检测到麦克风；若使用手机版，直接点击下面的按钮开始录制即可。 另外，还可以通过以下方式克隆声音： 先剪出音频，使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits克隆声音，做出文案的音频。然后使用 wav2lip 整合包，导入视频和音频，对口型得到视频。基础 wav2lip+高清修复整合包下载地址为 https://github.com/Rudrabha/Wav2Lip 。
2025-03-30