Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

克隆声音

Answer

以下是关于克隆声音的相关内容:

开源的数字人组合方案中,克隆声音的步骤如下:

  1. 先剪出音频,可使用 https://elevenlabs.io/speech-synthesis 或使用 GPT-sovits(https://waytoagi.feishu.cn/wiki/SVyUwotn7itV1wkawZCc7FEEnGg )克隆声音,做出文案的音频。
  2. 使用 wav2lip 整合包,导入视频和音频,对口型得到视频。基础 wav2lip+高清修复整合包下载地址为 https://github.com/Rudrabha/Wav2Lip 。产品可参考 https://synclabs.so/ 。

在剪映中克隆声音的步骤:

  1. 打开剪映,点击左上角菜单——文本,从默认文本开始,在右边文本框输入文字。
  2. 输入文字后,点击上面的菜单栏——朗读,会出现克隆音色和文本朗读两个按钮。
  3. 克隆音色步骤:点击克隆音色——点击克隆。如果使用电脑版演示,可能会提示未检测到麦克风,手机版则可直接点击下面的按钮开始录制。
  4. 文本朗读:直接把输入的文本转换成剪映系统自带的各种成品音色,选择合适的音色,点击开始朗读即可生成。最后别忘了删除输入的文本。

另外还有配音工具 DubbingX 。

Content generated by AI large model, please carefully verify (powered by aily)

References

开源:数字人组合方案

先剪出音频,使用https://elevenlabs.io/speech-synthesis或使用GPT-sovits[GPT-SoVITS实现声音克隆](https://waytoagi.feishu.cn/wiki/SVyUwotn7itV1wkawZCc7FEEnGg)克隆声音,做出文案的音频。[heading2]第二步[content]使用wav2lip整合包,导入视频和音频,对口型得到视频。基础wav2lip+高清修复整合包下载地址https://github.com/Rudrabha/Wav2Lip这就是目前的本地跑数字人的方案,效果都差不多,都是用的wav2lip产品https://synclabs.so/

喂饭级教程,关于AI短片配音那些事,你想知道的,点进来

下面我们来学习如何为视频加入旁白(人物配音)1、打开剪映,点击左上角菜单——文本我们先从默认文本开始,点击默认文本点击之后,你会发现,这个文本框已经添加到了这里(轨道上和主编辑屏幕上,还有右边的属性栏都有显示)那么有的观众老爷可能会问了,我要的是配音,你打开文本框干什么?(我知道你很急,但是,请往下看雪佬的表演)如下图在右边文本框输入:输入一段文字,可以是人物对话,也可以是短片的旁白介绍。(为了使大家能看清楚,我文本框这里局部截了图)当然,从上面的图中你也看到了,剪映贴心的提供了文案推荐和AI写旁白功能,目前都是限免状态(你目前可以免费使用这个功能)。输入你的文字后,其他暂时不用管(诸如下面的字体、字号、样式、颜色等等)统统不用管,因为我们需要的是配音,不是字幕,所以不用设置这些,继续往下看。然后还是这个区域,点击上面的菜单栏——朗读点击之后,跳转到这个界面(如下图)你会看到,在朗读下面,又多了两个按钮,一个是克隆音色,一个是文本朗读。那么观众老爷会问了,什么意思,我该选哪个,下面让我们逐一解答。1、克隆音色步骤:点击克隆音色——点击克隆然后就进入如下界面,因为现在用的是电脑版演示,所以上面提示未检测到麦克风,因为我电脑上没有装麦克风(如果你用手机版,直接点击下面的按钮,开始录制即可)

喂饭级教程,关于AI短片配音那些事,你想知道的,点进来

看到这里,你应该还记得克隆音色旁边还有个按钮吧?如下图:没错,就是这个文本朗读,不过相信通过克隆音色的操作,这个文本朗读就很好理解了,就是直接把你输入的文本,转换成剪映系统自带的各种成品音色,比如我们刚才用过的四郎,这里也有,选择一个你认为合适的音色,点击开始朗读即可生成。步骤比克隆音色简单,这里就不过多重复演示了,上图即可代表。最后,别忘了,把你打字的那个文本,删除,无论你是在文本框里删除,还是在中间的编辑器里选中删除,还是在下面的轨道里删除,效果是一样的。可能有的观众老爷会问了,为什么删除,这里雪佬给解释下,因为我们这里只是配音,如果想让这个文本成为字幕的话,可以用剪映里的字幕识别功能,那个调节起来非常的方便,调节一个就能同步所有字幕的属性。好了,至此,我们剪映的配音教程就讲完了。什么?你说还有对口型,(雪佬之后可能会专门出一期,敬请关注)毕竟,咱们本篇是新手教程,雪佬不想搞的很复杂,最好是一看就能学会的内容。你以为到这里就完了?NO NO NO雪佬接下来开始讲第二个配音工具,(此刻应该有三连,是不是很超值)观众老爷:我现在就点,我点完转发不就完了,真是的。好了,话不多说,雪佬直接开始第二个工具,它的名字叫:DubbingX没错,可能好多观众老爷已经听说了,或者是已经用过了,DubbingX确实不错。

Others are asking
声音克隆
GPTSoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架,具有以下特点和使用方法: 特点: 零样本 TTS:输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练:只需 1 分钟的训练数据即可微调模型,提高声音相似度和真实感,模仿出的声音更接近原声且自然。 跨语言支持:支持英语、日语和中文等不同语言的推理。 易于使用的界面:集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具,方便初学者创建训练数据集和模型。 适用于不同操作系统:可在包括 Windows 在内的多种操作系统上安装和运行。 提供预训练模型:可直接下载使用。 使用: 开源数字人组合方案中,第一步先剪出音频,使用 https://elevenlabs.io/speechsynthesis 或 GPTSoVITS 克隆声音,做出文案的音频。 前置数据获取处理时,选择音频并切割,有噪音时进行降噪处理,完成降噪后开启离线 ASR。 在 GPTSowitsTTS 中,进行训练集格式化,包括微调训练(开启 SoVITS 训练和 GPT 训练)和推理(开始推理、刷新模型、选择微调后的模型),成功后会出现新的 URL,表示声音微调完毕。 可以实现跨多语种语言的声音复刻,例如 AIyoyo 普通话和粤语版的《满江红》。 GitHub 地址: 视频教程: 基础 wav2lip+高清修复整合包下载地址: 相关产品:
2025-02-25
声音克隆
GPTSoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架,具有以下特点和使用方法: 特点: 零样本 TTS:输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练:只需 1 分钟的训练数据即可微调模型,提高声音相似度和真实感,模仿出来的声音更接近原声且自然。 跨语言支持:支持与训练数据集不同语言的推理,目前支持英语、日语和中文。 易于使用的界面:集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具,帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统:项目可以在不同的操作系统上安装和运行,包括 Windows。 预训练模型:项目提供了一些已经训练好的模型,可直接下载使用。 使用: 开源数字人组合方案中,第一步先剪出音频,使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits 克隆声音,做出文案的音频。第二步使用 wav2lip 整合包,导入视频和音频,对口型得到视频。 GPTSoVITS 实现声音克隆的具体步骤: 前置数据获取处理:选择音频,开启切割;有噪音时,进行降噪处理;降噪处理完成,开启离线 ASR。 GPTSowitsTTS:训练集格式化,开启一键三连并耐心等待;微调训练,开启 SoVITS 训练和 GPT 训练;推理,开始推理 刷新模型 选择微调后的模型 yoyo。成功后会出现新的 URL,说明自己的声音微调完毕。 声音复刻:开启声音复刻之旅,可实现跨多语种语言的声音,如 AIyoyo 普通话 满江红、AIyoyo 粤语版 满江红。 相关资源: GitHub:https://github.com/RVCBoss/GPTSoVITS 视频教程:https://bilibili.com/video/BV12g4y1m7Uw/ 基础 wav2lip+高清修复整合包下载地址:https://github.com/Rudrabha/Wav2Lip 产品:https://synclabs.so/
2025-02-25
语音克隆
GPTSoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架,具有以下特点和使用步骤: 特点: 1. 零样本 TTS:输入 5 秒的声音样本即可体验即时的文本到语音转换。 2. 少量样本训练:只需 1 分钟的训练数据即可微调模型,提高声音相似度和真实感,模仿出来的声音更接近原声且更自然。 3. 跨语言支持:支持与训练数据集不同语言的推理,目前支持英语、日语和中文。 4. 易于使用的界面:集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具,帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 5. 适用于不同操作系统:项目可以在不同的操作系统上安装和运行,包括 Windows。 6. 提供预训练模型:项目提供了一些已经训练好的模型,可直接下载使用。 使用步骤: 1. 前置数据获取处理: 选择音频,开启切割。 有噪音时,进行降噪处理。 降噪处理完成,开启离线 ASR。 2. GPTSowitsTTS: 训练集格式化:开启一键三连,耐心等待。 微调训练:开启 SoVITS 训练和 GPT 训练。 推理:开始推理 刷新模型 选择微调后的模型 yoyo。 3. 声音复刻:开启声音复刻之旅,可实现跨多语种语言的声音。 相关资源: GitHub:https://github.com/RVCBoss/GPTSoVITS 视频教程:https://bilibili.com/video/BV12g4y1m7Uw/ 注册 colab 并启动准备:点击进入按照步骤注册即可 https://colab.research.google.com/scrollTo=Wf5KrEb6vrkR&uniqifier=2 ,新建笔记本,运行脚本启动 GPTSo VITS,整个过程比较漫长,需要耐心等待,可以整个脚本一起运行,也可以一段一段运行; https://colab.research.google.com/drive/1Z4p4NTR7GYlQTn_MdMen9XgulV0CHza?usp=sharing 。 实践的样本: AIyoyo 普通话 满江红 AIyoyo 粤语版 满江红
2025-02-25
声音克隆
GPTSoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架,具有以下特点和优势: 1. 零样本 TTS:输入 5 秒的声音样本即可体验即时的文本到语音转换。 2. 少量样本训练:只需 1 分钟的训练数据即可微调模型,提高声音相似度和真实感,模仿出来的声音更接近原声且自然。 3. 跨语言支持:支持与训练数据集不同语言的推理,目前支持英语、日语和中文。 4. 易于使用的界面:集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具,帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 5. 适用于不同操作系统:项目可以在不同的操作系统上安装和运行,包括 Windows。 6. 预训练模型:项目提供了一些已经训练好的模型,可直接下载使用。 使用方法: 1. 开源的数字人组合方案中,第一步先剪出音频,使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits 克隆声音,做出文案的音频。 2. 第二步使用 wav2lip 整合包,导入视频和音频,对口型得到视频。基础 wav2lip+高清修复整合包下载地址为 https://github.com/Rudrabha/Wav2Lip 。 在进行 GPTSoVITS 声音克隆时: 1. 前置数据获取处理:选择音频,开启切割。有噪音时,进行降噪处理。降噪处理完成,开启离线 ASR。 2. GPTSowitsTTS:训练集格式化时开启一键三连,耐心等待。微调训练时开启 SoVITS 训练和 GPT 训练。推理时开始推理,刷新模型,选择微调后的模型。成功时会出现新的 URL,说明声音微调完毕。 3. 声音复刻:可以实现跨多语种语言的声音,例如 AIyoyo 普通话满江红(https://drive.weixin.qq.com/s?k=AJMA1Qc4AAwsRaRfHrAQ8AbQYrAGo)。 GitHub 地址: 视频教程:
2025-02-23
中文语音克隆比较强的有哪些
以下是一些中文语音克隆能力较强的产品: XiaoHu.AI:通过 250,000 小时的中英双语数据训练,仅需 15 秒的声音即可完美克隆,包括音色和情感。基于 LLaMA 模型,支持从文本生成语音,或基于语音提示生成目标语音(保留情感特征)。参数规模有 Llasa1B(轻量级,适合资源受限硬件部署,链接:https://huggingface.co/HKUSTAudio/Llasa1B )和 Llasa3B(更高性能,提供更复杂的语音生成,链接:https://huggingface.co/HKUSTAudio/Llasa3B )。详细介绍:https://www.xiaohu.ai/c/a066c4/llasattsllama3233827b03e5f44a989bf29c06d43d11ce 。 开源产品: GPTSoVITS:https://github.com/RVCBoss/GPTSoVITS ,对中、英、日语言支持良好,需要 10 分钟左右干素材,瞬时 clone 功能未开放。 OpenVoice:https://github.com/myshellai/OpenVoice ,对中文支持较好,主打瞬时 clone,发展势头良好,一个月前测试时中文声音 clone 有英语味道。 商业产品: ElevenLab:https://elevenlabs.io ,支持最多语言种类,支持瞬时 clone,综合效果最好。 Reecho:https://reecho.ai ,中国团队,支持长音频和瞬时声音 clone,据说与火山引擎的声音 clone 技术同源。 自得语音:https://zideai.com ,中国团队,支持瞬时声音 clone 和声音定制,尚未测试。
2025-02-11
推荐免费的tts公有模型站点,需要支持中文,克隆自己的声音
以下为您推荐支持中文且能克隆自己声音的免费 TTS 公有模型站点: GPTSoVITS: 只需 1 分钟语音即可训练一个自己的 TTS 模型。 5 秒数据就能模仿您,1 分钟的声音数据就能训练出一个高质量的 TTS 模型,完美克隆您的声音,且适配中文,界面易用。 主要特点: 零样本 TTS:输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练:只需 1 分钟的训练数据即可微调模型,提高声音相似度和真实感。模仿出来的声音会更加接近原声,听起来更自然。 跨语言支持:支持与训练数据集不同语言的推理,目前支持英语、日语和中文。 易于使用的界面:集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具,帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统:项目可以在不同的操作系统上安装和运行,包括 Windows。 预训练模型:项目提供了一些已经训练好的模型,您可以直接下载使用。 GitHub: 视频教程: 需要注意的是,Stuart 模型存在一些问题: 语音生成基本功能方面: 支持的语音时长不超过 30 秒,超过 30 秒的需要特别修复。 某些 audio seed 在念某些语句时会丢失一些语句。 Refine 过程中有些字会被丢失,比如“儿童节”在大概率会被 refine 成“童节”,丢失一个“儿”字。解决方法是跳过自动 refine,以手动修改文本的方式来控制停顿。 即使同一个 audio seed,如果使用不同的语句分段方式,或者不同的 text seed,生成的音色也不是很稳定,会给人感觉不是同一个人的声音。 代码 Bug: uv_break 等提示词可能会在 refine 之后缺少,甚至有时候在有中括号的情况下也会被念出来。 没提供微调 SFT 的接口。 本模型特别申明:不支持商用,仅用于学术研究。在生成的语音内,作者加了听不见的噪音水印,可以很容易的被检测出来是他的模型生成的语音。ChatTTS 还没放出训练代码无法自己克隆声音,作者还只放出了 4w 小时训练的版本,确保这个模型的声音能被 AI 检测出来。作者还留着一个 10w 小时训练数据的版本。
2025-02-07
模仿特定声音,给文字配音
以下是为您提供的关于模仿特定声音给文字配音的相关信息: ElevenLabs 推出了全自动化的 AI 配音或视频翻译工具。您只需上传视频或粘贴视频链接,该工具能在几十秒到几分钟内将视频翻译成 29 种语言,还能直接克隆原视频里的声音来配音。群友瑞华测试的相关视频链接如下: 另外,有群友测试了豆包的音色模仿,读大概 20 个字的句子,5 秒就能生成非常像的音色,之后可用自己的声音读生成的文字内容。 用户可通过文字+哼唱、敲打节奏、手势等指导模型生成精确音频,如模仿赛车声或小水流变瀑布声。其基于扩散模型,结合文本和控制信号生成音频,适用于节奏模仿及其他多种输入形式。相关链接:
2025-03-04
RVC声音模型训练
RVC 声音模型训练是将输入音频转换为训练的声音,即变声。它对训练素材量级要求较高,最少需要 20 分钟的素材才能达到理想效果,并且可以选择是否关联音高,以区分说话和唱歌两个不同场景。 在节目《马上封喉》中,负责马季老师语音生成部分的人员提到,AI 语音主要涉及 TTS(文本转语音)和 RVC 两项技术。此次的 AI 马季主要以 gptsovits 为主。 在 AI 春晚《西游不能停》的创作过程中,尝试了用 RVC 进行 vocal 变声的两种办法,但效果均不理想。第一种方法是训练声音模型后直接变声,存在变声后 AI 味儿太重、丢失原有强调的问题;第二种方法是训练声音模型,自己录 rap 后再变声,但需要在录音时尽量模仿还原出特点和感觉,这涉及到专业配音技巧,超出了能力范围。此外,八戒和沙僧声音的训练文件丢失,效果也不理想。
2025-02-13
我需要一个拥有自己声音模型的文字转语音的AI
以下为您推荐拥有自己声音模型的文字转语音的 AI 工具: 1. Eleven Labs:https://elevenlabs.io/ ,是一款功能强大且多功能的 AI 语音软件,能高保真地呈现人类语调和语调变化,并能根据上下文调整表达方式。 2. Speechify:https://speechify.com/ ,是一款人工智能驱动的文本转语音工具,可作为多种平台的应用使用,用于收听网页、文档、PDF 和有声读物等。 3. Azure AI Speech Studio:https://speech.microsoft.com/portal ,提供支持 100 多种语言和方言的语音转文本和文本转语音功能,还提供了自定义的语音模型。 4. Voicemaker:https://voicemaker.in/ ,可将文本转换为各种区域语言的语音,并允许创建自定义语音模型。 另外,在算法驱动的数字人中,TTS(文字转语音)是其中的一个核心环节,数字人依靠 LLM 生成的输出是文字,为了保持语音交互一致性,需要将文字转换为语音。在游戏《神谕》中,ChatGPT 返回的中文文字,为提升交互体验,也通过 TTS 服务选择合适的声音播放出来,这里使用的是内部自研的 TTS 以及代码平台。 内容由 AI 大模型生成,请仔细甄别。
2025-02-10