TTS

以下为您推荐支持中文且能克隆自己声音的免费 TTS 公有模型站点： GPTSoVITS： 只需 1 分钟语音即可训练一个自己的 TTS 模型。 5 秒数据就能模仿您，1 分钟的声音数据就能训练出一个高质量的 TTS 模型，完美克隆您的声音，且适配中文，界面易用。 主要特点： 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 预训练模型：项目提供了一些已经训练好的模型，您可以直接下载使用。 GitHub： 视频教程： 需要注意的是，Stuart 模型存在一些问题： 语音生成基本功能方面： 支持的语音时长不超过 30 秒，超过 30 秒的需要特别修复。 某些 audio seed 在念某些语句时会丢失一些语句。 Refine 过程中有些字会被丢失，比如“儿童节”在大概率会被 refine 成“童节”，丢失一个“儿”字。解决方法是跳过自动 refine，以手动修改文本的方式来控制停顿。 即使同一个 audio seed，如果使用不同的语句分段方式，或者不同的 text seed，生成的音色也不是很稳定，会给人感觉不是同一个人的声音。 代码 Bug： uv_break 等提示词可能会在 refine 之后缺少，甚至有时候在有中括号的情况下也会被念出来。 没提供微调 SFT 的接口。 本模型特别申明：不支持商用，仅用于学术研究。在生成的语音内，作者加了听不见的噪音水印，可以很容易的被检测出来是他的模型生成的语音。ChatTTS 还没放出训练代码无法自己克隆声音，作者还只放出了 4w 小时训练的版本，确保这个模型的声音能被 AI 检测出来。作者还留着一个 10w 小时训练数据的版本。

以下为您推荐两个免费的支持中文的 TTS 模型站点： 1. Fish Speech：语音处理接近人类水平，约十五万小时三语数据，对中文支持完美。开发者为 fishaudio，具有亿级参数，高效轻量，可在个人设备上运行和微调，适合作为私人语音助手。详细介绍及更多演示：https://xiaohu.ai/p/10779 ，GitHub：https://github.com/fishaudio/fishspeech 。 2. GPTSoVITS：只需 1 分钟语音即可训练一个自己的 TTS 模型，是一个声音克隆和文本到语音转换的开源 Python RAG 框架。5 秒数据就能模仿您，1 分钟的声音数据就能训练出一个高质量的 TTS 模型，完美克隆您的声音，完美适配中文。GitHub： 。

以下是关于 TTS 的一些最佳解决方案： 在线 TTS 工具推荐： Eleven Labs：https://elevenlabs.io/ ，是一款功能强大且多功能的 AI 语音软件，能高保真地呈现人类语调和语调变化，并能根据上下文调整表达方式。 Speechify：https://speechify.com/ ，是一款人工智能驱动的文本转语音工具，可作为多种平台的应用使用，用于收听网页、文档、PDF 和有声读物。 Azure AI Speech Studio：https://speech.microsoft.com/portal ，提供了支持 100 多种语言和方言的语音转文本和文本转语音功能，还提供了自定义的语音模型。 Voicemaker：https://voicemaker.in/ ，可将文本转换为各种区域语言的语音，并允许创建自定义语音模型。 TTS 音库制作和文本前端： 录音文本收集：在一个语种的语音合成建设之初，可同步收集该语种对应的大文本。录音文本的选择一般遵循以下原则： 音素覆盖：构建基础的文本前端，确保录音文本的音素或音素组合尽可能覆盖全。 场景定制：根据通用或特定场景需求，确保相关内容有所覆盖，并与需求方紧密沟通。 文本正确性：确保录音文本拼写无误，内容正确。 照片数字人工作流及语音合成（TTS）API 出门问问 Mobvoi： 接口请求域名：https://open.mobvoi.com/api/tts/v1 。 接口请求频率限制：5 次/秒。 可以将任意文本转化为语音，应用场景广泛，提供多种方言、发音人和风格，实时合成支持 SSML。 请注意，以上内容由 AI 大模型生成，请仔细甄别。

ChatTTS 是一个用于对话的生成式语音合成模型，具有以下特点： 优势： 真实度和自然度惊艳。 有更好的韵律，能生成接近真人音色的语气语调。 对中文支持良好，中英混合也没问题。 可进行细粒度控制，能预测和控制如笑声、停顿和插话等韵律特征。 能自然流畅地语音合成，支持多说话人，同时提供预训练模型。 劣势： 推理速度慢，无法应用在实时语音场景，离线场景需大量后期修正工作。 对于阿拉伯数字、标点符号，refine 后效果不佳。 有时会出现不稳定情况，自动删除或增加一些内容，读绕口令时有卡顿。 在参数设置方面，常调整的参数主要是 Seed（种子数），不同的 Seed 对应不同的声音，目前较火的 Seed 为 2222。此外，输入文本时，除文字本身和控制符号外，还可控制笑声、停顿等副语言现象。 在使用时，对于 30 秒的音频，需要 4G 的显存。整合包增加了音质增强、批量处理、长文本切分等功能，Mac 版本默认绑定 8080 窗口，推出应用后需执行“lsof i:8080”得到程序的 PID 后 kill 程序，不然下一次启动会提示端口被占用。在输入文本准备生成时，可勾选音频增强和降噪进行进一步处理，增强后的音频会更清晰但处理时长会增加。生成的语音已达到“以假乱真”的程度，但为防止模型被用于诈骗等违法行为，作者在训练过程中添加了少量高频噪音，并压缩了音质。

以下是关于 TTS 模型训练的相关内容： 使用 GPTSoVITS 进行 TTS 模型训练： GPTSoVITS 是一个声音克隆和文本到语音转换的开源 Python RAG 框架。 只需 1 分钟语音即可训练一个自己的 TTS 模型。5 秒数据就能模仿您，1 分钟的声音数据就能训练出一个高质量的 TTS 模型，完美克隆您的声音。 主要特点： 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 预训练模型：项目提供了一些已经训练好的模型，您可以直接下载使用。 GitHub： 视频教程： TTS 模型训练的音库制作和文本前端： 音频录制： 音频的录制对合成语音的表现较为重要，较差的语音甚至会导致端到端声学模型无法正常收敛。 用于训练的录音至少要保证录音环境和设备始终保持一致，无混响、背景噪音；原始录音不可截幅。 如果希望合成出来的语音干净，则要删除含口水音、呼吸音、杂音、模糊等，但对于目前的端到端合成模型，有时会学习到在合适的位置合成呼吸音、口水音，反而会增加语音自然度。 录音尽可能不要事先处理，语速的调节尚可，但调节音效等有时会造成奇怪的问题，甚至导致声学模型无法收敛。 音频的录制可以参考录音公司的标准，购买专业麦克风，并保持录音环境安静即可。 在音库录制过程中，可尽早提前尝试声学模型，比如音库录制 2 个小时语音后，就可尝试训练基线语音合成系统，以防止录音不符合最终的需求。 语料整理： 检查文本和录制的语音是否一一对应，录制的音频本身一句话是否能量渐弱，参与训练的语音前后静音段要保持一致，能量要进行规范化。 可使用预训练的语音活动检测（Voice Activity Detection，VAD）工具，或者直接根据语音起止的电平值确定前后静音段。 可以使用一些开源的工具，比如统一所有语音的整体能量，这将有助于声学模型的收敛。当然，在声学模型模型训练时，首先就要对所有语料计算均值方差，进行统一的规范化，但是这里最好实现统一能量水平，防止一句话前后能量不一致。 GPTSoVITS 实现 AIyoyo 声音克隆的步骤： 前置数据获取处理： 选择音频，开启切割。 有噪音时，进行降噪处理。 降噪处理完成，开启离线 ASR。 GPTSowitsTTS： 训练集格式化：开启一键三连，耐心等待即可。 微调训练：开启 SoVITS 训练和 GPT 训练。 推理：开始推理 刷新模型 选择微调后的模型 yoyo。 成功：出现新的 URL，说明您自己的声音微调完毕，然后可以进行使用。 声音复刻：开启声音复刻之旅，实现跨多语种语言的声音。 希望以上内容对您有所帮助。

目前，ChatTTS 是备受关注的 TTS 之一。 其优势包括： 真实度和自然度很惊艳。 有更好的韵律，能生成接近真人音色的语气语调，对中文支持良好，中英混合也没问题。 能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等。 自然流畅的语音合成，同时支持多说话人，还提供预训练模型。 然而，它也存在一些劣势： 当前推理速度慢，无法应用在实时语音场景。用在离线场景，需要大量的后期修正工作。 对于阿拉伯数字、标点符号，refine 后效果不太好。 有时候会出现不稳定，自动删除或者增加一些内容在句子里，比如输入的内容是“你吃饭了没”，会莫名把句子改写一下变成了，“好吃，你吃饭了没”这种情况。 读绕口令也有人的那种卡顿（效果不稳定）。 另外，XiaoHu.AI 也表现出色，支持跨语言配音、语音克隆、情感控制等，表现优于现有 TTS 系统，提供对语音生成的多样性和情感控制，并允许局部编辑，实时可控编辑，支持对特定语音片段进行修改或替换。您可以通过以下链接获取更多信息： 更多案例： GitHub： 论文： 在线体验： 官方网站： PersonaTalk 也是字节跳动的 AI 配音模型。