Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

TTS

Answer

语音合成（Text to Speech，TTS）是指将文本通过一系列的信号处理转换成“人造”语音。

技术原理：

  1. 文本与韵律分析：先将文本分词，标明每个字的发音以及重音、停顿等韵律信息，然后提取文本的特征，生成特征向量。
  2. 声学处理：通过声学模型将文本特征向量映射到声学特征向量。
  3. 声音合成：使用声码器将声学特征向量通过反变换生成声音波形，然后依次拼接得到整个文本的合成语音。在反变换过程中，可以调整参数，从而改变合成语音的音色、语调、语速等。

参考资料：CUI三部曲之语音合成——机器如何回答你的话？

出门问问的语音合成（TTS）API：

  • 接口描述：
    • 接口请求域名：https://open.mobvoi.com/api/tts/v1
    • 接口请求频率限制：5 次/秒
    • 可以将任意文本转化为语音，应用场景包括视频 APP 配音解说、小说 App 有声阅读、移动 App 语音播报新闻、智能设备语音提醒、车载导航语音合成的个性化语音播报等。提供了普通话、台湾腔、粤语、四川话、东北话等多种方言，数百个发音人，上千种风格。
  • 请求参数：
    • HTTP Method：支持 POST 请求
    • 调用参数及说明：
      • 字段名：text，必填，类型为 String，要合成的文本内容，限制为 1000 字符。支持 ssml 标记语言，使用说明见附录 3。
      • 字段名：appkey，必填，类型为 String，开发者在 AI 开放平台上申请的 appkey。
      • 字段名：signature，必填，类型为 String，签名，通过“appkey+secret+timestamp”进行 md5 加密，得到的 32 位 MD5 值。每次请求实时计算签名，签名有效期为 10 分钟。
      • 字段名：timestamp，必填，类型为 Long，当前时间戳，单位为秒。
      • 字段名：speaker，否，类型为 String，合成音频指定发音人，默认值：cissy_meet，其他发音人传值及计费价格请参考声音商店。
      • 字段名：audio_type，否，类型为 String，合成音频的格式，默认值：mp3，可选值：pcm/mp3/speex-wb-10/wav，只支持这四种格式中的一种。
      • 字段名：speed，否，类型为 Float，发音人合成的语速，支持小数点后两位，默认值：1.0，可选值：0.5 - 2.0。
    • Request Header 设置
Content generated by AI large model, please carefully verify (powered by aily)

References

语音合成

语音合成（Text to Speech，TTS）是指将文本通过一系列的信号处理转换成“人造”语音。[heading3]技术原理[content]传统的语音合成技术一般会经过文本与韵律分析、声学处理与声音合成三个步骤。1.文本与韵律分析：先将文本分词；再标明每个字的发音以及重音、停顿等韵律信息；然后提取文本的特征，生成特征向量。2.声学处理：通过声学模型将文本特征向量映射到声学特征向量。3.声音合成：使用声码器将声学特征向量通过反变换生成声音波形，然后一次拼接得到整个文本的合成语音。在反变换过程中，可以调整参数，从而改变合成语音的音色、语调、语速等。[heading3]参考资料[content][CUI三部曲之语音合成——机器如何回答你的话？](https://mp.weixin.qq.com/s/9QSdesjVlHVdfS_pUvLbMA)

照片数字人工作流及语音合成（TTS）API- 出门问问Mobvoi

1.接口描述接口请求域名：https://open.mobvoi.com/api/tts/v1接口请求频率限制：5次/秒出门问问语音合成技术（TTS）可以将任意文本转化为语音，实现让机器和应用张口说话。出门问问TTS技术可以应用到很多场景，例如，在视频APP中作为配音解说；小说App完成有声阅读，移动App语音播报新闻；智能设备语音提醒；车载导航语音合成的个性化语音播报等。出门问问TTS服务提供了普通话、台湾腔、粤语、四川话、东北话等多种方言，数百个发音人，上千种风格，满足客户在不同场景的选择需求。实时合成支持SSML，语法详见SSML标记语言。1.请求参数HTTP Method:支持POST请求调用参数及说明：

照片数字人工作流及语音合成（TTS）API- 出门问问Mobvoi

调用参数及说明：|字段名|必填|类型|描述||-|-|-|-||text|是|String|要合成的文本内容，限制为1000字符。支持ssml标记语言，使用说明见附录3。||appkey|是|String|开发者在AI开放平台上申请的appkey。||signature|是|String|签名，通过“appkey+secret+timestamp”进行md5加密，得到的32位MD5值。其中加号也参与MD5的计算。<br>每次请求实时计算签名，签名有效期为10分钟。||timestamp|是|Long|当前时间戳，单位为秒。||speaker|否|String|合成音频指定发音人<br>默认值：cissy_meet<br>其他发音人传值及计费价格请参考声音商店。||audio_type|否|String|合成音频的格式<br>默认值：mp3<br>可选值：pcm/mp3/speex-wb-10/wav<br>只支持这四种格式中的一种||speed|否|Float|发音人合成的语速，支持小数点后两位<br>默认值：1.0<br>可选值：0.5-2.0|Request Header设置

Others are asking
tts
语音合成（Text to Speech，TTS）是指将文本通过一系列的信号处理转换成“人造”语音。 技术原理： 传统的语音合成技术一般会经过以下三个步骤： 1. 文本与韵律分析：先将文本分词，标明每个字的发音以及重音、停顿等韵律信息，然后提取文本的特征，生成特征向量。 2. 声学处理：通过声学模型将文本特征向量映射到声学特征向量。 3. 声音合成：使用声码器将声学特征向量通过反变换生成声音波形，然后依次拼接得到整个文本的合成语音。在反变换过程中，可以调整参数，从而改变合成语音的音色、语调、语速等。 参考资料： 出门问问的语音合成（TTS）API： 1. 接口描述： 接口请求域名：https://open.mobvoi.com/api/tts/v1 接口请求频率限制：5 次/秒 应用场景：在视频 APP 中作为配音解说；小说 App 完成有声阅读，移动 App 语音播报新闻；智能设备语音提醒；车载导航语音合成的个性化语音播报等。 提供多种方言和风格：包括普通话、台湾腔、粤语、四川话、东北话等多种方言，数百个发音人，上千种风格，满足客户在不同场景的选择需求。实时合成支持 SSML，语法详见 SSML 标记语言。 2. 请求参数： HTTP Method：支持 POST 请求 调用参数及说明： 字段名：text，必填，类型为 String，要合成的文本内容，限制为 1000 字符。支持 ssml 标记语言，使用说明见附录 3。 字段名：appkey，必填，类型为 String，开发者在 AI 开放平台上申请的 appkey。 字段名：signature，必填，类型为 String，签名，通过“appkey+secret+timestamp”进行 md5 加密，得到的 32 位 MD5 值。其中加号也参与 MD5 的计算。每次请求实时计算签名，签名有效期为 10 分钟。 字段名：timestamp，必填，类型为 Long，当前时间戳，单位为秒。 字段名：speaker，否，类型为 String，合成音频指定发音人，默认值：cissy_meet，其他发音人传值及计费价格请参考声音商店。 字段名：audio_type，否，类型为 String，合成音频的格式，默认值：mp3，可选值：pcm/mp3/speexwb10/wav，只支持这四种格式中的一种。 字段名：speed，否，类型为 Float，发音人合成的语速，支持小数点后两位，默认值：1.0，可选值：0.5 2.0。 Request Header 设置
2025-04-14
适合客户端使用的 tts 模型有什么
以下是一些适合客户端使用的 TTS 模型： 1. Fish Speech：语音处理接近人类水平，约十五万小时三语数据，对中文支持完美。开发者为 fishaudio，具有亿级参数，高效轻量，可在个人设备上运行和微调，适合作为私人语音助手。详细介绍及更多演示：https://xiaohu.ai/p/10779 ，GitHub：https://github.com/fishaudio/fishspeech 。 2. GPTSoVITS：只需 1 分钟语音即可训练一个自己的 TTS 模型，是一个声音克隆和文本到语音转换的开源 Python RAG 框架。5 秒数据就能模仿，1 分钟的声音数据就能训练出高质量的 TTS 模型，完美克隆声音。支持零样本 TTS、少量样本训练、跨语言支持、易于使用的界面等。GitHub： 。
2025-03-17
spark tts
SparkTTS 是基于 Qwen2.5 的高效文本转语音（TTS）系统，具有以下特点： 1. 超越现有 TTS，结合 Qwen2.5 进行端到端生成。 2. 支持细粒度语音控制，包括性别、音调、语速等自定义参数。 3. 具备零样本语音克隆功能，无需目标声音样本，即可生成个性化高质量声音。 4. 采用 BiCodec 编码架构，简化流程，提高推理效率。 5. 与 Qwen2.5 LLM 集成，可直接通过 LLM 处理 TTS 任务，无需额外声学模型。
2025-03-11
tts
语音合成（Text to Speech，TTS）是指将文本通过一系列的信号处理转换成“人造”语音。 技术原理： 1. 文本与韵律分析：先将文本分词，标明每个字的发音以及重音、停顿等韵律信息，然后提取文本的特征，生成特征向量。 2. 声学处理：通过声学模型将文本特征向量映射到声学特征向量。 3. 声音合成：使用声码器将声学特征向量通过反变换生成声音波形，然后依次拼接得到整个文本的合成语音。在反变换过程中，可以调整参数，从而改变合成语音的音色、语调、语速等。 参考资料： 出门问问的语音合成（TTS）API： 接口请求域名：https://open.mobvoi.com/api/tts/v1 接口请求频率限制：5 次/秒 应用场景：在视频 APP 中作为配音解说；小说 App 完成有声阅读，移动 App 语音播报新闻；智能设备语音提醒；车载导航语音合成的个性化语音播报等。 提供多种方言和风格：包括普通话、台湾腔、粤语、四川话、东北话等多种方言，数百个发音人，上千种风格，满足客户在不同场景的选择需求。实时合成支持 SSML，语法详见 SSML 标记语言。 请求参数： HTTP Method：支持 POST 请求 调用参数及说明： 字段名：text，必填，类型为 String，要合成的文本内容，限制为 1000 字符。支持 ssml 标记语言，使用说明见附录 3。 字段名：appkey，必填，类型为 String，开发者在 AI 开放平台上申请的 appkey。 字段名：signature，必填，类型为 String，签名，通过“appkey+secret+timestamp”进行 md5 加密，得到的 32 位 MD5 值。其中加号也参与 MD5 的计算。每次请求实时计算签名，签名有效期为 10 分钟。 字段名：timestamp，必填，类型为 Long，当前时间戳，单位为秒。 字段名：speaker，否，类型为 String，合成音频指定发音人，默认值：cissy_meet，其他发音人传值及计费价格请参考声音商店。 字段名：audio_type，否，类型为 String，合成音频的格式，默认值：mp3，可选值：pcm/mp3/speexwb10/wav，只支持这四种格式中的一种。 字段名：speed，否，类型为 Float，发音人合成的语速，支持小数点后两位，默认值：1.0，可选值：0.5 2.0。 Request Header 设置
2025-02-28
推荐免费的tts公有模型站点，需要支持中文，克隆自己的声音
以下为您推荐支持中文且能克隆自己声音的免费 TTS 公有模型站点： GPTSoVITS： 只需 1 分钟语音即可训练一个自己的 TTS 模型。 5 秒数据就能模仿您，1 分钟的声音数据就能训练出一个高质量的 TTS 模型，完美克隆您的声音，且适配中文，界面易用。 主要特点： 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 预训练模型：项目提供了一些已经训练好的模型，您可以直接下载使用。 GitHub： 视频教程： 需要注意的是，Stuart 模型存在一些问题： 语音生成基本功能方面： 支持的语音时长不超过 30 秒，超过 30 秒的需要特别修复。 某些 audio seed 在念某些语句时会丢失一些语句。 Refine 过程中有些字会被丢失，比如“儿童节”在大概率会被 refine 成“童节”，丢失一个“儿”字。解决方法是跳过自动 refine，以手动修改文本的方式来控制停顿。 即使同一个 audio seed，如果使用不同的语句分段方式，或者不同的 text seed，生成的音色也不是很稳定，会给人感觉不是同一个人的声音。 代码 Bug： uv_break 等提示词可能会在 refine 之后缺少，甚至有时候在有中括号的情况下也会被念出来。 没提供微调 SFT 的接口。 本模型特别申明：不支持商用，仅用于学术研究。在生成的语音内，作者加了听不见的噪音水印，可以很容易的被检测出来是他的模型生成的语音。ChatTTS 还没放出训练代码无法自己克隆声音，作者还只放出了 4w 小时训练的版本，确保这个模型的声音能被 AI 检测出来。作者还留着一个 10w 小时训练数据的版本。
2025-02-07
推荐免费的tts模型站点，需要支持中文
以下为您推荐两个免费的支持中文的 TTS 模型站点： 1. Fish Speech：语音处理接近人类水平，约十五万小时三语数据，对中文支持完美。开发者为 fishaudio，具有亿级参数，高效轻量，可在个人设备上运行和微调，适合作为私人语音助手。详细介绍及更多演示：https://xiaohu.ai/p/10779 ，GitHub：https://github.com/fishaudio/fishspeech 。 2. GPTSoVITS：只需 1 分钟语音即可训练一个自己的 TTS 模型，是一个声音克隆和文本到语音转换的开源 Python RAG 框架。5 秒数据就能模仿您，1 分钟的声音数据就能训练出一个高质量的 TTS 模型，完美克隆您的声音，完美适配中文。GitHub： 。
2025-02-07