Home/Question List/Question Detail

目前最好的TTS是什么

Answer

目前，ChatTTS 是备受关注的 TTS 之一。

其优势包括：

真实度和自然度很惊艳。
有更好的韵律，能生成接近真人音色的语气语调，对中文支持良好，中英混合也没问题。
能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等。
自然流畅的语音合成，同时支持多说话人，还提供预训练模型。

然而，它也存在一些劣势：

当前推理速度慢，无法应用在实时语音场景。用在离线场景，需要大量的后期修正工作。
对于阿拉伯数字、标点符号，refine 后效果不太好。
有时候会出现不稳定，自动删除或者增加一些内容在句子里，比如输入的内容是“你吃饭了没”，会莫名把句子改写一下变成了，“好吃，你吃饭了没”这种情况。
读绕口令也有人的那种卡顿（效果不稳定）。

另外，XiaoHu.AI 也表现出色，支持跨语言配音、语音克隆、情感控制等，表现优于现有 TTS 系统，提供对语音生成的多样性和情感控制，并允许局部编辑，实时可控编辑，支持对特定语音片段进行修改或替换。您可以通过以下链接获取更多信息：

更多案例：https://xiaohu.ai/p/14995
GitHub：https://github.com/open-mmlab/Amphion/tree/main/models/tts/maskgct
论文：https://arxiv.org/pdf/2409.00750
在线体验：https://huggingface.co/spaces/amphion/maskgct
官方网站：https://voice.funnycp.com

PersonaTalk 也是字节跳动的 AI 配音模型。

Content generated by AI large model, please carefully verify (powered by aily)

References

Stuart：一夜爆火的 ChatTTS 实测

作者：许键StuartChatTTS一夜爆火，极速出圈，3天就斩获9k的Star量，截止2024.06.03，已经16.6k的star，极速接近GPT-soVITs当天的26.2k的star数。到底有什么魔力让它火爆的速度直追它的前辈？优势：真实度和自然度很惊艳更好的韵律:能生成接近真人音色的语气语调这个TTS应该是目前对中文支持最好的了中英混合也没问题细粒度控制:能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等自然流畅的语音合成，同时支持多说话人同时提供预训练模型劣势：当前推理速度慢，无法应用在实时语音场景。用在离线场景，需要大量的后期修正工作。对于阿拉伯数字，标点符号，refine后效果不太好有时候会出现不稳定，自动删除或者增加一些内容在句子里比如输入的内容是“你吃饭了没”，会莫名把句子改写一下变成了，“好吃，你吃饭了没”这种情况读绕口令也有人的那种卡顿（效果不稳定）

卡尔：终于蹲到ChatTTS增强版整合包，AI视频配角们有了自己的声音～

1.✅对话式TTS：ChatTTS针对对话式任务进行了优化，实现了自然流畅的语音合成，同时支持多说话人。2.✅细粒度控制：该模型能够预测和控制细粒度的韵律特征，包括笑声、停顿和插入词等。3.✅更好的韵律：ChatTTS在韵律方面超越了大部分开源TTS模型，并提供预训练模型。4.❌模型稳定性：自回归模型存在稳定性不足的问题，可能会出现声音突然变成其他人的声音，或者音质突然变差，可以通过多次尝试来寻找更好的音频效果。5.⭕️情感控制：目前发布的模型版本中，情感控制仅限于笑声（[laugh]）以及一些声音中断（[uv_break],[lbreak]）。作者计划在未来的版本中开源更多情感控制的功能。几天前，我们还需要在本地和云端安装环境才能运行ChatTTS，玩法较为复杂。如今，陆续出现了在线网站和本地增强整合包。这里给大家介绍一下玩法，首先是网站：我们直接访问https://chattts.com/在作者提供的样例中，中英文混合和语气停顿效果令人印象深刻。这里我用这两个例子教大家如何使用。输入文本1📕这些元素其实是glam rock，然后加这种bling的感觉.我觉得像这个衣服有一些jacket,比如说那个oversized的那个丹宁的jacket,我觉得我是可以offduty的model.[ChatTTS中英混样例【网页端】.wav](https://bytedance.feishu.cn/space/api/box/stream/download/all/OVwsbemTDociUXxJ9vWcllhpn4c?allow_redirect=1)

XiaoHu.AI日报

支持跨语言配音、语音克隆、情感控制等，表现优于现有TTS系统。提供对语音生成的多样性和情感控制，并允许局部编辑。实时可控编辑，支持对特定语音片段进行修改或替换。🔗更多案例：[https://xiaohu.ai/p/14995](https://xiaohu.ai/p/14995)🔗GitHub：[https://github.com/open-mmlab/Amphion/tree/main/models/tts/maskgct](https://github.com/open-mmlab/Amphion/tree/main/models/tts/maskgct)🔗论文：[https://arxiv.org/pdf/2409.00750](https://arxiv.org/pdf/2409.00750)🔗在线体验：[https://huggingface.co/spaces/amphion/maskgct](https://huggingface.co/spaces/amphion/maskgct)🔗官方网站：[https://voice.funnycp.com](https://voice.funnycp.com)🔗[https://x.com/imxiaohu/status/1850405441618223158/video/1](https://x.com/imxiaohu/status/1850405441618223158/video/1)3⃣️🎬PersonaTalk：字节跳动的AI配音模型

Others are asking

主流TTS-语音合成技术

语音合成（Speech Synthesis）是将文本转换为可听的声音信息，赋予了像人一样说话的能力，是人机交互的重要接口。一般而言，语音合成的概念比文语转换（TexttoSpeech，TTS）涵盖范围更广，包括 TTS、歌唱合成等领域，但多数情况下可混用。提供了一些端到端语音合成模型的样例，可感受目前语音合成的发展。人类通过一整套发音器官合成语音，肺相当于动力源，喉相当于调制器，声道相当于滤波器，口唇相当于扩音器。研究人员提出以源滤波器（sourcefilter）模型为代表的多种模型建模该过程，语音中有清音和浊音，分别由声带周期性振动对应的周期声源和声带不振动时紊乱气流对应的非周期声源产生。当代工业界主流语音合成系统包含文本前端和声学后端两部分。文本前端将输入文本转换为层次化的语音学表征，主要有文本规范化、韵律分析和文本转音素等模块。声学后端基于文本前端给出的层次化语言学表征生成语音，主要技术路线包括单元挑选波形拼接、统计参数和端到端语音合成方法，当代主要采用端到端声学后端。端到端声学后端通常包括声学模型和声码器两部分，也出现了直接从音素映射为波形的完全端到端语音合成系统。声学模型负责将语言学特征转换为中间声学特征（如梅尔频谱），直接决定合成语音的韵律；声码器将中间声学特征转换为语音波形，直接决定合成语音的音质。

2025-01-07

主流TTS-语音合成技术

语音合成（Speech Synthesis）是将文本转换为可听的声音信息，赋予了像人一样说话的能力，是人机交互的重要接口。一般而言，语音合成的概念比文语转换（TexttoSpeech，TTS）涵盖范围更广，包括 TTS、歌唱合成等领域，但多数情况下可混用。提供了一些端到端语音合成模型的样例，可感受目前语音合成的发展。人类通过一整套发音器官合成语音，肺相当于动力源，喉相当于调制器，声道相当于滤波器，口唇相当于扩音器。研究人员提出以源滤波器（sourcefilter）模型为代表的多种模型建模该过程，语音中有清音和浊音，分别由声带周期性振动对应的周期声源和声带不振动时紊乱气流对应的非周期声源产生。当代工业界主流语音合成系统包含文本前端和声学后端两部分。文本前端把输入文本转换为层次化的语音学表征，主要有文本规范化、韵律分析和文本转音素等模块。声学后端基于文本前端给出的层次化语言学表征（linguistics feature）生成语音，主要技术路线包括单元挑选波形拼接、统计参数和端到端语音合成方法，当代主要采用端到端声学后端。端到端声学后端通常包括声学模型和声码器两部分，也出现了直接从音素映射为波形的完全端到端语音合成系统。声学模型负责将语言学特征转换为中间声学特征（如梅尔频谱），直接决定合成语音的韵律；声码器将中间声学特征转换为语音波形，直接决定合成语音的音质。

2025-01-07

基于TTS+LLM流式数字人的问答系统

以下是关于基于 TTS + LLM 流式数字人的问答系统的相关信息：数字人简介：算法驱动的数字人强调自驱动，人为干预更少，技术实现更复杂。其最简单的大致流程包含三个核心算法： 1. ASR（Automatic Speech Recognition，语音识别）：旨在将用户的音频数据转化为文字，便于数字人理解和生成回应，以实现像人与人一样的对话交互。 2. AI Agent（人工智能体）：充当数字人的大脑，可直接接入大语言模型，强调 Agent 的概念是为了让数字人拥有记忆模块等，使其更加真实。 3. TTS（Text to Speech，文字转语音）：由于数字人依靠 LLM 生成的输出是文字，为保持语音交互一致性，需要将文字转换为语音由数字人输出。

2024-11-25

评价tts合成效果有什么通用标准吗

对 TTS 合成效果的评价主要分为主观评价和客观评价。主观评价是通过人类对语音进行打分，常见的方法包括平均意见得分（MOS）、众包平均意见得分（CMOS）和 ABX 测试。其中 MOS 评测较为宽泛，可测试语音的不同方面，如自然度 MOS 和相似度 MOS。国际电信联盟将 MOS 评测规范化为 ITUT P.800，其中绝对等级评分（ACR）应用广泛，其根据音频级别给出 1 至 5 分的评价标准，分数越大表示语音质量越好，MOS 大于 4 时音质较好，低于 3 则有较大缺陷。但人类评分结果易受干扰，如音频样本呈现形式、有无上下文等。客观评价是通过计算机自动给出语音音质的评估，在语音合成领域研究较少。客观评价可分为有参考和无参考质量评估，有参考评估方法需要音质优异的参考信号，常见的有 ITUT P.861（MNB）、ITUT P.862（PESQ）、ITUT P.863（POLQA）、STOI 和 BSSEval 等；无参考评估方法不需要参考信号，常见的包括基于信号的 ITUT P.563 和 ANIQUE+、基于参数的 ITUT G.107（EModel），近年来深度学习也应用到无参考质量评估中，如 AutoMOS、QualityNet、NISQA 和 MOSNet 等。获取平均意见得分时，实验要求获取多样化且数量足够大的音频样本，在具有特定声学特性的设备上进行测评，控制被试遵循同样标准，确保实验环境一致。实验方法有实验室方式和众包两种，实验室方式能稳定保证实验环境，但人力成本高；众包方式易于获得有效评估结果，但无法确保试听条件。