Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

spark tts

Answer

Spark-TTS 是基于 Qwen2.5 的高效文本转语音（TTS）系统，具有以下特点：

  1. 超越现有 TTS，结合 Qwen2.5 进行端到端生成。
  2. 支持细粒度语音控制，包括性别、音调、语速等自定义参数。
  3. 具备零样本语音克隆功能，无需目标声音样本，即可生成个性化高质量声音。
  4. 采用 BiCodec 编码架构，简化流程，提高推理效率。
  5. 与 Qwen2.5 LLM 集成，可直接通过 LLM 处理 TTS 任务，无需额外声学模型。
Content generated by AI large model, please carefully verify (powered by aily)

References

XiaoHu.AI日报

🔔Xiaohu.AI日报「3月6日」✨✨✨✨✨✨✨✨1⃣️🎥腾讯发布HunyuanVideo-I2V：图像到视频生成模型精准语义理解：结合文本描述和图像信息，使生成视频符合用户需求。高一致性：确保视频首帧与输入图片高度一致，避免失真或风格变化。自然动态过渡：支持人物、风景、物体的流畅动态演绎。最高支持720P视频，并支持LoRA训练，可定制特殊视频特效，如头发生长、物体变形、角色动态增强。🔗详细内容：[https://xiaohu.ai/c/xiaohu-ai/hunyuanvideo-i2v](https://xiaohu.ai/c/xiaohu-ai/hunyuanvideo-i2v)[https://x.com/imxiaohu/status/1897643188304957623](https://x.com/imxiaohu/status/1897643188304957623)2⃣️🗣️Spark-TTS：基于Qwen2.5的高效文本转语音（TTS）系统超越现有TTS，结合Qwen2.5进行端到端生成。细粒度语音控制：支持性别、音调、语速等自定义参数。零样本语音克隆：无需目标声音样本，即可生成个性化高质量声音。BiCodec编码架构：简化流程，提高推理效率。与Qwen2.5 LLM集成：可直接通过LLM处理TTS任务，无需额外声学模型。

XiaoHu.AI日报

5⃣🎥Runway Gen-3 Alpha文本到视频模型已开放功能：所有人可使用传送门：https://runwayml.com/🔗详细使用教程：https://xiaohu.ai/p/10762🔗https://x.com/imxiaohu/status/18079171464309231166⃣📚腾讯翻译智能体公司上线了名称：TRANSAGENTS功能：文学翻译的多智能体虚拟翻译出版公司体验链接：http://transagents.ai🔗https://x.com/imxiaohu/status/18080669274259993547⃣🦊SuperAnimal：自动检测和分析动物运动行为的模型开发：由洛桑联邦理工学院（EPFL）团队开发功能：自动识别和跟踪45种以上动物的关键点运动，无需人工注释🔗https://x.com/imxiaohu/status/18081316326349455618⃣🎙Fish Speech：完美支持中英日语言的开源TTS模型语音处理：接近人类水平训练数据：约十五万小时三语数据，对中文支持完美开发者：fishaudio特点：亿级参数，高效轻量，可在个人设备上运行和微调，适合作为私人语音助手🔗详细介绍及更多演示：https://xiaohu.ai/p/10779🔗GitHub：https://github.com/fishaudio/fish-speech🔗https://x.com/imxiaohu/status/18081780063154384679⃣🎵Suno推出了iOS客户端

Stuart：一夜爆火的 ChatTTS 实测

作者：许键StuartChatTTS一夜爆火，极速出圈，3天就斩获9k的Star量，截止2024.06.03，已经16.6k的star，极速接近GPT-soVITs当天的26.2k的star数。到底有什么魔力让它火爆的速度直追它的前辈？优势：真实度和自然度很惊艳更好的韵律:能生成接近真人音色的语气语调这个TTS应该是目前对中文支持最好的了中英混合也没问题细粒度控制:能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等自然流畅的语音合成，同时支持多说话人同时提供预训练模型劣势：当前推理速度慢，无法应用在实时语音场景。用在离线场景，需要大量的后期修正工作。对于阿拉伯数字，标点符号，refine后效果不太好有时候会出现不稳定，自动删除或者增加一些内容在句子里比如输入的内容是“你吃饭了没”，会莫名把句子改写一下变成了，“好吃，你吃饭了没”这种情况读绕口令也有人的那种卡顿（效果不稳定）

Others are asking
有java scala hadoop spark flink开发经验员工入门AI 学习提纲以及对应学习内容
以下是为有 Java、Scala、Hadoop、Spark、Flink 开发经验的员工提供的 AI 入门学习提纲及对应学习内容： 1. 学习资源推荐： 系统化学习：观看李弘毅老师的生成式 AI 导论、吴达的生成式 AI 入门视频等，并整理学习笔记与大家交流互动。 社区共创学习：参与社区共创活动，通过做小项目反向推动学习。 参考资料：A16Z 推荐的 AI 相关原理内容，包括 GPT 相关知识、Transformer 模型运作原理、大语言模型词语接龙原理等基础知识。 官方 cookbook：open AI 的官方 cookbook，小琪姐做了中文精读翻译。 历史脉络资料：整理 open AI 的发展时间线、万字长文回顾等。 2. 学习路径： 从提示词开始学习与各类模型的对话，了解其重要性和结构化提示词的优势。 学习过程中可以先从国内模型工具入手，不花钱，若想进阶再考虑高阶方向。 3. 其他学习方式： 创作者将内容做成可视化形式，后续会发到群里。 上传相关 PPT 用作参考。 从温达、李弘毅老师课程等学习入门。 了解时代杂志评选的百位领军人物。 学习 AI 相关名词解释，如 AGI、AIGC、agent、prompt 等，可通过与 AI 对话或李继刚老师的课程来理解。 订阅赛博蝉星公众号、国外优质博主的 blog 或 Twitter 等获取最新信息并投稿。 参与社区活动，如 AIPU、CONFIUI 生态大会、每月的切磋大会、新活动 AIPO 等。
2025-02-21
Adobe Spark可以ai生成视频吗
Adobe Spark 本身不具备直接使用 AI 生成视频的功能。 将小说或文字生成视频通常涉及多个步骤，以下是一些可以实现此功能的工具及相关信息： 1. Stable Diffusion（SD）：一种 AI 图像生成模型，可基于文本描述生成图像。网址：https://github.com/StabilityAI 2. Midjourney（MJ）：适用于创建小说中的场景和角色图像。网址：https://www.midjourney.com 3. Adobe Firefly：Adobe 的 AI 创意工具，可以生成图像和设计模板。网址：https://www.adobe.com/products/firefly.html 4. Pika AI：文本生成视频的 AI 工具，适合动画制作。网址：https://pika.art/waitlist 5. Clipfly：一站式 AI 视频生成和剪辑平台。网址：https://www.aihub.cn/tools/video/clipfly/ 6. VEED.IO：在线视频编辑工具，具有 AI 视频生成器功能。网址：https://www.veed.io/zhCN/tools/aivideo 7. 极虎漫剪：结合 Stable Diffusion 技术的小说推文视频创作提效工具。网址：https://tiger.easyartx.com/landing 8. 故事 AI 绘图：小说转视频的 AI 工具。网址：https://www.aihub.cn/tools/video/gushiai/ 另外，在 Adobe Firefly 的 Advanced 部分，您可以使用 Seed 选项添加种子编号来控制生成内容的随机性。如果使用相同的种子、提示和控制设置，可以重新生成类似的视频剪辑。 以下是一些其他的文字生成视频的 AI 产品： 1. Pika：擅长动画制作，并支持视频编辑。 2. SVD：如果熟悉 Stable Diffusion，可以安装这款最新的插件，在图片基础上直接生成视频。 3. Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频的功能，但收费。 4. Kaiber：视频转视频 AI，能够将原视频转换成各种风格的视频。 5. Sora：由 OpenAI 开发，可以生成长达 1 分钟以上的视频。 更多的文生视频的网站可以查看：https://www.waytoagi.com/category/38 。请注意，以上内容由 AI 大模型生成，请仔细甄别。
2024-10-28
tts
语音合成（Text to Speech，TTS）是指将文本通过一系列的信号处理转换成“人造”语音。 技术原理： 1. 文本与韵律分析：先将文本分词，标明每个字的发音以及重音、停顿等韵律信息，然后提取文本的特征，生成特征向量。 2. 声学处理：通过声学模型将文本特征向量映射到声学特征向量。 3. 声音合成：使用声码器将声学特征向量通过反变换生成声音波形，然后依次拼接得到整个文本的合成语音。在反变换过程中，可以调整参数，从而改变合成语音的音色、语调、语速等。 参考资料： 出门问问的语音合成（TTS）API： 接口请求域名：https://open.mobvoi.com/api/tts/v1 接口请求频率限制：5 次/秒 应用场景：在视频 APP 中作为配音解说；小说 App 完成有声阅读，移动 App 语音播报新闻；智能设备语音提醒；车载导航语音合成的个性化语音播报等。 提供多种方言和风格：包括普通话、台湾腔、粤语、四川话、东北话等多种方言，数百个发音人，上千种风格，满足客户在不同场景的选择需求。实时合成支持 SSML，语法详见 SSML 标记语言。 请求参数： HTTP Method：支持 POST 请求 调用参数及说明： 字段名：text，必填，类型为 String，要合成的文本内容，限制为 1000 字符。支持 ssml 标记语言，使用说明见附录 3。 字段名：appkey，必填，类型为 String，开发者在 AI 开放平台上申请的 appkey。 字段名：signature，必填，类型为 String，签名，通过“appkey+secret+timestamp”进行 md5 加密，得到的 32 位 MD5 值。其中加号也参与 MD5 的计算。每次请求实时计算签名，签名有效期为 10 分钟。 字段名：timestamp，必填，类型为 Long，当前时间戳，单位为秒。 字段名：speaker，否，类型为 String，合成音频指定发音人，默认值：cissy_meet，其他发音人传值及计费价格请参考声音商店。 字段名：audio_type，否，类型为 String，合成音频的格式，默认值：mp3，可选值：pcm/mp3/speexwb10/wav，只支持这四种格式中的一种。 字段名：speed，否，类型为 Float，发音人合成的语速，支持小数点后两位，默认值：1.0，可选值：0.5 2.0。 Request Header 设置
2025-02-28
TTS
语音合成（Text to Speech，TTS）是指将文本通过一系列的信号处理转换成“人造”语音。 技术原理： 1. 文本与韵律分析：先将文本分词，标明每个字的发音以及重音、停顿等韵律信息，然后提取文本的特征，生成特征向量。 2. 声学处理：通过声学模型将文本特征向量映射到声学特征向量。 3. 声音合成：使用声码器将声学特征向量通过反变换生成声音波形，然后依次拼接得到整个文本的合成语音。在反变换过程中，可以调整参数，从而改变合成语音的音色、语调、语速等。 参考资料： 出门问问的语音合成（TTS）API： 接口描述： 接口请求域名：https://open.mobvoi.com/api/tts/v1 接口请求频率限制：5 次/秒 可以将任意文本转化为语音，应用场景包括视频 APP 配音解说、小说 App 有声阅读、移动 App 语音播报新闻、智能设备语音提醒、车载导航语音合成的个性化语音播报等。提供了普通话、台湾腔、粤语、四川话、东北话等多种方言，数百个发音人，上千种风格。 请求参数： HTTP Method：支持 POST 请求 调用参数及说明： 字段名：text，必填，类型为 String，要合成的文本内容，限制为 1000 字符。支持 ssml 标记语言，使用说明见附录 3。 字段名：appkey，必填，类型为 String，开发者在 AI 开放平台上申请的 appkey。 字段名：signature，必填，类型为 String，签名，通过“appkey+secret+timestamp”进行 md5 加密，得到的 32 位 MD5 值。每次请求实时计算签名，签名有效期为 10 分钟。 字段名：timestamp，必填，类型为 Long，当前时间戳，单位为秒。 字段名：speaker，否，类型为 String，合成音频指定发音人，默认值：cissy_meet，其他发音人传值及计费价格请参考声音商店。 字段名：audio_type，否，类型为 String，合成音频的格式，默认值：mp3，可选值：pcm/mp3/speexwb10/wav，只支持这四种格式中的一种。 字段名：speed，否，类型为 Float，发音人合成的语速，支持小数点后两位，默认值：1.0，可选值：0.5 2.0。 Request Header 设置
2025-02-14
推荐免费的tts公有模型站点，需要支持中文，克隆自己的声音
以下为您推荐支持中文且能克隆自己声音的免费 TTS 公有模型站点： GPTSoVITS： 只需 1 分钟语音即可训练一个自己的 TTS 模型。 5 秒数据就能模仿您，1 分钟的声音数据就能训练出一个高质量的 TTS 模型，完美克隆您的声音，且适配中文，界面易用。 主要特点： 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 预训练模型：项目提供了一些已经训练好的模型，您可以直接下载使用。 GitHub： 视频教程： 需要注意的是，Stuart 模型存在一些问题： 语音生成基本功能方面： 支持的语音时长不超过 30 秒，超过 30 秒的需要特别修复。 某些 audio seed 在念某些语句时会丢失一些语句。 Refine 过程中有些字会被丢失，比如“儿童节”在大概率会被 refine 成“童节”，丢失一个“儿”字。解决方法是跳过自动 refine，以手动修改文本的方式来控制停顿。 即使同一个 audio seed，如果使用不同的语句分段方式，或者不同的 text seed，生成的音色也不是很稳定，会给人感觉不是同一个人的声音。 代码 Bug： uv_break 等提示词可能会在 refine 之后缺少，甚至有时候在有中括号的情况下也会被念出来。 没提供微调 SFT 的接口。 本模型特别申明：不支持商用，仅用于学术研究。在生成的语音内，作者加了听不见的噪音水印，可以很容易的被检测出来是他的模型生成的语音。ChatTTS 还没放出训练代码无法自己克隆声音，作者还只放出了 4w 小时训练的版本，确保这个模型的声音能被 AI 检测出来。作者还留着一个 10w 小时训练数据的版本。
2025-02-07
推荐免费的tts模型站点，需要支持中文
以下为您推荐两个免费的支持中文的 TTS 模型站点： 1. Fish Speech：语音处理接近人类水平，约十五万小时三语数据，对中文支持完美。开发者为 fishaudio，具有亿级参数，高效轻量，可在个人设备上运行和微调，适合作为私人语音助手。详细介绍及更多演示：https://xiaohu.ai/p/10779 ，GitHub：https://github.com/fishaudio/fishspeech 。 2. GPTSoVITS：只需 1 分钟语音即可训练一个自己的 TTS 模型，是一个声音克隆和文本到语音转换的开源 Python RAG 框架。5 秒数据就能模仿您，1 分钟的声音数据就能训练出一个高质量的 TTS 模型，完美克隆您的声音，完美适配中文。GitHub： 。
2025-02-07
TTS的最佳解决方案
以下是关于 TTS 的一些最佳解决方案： 在线 TTS 工具推荐： Eleven Labs：https://elevenlabs.io/ ，是一款功能强大且多功能的 AI 语音软件，能高保真地呈现人类语调和语调变化，并能根据上下文调整表达方式。 Speechify：https://speechify.com/ ，是一款人工智能驱动的文本转语音工具，可作为多种平台的应用使用，用于收听网页、文档、PDF 和有声读物。 Azure AI Speech Studio：https://speech.microsoft.com/portal ，提供了支持 100 多种语言和方言的语音转文本和文本转语音功能，还提供了自定义的语音模型。 Voicemaker：https://voicemaker.in/ ，可将文本转换为各种区域语言的语音，并允许创建自定义语音模型。 TTS 音库制作和文本前端： 录音文本收集：在一个语种的语音合成建设之初，可同步收集该语种对应的大文本。录音文本的选择一般遵循以下原则： 音素覆盖：构建基础的文本前端，确保录音文本的音素或音素组合尽可能覆盖全。 场景定制：根据通用或特定场景需求，确保相关内容有所覆盖，并与需求方紧密沟通。 文本正确性：确保录音文本拼写无误，内容正确。 照片数字人工作流及语音合成（TTS）API 出门问问 Mobvoi： 接口请求域名：https://open.mobvoi.com/api/tts/v1 。 接口请求频率限制：5 次/秒。 可以将任意文本转化为语音，应用场景广泛，提供多种方言、发音人和风格，实时合成支持 SSML。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-02-07
chatTTS
ChatTTS 是一个用于对话的生成式语音合成模型，具有以下特点： 优势： 真实度和自然度惊艳。 有更好的韵律，能生成接近真人音色的语气语调。 对中文支持良好，中英混合也没问题。 可进行细粒度控制，能预测和控制如笑声、停顿和插话等韵律特征。 能自然流畅地语音合成，支持多说话人，同时提供预训练模型。 劣势： 推理速度慢，无法应用在实时语音场景，离线场景需大量后期修正工作。 对于阿拉伯数字、标点符号，refine 后效果不佳。 有时会出现不稳定情况，自动删除或增加一些内容，读绕口令时有卡顿。 在参数设置方面，常调整的参数主要是 Seed（种子数），不同的 Seed 对应不同的声音，目前较火的 Seed 为 2222。此外，输入文本时，除文字本身和控制符号外，还可控制笑声、停顿等副语言现象。 在使用时，对于 30 秒的音频，需要 4G 的显存。整合包增加了音质增强、批量处理、长文本切分等功能，Mac 版本默认绑定 8080 窗口，推出应用后需执行“lsof i:8080”得到程序的 PID 后 kill 程序，不然下一次启动会提示端口被占用。在输入文本准备生成时，可勾选音频增强和降噪进行进一步处理，增强后的音频会更清晰但处理时长会增加。生成的语音已达到“以假乱真”的程度，但为防止模型被用于诈骗等违法行为，作者在训练过程中添加了少量高频噪音，并压缩了音质。
2025-01-24