Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

本地部署tts

Answer

在 Linux 上本地部署 ChatTTS 的步骤如下：

  1. 前提条件：需要有一张 4G 以上显存的 GPU 显卡。
  2. 具体步骤：
    • 下载代码仓库。
    • 安装依赖（注意有两个依赖未放在 requirements.txt 里）。
    • 启动 webui 的 demo 程序，然后用浏览器登陆服务器的 ip:8080 就能试玩。
    • 第一次启动后生成语音时，需要查看控制台输出，它会下载一些模型文件，因此比较慢，而且可能因网络问题有各种失败。但第一次加载成功后，后面就会顺利。
  3. demo 提供的参数：
    • --server_name：服务器的 IP 地址，默认 0.0.0.0。
    • --servic_port：即将开启的端口号。
    • --local_path：模型存储的本地路径。
  4. webui 上可设置的参数：
    • text：指需要转换成语音的文字内容。
    • Refine text：选择是否自动对输入的文本进行优化处理。
    • Audio Seed：语音种子，是一个数字参数，用于选择声音的类型，默认值为 2，是一个很知性的女孩子的声音。
    • Text Seed：文本种子，是一个正整数参数，用于 refine 文本的停顿。实测文本的停顿设置会影响音色、音调。

效果试用方面：

  1. 语音效果：接近真人语音语调，用的更接近日常普通人的音色。
  2. 运算速度：基于 L4 GPU 本地部署，22s 的音频需要 12s 的推理时间。若用 4090，速度约为 L4 的 2 倍，即 6s 左右。模型未做优化，优化后有望在 4090 上只用 2 - 3s 推理时间。
  3. 功能试玩：提供的功能简单。
  4. 音色更换：可通过调整 Audio seed 和 Text seed 等参数实现。
Content generated by AI large model, please carefully verify (powered by aily)

References

Stuart：一夜爆火的 ChatTTS 实测

在linux上部署很简单，比GPT-SoVITS更容易，不需要自己下载模型放模型。当然本地部署的前提，依旧是你有一张GPU显卡，4G以上显存。

Stuart：一夜爆火的 ChatTTS 实测

简单步骤如下：1.下载代码仓库1.安装依赖（⚠️这里有两个依赖它没有放在requirements.txt里）1.启动webui的demo程序，然后用浏览器登陆这个服务器的ip:8080就能试玩了这个demo本身提供了3个参数：--server_name:服务器的ip地址，默认0.0.0.0--servic_port:即将开启的端口号--local_path:模型存储的本地路径1.第一次启动后生成语音时，需要看下控制台输出，它会下载一些模型文件，因此比较慢，而且可能因为网络的问题有各种失败。但是第一次加载成功了，后面就顺利了。2.基于这个基础已经可以开始拓展了，比如把它集成到agent的工具中去，比如结合chatgpt来做更拟人化的实时沟通。3.webui上可以设置的几个参数说明：（参考下图）text:指的是需要转换成语音的文字内容。Refine text:选择是否自动对输入的文本进行优化处理。Audio Seed:语音种子，这是一个数字参数，用于选择声音的类型，默认值为2，是一个很知性的女孩子的声音。Text Seed:文本种子，这是一个正整数参数，用于refine文本的停顿。实测文本的停顿设置会影响音色，音调。

Stuart：一夜爆火的 ChatTTS 实测

先听一段效果，震惊来自本地部署模型的推理和语音效果：1.语音效果：2.效果确实很不错，接近真人语音语调。但是和GPT-SoVITS比起来并没有更惊艳，不过对比起来它用的更接近日常普通人的音色，可能会给人感觉更接近真实。对比参考：[Stuart：免费AI真人语音入门：GPT-SoVITS + Bert-VITS2](https://waytoagi.feishu.cn/wiki/StNuwZqh7iC2utkbxaNck9Gnn4e?from=from_copylink)3.运算速度：4.基于L4 GPU本地部署，22s的音频需要12s的推理时间。如果用4090，速度差不多是L4的2倍，也就是差不多需要6s左右。当然这个模型还没有做优化，如果做了优化，有希望在4090上只用2～3s推理时间。5.功能试玩：提供的功能很简单6.音色更换效果对比Audio seed:2; Text seed:42; input text:每个孩子是生下来就自带大模型的，他们天然有超强的数据处理能力。家庭教育是让孩子的大模型“本地化”。我们对孩子的教育，就是一种大模型的微调，最多起到10%的作用。我们要做的是顺势而为，让孩子的先天大模型发挥最好的作用。被refine后的文本变成了：

Others are asking
TTS
语音合成（Text to Speech，TTS）是指将文本通过一系列的信号处理转换成“人造”语音。 技术原理： 1. 文本与韵律分析：先将文本分词，标明每个字的发音以及重音、停顿等韵律信息，然后提取文本的特征，生成特征向量。 2. 声学处理：通过声学模型将文本特征向量映射到声学特征向量。 3. 声音合成：使用声码器将声学特征向量通过反变换生成声音波形，然后依次拼接得到整个文本的合成语音。在反变换过程中，可以调整参数，从而改变合成语音的音色、语调、语速等。 参考资料： 出门问问的语音合成（TTS）API： 接口描述： 接口请求域名：https://open.mobvoi.com/api/tts/v1 接口请求频率限制：5 次/秒 可以将任意文本转化为语音，应用场景包括视频 APP 配音解说、小说 App 有声阅读、移动 App 语音播报新闻、智能设备语音提醒、车载导航语音合成的个性化语音播报等。提供了普通话、台湾腔、粤语、四川话、东北话等多种方言，数百个发音人，上千种风格。 请求参数： HTTP Method：支持 POST 请求 调用参数及说明： 字段名：text，必填，类型为 String，要合成的文本内容，限制为 1000 字符。支持 ssml 标记语言，使用说明见附录 3。 字段名：appkey，必填，类型为 String，开发者在 AI 开放平台上申请的 appkey。 字段名：signature，必填，类型为 String，签名，通过“appkey+secret+timestamp”进行 md5 加密，得到的 32 位 MD5 值。每次请求实时计算签名，签名有效期为 10 分钟。 字段名：timestamp，必填，类型为 Long，当前时间戳，单位为秒。 字段名：speaker，否，类型为 String，合成音频指定发音人，默认值：cissy_meet，其他发音人传值及计费价格请参考声音商店。 字段名：audio_type，否，类型为 String，合成音频的格式，默认值：mp3，可选值：pcm/mp3/speexwb10/wav，只支持这四种格式中的一种。 字段名：speed，否，类型为 Float，发音人合成的语速，支持小数点后两位，默认值：1.0，可选值：0.5 2.0。 Request Header 设置
2025-02-14
推荐免费的tts公有模型站点，需要支持中文，克隆自己的声音
以下为您推荐支持中文且能克隆自己声音的免费 TTS 公有模型站点： GPTSoVITS： 只需 1 分钟语音即可训练一个自己的 TTS 模型。 5 秒数据就能模仿您，1 分钟的声音数据就能训练出一个高质量的 TTS 模型，完美克隆您的声音，且适配中文，界面易用。 主要特点： 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 预训练模型：项目提供了一些已经训练好的模型，您可以直接下载使用。 GitHub： 视频教程： 需要注意的是，Stuart 模型存在一些问题： 语音生成基本功能方面： 支持的语音时长不超过 30 秒，超过 30 秒的需要特别修复。 某些 audio seed 在念某些语句时会丢失一些语句。 Refine 过程中有些字会被丢失，比如“儿童节”在大概率会被 refine 成“童节”，丢失一个“儿”字。解决方法是跳过自动 refine，以手动修改文本的方式来控制停顿。 即使同一个 audio seed，如果使用不同的语句分段方式，或者不同的 text seed，生成的音色也不是很稳定，会给人感觉不是同一个人的声音。 代码 Bug： uv_break 等提示词可能会在 refine 之后缺少，甚至有时候在有中括号的情况下也会被念出来。 没提供微调 SFT 的接口。 本模型特别申明：不支持商用，仅用于学术研究。在生成的语音内，作者加了听不见的噪音水印，可以很容易的被检测出来是他的模型生成的语音。ChatTTS 还没放出训练代码无法自己克隆声音，作者还只放出了 4w 小时训练的版本，确保这个模型的声音能被 AI 检测出来。作者还留着一个 10w 小时训练数据的版本。
2025-02-07
推荐免费的tts模型站点，需要支持中文
以下为您推荐两个免费的支持中文的 TTS 模型站点： 1. Fish Speech：语音处理接近人类水平，约十五万小时三语数据，对中文支持完美。开发者为 fishaudio，具有亿级参数，高效轻量，可在个人设备上运行和微调，适合作为私人语音助手。详细介绍及更多演示：https://xiaohu.ai/p/10779 ，GitHub：https://github.com/fishaudio/fishspeech 。 2. GPTSoVITS：只需 1 分钟语音即可训练一个自己的 TTS 模型，是一个声音克隆和文本到语音转换的开源 Python RAG 框架。5 秒数据就能模仿您，1 分钟的声音数据就能训练出一个高质量的 TTS 模型，完美克隆您的声音，完美适配中文。GitHub： 。
2025-02-07
TTS的最佳解决方案
以下是关于 TTS 的一些最佳解决方案： 在线 TTS 工具推荐： Eleven Labs：https://elevenlabs.io/ ，是一款功能强大且多功能的 AI 语音软件，能高保真地呈现人类语调和语调变化，并能根据上下文调整表达方式。 Speechify：https://speechify.com/ ，是一款人工智能驱动的文本转语音工具，可作为多种平台的应用使用，用于收听网页、文档、PDF 和有声读物。 Azure AI Speech Studio：https://speech.microsoft.com/portal ，提供了支持 100 多种语言和方言的语音转文本和文本转语音功能，还提供了自定义的语音模型。 Voicemaker：https://voicemaker.in/ ，可将文本转换为各种区域语言的语音，并允许创建自定义语音模型。 TTS 音库制作和文本前端： 录音文本收集：在一个语种的语音合成建设之初，可同步收集该语种对应的大文本。录音文本的选择一般遵循以下原则： 音素覆盖：构建基础的文本前端，确保录音文本的音素或音素组合尽可能覆盖全。 场景定制：根据通用或特定场景需求，确保相关内容有所覆盖，并与需求方紧密沟通。 文本正确性：确保录音文本拼写无误，内容正确。 照片数字人工作流及语音合成（TTS）API 出门问问 Mobvoi： 接口请求域名：https://open.mobvoi.com/api/tts/v1 。 接口请求频率限制：5 次/秒。 可以将任意文本转化为语音，应用场景广泛，提供多种方言、发音人和风格，实时合成支持 SSML。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-02-07
chatTTS
ChatTTS 是一个用于对话的生成式语音合成模型，具有以下特点： 优势： 真实度和自然度惊艳。 有更好的韵律，能生成接近真人音色的语气语调。 对中文支持良好，中英混合也没问题。 可进行细粒度控制，能预测和控制如笑声、停顿和插话等韵律特征。 能自然流畅地语音合成，支持多说话人，同时提供预训练模型。 劣势： 推理速度慢，无法应用在实时语音场景，离线场景需大量后期修正工作。 对于阿拉伯数字、标点符号，refine 后效果不佳。 有时会出现不稳定情况，自动删除或增加一些内容，读绕口令时有卡顿。 在参数设置方面，常调整的参数主要是 Seed（种子数），不同的 Seed 对应不同的声音，目前较火的 Seed 为 2222。此外，输入文本时，除文字本身和控制符号外，还可控制笑声、停顿等副语言现象。 在使用时，对于 30 秒的音频，需要 4G 的显存。整合包增加了音质增强、批量处理、长文本切分等功能，Mac 版本默认绑定 8080 窗口，推出应用后需执行“lsof i:8080”得到程序的 PID 后 kill 程序，不然下一次启动会提示端口被占用。在输入文本准备生成时，可勾选音频增强和降噪进行进一步处理，增强后的音频会更清晰但处理时长会增加。生成的语音已达到“以假乱真”的程度，但为防止模型被用于诈骗等违法行为，作者在训练过程中添加了少量高频噪音，并压缩了音质。
2025-01-24
怎么做tts模型训练
以下是关于 TTS 模型训练的相关内容： 使用 GPTSoVITS 进行 TTS 模型训练： GPTSoVITS 是一个声音克隆和文本到语音转换的开源 Python RAG 框架。 只需 1 分钟语音即可训练一个自己的 TTS 模型。5 秒数据就能模仿您，1 分钟的声音数据就能训练出一个高质量的 TTS 模型，完美克隆您的声音。 主要特点： 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 预训练模型：项目提供了一些已经训练好的模型，您可以直接下载使用。 GitHub： 视频教程： TTS 模型训练的音库制作和文本前端： 音频录制： 音频的录制对合成语音的表现较为重要，较差的语音甚至会导致端到端声学模型无法正常收敛。 用于训练的录音至少要保证录音环境和设备始终保持一致，无混响、背景噪音；原始录音不可截幅。 如果希望合成出来的语音干净，则要删除含口水音、呼吸音、杂音、模糊等，但对于目前的端到端合成模型，有时会学习到在合适的位置合成呼吸音、口水音，反而会增加语音自然度。 录音尽可能不要事先处理，语速的调节尚可，但调节音效等有时会造成奇怪的问题，甚至导致声学模型无法收敛。 音频的录制可以参考录音公司的标准，购买专业麦克风，并保持录音环境安静即可。 在音库录制过程中，可尽早提前尝试声学模型，比如音库录制 2 个小时语音后，就可尝试训练基线语音合成系统，以防止录音不符合最终的需求。 语料整理： 检查文本和录制的语音是否一一对应，录制的音频本身一句话是否能量渐弱，参与训练的语音前后静音段要保持一致，能量要进行规范化。 可使用预训练的语音活动检测（Voice Activity Detection，VAD）工具，或者直接根据语音起止的电平值确定前后静音段。 可以使用一些开源的工具，比如统一所有语音的整体能量，这将有助于声学模型的收敛。当然，在声学模型模型训练时，首先就要对所有语料计算均值方差，进行统一的规范化，但是这里最好实现统一能量水平，防止一句话前后能量不一致。 GPTSoVITS 实现 AIyoyo 声音克隆的步骤： 前置数据获取处理： 选择音频，开启切割。 有噪音时，进行降噪处理。 降噪处理完成，开启离线 ASR。 GPTSowitsTTS： 训练集格式化：开启一键三连，耐心等待即可。 微调训练：开启 SoVITS 训练和 GPT 训练。 推理：开始推理 刷新模型 选择微调后的模型 yoyo。 成功：出现新的 URL，说明您自己的声音微调完毕，然后可以进行使用。 声音复刻：开启声音复刻之旅，实现跨多语种语言的声音。 希望以上内容对您有所帮助。
2025-01-24
deepseek 部署文档
以下是关于 DeepSeek 部署的相关内容： 《在 Azure AI Foundry 部署 DeepSeek 大模型全指南》（https://waytoagi.feishu.cn/wiki/RKK5wNbeHifSAXkAR5hcGYQmn5f?renamingWikiNode=false）：来自社区伙伴 Hua 的投稿，手把手指导您在微软 Azure AI Foundry 平台上完成 DeepSeek R1（671B）模型的完整部署流程，包含环境准备、资源管理、模型测试及 API 调用说明。 《突破 DeepSeek R1 能力天花板，火山引擎扣子+飞书一站式企业解决方案》（https://waytoagi.feishu.cn/wiki/RZE9wP94tiEO6bkU5cTcyecHnnb） 《羊毛快薅|字节火山上线了 DeepSeek 系列模型并悄悄更改了模型服务价格...》（https://waytoagi.feishu.cn/wiki/HzHSwEwtCiBmWrkRm6fc0J0Qneh）：所有用户享 50 万免费 Tokens+API 半价优惠！火山引擎上线了 DeepSeek 系列模型！咱们社区小伙伴做了零基础部署教程，5 分钟打造专属满血版 AI 助手，速度飞快！使用方法中附上了飞书多维表格的接入方法、Coze 的接入使用方法、网页插件的使用方法。 《刚刚，DeepSeek 官方发布 R1 模型推荐设置，这才是正确用法》（https://mp.weixin.qq.com/s/RA1mhAyQOoXD5XOULAGgbQ）：DeepSeek 官方下场推荐了部署 DeepSeekR1 的设置。DeepSeek 强调官方部署的版本跟开源版本模型完全一致。
2025-02-18
为什么要本地部署
以下是关于本地部署的一些原因： 对于只有特定设备（如只有一台 Mac 设备），且想灵活学习 AI 生图的情况，本地部署是最方便的。 如果电脑是 M 芯片的 Mac 电脑（Intel 芯片出图速度慢不建议）或者 2060Ti 及以上显卡的 Windows 电脑，可以选择本地部署，强烈建议在配有 N 卡的 Windows 电脑上进行。 本地部署测试方便，还可以尝试让其控制家里的智能家居。
2025-02-17
Deepseek老是“服务器繁忙，请稍后再试”，没有办法提升，比如说把模型部署到本地等等
如果您遇到 DeepSeek 老是显示“服务器繁忙，请稍后再试”且无法提升的情况，可以尝试以下方法： 1. 使用网页聊天： 安装插件：使用 Chrome 或 Microsoft Edge 浏览器，点击此链接安装浏览器插件并添加到拓展程序：https://chromewebstore.google.com/detail/pageassist%E6%9C%AC%E5%9C%B0ai%E6%A8%A1%E5%9E%8B%E7%9A%84web/jfgfiigpkhlkbnfnbobbkinehhfdhndo 打开聊天页面：点击右上角的插件列表，找到 Page Assist 插件，点击打开。 配置“DeepSeekR1”模型的 API key：基础 URL 为 https://ark.cnbeijing.volces.com/api/v3，填好之后点击保存，关掉提醒弹窗。 添加“DeepSeekR1”模型。 2. 完成上述操作后，您就可以愉快玩耍，无需担心“服务器繁忙”了，打开联网功能，还可以支持联网搜索使用 R1。
2025-02-15
comfyui的本地部署安装，GPU：RX6600 8G，CPU：R5 5600，内存：DDR4 8G*2
以下是关于 ComfyUI 本地部署安装的相关信息： ComfyUI 相比 WebUI，配置更低，系统资源占用更少，出图速度更快，最低可在小于 3G 的 GPU 上运行，甚至没有 GPU 光用 CPU 也可以运行，但速度极慢。SDXL 出来后提高了运行配置，最低需要 8GB 显存+32GB 运行内存，12GB 流畅运行，推荐 16GB 以上。运行内存最低 32GB，越高越好，最低配会经常爆显存。玩 SDwebui 和 ComfyUI 建议使用 6GB 以上显存的 NVIDIA 显卡（N 卡），内存在 16G 以上。硬盘会影响加载模型的速度，最好把软件和模型部署在 SSD 上。如果电脑能顺畅清晰地玩 3A 游戏，那玩 webui 和 ComfyUI 也没问题。配置上不封顶，根据自己的需求和预算来即可。 安装地址：https://github.com/comfyanonymous/ComfyUI 。可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ，或者下载安装包 file:ComfyUI.zip ，下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 节点存放目录：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 模型存放目录： 大模型：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae：D:\\COMFYUI\\ComFYUI_windows_portable\\ComfyUI\\models\\vae 。 已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可，这样就不用重复下载模型了。找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件，将后缀.example 删除，然后右键用记事本打开。 您的电脑配置为 GPU：RX6600 8G，CPU：R5 5600，内存：DDR4 8G2，可能需要注意内存方面可能不太满足推荐配置，可能会影响运行效果。
2025-02-13
deepseek怎么在电脑本地部署使用
以下是在电脑本地部署 DeepSeek 的步骤： 1. 拥有扣子专业版账号：如果您还是普通账号，请自行升级或注册专业号后使用。开通成功的样子如相关说明。 2. 开通 DeepSeek R1 大模型：访问地址：https://console.volcengine.com/cozepro/overview?scenario=coze 。打开火山方舟，找到开通管理，找到 DeepSeek R1 模型，点击开通服务。添加在线推理模型，添加后在扣子开发平台才能使用，具体添加过程包括添加模型和完成接入。 3. 创建智能体：点击创建，先完成一个智能体的创建。 此外，您还可以参考以下文章获取更详细的教程：《张梦飞：15 分钟零基础个人电脑部署 DeepSeekR1（无限制版）智能助手保姆级教程！》（https://waytoagi.feishu.cn/wiki/NjKBw4n8HikDZBkeyB4cDQVynKh?useEs6=0 ），该教程适用于完全没有 AI 部署经验的小白，详细介绍了如何在个人电脑上快速搭建 DeepSeekR1 本地 AI 助手，包括 Ollama 安装、DeepSeekR1 模型下载与运行、显存检查、终端指令操作、网页插件使用等环节，并提供了清晰的步骤图，确保 15 分钟内完成部署。
2025-02-12
coze 能调用用户自己部署的大模型吗
Coze 可以调用用户自己部署的大模型。例如： 在 Coze 上搭建工作流框架时，可通过“个人空间工作流创建工作流”进行操作，在编辑面板中拖入对应的大模型节点来实现各项文本内容的生成。 当在 COW 中直接调用千问的某一个大模型时，需要更改 key 和 model 等配置。获取 key 可参考相关的视频和图文教程，同时需要完成实名认证，否则可能出现报错。 在使用 Coze 做智能报表助手的过程中，也涉及到对大模型的运用，如将用户问题转换为 SQL 等。
2025-02-12