直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

本地部署tts

回答

在 Linux 上本地部署 ChatTTS 的步骤如下：

  1. 前提条件：需要有一张 4G 以上显存的 GPU 显卡。
  2. 具体步骤：
    • 下载代码仓库。
    • 安装依赖（注意有两个依赖未放在 requirements.txt 里）。
    • 启动 webui 的 demo 程序，然后用浏览器登陆服务器的 ip:8080 就能试玩。
    • 第一次启动后生成语音时，需要查看控制台输出，它会下载一些模型文件，因此比较慢，而且可能因网络问题有各种失败。但第一次加载成功后，后面就会顺利。
  3. demo 提供的参数：
    • --server_name：服务器的 IP 地址，默认 0.0.0.0。
    • --servic_port：即将开启的端口号。
    • --local_path：模型存储的本地路径。
  4. webui 上可设置的参数：
    • text：指需要转换成语音的文字内容。
    • Refine text：选择是否自动对输入的文本进行优化处理。
    • Audio Seed：语音种子，是一个数字参数，用于选择声音的类型，默认值为 2，是一个很知性的女孩子的声音。
    • Text Seed：文本种子，是一个正整数参数，用于 refine 文本的停顿。实测文本的停顿设置会影响音色、音调。

效果试用方面：

  1. 语音效果：接近真人语音语调，用的更接近日常普通人的音色。
  2. 运算速度：基于 L4 GPU 本地部署，22s 的音频需要 12s 的推理时间。若用 4090，速度约为 L4 的 2 倍，即 6s 左右。模型未做优化，优化后有望在 4090 上只用 2 - 3s 推理时间。
  3. 功能试玩：提供的功能简单。
  4. 音色更换：可通过调整 Audio seed 和 Text seed 等参数实现。
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

Stuart：一夜爆火的 ChatTTS 实测

在linux上部署很简单，比GPT-SoVITS更容易，不需要自己下载模型放模型。当然本地部署的前提，依旧是你有一张GPU显卡，4G以上显存。

Stuart：一夜爆火的 ChatTTS 实测

简单步骤如下：1.下载代码仓库1.安装依赖（⚠️这里有两个依赖它没有放在requirements.txt里）1.启动webui的demo程序，然后用浏览器登陆这个服务器的ip:8080就能试玩了这个demo本身提供了3个参数：--server_name:服务器的ip地址，默认0.0.0.0--servic_port:即将开启的端口号--local_path:模型存储的本地路径1.第一次启动后生成语音时，需要看下控制台输出，它会下载一些模型文件，因此比较慢，而且可能因为网络的问题有各种失败。但是第一次加载成功了，后面就顺利了。2.基于这个基础已经可以开始拓展了，比如把它集成到agent的工具中去，比如结合chatgpt来做更拟人化的实时沟通。3.webui上可以设置的几个参数说明：（参考下图）text:指的是需要转换成语音的文字内容。Refine text:选择是否自动对输入的文本进行优化处理。Audio Seed:语音种子，这是一个数字参数，用于选择声音的类型，默认值为2，是一个很知性的女孩子的声音。Text Seed:文本种子，这是一个正整数参数，用于refine文本的停顿。实测文本的停顿设置会影响音色，音调。

Stuart：一夜爆火的 ChatTTS 实测

先听一段效果，震惊来自本地部署模型的推理和语音效果：1.语音效果：2.效果确实很不错，接近真人语音语调。但是和GPT-SoVITS比起来并没有更惊艳，不过对比起来它用的更接近日常普通人的音色，可能会给人感觉更接近真实。对比参考：[Stuart：免费AI真人语音入门：GPT-SoVITS + Bert-VITS2](https://waytoagi.feishu.cn/wiki/StNuwZqh7iC2utkbxaNck9Gnn4e?from=from_copylink)3.运算速度：4.基于L4 GPU本地部署，22s的音频需要12s的推理时间。如果用4090，速度差不多是L4的2倍，也就是差不多需要6s左右。当然这个模型还没有做优化，如果做了优化，有希望在4090上只用2～3s推理时间。5.功能试玩：提供的功能很简单6.音色更换效果对比Audio seed:2; Text seed:42; input text:每个孩子是生下来就自带大模型的，他们天然有超强的数据处理能力。家庭教育是让孩子的大模型“本地化”。我们对孩子的教育，就是一种大模型的微调，最多起到10%的作用。我们要做的是顺势而为，让孩子的先天大模型发挥最好的作用。被refine后的文本变成了：

其他人在问
评价tts合成效果有什么通用标准吗
对 TTS 合成效果的评价主要分为主观评价和客观评价。 主观评价是通过人类对语音进行打分，常见的方法包括平均意见得分（MOS）、众包平均意见得分（CMOS）和 ABX 测试。其中 MOS 评测较为宽泛，可测试语音的不同方面，如自然度 MOS 和相似度 MOS。国际电信联盟将 MOS 评测规范化为 ITUT P.800，其中绝对等级评分（ACR）应用广泛，其根据音频级别给出 1 至 5 分的评价标准，分数越大表示语音质量越好，MOS 大于 4 时音质较好，低于 3 则有较大缺陷。但人类评分结果易受干扰，如音频样本呈现形式、有无上下文等。 客观评价是通过计算机自动给出语音音质的评估，在语音合成领域研究较少。客观评价可分为有参考和无参考质量评估，有参考评估方法需要音质优异的参考信号，常见的有 ITUT P.861（MNB）、ITUT P.862（PESQ）、ITUT P.863（POLQA）、STOI 和 BSSEval 等；无参考评估方法不需要参考信号，常见的包括基于信号的 ITUT P.563 和 ANIQUE+、基于参数的 ITUT G.107（EModel），近年来深度学习也应用到无参考质量评估中，如 AutoMOS、QualityNet、NISQA 和 MOSNet 等。 获取平均意见得分时，实验要求获取多样化且数量足够大的音频样本，在具有特定声学特性的设备上进行测评，控制被试遵循同样标准，确保实验环境一致。实验方法有实验室方式和众包两种，实验室方式能稳定保证实验环境，但人力成本高；众包方式易于获得有效评估结果，但无法确保试听条件。
2024-11-20
评价tts合成效果有什么通用标准吗
对 TTS 合成效果的评价主要分为主观评价和客观评价。 主观评价是通过人类对语音进行打分，常见的方法有平均意见得分（MOS）、众包平均意见得分（CMOS）和 ABX 测试。MOS 评测较为灵活，可测试语音的不同方面，如自然度 MOS 和相似度 MOS。国际电信联盟（ITU）将 MOS 评测规范化为 ITUT P.800，其中绝对等级评分（ACR）应用广泛，其根据音频级别给出 1 至 5 分的评价，分数越大表示语音质量越好，MOS 大于 4 时音质较好，低于 3 则有较大缺陷。但人类评分结果受干扰因素多，如音频样本呈现形式、上下文等。 客观评价是通过计算机自动给出语音音质的评估，在语音合成领域研究较少。客观评价可分为有参考和无参考质量评估，有参考评估方法需要音质优异的参考信号，常见的有 ITUT P.861（MNB）、ITUT P.862（PESQ）、ITUT P.863（POLQA）、STOI 和 BSSEval 等；无参考评估方法不需要参考信号，常见的包括基于信号的 ITUT P.563 和 ANIQUE+、基于参数的 ITUT G.107（EModel），近年来深度学习也应用到无参考质量评估中，如 AutoMOS、QualityNet、NISQA 和 MOSNet 等。 获取平均意见得分时，实验要求获取多样化且数量足够大的音频样本，在具有特定声学特性的设备上进行，控制被试遵循同样标准，确保实验环境一致。实验方法有实验室方式和众包，实验室方式能控制测试要素，但人力成本高；众包易于获得评估结果，但无法确保试听条件。
2024-11-20
F5-TTS有相关的文章吗？
上海交通大学开源了 F5TTS 语音合成技术，这是一种完全非自回归的文本到语音系统，通过流匹配与扩散变换器实现。它简化了传统的 TTS 系统设计，不需要复杂的时长模型、文本编码器和音素对齐，而是将文本输入用填充标记填充到与输入语音相同的长度，并利用 ConvNeXt 模型对文本表示进行细化以与语音对齐。 F5TTS 的模型特点包括： 1. 零样本声音克隆。 2. 速度控制（基于总时长）。 3. 可以控制合成语音的情感表现。 4. 长文本合成。 5. 支持中文和英文多语言合成。 6. 在 10 万小时数据上训练。 7. 最重要的是支持商用。 相关链接： 1. 论文： 2. 模型下载： 3. 演示 Demo：https://huggingface.co/spaces/mrfakename/E2F5TTS
2024-11-01
有没有好用的 tts 的 api 推荐啊
以下为您推荐一些好用的 TTS API： 1. 出门问问 Mobvoi： API 官网：https://openapi.mobvoi.com/ 语音合成（TTS）API 地址：https://openapi.mobvoi.com/pages/soundlibrary 语音合成（TTS）操作文档：https://openapi.mobvoi.com/document?name=%E8%AF%AD%E9%9F%B3%E5%90%88%E6%88%90%EF%BC%88TTS%EF%BC%89 接口请求域名：https://open.mobvoi.com/api/tts/v1 接口请求频率限制：5 次/秒 提供多种方言和风格，满足不同场景需求，实时合成支持 SSML。 2. Eleven Labs：https://elevenlabs.io/ ElevenLabs Prime Voice AI 是一款功能强大且多功能的 AI 语音软件，使创作者和出版商能够生成逼真、高品质的音频。人工智能模型能够高保真地呈现人类语调和语调变化，并能够根据上下文调整表达方式。 3. Speechify：https://speechify.com/ Speechify 是一款人工智能驱动的文本转语音工具，使用户能够将文本转换为音频文件。它可作为 Chrome 扩展、Mac 应用程序、iOS 和 Android 应用程序使用，可用于收听网页、文档、PDF 和有声读物。 4. Azure AI Speech Studio：https://speech.microsoft.com/portal Microsoft Azure Speech Studio 是一套服务，它赋予应用程序能力，让它们能够“听懂、理解并与客户进行对话”。该服务提供了支持 100 多种语言和方言的语音转文本和文本转语音功能。此外，它还提供了自定义的语音模型，这些模型能够适应特定领域的术语、背景噪声以及不同的口音。 5. Voicemaker：https://voicemaker.in/ AI 工具可将文本转换为各种区域语言的语音，并允许您创建自定义语音模型。Voicemaker 易于使用，非常适合为视频制作画外音或帮助视障人士。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2024-10-30
tts工具
以下为您推荐一些在线 TTS 工具： 1. Eleven Labs：https://elevenlabs.io/ ，是一款功能强大且多功能的 AI 语音软件，能高保真地呈现人类语调和语调变化，并能根据上下文调整表达方式。 2. Speechify：https://speechify.com/ ，是一款人工智能驱动的文本转语音工具，可作为多种应用程序使用，用于收听网页、文档、PDF 和有声读物。 3. Azure AI Speech Studio：https://speech.microsoft.com/portal ，是一套服务，提供了支持 100 多种语言和方言的语音转文本和文本转语音功能，还提供了自定义的语音模型。 4. Voicemaker：https://voicemaker.in/ ，可将文本转换为各种区域语言的语音，并允许创建自定义语音模型，易于使用，适合为视频制作画外音或帮助视障人士。 此外，还有免费的 AI 真人语音入门工具：GPTSoVITS + BertVITS2。这两个项目均免费且好用，直接找到需要的音色，输入文字，点击“合成语音”生成后就能下载。两个项目提供的在线模型中采用了很多网络红人的语音作为训练集。 在了解 TTS 工具之前，先为您介绍一些语音的基本概念：声波通过空气传播，被麦克风接收，通过采样、量化、编码转换为离散的数字信号，即波形文件。音量、音高和音色是声音的基本属性。 内容由 AI 大模型生成，请仔细甄别。
2024-10-26
开源的，新一代的 tts 框架有哪些？
以下是一些开源的新一代 TTS 框架： 1. GPTSoVITS：这是一个声音克隆和文本到语音转换的开源 Python RAG 框架。只需 1 分钟语音即可训练一个自己的 TTS 模型，5 秒数据就能模仿，1 分钟的声音数据就能训练出高质量的 TTS 模型，完美克隆声音。它完美适配中文，具有零样本 TTS、少量样本训练、易于使用的界面、跨语言支持、适用于不同操作系统、提供预训练模型等特点。 2. ChatTTS：针对对话式任务进行了优化，实现自然流畅的语音合成，同时支持多说话人。能够预测和控制细粒度的韵律特征，包括笑声、停顿和插入词等。在韵律方面超越了大部分开源 TTS 模型，并提供预训练模型，但存在模型稳定性不足的问题。目前发布的模型版本中，情感控制仅限于笑声以及一些声音中断，作者计划在未来的版本中开源更多情感控制的功能。如今陆续出现了在线网站和本地增强整合包。 3. B 站 up“花儿不哭”大佬的开源项目 gptsovits 也被用于节目《马上封喉》的 TTS 中，只需 1 分钟的干声素材就可以实现惊艳的效果，甚至实现了 zeroshot（零样本），但单字和中英文混杂的词句效果还有待提高。
2024-08-23
你的知识库是怎么部署的
部署个人知识库需要考虑硬件配置和相关技术原理。 硬件方面： 生成文字大模型，最低配置为 8G RAM + 4G VRAM，建议配置为 16G RAM + 8G VRAM，理想配置为 32G RAM + 24G VRAM（如果要跑 GPT3.5 差不多性能的大模型）。 生成图片大模型（比如跑 SD），最低配置为 16G RAM + 4G VRAM，建议配置为 32G RAM + 12G VRAM。 生成音频大模型，最低配置为 8G VRAM，建议配置为 24G VRAM。 技术原理方面： 利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。在这个过程中，首先检索外部数据，然后在生成步骤中将这些数据传递给 LLM。 RAG 应用包括文档加载、文本分割、存储、检索和输出这 5 个过程。 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 文本分割：把 Documents 切分为指定大小的块。 存储：涉及将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 检索：通过某种检索算法找到与输入问题相似的嵌入片。 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 此外，搭建基于 GPT API 的定制化知识库，涉及给 GPT 输入（投喂）定制化的知识。GPT3.5 一次交互（输入和输出）只支持最高 4096 个 Token。为了处理大量领域知识，OpenAI 提供了 embedding API 解决方案。embeddings 是一个浮点数字的向量（列表），两个向量之间的距离衡量它们的关联性，小距离表示高关联度。
2024-11-11
本地部署的AI工具
以下是关于本地部署的 AI 工具的相关信息： 目前市面上的 AI 工具分为线上和线下本地部署两种： 线上的优势：出图速度快，不依赖本地显卡配置，无需下载大型模型，能查看其他创作者的作品，但出图分辨率受限，一般最高支持 1024×1024 左右，制作横板、高清图片会受影响。 线下部署的优势：可以添加插件，不卡算力，出图质量高。但使用时电脑基本处于宕机状态，配置不高可能会出现爆显存导致出图失败的情况。 具体的部署步骤（以 windows10 系统为例，mac 系统步骤类似，命令有所不同）： 1. 安装环境： 点击电脑“系统”，输入“cmd”，回车打开命令窗口。 在命令窗口中，粘贴代码确认是否有 python 和 pip。 若没有，需安装：先安装 python，安装包可通过下载，按照步骤安装，关闭窗口再次运行命令确认。 2. 部署项目： 下载 COW 机器人项目并解压缩。 回到 chatgptonwechat/文件路径下，空白处右键，打开 Powershell 复制粘贴“python app.py”，弹出二维码扫码登录。 注意事项： 1. 程序在本地运行，关闭窗口进程结束，若要持续使用需保持窗口打开和运行。 2. 若突然不管用，可点击窗口并按空格。 3. 配置时，在 config.json 中的 OpneAi_Api 填“http://localhost:3000/api/v1/chat/completions”。 对于游戏截图升级到 KV 品质的应用，可充分发挥线上和线下平台的优势：线上找参考、测试模型，线下作为主要出图工具。先在线上绘图网站的绘图广场发现想要的画风，点击创作获取模型 lora 和 tag，截取游戏人物底图将线上算力集中在人物身上，多批次尝试不同画风得出合适模型+lora 组合，最后在 C 站（）下载对应模型到本地加载部署后正式生图。
2024-11-10
Mac部署stable diffusion
在 Mac 上部署 Stable Diffusion 存在一定限制，功能可能不全且出错率偏高，严重影响使用体验。个人建议升级设备或者采用云服务器玩耍。 如果您仍想在 Mac 上部署，可以参考以下步骤： 1. 电脑硬件要求： 系统：无明确针对 Mac 的特定系统要求。 显卡：未明确针对 Mac 的显卡要求。 硬盘：留有足够的空间，最低 100G 起步（包括模型）。 2. 环境安装： 未提供 Mac 系统下的具体环境安装步骤。 由于 Mac 系统的特殊性，更推荐您采用云端部署的方式，相关教程可参考：https://qa3dhma45mc.feishu.cn/wiki/A6WYw1Nm0ikGplkuO9Ecwomqnnd
2024-11-06
联想异能者配置i5-12450八核，32GB内存,1TB固态硬盘，用于本地部署开源大模型可以部署哪些开源大模型
以下是一些您的联想异能者配置（i512450 八核，32GB 内存，1TB 固态硬盘）可部署的开源大模型及相关信息： ComfyUI 相比 WebUI 配置更低，系统资源占用更少，出图速度更快。ComfyUI 最低可在小于 3G 的 GPU 上运行，甚至没有 GPU 光用 CPU 也可以运行，但速度极慢。SDXL 出来后提高了运行配置，最低需要 8GB 显存+32GB 运行内存，12GB 流畅运行，推荐 16GB 以上。玩 SDwebui 和 ComfyUI 建议使用 6GB 以上的显存的 NVIDIA 显卡（N 卡），内存在 16G 以上。硬盘会影响加载模型的速度，所以最好把软件和模型部署在 SSD（固态硬盘）上。 截止 2024 年 5 月，主流的 AI 笔记本电脑主要是一些专门为人工智能和深度学习设计的高性能移动工作站。一些知名品牌包括微软第 11 代 Surface Pro、微星 Creator/Workstation 系列、技嘉 Aero/Aorus 系列、戴尔 Precision 移动工作站、惠普 ZBook 移动工作站、联想 ThinkPad P 系列。这些笔记本通常配备强大的 GPU（如 NVIDIA RTX 系列）、大容量内存（32GB 以上）和高速固态硬盘，还通常预装了 NVIDIA CUDA、cuDNN 等深度学习框架，以及各种 AI 开发工具。但这类高端 AI 笔记本价格相对较高，通常在 2000 美元以上。用户可根据自身需求和预算选择合适型号，并关注散热、续航等实际使用体验。 请注意，配置上不封顶，您可根据自己的需求和预算来选择。
2024-11-04
如何做大模型的云端部署与微调
做大模型的云端部署与微调，主要包括以下步骤： 1. 选择合适的部署方式： 本地环境部署。 云计算平台部署。 分布式部署。 模型压缩和量化。 公共云服务商部署。需根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源： 确保有足够的训练数据覆盖目标应用场景。 准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础： 可以使用开源的预训练模型如 BERT、GPT 等。 也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练： 根据具体应用场景对预训练模型进行微调训练。 优化模型结构和训练过程以提高性能。 5. 部署和调试模型： 将训练好的模型部署到生产环境。 对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护： 大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 例如，对于 SDXL 的大模型，本地部署时要注意模型分为 base+refiner 以及配套的 VAE 模型，需将其放入对应文件夹，并在秋叶启动器中将 webUI 的版本升级到 1.5 以上。而对于 Llama3 的部署和微调，实操分两部分，包括本地部署并通过 webdemo 对话，以及使用特定数据集进行微调，具体流程为购买服务器、安装代码环境、下载通用模型和数据集、挑选微调框架、编写微调程序和验证结果。 总的来说，部署和微调大模型需要综合考虑多方面因素，根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2024-10-26
docker部署qwen
以下是关于 Docker 部署相关问题的综合回答： 容器编排模板： 容器编排模板是一种配置文件，用于在 Docker 中部署和管理多个容器，可一键部署复杂环境，无需手动配置细节，如配置 COW 组件与微信和极简未来平台交互。 使用 Docker 部署 COW 组件的原因： Docker 提供隔离运行环境，确保应用在任何环境稳定运行，简化安装和配置过程，保证环境一致，便于管理和维护。 配置多个前缀触发机器人回复的原因： 配置如“bot”、“@bot”等多个前缀，能确保机器人只在特定情况回复，避免群聊或私聊中频繁干扰，提高响应准确性和用户体验。 扫码登录失败的解决办法： 1. 重启 Docker 容器：在宝塔面板中找到对应容器，点击“重启”。 2. 检查网络连接：确保服务器和微信客户端能正常访问互联网。 3. 重新扫描二维码：等待容器重启后，重新扫描日志中生成的二维码。 费用相关： 使用 AI 微信聊天机器人的费用实际上不高，极简未来平台按使用量收费，对一般用户费用相对低廉，充值少量费用通常可用很长时间，且平台提供每天签到免费领积分福利，进一步降低使用成本。使用极简未来平台创建 AI 机器人的具体费用未明确给出。
2024-10-20