直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

本地部署tts

回答

在 Linux 上本地部署 ChatTTS 的步骤如下：

  1. 前提条件：需要有一张 4G 以上显存的 GPU 显卡。
  2. 具体步骤：
    • 下载代码仓库。
    • 安装依赖（注意有两个依赖未放在 requirements.txt 里）。
    • 启动 webui 的 demo 程序，然后用浏览器登陆服务器的 ip:8080 就能试玩。
    • 第一次启动后生成语音时，需要查看控制台输出，它会下载一些模型文件，因此比较慢，而且可能因网络问题有各种失败。但第一次加载成功后，后面就会顺利。
  3. demo 提供的参数：
    • --server_name：服务器的 IP 地址，默认 0.0.0.0。
    • --servic_port：即将开启的端口号。
    • --local_path：模型存储的本地路径。
  4. webui 上可设置的参数：
    • text：指需要转换成语音的文字内容。
    • Refine text：选择是否自动对输入的文本进行优化处理。
    • Audio Seed：语音种子，是一个数字参数，用于选择声音的类型，默认值为 2，是一个很知性的女孩子的声音。
    • Text Seed：文本种子，是一个正整数参数，用于 refine 文本的停顿。实测文本的停顿设置会影响音色、音调。

效果试用方面：

  1. 语音效果：接近真人语音语调，用的更接近日常普通人的音色。
  2. 运算速度：基于 L4 GPU 本地部署，22s 的音频需要 12s 的推理时间。若用 4090，速度约为 L4 的 2 倍，即 6s 左右。模型未做优化，优化后有望在 4090 上只用 2 - 3s 推理时间。
  3. 功能试玩：提供的功能简单。
  4. 音色更换：可通过调整 Audio seed 和 Text seed 等参数实现。
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

Stuart：一夜爆火的 ChatTTS 实测

在linux上部署很简单，比GPT-SoVITS更容易，不需要自己下载模型放模型。当然本地部署的前提，依旧是你有一张GPU显卡，4G以上显存。

Stuart：一夜爆火的 ChatTTS 实测

简单步骤如下：1.下载代码仓库1.安装依赖（⚠️这里有两个依赖它没有放在requirements.txt里）1.启动webui的demo程序，然后用浏览器登陆这个服务器的ip:8080就能试玩了这个demo本身提供了3个参数：--server_name:服务器的ip地址，默认0.0.0.0--servic_port:即将开启的端口号--local_path:模型存储的本地路径1.第一次启动后生成语音时，需要看下控制台输出，它会下载一些模型文件，因此比较慢，而且可能因为网络的问题有各种失败。但是第一次加载成功了，后面就顺利了。2.基于这个基础已经可以开始拓展了，比如把它集成到agent的工具中去，比如结合chatgpt来做更拟人化的实时沟通。3.webui上可以设置的几个参数说明：（参考下图）text:指的是需要转换成语音的文字内容。Refine text:选择是否自动对输入的文本进行优化处理。Audio Seed:语音种子，这是一个数字参数，用于选择声音的类型，默认值为2，是一个很知性的女孩子的声音。Text Seed:文本种子，这是一个正整数参数，用于refine文本的停顿。实测文本的停顿设置会影响音色，音调。

Stuart：一夜爆火的 ChatTTS 实测

先听一段效果，震惊来自本地部署模型的推理和语音效果：1.语音效果：2.效果确实很不错，接近真人语音语调。但是和GPT-SoVITS比起来并没有更惊艳，不过对比起来它用的更接近日常普通人的音色，可能会给人感觉更接近真实。对比参考：[Stuart：免费AI真人语音入门：GPT-SoVITS + Bert-VITS2](https://waytoagi.feishu.cn/wiki/StNuwZqh7iC2utkbxaNck9Gnn4e?from=from_copylink)3.运算速度：4.基于L4 GPU本地部署，22s的音频需要12s的推理时间。如果用4090，速度差不多是L4的2倍，也就是差不多需要6s左右。当然这个模型还没有做优化，如果做了优化，有希望在4090上只用2～3s推理时间。5.功能试玩：提供的功能很简单6.音色更换效果对比Audio seed:2; Text seed:42; input text:每个孩子是生下来就自带大模型的，他们天然有超强的数据处理能力。家庭教育是让孩子的大模型“本地化”。我们对孩子的教育，就是一种大模型的微调，最多起到10%的作用。我们要做的是顺势而为，让孩子的先天大模型发挥最好的作用。被refine后的文本变成了：

其他人在问
开源的，新一代的 tts 框架有哪些？
以下是一些开源的新一代 TTS 框架： 1. GPTSoVITS：这是一个声音克隆和文本到语音转换的开源 Python RAG 框架。只需 1 分钟语音即可训练一个自己的 TTS 模型，5 秒数据就能模仿，1 分钟的声音数据就能训练出高质量的 TTS 模型，完美克隆声音。它完美适配中文，具有零样本 TTS、少量样本训练、易于使用的界面、跨语言支持、适用于不同操作系统、提供预训练模型等特点。 2. ChatTTS：针对对话式任务进行了优化，实现自然流畅的语音合成，同时支持多说话人。能够预测和控制细粒度的韵律特征，包括笑声、停顿和插入词等。在韵律方面超越了大部分开源 TTS 模型，并提供预训练模型，但存在模型稳定性不足的问题。目前发布的模型版本中，情感控制仅限于笑声以及一些声音中断，作者计划在未来的版本中开源更多情感控制的功能。如今陆续出现了在线网站和本地增强整合包。 3. B 站 up“花儿不哭”大佬的开源项目 gptsovits 也被用于节目《马上封喉》的 TTS 中，只需 1 分钟的干声素材就可以实现惊艳的效果，甚至实现了 zeroshot（零样本），但单字和中英文混杂的词句效果还有待提高。
2024-08-23
移动设备下，可集成到 iOS/anrdroid 的 app 中 的 tts 框架有哪些？
目前常见的可集成到 iOS 和 Android 移动设备 App 中的 TTS（TexttoSpeech，文本转语音）框架有以下几种： 1. Google TexttoSpeech：在 Android 平台上较为常用，提供了多种语言和声音选择。 2. Apple 的 Speech Synthesis：专为 iOS 开发，具有高质量的语音合成效果。 3. Microsoft Azure Cognitive Services Speech：支持多种平台，包括 iOS 和 Android，提供丰富的语音选项和功能。 但具体选择哪种框架，还需要根据您的应用需求、开发技术栈以及预算等因素来综合考虑。
2024-08-23
chat tts
以下是关于 ChatTTS 的详细介绍： 在作者提供的样例中，中英文混合和语气停顿效果令人印象深刻。常调整的参数主要是 Seed，不同的 Seed 对应不同的声音，目前较火的 Seed 为 2222。 线上体验下来，ChatTTS 在功能上少了微调、长文本等模块。但在 B 站有一个整合包，增加了音质增强、批量处理、长文本切分等功能，并制作了 Mac 和 Windows 版本。安装前需注意显卡限制，对于 30s 的音频，需要 4G 的显存。Mac 版本默认绑定 8080 窗口，推出应用后需执行相关操作避免端口占用。 增强版整合包的使用：首先可试试增强音质，输入文本准备生成时，可勾选音频增强和降噪进一步处理。文本内容很多时，可勾选文本切割处理，默认为五十字符切割，还能将音频片段合并为一整段音频，切割的音频片段也支持增强处理。保存后的音频文件结构清晰，包括 concatenated Audio（合成的一整段音频）、Enhanced Audio（增强处理后的整段音频）、Audio clip 文件夹（切分的音频片段，Enhanced 开头的是增强处理的音频片段，不带 Enhanced 是普通音频片段）。该版本还增加了批量处理功能，勾选后可上传按每句换行格式的 TXT 文本。最后是音色固定，可通过点击随机按钮多尝试找到满意音色，并保存设置和音色种子到配置文件方便下次使用。 ChatTTS 的特点： 针对对话式任务进行了优化，实现自然流畅的语音合成，同时支持多说话人。 能够预测和控制细粒度的韵律特征，包括笑声、停顿和插入词等。 在韵律方面超越了大部分开源 TTS 模型，并提供预训练模型。 存在自回归模型稳定性不足的问题，可能出现声音突然变化或音质变差，可多次尝试寻找更好的音频效果。 目前发布的模型版本中，情感控制仅限于笑声（），作者计划在未来的版本中开源更多情感控制功能。 玩法：几天前运行 ChatTTS 玩法复杂，需在本地和云端安装环境。如今有在线网站（https://chattts.com/）和本地增强整合包。
2024-08-15
Chat TTS 是什么
根据搜索结果和我的理解,Chat TTS 是指在聊天或对话系统中集成的文本转语音功能。具体来说: 1. TTS是一种将文本转换为自然语音的技术,可以让计算机或设备"读出"文字内容。 2. 在聊天机器人或虚拟助手中集成TTS功能,可以让AI系统不仅以文本形式回复,还能用语音与用户交互。 3. 例如,ChatGPT的移动应用就集成了TTS功能,允许用户与AI助手进行语音对话。 4. 高级的AI TTS系统可以生成非常逼真的人类语音,甚至可以模仿特定人的声音。 5. Chat TTS技术广泛应用于各种场景,如虚拟客服、智能家居设备、辅助技术等,提升了人机交互的自然度和可访问性。 6. 一些Chat TTS系统还支持多语言,可以实时将文本转换为不同语言的语音输出。 总的来说,Chat TTS是将文本转语音技术应用于对话系统的一种功能,旨在提供更自然、更便捷的人机交互体验。
2024-07-14
TTSMaker和ElevenLabs
TTSMaker 和 ElevenLabs 都是 AI 工具，以下是对它们的介绍： TTSMaker 是一款文本到语音转换的 AI 工具，它可以将文本内容转换为自然流畅的语音，支持多种语言和声音风格。TTSMaker 的语音合成技术基于深度学习模型，具有较高的准确性和自然度，可以应用于语音助手、有声读物、广播等领域。 ElevenLabs 是一家语言克隆初创公司，它开发了逼真的声音克隆工具，可以调整语调、情感等参数，以生成与原始声音非常相似的音频。此外，ElevenLabs 还提供了一些其他的 AI 工具，如 AI 视频聊天、自动化工具等。 总的来说，TTSMaker 和 ElevenLabs 都是非常有趣和实用的 AI 工具，它们可以帮助用户完成各种任务，提高工作效率和生活质量。
2024-05-26
TTSMaker是什么
TTSMaker是一个文本到语音（TexttoSpeech, TTS）的平台，它使用人工智能技术将文本转换成听起来自然的语音。它支持多种语言，包括中文、英语、日语、韩语、法语、德语、西班牙语和阿拉伯语等50多种语言，以及超过300种不同的语音风格。TTSMaker对视频内容创作者来说非常有用，可以帮助他们将视频脚本转换成语音，而且提供的声音自然，几乎可以与专业配音员媲美。 TTSMaker的特点包括： 多种语言支持：支持50多种语言。 多种声音选项：提供超过300种语音风格。 免费使用：对于独立创作者友好，有免费额度。 高质量语音：使用先进的AI技术，生成的语音逼真自然。 快速转换：输入文本后可以迅速转换成语音。 调节功能：可以调节语速、语调、音量等参数。 此外，还有一个TTSMaker Pro版本，它是一款专为专业人士设计的人工智能语音生成器，提供更多的专业功能和语音选项。 如果你在寻找文本到语音转换的工具，TTSMaker可能是一个合适的选择。如果你需要更详细的信息或服务，建议访问TTSMaker的官方网站或使用其在线服务。
2024-05-26
蛟龙16pro配置（处理器R7-7745HX,显卡RTX4060 8G,硬盘512GPCIE4.0SSD）可以用于审计人员本地化部署大模型用于数据分析工作吗
蛟龙 16pro 的配置（处理器 R77745HX，显卡 RTX4060 8G，硬盘 512G PCIE4.0 SSD）对于审计人员本地化部署大模型用于数据分析工作来说，可能存在一定的局限性。 处理器 R77745HX 具有一定的计算能力，但在处理大规模数据和复杂的模型运算时，其性能可能不够强劲。 显卡 RTX4060 8G 对于一些较为复杂的图形处理和计算任务能够提供一定的支持，但对于大规模的深度学习模型训练和数据分析，可能会显得不足。 512G 的 PCIE4.0 SSD 硬盘容量相对较小，在存储大量数据时可能会很快耗尽空间。 综上所述，该配置在一定程度上可以用于简单的数据分析任务，但对于较为复杂和大规模的大模型本地化部署及数据分析工作，可能需要更强大的硬件配置，例如更高性能的处理器、更大容量和更高性能的显卡，以及更大的存储空间。
2024-09-14
蛟龙16pro配置可以用于审计人员本地化部署大模型用于数据分析工作吗
蛟龙 16pro 的配置信息对于能否用于审计人员本地化部署大模型进行数据分析工作，需要更多关于该设备具体配置的详细信息才能准确判断。一般来说，本地化部署大模型进行数据分析工作对计算机的硬件配置有较高要求，包括但不限于强大的 CPU 性能、充足的内存容量、高速的存储设备以及优秀的显卡性能等。如果您能提供蛟龙 16pro 更详细的配置参数，我可以为您做出更准确的评估和建议。
2024-09-14
为审计人员利用大模型本地化部署进行数据分析的电脑如何配置
对于审计人员利用大模型本地化部署进行数据分析的电脑配置，以下是相关建议： 生成文字大模型： 最低配置：8G RAM + 4G VRAM 建议配置：16G RAM + 8G VRAM 理想配置：32G RAM + 24G VRAM（如果要跑 GPT3.5 差不多性能的大模型） 生成图片大模型（比如跑 SD）： 最低配置：16G RAM + 4G VRAM 建议配置：32G RAM + 12G VRAM 生成音频大模型： 最低配置：8G VRAM 建议配置：24G VRAM 需要注意的是，最低配置运行速度可能非常慢。另外，对于 SDXL 的大模型，分为两个部分： 第一部分，base + refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对生成的模型进行细化，生成细节更丰富的图片。 第二部分，还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 想要在 webUI 中使用 SDXL 的大模型，首先要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。接下来，将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，启动 webUI，就可以在模型中看到 SDXL 的模型。
2024-09-12
最为审计人员利用大模型本地化部署在电脑上进行数据分析，电脑如何配置
对于审计人员利用大模型本地化部署在电脑上进行数据分析，电脑配置需要考虑以下方面： 模型选择与下载： SDXL 大模型分为 base+refiner 两个必须下载的部分，base 是基础模型用于文生图操作，refiner 是精炼模型用于细化生成的模型，还有一个配套的 VAE 模型用于调节图片效果和色彩。您可以关注公众号【白马与少年】，回复【SDXL】获取下载链接。 除了上述模型，还可在 Civitai（C 站）https://civitai.com/ 寻找更多模型。使用 C 站时需科学上网，点击右上角筛选按钮找到所需模型类型，如 Checkpoint=大模型、LoRA=Lora，看到感兴趣的模型点击下载保存到电脑本地。 模型存放路径与使用： 将下载的模型放入对应文件夹，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下，vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。启动 webUI 后可在模型中看到 SDXL 模型。 硬件配置需求： ChatGLM6B 模型：模型文件下载至本地需要 15 GB 存储空间。量化等级不同，对 GPU 显存要求不同，如 FP16（无量化）最低 GPU 显存（推理）需 13 GB，高效参数微调需 14 GB；INT8 推理需 8 GB，高效参数微调需 9 GB；INT4 推理需 6 GB，高效参数微调需 7 GB。 MOSS 模型：模型文件下载至本地需要 70 GB 存储空间。FP16（无量化）最低 GPU 显存（推理）需 68 GB。 Embedding 模型：默认选用的约占用显存 3GB，也可修改为在 CPU 中运行。
2024-09-12
使用开源大模型本地化部署使用电脑配置，推荐几款笔记本电脑
以下是关于使用开源大模型本地化部署所需电脑配置及笔记本电脑推荐的相关信息： 运行大模型需要较高的机器配置，个人玩家大多负担不起。以下是不同类型大模型的配置要求： 生成文字大模型： 最低配置：8G RAM + 4G VRAM 建议配置：16G RAM + 8G VRAM 理想配置：32G RAM + 24G VRAM（跑 GPT3.5 差不多性能的大模型） 生成图片大模型（比如跑 SD）： 最低配置：16G RAM + 4G VRAM 建议配置：32G RAM + 12G VRAM 生成音频大模型： 最低配置：8G VRAM 建议配置：24G VRAM 对于本地化部署，不建议使用最低配置，因为速度会非常慢。例如，用 8G 的 Mac 电脑尝试过，效果不佳。 由于本地化部署对电脑配置要求较高，不太推荐本地化安装实现。如果想使用开源大模型，可选择利用云厂商已提供好的大模型运行环境和计算能力，比如阿里云的 PAI 和 AutoDL。 在笔记本电脑选择方面，建议选择具备以下配置的机型： 1. 内存：16GB 及以上的 RAM。 2. 显卡：具有 8GB 及以上 VRAM 的独立显卡。 但具体的笔记本电脑型号还需根据您的预算和其他需求来确定。
2024-09-12
本地化部署
以下是关于本地化部署的相关内容： SDXL 的本地化部署： SDXL 的大模型分为两个部分： 1. 第一部分，base+refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对文生图生成的模型进行细化，生成细节更丰富的图片。 2. 第二部分，SDXL 还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 这三个模型的下载链接可关注公众号【白马与少年】，回复【SDXL】获取。 在 webUI 中使用 SDXL 大模型，需先在秋叶启动器中将 webUI 的版本升级到 1.5 以上。然后将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成后启动 webUI，即可在模型中看到 SDXL 的模型。 正常使用方法：先在文生图中使用 base 模型，填写提示词和常规参数，尺寸可设为 10241024 进行生成。生成图片后，可将其发送到图生图中，大模型切换为“refiner”，重绘幅度开小一点，再次点击生成。 对于配置较高的电脑，如显卡为 4080ti，生成时间约在十秒左右。配置较低的需自行测试。 还可安装 refine 插件，在扩展列表中搜索 refine 并安装，重启后可在文生图界面直接使用 refine 模型进行绘画。 Google Gemma 的本地化部署： Google 发布的家用版小模型 Gemma 有 2b（20 亿参数）和 7b（70 亿参数）版本。 部署环境准备： 1. 首先提一下 Ollama，它是一个开源的大型语言模型服务，可方便地部署最新版本的 GPT 模型并通过接口使用，支持热加载模型文件，无需重新启动即可切换不同的模型。 2. 进入 ollama.com，下载程序并安装（支持 windows，linux 和 macos）。 3. 查找 cmd 进入命令提示符，输入 ollama v 检查版本，安装完成后版本应显示 0.1.26。 4. 输入 cls 清空屏幕，然后直接输入 ollama run gemma 运行模型（默认是 2b），首次需下载，等待一段时间。若想用 7b，运行 ollama run gemma:7b。完成后即可直接对话，2 个模型都安装后，可重复上述指令切换。
2024-09-11