Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

怎么做tts模型训练

Answer

以下是关于 TTS 模型训练的相关内容：

使用 GPT-SoVITS 进行 TTS 模型训练：

  • GPT-SoVITS 是一个声音克隆和文本到语音转换的开源 Python RAG 框架。
  • 只需 1 分钟语音即可训练一个自己的 TTS 模型。5 秒数据就能模仿您，1 分钟的声音数据就能训练出一个高质量的 TTS 模型，完美克隆您的声音。
  • 主要特点：
    • 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。
    • 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。
    • 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。
    • 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。
    • 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。
    • 预训练模型：项目提供了一些已经训练好的模型，您可以直接下载使用。
    • GitHub：https://github.com/RVC-Boss/GPT-SoVITS
    • 视频教程：https://bilibili.com/video/BV12g4y1m7Uw/

TTS 模型训练的音库制作和文本前端：

  • 音频录制：
    • 音频的录制对合成语音的表现较为重要，较差的语音甚至会导致端到端声学模型无法正常收敛。
    • 用于训练的录音至少要保证录音环境和设备始终保持一致，无混响、背景噪音；原始录音不可截幅。
    • 如果希望合成出来的语音干净，则要删除含口水音、呼吸音、杂音、模糊等，但对于目前的端到端合成模型，有时会学习到在合适的位置合成呼吸音、口水音，反而会增加语音自然度。
    • 录音尽可能不要事先处理，语速的调节尚可，但调节音效等有时会造成奇怪的问题，甚至导致声学模型无法收敛。
    • 音频的录制可以参考录音公司的标准，购买专业麦克风，并保持录音环境安静即可。
    • 在音库录制过程中，可尽早提前尝试声学模型，比如音库录制 2 个小时语音后，就可尝试训练基线语音合成系统，以防止录音不符合最终的需求。
  • 语料整理：
    • 检查文本和录制的语音是否一一对应，录制的音频本身一句话是否能量渐弱，参与训练的语音前后静音段要保持一致，能量要进行规范化。
    • 可使用预训练的语音活动检测（Voice Activity Detection，VAD）工具，或者直接根据语音起止的电平值确定前后静音段。
    • 可以使用一些开源的工具，比如pyloudnorm统一所有语音的整体能量，这将有助于声学模型的收敛。当然，在声学模型模型训练时，首先就要对所有语料计算均值方差，进行统一的规范化，但是这里最好实现统一能量水平，防止一句话前后能量不一致。

GPT-SoVITS 实现 AIyoyo 声音克隆的步骤：

  • 前置数据获取处理：
    • 选择音频，开启切割。
    • 有噪音时，进行降噪处理。
    • 降噪处理完成，开启离线 ASR。
  • GPT-Sowits-TTS：
    • 训练集格式化：开启一键三连，耐心等待即可。
    • 微调训练：开启 SoVITS 训练和 GPT 训练。
    • 推理：开始推理 - 刷新模型 - 选择微调后的模型 - yoyo。
    • 成功：出现新的 URL，说明您自己的声音微调完毕，然后可以进行使用。
  • 声音复刻：开启声音复刻之旅，实现跨多语种语言的声音。

希望以上内容对您有所帮助。

Content generated by AI large model, please carefully verify (powered by aily)

References

GPT-SoVITS实现声音克隆

GPT-SoVITS：只需1分钟语音即可训练一个自己的TTS模型。GPT-SoVITS是一个声音克隆和文本到语音转换的开源Python RAG框架。5秒数据就能模仿你，1分钟的声音数据就能训练出一个高质量的TTS模型，完美克隆你的声音！根据演示来看完美适配中文，应该是目前中文支持比较好的模型。界面也易用。主要特点：1、零样本TTS：输入5秒的声音样本即可体验即时的文本到语音转换。2、少量样本训练：只需1分钟的训练数据即可微调模型，提高声音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。3、易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和GPT/SoVITS模型。4、适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括Windows。5、预训练模型：项目提供了一些已经训练好的模型，你可以直接下载使用。GitHub：[https://github.com/RVC-Boss/GPT-SoVITS](https://t.co/BpHX4SlsO3)[…](https://t.co/BpHX4SlsO3)视频教程：[https://bilibili.com/video/BV12g4y1m7Uw/](https://t.co/Uo7WtSSUGO)[…](https://t.co/Uo7WtSSUGO)[[twi]@小互(@_twi(1).mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/RymsbKdweody4Cxwtsqc7Yuenxd?allow_redirect=1)使用：

TTS超全教程

音频的录制对合成语音的表现较为重要，较差的语音甚至会导致端到端声学模型无法正常收敛。用于训练的录音至少要保证录音环境和设备始终保持一致，无混响、背景噪音；原始录音不可截幅；如果希望合成出来的语音干净，则要删除含口水音、呼吸音、杂音、模糊等，但对于目前的端到端合成模型，有时会学习到在合适的位置合成呼吸音、口水音，反而会增加语音自然度。录音尽可能不要事先处理，语速的调节尚可，但调节音效等有时会造成奇怪的问题，甚至导致声学模型无法收敛。音频的录制可以参考录音公司的标准，购买专业麦克风，并保持录音环境安静即可。在音库录制过程中，可尽早提前尝试声学模型，比如音库录制2个小时语音后，就可尝试训练基线语音合成系统，以防止录音不符合最终的需求。[heading3]语料整理[content]检查文本和录制的语音是否一一对应，录制的音频本身一句话是否能量渐弱，参与训练的语音前后静音段要保持一致，能量要进行规范化。可使用预训练的语音活动检测（Voice Activity Detection，VAD）工具，或者直接根据语音起止的电平值确定前后静音段。可以使用一些开源的工具，比如[pyloudnorm](https://github.com/csteinmetz1/pyloudnorm)统一所有语音的整体能量，这将有助于声学模型的收敛。当然，在声学模型模型训练时，首先就要对所有语料计算均值方差，进行统一的规范化，但是这里最好实现统一能量水平，防止一句话前后能量不一致。能量规整的示例代码如下。

GPT-SoVITS-实现 AIyoyo 声音克隆

1.[heading4]微调训练[content]1.开启SoVITS训练，&开启GPT训练[heading4]推理[content]1.开始推理-刷新模型-选择微调后的模型-yoyo[heading4]成功[content]出现新的URL，说明你自己的声音微调完毕，然后可以进行啦[heading3]四、声音复刻[heading4]开启声音复刻之旅吧[content]1.实现跨多语种语言的声音，不是梦[heading4]实践的样本[content]AIyoyo普通话-满江红[满江红普通话。wav](https://drive.weixin.qq.com/s?k=AJMA1Qc4AAwbkbzYu0AQ8AbQYrAGo)AIyoyo粤语版-满江红[满江红粤语。wav](https://drive.weixin.qq.com/s?k=AJMA1Qc4AAwsRaRfHrAQ8AbQYrAGo)[heading2]五、关于我[content]大家好～我是yoyo🐱🐈坐标北京，铲屎官一枚🫡AIGC的小白，持续进阶成长，致力于打造一个自己的智能体☕️以上期待能够给到各位一点启发感谢家属带我在“[通往AGI之路](https://waytoagi.feishu.cn/wiki/QPe5w5g7UisbEkkow8XcDmOpn8e)”打开新世界，接触有趣的事情，结识有趣的人

Others are asking
chatTTS
ChatTTS 是一个用于对话的生成式语音合成模型，具有以下特点： 优势： 真实度和自然度惊艳。 有更好的韵律，能生成接近真人音色的语气语调。 对中文支持良好，中英混合也没问题。 可进行细粒度控制，能预测和控制如笑声、停顿和插话等韵律特征。 能自然流畅地语音合成，支持多说话人，同时提供预训练模型。 劣势： 推理速度慢，无法应用在实时语音场景，离线场景需大量后期修正工作。 对于阿拉伯数字、标点符号，refine 后效果不佳。 有时会出现不稳定情况，自动删除或增加一些内容，读绕口令时有卡顿。 在参数设置方面，常调整的参数主要是 Seed（种子数），不同的 Seed 对应不同的声音，目前较火的 Seed 为 2222。此外，输入文本时，除文字本身和控制符号外，还可控制笑声、停顿等副语言现象。 在使用时，对于 30 秒的音频，需要 4G 的显存。整合包增加了音质增强、批量处理、长文本切分等功能，Mac 版本默认绑定 8080 窗口，推出应用后需执行“lsof i:8080”得到程序的 PID 后 kill 程序，不然下一次启动会提示端口被占用。在输入文本准备生成时，可勾选音频增强和降噪进行进一步处理，增强后的音频会更清晰但处理时长会增加。生成的语音已达到“以假乱真”的程度，但为防止模型被用于诈骗等违法行为，作者在训练过程中添加了少量高频噪音，并压缩了音质。
2025-01-24
目前最好的TTS是什么
目前，ChatTTS 是备受关注的 TTS 之一。 其优势包括： 真实度和自然度很惊艳。 有更好的韵律，能生成接近真人音色的语气语调，对中文支持良好，中英混合也没问题。 能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等。 自然流畅的语音合成，同时支持多说话人，还提供预训练模型。 然而，它也存在一些劣势： 当前推理速度慢，无法应用在实时语音场景。用在离线场景，需要大量的后期修正工作。 对于阿拉伯数字、标点符号，refine 后效果不太好。 有时候会出现不稳定，自动删除或者增加一些内容在句子里，比如输入的内容是“你吃饭了没”，会莫名把句子改写一下变成了，“好吃，你吃饭了没”这种情况。 读绕口令也有人的那种卡顿（效果不稳定）。 另外，XiaoHu.AI 也表现出色，支持跨语言配音、语音克隆、情感控制等，表现优于现有 TTS 系统，提供对语音生成的多样性和情感控制，并允许局部编辑，实时可控编辑，支持对特定语音片段进行修改或替换。您可以通过以下链接获取更多信息： 更多案例： GitHub： 论文： 在线体验： 官方网站： PersonaTalk 也是字节跳动的 AI 配音模型。
2025-01-23
主流TTS-语音合成技术
语音合成（Speech Synthesis）是将文本转换为可听的声音信息，赋予了像人一样说话的能力，是人机交互的重要接口。一般而言，语音合成的概念比文语转换（TexttoSpeech，TTS）涵盖范围更广，包括 TTS、歌唱合成等领域，但多数情况下可混用。提供了一些端到端语音合成模型的样例，可感受目前语音合成的发展。 人类通过一整套发音器官合成语音，肺相当于动力源，喉相当于调制器，声道相当于滤波器，口唇相当于扩音器。研究人员提出以源滤波器（sourcefilter）模型为代表的多种模型建模该过程，语音中有清音和浊音，分别由声带周期性振动对应的周期声源和声带不振动时紊乱气流对应的非周期声源产生。 当代工业界主流语音合成系统包含文本前端和声学后端两部分。文本前端将输入文本转换为层次化的语音学表征，主要有文本规范化、韵律分析和文本转音素等模块。声学后端基于文本前端给出的层次化语言学表征生成语音，主要技术路线包括单元挑选波形拼接、统计参数和端到端语音合成方法，当代主要采用端到端声学后端。端到端声学后端通常包括声学模型和声码器两部分，也出现了直接从音素映射为波形的完全端到端语音合成系统。声学模型负责将语言学特征转换为中间声学特征（如梅尔频谱），直接决定合成语音的韵律；声码器将中间声学特征转换为语音波形，直接决定合成语音的音质。
2025-01-07
主流TTS-语音合成技术
语音合成（Speech Synthesis）是将文本转换为可听的声音信息，赋予了像人一样说话的能力，是人机交互的重要接口。一般而言，语音合成的概念比文语转换（TexttoSpeech，TTS）涵盖范围更广，包括 TTS、歌唱合成等领域，但多数情况下可混用。提供了一些端到端语音合成模型的样例，可感受目前语音合成的发展。 人类通过一整套发音器官合成语音，肺相当于动力源，喉相当于调制器，声道相当于滤波器，口唇相当于扩音器。研究人员提出以源滤波器（sourcefilter）模型为代表的多种模型建模该过程，语音中有清音和浊音，分别由声带周期性振动对应的周期声源和声带不振动时紊乱气流对应的非周期声源产生。 当代工业界主流语音合成系统包含文本前端和声学后端两部分。文本前端把输入文本转换为层次化的语音学表征，主要有文本规范化、韵律分析和文本转音素等模块。声学后端基于文本前端给出的层次化语言学表征（linguistics feature）生成语音，主要技术路线包括单元挑选波形拼接、统计参数和端到端语音合成方法，当代主要采用端到端声学后端。端到端声学后端通常包括声学模型和声码器两部分，也出现了直接从音素映射为波形的完全端到端语音合成系统。声学模型负责将语言学特征转换为中间声学特征（如梅尔频谱），直接决定合成语音的韵律；声码器将中间声学特征转换为语音波形，直接决定合成语音的音质。
2025-01-07
基于TTS+LLM流式数字人的问答系统
以下是关于基于 TTS + LLM 流式数字人的问答系统的相关信息： 数字人简介： 算法驱动的数字人强调自驱动，人为干预更少，技术实现更复杂。其最简单的大致流程包含三个核心算法： 1. ASR（Automatic Speech Recognition，语音识别）：旨在将用户的音频数据转化为文字，便于数字人理解和生成回应，以实现像人与人一样的对话交互。 2. AI Agent（人工智能体）：充当数字人的大脑，可直接接入大语言模型，强调 Agent 的概念是为了让数字人拥有记忆模块等，使其更加真实。 3. TTS（Text to Speech，文字转语音）：由于数字人依靠 LLM 生成的输出是文字，为保持语音交互一致性，需要将文字转换为语音由数字人输出。
2024-11-25
评价tts合成效果有什么通用标准吗
对 TTS 合成效果的评价主要分为主观评价和客观评价。 主观评价是通过人类对语音进行打分，常见的方法包括平均意见得分（MOS）、众包平均意见得分（CMOS）和 ABX 测试。其中 MOS 评测较为宽泛，可测试语音的不同方面，如自然度 MOS 和相似度 MOS。国际电信联盟将 MOS 评测规范化为 ITUT P.800，其中绝对等级评分（ACR）应用广泛，其根据音频级别给出 1 至 5 分的评价标准，分数越大表示语音质量越好，MOS 大于 4 时音质较好，低于 3 则有较大缺陷。但人类评分结果易受干扰，如音频样本呈现形式、有无上下文等。 客观评价是通过计算机自动给出语音音质的评估，在语音合成领域研究较少。客观评价可分为有参考和无参考质量评估，有参考评估方法需要音质优异的参考信号，常见的有 ITUT P.861（MNB）、ITUT P.862（PESQ）、ITUT P.863（POLQA）、STOI 和 BSSEval 等；无参考评估方法不需要参考信号，常见的包括基于信号的 ITUT P.563 和 ANIQUE+、基于参数的 ITUT G.107（EModel），近年来深度学习也应用到无参考质量评估中，如 AutoMOS、QualityNet、NISQA 和 MOSNet 等。 获取平均意见得分时，实验要求获取多样化且数量足够大的音频样本，在具有特定声学特性的设备上进行测评，控制被试遵循同样标准，确保实验环境一致。实验方法有实验室方式和众包两种，实验室方式能稳定保证实验环境，但人力成本高；众包方式易于获得有效评估结果，但无法确保试听条件。
2024-11-20
Coze + 飞书 + 飞书多维表格：通过飞书机器人与 Coze 搭建的智能体进行对话，在聊天窗口中完成链接输入和阅读计划输出。由 Coze 调用大模型、插件完成内容的整理、推荐，利用飞书多维表格存储和管理稍后读数据，无需开发任何插件、APP，能实现跨平台的稍后读收集与智能阅读计划的推荐。其设计思路包括简化“收集”，实现跨平台收集和通过输入 URL 完成收集；自动化“整理入库”，自动整理关键信息并支持跨平台查看；智能“选择”推荐，根据收藏记录和用户兴趣生成阅读计划——这个方法具体如何操作？
以下是关于通过飞书机器人与 Coze 搭建的智能体进行对话，并利用飞书多维表格存储和管理稍后读数据，实现跨平台的稍后读收集与智能阅读计划推荐的具体操作方法： 前期准备： 1. 简化“收集”： 实现跨平台收集功能，支持电脑（web 端）、安卓、iOS 多端操作。 输入一个 URL 即可完成收集，借鉴微信文件传输助手的方式，通过聊天窗口完成收集输入。 2. 自动化“整理入库”： 系统在入库时自动整理每条内容的关键信息，包括标题、摘要、作者、发布平台、发布日期、收集时间和阅读状态。 阅读清单支持跨平台查看。 3. 智能“选择”推荐： 根据当前收藏记录和用户阅读兴趣进行相关性匹配，生成阅读计划。 使用飞书·稍后读助手： 1. 设置稍后读存储地址： 首次使用，访问。 点击「更多创建副本」，复制新表格的分享链接。 将新链接发送到智能体对话中。 还可以发送“查询存储位置”、“修改存储位置”来更换飞书多维表格链接，调整稍后读存储位置。 2. 收藏待阅读的页面链接： 在对话中输入需要收藏的页面链接，第一次使用会要求授权共享数据，授权通过后再次输入即可完成收藏。但目前部分页面链接可能小概率保存失败。 3. 智能推荐想看的内容： 在对话中发送“我想看 xx”、“xx 内容”，即可按个人兴趣推荐阅读计划。 至此，专属 AI 稍后读智能体大功告成，您可以尽情享受相关服务。
2025-01-27
大语言模型
大语言模型相关知识如下： Encoder：在大型语言模型中，Encoder 是模型的编码器部分，负责对输入的文本序列进行编码，获取其对应的语义表示。具有词嵌入、位置编码、注意力机制、层叠编码、上下文建模等关键作用。其输出是输入序列对应的上下文化语义表示，会被模型的 Decoder 部分利用。 介绍：大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。能解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题，还可利用相对较小的领域数据集进行定制以解决不同领域的特定问题。其三个主要特征是大型（训练数据集规模和参数数量大）、通用性（能解决常见问题）、预训练微调（用大型数据集预训练，用较小数据集微调）。使用大型语言模型的好处包括一种模型可用于不同任务、微调所需领域训练数据较少、性能随数据和参数增加而增长等。视频中还提到了自然语言处理中的提示设计和提示工程，以及三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。 性能对比：对比不同大型语言模型的性能需考虑多个维度，如理解能力、生成质量、知识广度和深度、泛化能力、鲁棒性、偏见和伦理、交互性和适应性、计算效率和资源消耗、易用性和集成性等。可采用标准基准测试、自定义任务、人类评估、A/B 测试、性能指标等方法进行有效比较。
2025-01-27
客服系统，需要写一段提示词给大模型，需求是，先跟用户表示歉意，产品问题请咨询我另外一个同事，点击同事名称即可咨询，每次回复的内容不能一样
以下是为您生成的客服系统相关的大模型提示词示例，每次回复内容不同： 1. 非常抱歉给您带来了不便，关于产品问题，您可以咨询我的同事，点击即可进行咨询。 2. 很抱歉让您遇到了困扰，产品方面的疑问请找我的同事咨询，点击就能联系到。 3. 实在不好意思呀，产品的问题您向我的同事咨询会更清楚，点击即可开启咨询。 4. 深感抱歉，对于产品的情况，建议您咨询我的同事，点击就能和他交流。 5. 抱歉给您造成了不好的体验，产品相关问题请咨询我的同事，点击就能获取帮助。
2025-01-26
当前最强AI模型有哪些？
当前最强的 AI 模型包括： 1. OpenAI 的 o3 模型：在 ARCAGI 测试中达到了 87.5%的准确率，几乎与人类水平相当。能够进行自我对话、多角度分析和自我质疑，具备一定的“思考意识”。下一代 o3mini 模型的推理能力能够媲美 o1 模型。 2. Google 的 Gemini 2.0 Flash：在重要的基准能力上直接追平甚至部分超越了 Gemini 1.5 Pro，同时模型速度有极大提升。 3. OpenAI 的 GPT4：是一个大型多模态模型，在各种专业和学术基准测试中表现出与人类相当的水平。 4. Midjourney v5：具有极高的一致性，擅长以更高分辨率解释自然语言 prompt，并支持像使用 tile 这样的重复图案等高级功能。 5. DALL·E 3：代表了生成完全符合文本的图像能力的一大飞跃。 6. Mistral 7B：在所有基准测试上超越了 Llama 2 13B，在许多基准测试上超越了 Llama 1 34B，在代码任务上接近 CodeLlama 7B 的性能，同时在英语任务上表现良好。 此外，还有智谱·AI 开源的一些模型，如 WebGLM10B、MathGLM2B 等。
2025-01-25
有没有辅助文献阅读，并能对文献内容进行整理的ai模型
以下是一些能够辅助文献阅读并对文献内容进行整理的 AI 模型和工具： 1. 智谱 AI 大模型开放平台： 场景介绍：大模型技术能快速总结论文内容、进行精准翻译，节省研究者阅读和整理文献的时间，帮助聚焦核心问题。其通用性可适应不同学科和复杂文本，提炼核心观点，为研究工作提速。 论文处理全景图：包括文献预处理和 LLM 内容处理。海量文献需转换为可供模型解析的文本格式，可借助平台工具完成文件内容提取。将文件内容自动化提取并结合大模型可进行批量分析或任务处理。 2. 利用 AI 写课题的步骤和建议： 确定课题主题，明确研究兴趣和目标，选择有价值和创新性的主题。 收集背景资料，使用学术搜索引擎和文献管理软件搜集相关文献和资料。 分析和总结信息，利用文本分析工具提取关键信息和主要观点。 生成大纲，使用写作助手生成包括引言、文献综述等部分的大纲。 撰写文献综述，利用工具确保内容准确完整。 构建方法论，根据需求设计研究方法。 数据分析，使用工具处理和解释数据。 撰写和编辑，利用写作工具撰写并检查语法和风格。 生成参考文献，使用文献管理工具生成正确格式。 审阅和修改，利用审阅工具检查逻辑性和一致性并修改。 提交前检查，确保原创性和格式调整。 3. 论文写作中常用的 AI 工具和平台： 文献管理和搜索：Zotero 可自动提取文献信息管理参考文献；Semantic Scholar 是 AI 驱动的学术搜索引擎，提供文献推荐和引用分析。 内容生成和辅助写作：Grammarly 提供文本校对等帮助提高语言质量；Quillbot 可重写和摘要优化内容。 研究和数据分析：Google Colab 支持 AI 和机器学习研究便于数据分析和可视化；Knitro 用于数学建模和优化。 论文结构和格式：LaTeX 结合自动化和模板处理格式和数学公式；Overleaf 是在线 LaTeX 编辑器，提供模板库和协作功能。 研究伦理和抄袭检测：Turnitin 和 Crossref Similarity Check 检测抄袭确保原创性。 需要注意的是，AI 工具可作为辅助，但不能完全替代研究者的专业判断和创造性思维，使用时应结合自身需求和写作风格，仔细甄别。
2025-01-25
现在有哪些开源的文生图大模型？
以下是一些开源的文生图大模型： Kolors： 2024 年 7 月 6 日开源，基于数十亿图文对进行训练，支持 256 的上下文 token 数，支持中英双语。技术细节参考 。 已支持 Diffusers，使用方式可参考 。 支持了 。 支持了 。 关于 Kolors 模型的教学视频： ，作者：BlueBomm 。 ，作者：AI 算法工程师 01 。 ，作者：峰上智行 。 ，作者：设计师学 Ai 。 Kolors 模型能力总结：改进全面，有更强的中文文本编码器、机造的高质量文本描述、人标的高质量图片、强大的中文渲染能力，以及巧妙的 noise schedule 解决高分辨率图加噪不彻底的问题。实测效果很不错，在看到 Kling 视频生成的强大表现，能体现快手的技术实力。
2025-01-24
如何对扣子智能体做专属训练
对扣子智能体进行专属训练时，需要注意以下要点： 1. 跳转设置：扣子在节点切换提供了独立和非独立两种识别模式。独立识别模式中每个节点都有一个独立识别模型，非独立模式则直接使用当前智能体模型进行判断，实际使用中推荐独立模式。 2. 独立模式的选择：独立模式有两种选择。第一种是面对通用指令时，选择已经训练好的、专门用于节点切换的大型模型，其优点是经过特定训练，无需额外操心设计。第二种是在遇到非常复杂的情景时，使用自定义的大型模型，可根据需求定制模型和编写特定提示词以适应复杂交互场景，但实际测试效果不理想，所以推荐使用第一种。 3. 关键注意点：在使用专门训练的意图识别模型进行节点切换时，要特别注意两个关键点。一是每个智能体的用途必须清晰明确，在设计和实现时要清楚标注其功能和目的，以确保系统能准确识别和响应用户意图。二是智能体的名称非常重要，应清晰、易于识别，便于系统识别和记忆。
2025-01-27
预训练
以下是关于预训练的相关内容： Atom 系列模型的预训练： Atom 系列模型包含 Atom7B 和 Atom13B，基于 Llama2 做了中文能力的持续优化。Atom 大模型在 Llama2 的基础上，采用大规模的中文数据进行持续预训练，数据来源广泛，包括百科、书籍、博客、新闻、公告、小说、金融数据、法律数据、医疗数据、代码数据、专业论文数据、中文自然语言处理竞赛数据集等。同时对庞大的数据进行了过滤、打分、去重，筛选出超过 1T token 的高质量中文数据，持续不断加入训练迭代中。为了提高中文文本处理的效率，针对 Llama2 模型的词表进行了深度优化，扩展词库至 65,000 个单词，提高了中文编码/解码速度约 350％，还扩大了中文字符集的覆盖范围，包括所有 emoji 符号。Atom 大模型默认支持 4K 上下文，利用位置插值 PI 和 Neural Tangent Kernel（NTK）方法，经过微调可以将上下文长度扩增到 32K。 GPT 助手的预训练： 预训练阶段是 GPT 训练中计算工作基本发生的地方，占用了训练计算时间和浮点运算的 99%。在这个阶段，需要收集大量的数据，如 Common Crawl、C4、GitHub、维基百科、图书、ArXiv、StackExchange 等，并按照一定比例采样形成训练集。在实际训练前，需要进行预处理步骤 Tokenization（分词/标记化），将原始文本翻译成整数序列。 OpenAI o1 的预训练： GPT 4 等 LLM 模型训练一般由“预训练”和“后训练”两个阶段组成。“预训练”通过 Next Token Prediction 从海量数据吸收语言、世界知识、逻辑推理、代码等基础能力，模型规模越大、训练数据量越多，则模型能力越强。
2025-01-24
如何用最简单的方法，训练一个自有数据的大模型
训练自有数据的大模型可以通过以下步骤实现： 1. 了解大模型的概念：大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。可以用上学参加工作来类比大模型的训练、使用过程，包括找学校（需要大量 GPU 等计算资源）、确定教材（需要大量数据）、找老师（选择合适算法）、就业指导（进行微调）、搬砖（推导）。在 LLM 中，Token 被视为模型处理和生成的文本单位，会对输入进行分词并形成词汇表。 2. 基础训练步骤： 进入厚德云模型训练数据集，如 https://portal.houdeyun.cn/sd/dataset 。 创建数据集：在数据集一栏中，点击右上角创建数据集，输入数据集名称。可以上传包含图片+标签的 zip 文件，也可单独上传照片，但建议提前打包。Zip 文件里图片名称与标签文件应当匹配，上传后等待一段时间确认创建，返回上一个页面等待上传成功并可点击详情检查，能预览数据集的图片及对应的标签。 Lora 训练：点击 Flux，基础模型会默认是 FLUX 1.0D 版本。选择数据集，触发词可有可无，模型效果预览提示词随机抽取数据集里的标签填入。训练参数可调节重复次数与训练轮数，厚德云会自动计算训练步数，可默认 20 重复次数和 10 轮训练轮数，按需求选择是否加速，点击开始训练，会显示所需消耗的算力，等待训练完成，会显示每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有生图，点击可自动跳转到使用此 lora 生图的界面，点击下方下载按钮可自动下载到本地。 3. 部署和训练自己的 AI 开源模型的主要步骤： 选择合适的部署方式，如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署，根据自身资源、安全和性能需求选择。 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 选择合适的预训练模型作为基础，如开源的预训练模型 BERT、GPT 等，也可自行训练基础模型。 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 注意安全性和隐私保护，大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 总的来说，训练自有数据的大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-01-24
如何训练自己的ai
训练自己的 AI 可以从以下几个方面考虑： 1. 像在医疗保健领域一样，创建模型生态系统，让 AI 像优秀的从业者那样学习。顶尖人才的培养通常从多年的密集信息输入和正规教育开始，再通过学徒实践从出色的实践者那里学习，获取书本外的信息。对于 AI ，应通过堆叠模型训练，而非仅依靠大量数据和生成模型。例如先训练基础学科模型，再添加特定领域数据点。 2. 部署和训练自己的 AI 开源模型的主要步骤： 选择合适的部署方式，如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身资源、安全和性能需求选择。 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 选择合适的预训练模型作为基础，如开源的 BERT、GPT 等，也可自行训练基础模型。 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调，优化模型结构和训练过程以提高性能。 部署和调试模型，将训练好的模型部署到生产环境，并进行在线调试和性能优化。 注意安全性和隐私保护，重视大模型涉及的大量数据和隐私信息的安全性和合规性。 3. 学习拆解复杂任务，先想清楚如何拆解： 一步步思考，包括自我反省，检查答案是否正确、是否符合法律/道德等。 运用组合拳，如 Tree of Thoughts、Algorithm of Thoughts、Graph of Thoughts 等。 学会使用工具，如搜索引擎（警惕“幻觉”）、RAG（提供资料库/让其上网搜）、写公式 Program of Thought 、上千个工具等，并自己学习使用工具。
2025-01-23
大模型训练方式
大模型的训练方式如下： 1. 通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比其训练和使用过程： 找学校：训练大模型需要大量计算，GPU更合适，只有购买得起大量GPU的才有资本训练。 确定教材：大模型需要大量数据，几千亿序列（Token）的输入基本是标配。 找老师：即选择合适算法讲述“书本”内容，让大模型更好理解Token之间的关系。 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。Token被视为模型处理和生成的文本单位，能代表单个字符、单词等，在将输入进行分词时，会形成词汇表。 2. 100基础训练大模型的步骤： 步骤一·创建数据集：进入厚德云模型训练数据集（https://portal.houdeyun.cn/sd/dataset），在数据集一栏中点击右上角创建数据集，输入数据集名称。zip文件可以是包含图片+标签txt，也可以只有图片没有打标文件，也可以一张一张单独上传照片，但建议提前把图片和标签打包成zip上传。Zip文件里图片名称与标签文件应当匹配，例如：图片名"1.png"，对应的达标文件就叫"1.txt"。上传zip以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，可预览到数据集的图片以及对应的标签。 步骤二·Lora训练：点击Flux，基础模型会默认是FLUX 1.0D版本，选择数据集，点击右侧箭头，会跳出所有上传过的数据集。触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数，如果不知道如何设置，可以默认20重复次数和10轮训练轮数，可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力，然后等待训练，会显示预览时间和进度条，训练完成的会显示出每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地。 步骤三·Lora生图：点击预览模型中间的生图会自动跳转到相应页面。模型上的数字代表模型强度，可在0.61.0之间调节，也可以自己添加lora文件，点击后会显示训练过的所有lora的所有轮次。VAE不需要替换，正向提示词输入写的提示词，可以选择基于这个提示词一次性生成几张图，选择生成图片的尺寸，横板、竖版、正方形。采样器和调度器新手小白可以默认，迭代步数可以在2030之间调整，CFG可以在3.57.5之间调整，随机种子1代表随机生成图。所有设置都好了以后，点击开始生态，生成的图会显示在右侧。如果有哪次生成结果觉得很不错，想要微调或者高分辨率修复，可以点开那张图，往下滑，划到随机种子，复制下来，粘贴到随机种子这里，这样下次生成的图就会和这次的结果近似。如果确认了一张很合适的种子和参数，想要搞清放大，则点开高清修复，可以选择想放大的倍数，新手小白可以就默认这个算法，迭代步数建议在2030之间，重回幅度根据需求调整，正常在0.30.7之间调整。 3. 今日作业：按照比赛要求，收集六个主题中一个主题的素材并且训练出lora模型后提交lora模型与案例图像。提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd
2025-01-23
FLUX模型训练
以下是关于 Flux 的 Lora 模型训练的详细步骤： 1. 模型准备： 下载所需模型，包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意：不使用时模型存放位置不限，但要知晓路径；训练时建议使用 flux1dev.safetensors 和 t5xxl_fp16.safetensors 版本。 2. 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 3. 数据集准备： 建议使用自然语言，与之前 SDXL 的训练类似。 数据集存放位置：.Flux_train_20.4\\train\\qinglong\\train 。 若未准备数据集，此路径中有试验数据集可直接使用。 4. 运行训练：约 1 2 小时即可完成训练。 5. 验证和 lora 跑图：若有 comfyUI 基础，在原版工作流的模型后面，多加一个 LoraloaderModelOnly 的节点，自行选择 Lora 并调节参数。 6. 修改脚本路径和参数： 若显卡为 16G，右键 16G 的 train_flux_16GLora 文件；若显卡为 24G 或更高，右键 24G 的 train_flux_24GLora 文件。 用代码编辑器打开，理论上只需修改红色部分，包括底模路径、VAE 路径、数据集路径、clip 路径和 T5xxl 路径。注意路径格式，避免错误。蓝色部分为备注名称，可改可不改。建议经验丰富后再修改其他深入参数，并做好备份管理。
2025-01-20