Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

flux lora训练指南

Answer

以下是关于 Flux 的 Lora 模型训练的指南：

准备工作： 需要下载以下模型：

  • t5xxl_fp16.safetensors
  • clip_l.safetensors
  • ae.safetensors
  • flux1-dev.safetensors

注意事项：

  1. 不使用的话，模型放置位置不限，但要清楚其“路径”，后续会引用到。
  2. 训练建议使用 flux1-dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。

下载脚本：

  • 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59
  • 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq

修改脚本路径和参数： 如果显卡是 16G，右键 16G 的 train_flux_16GLora 文件；如果显卡是 24G 或更高，右键 24G 的 train_flux_24GLora 文件。（DB 全参微调对硬件要求高，内存 32G 可能不行。即使是 train_flux_24GLora 方式，也建议内存高于 32G 以避免意外。） 右键用代码编辑器打开文件，理论上只需修改红色部分：底模路径、VAE 路径、数据集路径，还有下面的 clip 路径和 T5xxl 路径。如果 4 件套在一个文件夹，路径填写更简单；若不在，需准确复制各模型的路径，注意检查格式，避免多双引号、漏双引号或路径错误。

数据集准备：

  1. 进入厚德云 - 模型训练 - 数据集：https://portal.houdeyun.cn/sd/dataset
  2. 创建数据集：在数据集一栏中，点击右上角创建数据集，输入数据集名称。zip 文件可以包含图片+标签 txt，也可以只有图片（之后可在 c 站使用自动打标功能），也可一张一张单独上传照片，但建议提前将图片和标签打包成 zip 上传。Zip 文件里图片名称与标签文件应当匹配，例如：图片名"1.png"，对应的达标文件就叫"1.txt"。上传 zip 后等待一段时间，确认创建数据集，返回到上一个页面，等待上传成功后可点击详情检查，能预览到数据集的图片以及对应的标签。

Lora 训练： 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。选择数据集，点击右侧箭头选择上传过的数据集。触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词可随机抽取数据集中的一个标签填入。训练参数可调节重复次数与训练轮数，若不知如何设置，可默认 20 重复次数和 10 轮训练轮数。可按需求选择是否加速，点击开始训练，会显示所需消耗的算力，然后等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有生图，点击会自动跳转到使用此 lora 生图的界面，点击下方的下载按钮则会自动下载到本地。

Content generated by AI large model, please carefully verify (powered by aily)

References

郑敏轩 ：Flux的Lora模型训练

作者@郑敏轩大家好，上次讲了Flux简介，我们这次来讲讲Flux的Lora训练首先你要确保你已经正确安装使用了Flux的各个模块~~哈哈，开个玩笑，其实不用安装使用也是可以训练的~但是你要把当时需要的几个模型下载下来：t5xxl_fp16.safetensorsclip_l.safetensorsae.safetensorsflux1-dev.safetensors注意：1.你不使用的话他们放到哪里都可以，甚至放一起一个文件夹，只要你知道“路径”，我们后面要引用到“路径”2.因为是训练，不是跑图，跑图我们可以寻求降低方案，训练的话，哈哈模型就用flux1-dev.safetensors这个版本，编码器也用t5xxl_fp16.safetensors这个版本最好。好，接下来我们使用青龙的训练脚本，在此给青龙大大跪拜一下~阿弥陀佛~[heading2]下载脚本[content]网盘链接：夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59通过百度网盘分享的文件：Flux_train_20.4.zip链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq提取码：pfsq--来自百度网盘超级会员V3的分享

郑敏轩 ：Flux的Lora模型训练

接下来，如果你的显卡是16G的，右键16G那个train_flux_16GLora的文件，如果你的显卡是24G或更高的，右键24G那个train_flux_24GLora的文件，（DB全参微调会对硬件要求更高一些，内存32G是不行的）不过即使是train_flux_24GLora的方式，也建议内存尽量想办法高于32G，避免意外情况的发生。刚没说完，右键用代码编辑器方式打开（图中右边红框的两种任意一种均可，没有可以下载一下）首先我们开头的绿色部分不用动理论上只改红色部分：底模路径、VAE路径、数据集路径，还有下面的clip路径和T5xxl路径：文章开头的4件套，如果你在一个文件夹里，更简单一些，不用分辨，路径填上去就行。如果不在一起，首先找到你的flux1-dev底模的文件，把他的路径复制过来，注意复制过来后还是一套双引号，有同学会多双引号或者漏双引号，以及路径错误，都会导致后面训练无法进行。注意检查，慎重。然后是ae的那个是VAE路径这里注意训练集的路径！是到train截止！里面虽然还有一层文件夹，但是到此为止！往下，在SD3训练相关参数那里，咱们4件套不是还有2位吗？路径在这里（g那个不用管，是SD3里面的）再次提醒检查格式，别漏了，错了这是最简单的少量修改方式，可以直接看下一段：数据集准备。建议随着深入以及经验丰富后再修改关于其他参数，温馨提醒修改其他深入参数的话自己最好最好备份管理。蓝色部分可改可不改，是备注名称。

10-0基础训练大模型

进入厚德云-模型训练-数据集https://portal.houdeyun.cn/sd/dataset[heading2]步骤一·创建数据集[content]在数据集一栏中，点a击右上角创建数据集输入数据集名称这个zip文件可以是包含图片+标签txt，也可以只有图片没有打标文件（之后你可以在c站使用它的自动打标功能）你也可以一张一张单独上传照片，但还是建议提前把图片和标签打包成zip上传Zip文件里图片名称与标签文件应当匹配例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传zip以后等待一段时间确认创建数据集返回到上一个页面，等待一段时间后就会上传成功，可以点击详情检查可以预览到数据集的图片以及对应的标签[heading2]步骤二·Lora训练[content]点击Flux，基础模型会默认是FLUX 1.0D版本选择数据集，点击右侧箭头，会跳出你所有上传过的数据集触发词可有可无，取决于你的数据集是否有触发词模型效果预览提示词则随机抽取一个你数据集里的标签填入即可训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数如果不知道如何设置，可以默认20重复次数和10轮训练轮数可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力然后就可以等待训练了，会显示预览时间和进度条训练完成的会显示出每一轮的预览图鼠标悬浮到你想要的轮次模型，中间会有个生图，点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地

Others are asking
flux1-depth-dev模型存放路径
flux1depthdev 模型的存放路径如下： 1. 下载 flux1depthdev 模型放到 ComfyUI/models/diffusion_models/文件夹中。 夸克网盘：链接：https://pan.quark.cn/s/571d174ec17f 百度网盘：见前文 2. 也可以将 depth lora 模型存放到 ComfyUI/models/loras 文件夹中。 depth lora 模型：https://huggingface.co/blackforestlabs/FLUX.1Depthdevlora 3. 百度网盘中也有相关模型： 链接：https://pan.baidu.com/s/10BmYtY3sU1VQzwUy2gpNlw?pwd=qflr 提取码：qflr
2025-02-05
flux inpainting 是怎么基于diffusersion train的inpainting
Flux inpainting 基于 diffusion train 的 inpainting 通常涉及以下方面： 训练扩散模型在特定的表示上，能够在降低复杂度和保留细节之间达到最优平衡点，显著提高视觉保真度。在模型架构中引入交叉注意力层，使其成为强大且灵活的生成器，能够处理诸如文本和边界框等一般条件输入，实现基于高分辨率卷积的合成。 关于 Midjourney 的训练 prompt 方面： Midjourney 会定期发布新的模型版本以提高效率、连贯性和质量。最新模型是默认的，但也可以通过 version 或 v 参数或使用 /settings 命令选择其他模型版本。不同模型在不同类型的图像上表现出色。Midjourney V5 模型是最新且最先进的模型，于 2023 年 3 月 15 日发布。使用该模型可在 prompt 末尾添加 v 5 参数，或通过 /settings 命令选择 MJ Version 5。该模型具有很高的连贯性，擅长解释自然语言 prompt，分辨率更高，并支持诸如 tile 等高级功能。V5 基础模型具有更广泛的风格范围、对 prompt 响应更灵敏、图像质量更高（分辨率提高 2 倍）、动态范围改进、图像细节更丰富且更准确、文本干扰更少等新特点，还支持 tile 参数实现无缝平铺（实验性）、支持大于 2:1 的 ar 宽高比（实验性）、支持 iw 权衡图像 prompt 与文本 prompt 以及特定的风格和 prompt 方式。
2025-01-22
FLUX模型训练
以下是关于 Flux 的 Lora 模型训练的详细步骤： 1. 模型准备： 下载所需模型，包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意：不使用时模型存放位置不限，但要知晓路径；训练时建议使用 flux1dev.safetensors 和 t5xxl_fp16.safetensors 版本。 2. 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 3. 数据集准备： 建议使用自然语言，与之前 SDXL 的训练类似。 数据集存放位置：.Flux_train_20.4\\train\\qinglong\\train 。 若未准备数据集，此路径中有试验数据集可直接使用。 4. 运行训练：约 1 2 小时即可完成训练。 5. 验证和 lora 跑图：若有 comfyUI 基础，在原版工作流的模型后面，多加一个 LoraloaderModelOnly 的节点，自行选择 Lora 并调节参数。 6. 修改脚本路径和参数： 若显卡为 16G，右键 16G 的 train_flux_16GLora 文件；若显卡为 24G 或更高，右键 24G 的 train_flux_24GLora 文件。 用代码编辑器打开，理论上只需修改红色部分，包括底模路径、VAE 路径、数据集路径、clip 路径和 T5xxl 路径。注意路径格式，避免错误。蓝色部分为备注名称，可改可不改。建议经验丰富后再修改其他深入参数，并做好备份管理。
2025-01-20
flux提示词示例
以下是一些关于 flux 提示词的示例： 在不同主题方面，如文本概括（https://www.promptingguide.ai/zh/introduction/examples%E6%96%87%E6%9C%AC%E6%A6%82%E6%8B%AC）、信息提取（https://www.promptingguide.ai/zh/introduction/examples%E4%BF%A1%E6%81%AF%E6%8F%90%E5%8F%96）、问答（https://www.promptingguide.ai/zh/introduction/examples%E9%97%AE%E7%AD%94）、文本分类（https://www.promptingguide.ai/zh/introduction/examples%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB）、对话（https://www.promptingguide.ai/zh/introduction/examples%E5%AF%B9%E8%AF%9D）、代码生成（https://www.promptingguide.ai/zh/introduction/examples%E4%BB%A3%E7%A0%81%E7%94%9F%E6%88%90）、推理（https://www.promptingguide.ai/zh/introduction/examples%E6%8E%A8%E7%90%86），通过示例介绍说明如何使用精细的提示词来执行不同类型的任务。 在 Claude2 中文精读中，构建提示词时可以添加示例（可选）。您可以通过在提示词中加入一些示例，让 Claude 更好地了解如何正确执行任务。提供示例的方式可以是以先前对话的形式，用不同的对话分隔符，例如用“我”代替“Human:”，用“你”代替“Assistant:”；也可以直接提供例子。决定哪种方法更有效取决于具体任务，建议尝试两种方法以确定更好的结果。 在市场营销类中，如赛博佛祖（Kyle）的示例，其角色设定为熟悉佛教经典、境界很高的佛学大师，能为对人生感到迷茫的人指引方向。具体设定包括引用相关佛教经典语录并解释含义，提供有效建议等，并给出了详细的约束条件和链接地址（）。
2025-01-20
Flux 的lora模型训练教程
以下是 Flux 的 Lora 模型训练教程： 1. 模型准备： 下载所需模型，如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意： 不使用时模型存放位置随意，只要知晓路径，后续会引用。 训练建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载训练脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 3. 训练步骤： 进入厚德云模型训练数据集：https://portal.houdeyun.cn/sd/dataset 步骤一·创建数据集： 在数据集一栏中，点击右上角创建数据集。 输入数据集名称。 可以提前将图片和标签打包成 zip 上传，zip 文件里图片名称与标签文件应当匹配，如图片名"1.png"，对应的达标文件就叫"1.txt"。也可以一张一张单独上传照片。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。 步骤二·Lora 训练： 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 触发词可有可无，取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 然后等待训练，会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 4. 低配置方案： 开源社区对低配置方案进行了优化，NF4 来自 controlnet 的作者，GGUF 则包含多个版本可以使用。 NF4 模型下载：https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors ，放置在 ComfyUI/models/checkpoint/中（不像其他 Flux 模型那样放置在 UNET 中），NF4 配套节点插件：git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git GGUF 模型下载：Flux GGUF 模型：https://huggingface.co/city96/FLUX.1devgguf/tree/main ，GGUF 配套节点插件：GGUF 节点包：https://github.com/city96/ComfyUIGGUF 。 值得一提的是在最新版本的 ComfyUI 中 GGUF 的节点插件可以在 Manager 管理器中搜到下载安装，NF4 的配套节点插件则搜不到。 注意使用精度优化的低配模型的话，工作流和原版是不一样的。此处没有专门列举。 自己改的话就是把上面官方的 fp8 的工作流，只需把底模的节点换成 NF4 的或者 GUFF 的即可。 相关生态发展很快，有 Lora、Controlnet、IPadpter 相关生态建设非常速度，以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。
2025-01-19
FLUX低显存怎么安装
如果您的显存较低，安装 FLUX 可以参考以下步骤： 1. NF4 模型下载： 链接：https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 放置位置：ComfyUI/models/checkpoint/中（不像其他 Flux 模型那样放置在 UNET 中） NF4 配套节点插件：git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git 2. GGUF 模型下载： 链接：Flux GGUF 模型：https://huggingface.co/city96/FLUX.1devgguf/tree/main GGUF 配套节点插件：GGUF 节点包：https://github.com/city96/ComfyUIGGUF 值得一提的是在最新版本的 ComfyUI 中，GGUF 的节点插件可以在 Manager 管理器中搜到下载安装，NF4 的配套节点插件则搜不到。 3. 对于 8G 以下显存的方案： flux1devbnbnf4.safetensors 放入 ComfyUI\\models\\checkpoints 文件夹内。 ComfyUI_c_NF4 节点：https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 注：如果报错，请更新 BitsandBytes 库。下载放入解压后 ComfyUI\\custom_node 文件夹内，重启 ComfyUI，如果之前没更新，更新后再重启。 相关资源链接： BitsandBytes Guidelines and Flux：https://github.com/lllyasviel/stablediffusionwebuiforge/discussions/981 ComfyUI_bitsandbytes_NF4 节点：https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 flux1devbnbnf4.safetensors：https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 注意使用精度优化的低配模型的话，工作流和原版是不一样的。自己改的话就是把上面官方的这个 fp8 的工作流，只需把底模的节点换成 NF4 的或者 GUFF 的即可。相关生态发展很快，有 Lora、Controlnet、IPadpter 相关生态建设非常速度，以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。
2025-01-09
layer_xl_bg2ble.safetensors,layer_xl_transparent_conv.safetensors,vae_transparent_encoder.safetensors这一类是大模型,还是Lora?
layer_xl_bg2ble.safetensors、layer_xl_transparent_conv.safetensors、vae_transparent_encoder.safetensors 这类文件可能是大模型的一部分，也可能是 Lora 模型。 在 AI 模型中： 基础模型（英文名 Checkpoint）是生图必需的，任何生图操作必须要选定一个基础模型才能开始。 Lora 是低阶自适应模型，可以理解为基础模型的小插件，生图时可有可无，但在控制面部、材质、物品等细节方面有明显价值。 同时，VAE 是个编码器，功能类似于滤镜，可调整生图的饱和度。
2025-01-31
想知道lora是什么，怎么使用
LoRA 是一种在图像生成领域具有重要作用的技术。以下是关于 LoRA 的详细介绍和使用方法： LoRA 可以固定图像的特征，包括人物特征、动作特征和照片风格等。在使用非 SDXL 基础模型时会用到 LoRA，使用方法和平常类似，但需要注意将 cfg 值调小，一般设置为 1，步数设置根据所使用的 LoRA 步数为准。 在实际使用中，以 Stable Diffusion 为例，点击“生成”下面的第三个按钮，会弹出新的选项框，找到 Lora 选项，就会出现下载保存到电脑的 Lora 模型。点击要用的 Lora ，会自动添加到关键词的文本框里面，Lora 可以叠加使用，但新手不建议使用太多，每个 Lora 后面的数字用于调整权重，一般只会降低权重。选择 Lora 时要根据最初想要生成的照片类型来选择相应风格的 Lora 。 此外，LoRA 具有极大的商用价值，比如“墨心”的 LoRA 可以把图片变成水墨风格，盲盒 LoRA 可以生成 2.5D 的卡通小人角色，还有一些明星或知名动漫角色的 LoRA 可以直接生成相应形象。但在使用时需要有很强的版权和法律意识。
2025-01-23
理解LoRA训练以及参数
LoRA 训练的参数主要包括以下方面： 1. 学习步数：指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15，写实人物图片的 repeat 一般在 30 50，真实世界的景观场景可能要达到 100。repeat 值越高，AI 越能读懂图片，但图片精细度越高，学习步数也要越高。 2. 循环次数：AI 将所有图片按照学习步数学习一轮就是一次循环，循环次数就是将这个过程重复的遍数。一般数值在 10 20 之间，次数并非越多越好，过多会导致过拟合。总的训练步数 = 图片张数×学习步数×循环次数。 3. 效率设置：主要控制电脑的训练速度，可保持默认值，也可根据电脑显存微调，但要避免显存过载。 4. DIM：不同场景有不同的推荐值。如二次元一般为 32，人物常见为 32 128，实物、风景则≥128。DIM 为 64 时，输出文件一般为 70MB +；DIM 为 128 时，输出文件一般为 140MB + 。 5. 样图设置：主要控制训练过程中的样图显示，可实时观测训练效果。“sample every n steps”为 50 代表每 50 步生成一张样图，prompts 提示词可预设效果或自定义。 6. 并行数量：代表 AI 同一时间学习的图片数量。数值越大，训练速度越快，内存占用越大，收敛得慢；数值越小，训练速度越慢，内存占用越小，收敛得快。以 512×512 的图片为例，显存小于等于 6g，batch size 设为 1；显存为 12g 以上，batch size 可设为 4 或 6。增加并行数量时，通常也会增加循环次数。 7. 质量设置： 学习率：指 AI 学习图片的效率，过高会过拟合，过低会不拟合。1e 4 即 1 除以 10 的 4 次方，等于 0.0001；1e 5 即 1 除以 10 的 5 次方，等于 0.00001。一般保持默认，如需调整可点击数值旁的加减号。 网格维度：network dim 决定出图精细度，数值越高有助于 AI 学会更多细节，但数值越大学习越慢，训练时间越长，易过拟合。
2025-01-06
理解LoRA训练以及参数
LoRA 训练的参数主要包括以下方面： 1. 学习步数：指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15，写实人物图片的 repeat 一般在 30 50，真实世界的景观场景可能要达到 100。repeat 值越高，AI 越能读懂图片，但图片精细度越高，学习步数也要越高。 2. 循环次数：AI 将所有图片按照学习步数学习一轮就是一次循环，循环次数就是将这个过程重复的遍数。一般数值在 10 20 之间，次数并非越多越好，过多会导致过拟合。总的训练步数 = 图片张数×学习步数×循环次数。 3. 效率设置：主要控制电脑的训练速度，可保持默认值，也可根据电脑显存微调，但要避免显存过载。 4. DIM：不同场景有不同的推荐值。如二次元一般为 32，人物常见为 32 128，实物、风景则≥128。DIM 为 64 时，输出文件一般为 70MB +；DIM 为 128 时，输出文件一般为 140MB + 。 5. 样图设置：主要控制训练过程中的样图显示，“sample every n steps”为 50 代表每 50 步生成一张样图。Prompts 提示词可预设效果或自定义。 6. 并行数量：代表 AI 同一时间学习的图片数量。数值越大，训练速度越快，内存占用越大，但收敛得慢；数值越小，训练速度越慢，内存占用越小，但收敛得快。显存小于等于 6g 时，batch size 设为 1；显存为 12g 以上时，batch size 可设为 4 或 6。 7. 质量设置： 学习率：指 AI 学习图片的效率，过高会过拟合，过低会不拟合。1e 4 实际为 1 除以 10 的 4 次方，即 0.0001；1e 5 为 1 除以 10 的 5 次方，即 0.00001。一般保持默认，如需调整可点击数值旁的加减号。 网格维度：network dim 决定出图精细度，数值越高有助于 AI 学会更多细节，但数值越大学习越慢，训练时间越长，易过拟合。
2025-01-06
高效微调技术-LoRA 全量微调与少量参数微调
以下是关于高效微调技术 LoRA 全量微调与少量参数微调的相关信息： LoRA 微调： 微调脚本： 脚本见： 具体实现代码见： 单机多卡的微调可以通过修改脚本中的include localhost:0来实现。 加载微调模型： 基于 LoRA 微调的模型参数见：基于 Llama2 的中文微调模型，LoRA 参数需要和基础模型参数结合使用。 通过加载预训练模型参数和微调模型参数，示例代码中，base_model_name_or_path 为预训练模型参数保存路径，finetune_model_path 为微调模型参数保存路径。 全量参数微调： 微调脚本： 脚本见： 具体实现代码见： 加载微调模型： 对于全量参数微调的模型，调用方式同模型调用代码示例，只需要修改其中的模型名称或者保存路径即可。 此外，关于微调还有以下补充信息： 微调模型意味着改变模型的权重，现在微调变得越来越容易，因为开发了许多技术并建立了代码库。 像 LoRA 这样的参数高效微调技术只训练模型的小部分稀疏片段，模型大部分保持基础模型状态，效果好且成本低。 微调技术上更为复杂，需要更多技术专业知识，包括人工数据合同承包商的数据集和复杂的合成数据流程，会减慢迭代周期。 SFT（有监督的微调）相对简单明了，RLHF（基于人类反馈的强化学习）则是非常研究性的领域，难度大，不适合初学者。 目前除了传统的全量训练和 freeze 冻结某些层方式，还发展出了很多种高效的微调方法，如 LoRA、Prefix Tuning、PTuning、Prompt Tuning、AdaLoRA、3、MultiTask Prompt Tuning 等。本篇主要采用 LoRA 方式，主要思路是训练一个参数量较小的分支，然后再与底模合并，从而在模型中注入新的知识。
2025-01-06
我想学习AI，但是不知道如何入门，希望你可以帮我梳理出AI的各个应用方向，要求要有具体的实操方法和必坑指南，能应用于生活和工作中，适合新手学习
以下是为您梳理的适合新手学习 AI 的应用方向、实操方法和避坑指南： 一、了解 AI 基本概念 1. 阅读「」部分，熟悉 AI 的术语和基础概念，包括人工智能的定义、主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 2. 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 二、开始 AI 学习之旅 1. 在「」中，找到为初学者设计的课程，特别推荐李宏毅老师的课程。 2. 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 三、选择感兴趣的模块深入学习 1. AI 领域广泛，比如图像、音乐、视频等，您可以根据自己的兴趣选择特定的模块进行深入学习。 2. 掌握提示词的技巧，它上手容易且很有用。 四、实践和尝试 1. 理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出您的作品。 2. 在知识库提供了很多大家实践后的作品、文章分享，欢迎您实践后的分享。 五、体验 AI 产品 1. 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。 六、如果希望继续精进 1. AI 背景知识 基础理论：了解人工智能、机器学习、深度学习的定义及其之间的关系。 历史发展：简要回顾 AI 的发展历程和重要里程碑。 2. 数学基础 统计学基础：熟悉均值、中位数、方差等统计概念。 线性代数：了解向量、矩阵等线性代数基本概念。 概率论：基础的概率论知识，如条件概率、贝叶斯定理。 3. 算法和模型 监督学习：了解常用算法，如线性回归、决策树、支持向量机（SVM）。 无监督学习：熟悉聚类、降维等算法。 强化学习：简介强化学习的基本概念。 4. 评估和调优 性能评估：了解如何评估模型性能，包括交叉验证、精确度、召回率等。 模型调优：学习如何使用网格搜索等技术优化模型参数。 5. 神经网络基础 网络结构：理解神经网络的基本结构，包括前馈网络、卷积神经网络（CNN）、循环神经网络（RNN）。 激活函数：了解常用的激活函数，如 ReLU、Sigmoid、Tanh。 避坑指南： 1. 不要急于求成，AI 学习需要逐步积累。 2. 注重理论与实践结合，避免只学习理论而不进行实际操作。 3. 对于复杂的概念和算法，要多花时间理解，不要一知半解。 4. 在选择学习资源时，要注意其质量和适用性。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-02-06
deepseek使用指南
以下是 DeepSeek 的使用指南： 1. 核心原理认知： AI 特性定位：支持文本/代码/数学公式混合输入，具有动态上下文（约 4K tokens 上下文窗口）和任务适应性（可切换创意生成/逻辑推理/数据分析模式）。 系统响应机制：采用意图识别+内容生成双通道处理，自动检测 prompt 中的任务类型、输出格式、知识范围，对位置权重（开头/结尾）、符号强调敏感。 2. 基础指令框架： 可以套用框架指令，如果不知道如何表达。 四要素模板示例。 格式控制语法：强制结构使用```包裹格式要求，占位符标记用{{}}标注需填充内容，优先级符号>表示关键要求，!表示禁止项。 3. 进阶控制技巧： 思维链引导：分步标记法，如请逐步思考：1.问题分析→2.方案设计→3.风险评估；苏格拉底式追问，即在得出最终结论前，请先列举三个可能存在的认知偏差。 知识库调用：领域限定指令，如基于 2023 版中国药典，说明头孢类药物的配伍禁忌；文献引用模式，如以 Nature 2022 年发表的论文为参考，解释 CRISPRCas9 最新突破。 4. 使用步骤： 搜索 www.deepseek.com，点击“开始对话”。 将装有提示词的代码发给 Deepseek。 认真阅读开场白之后，正式开始对话。 此外，DeepSeek 在设计思路上，将 Agent 封装成 Prompt 并储存在文件，以实现同时使用联网功能和深度思考功能，在模型默认能力基础上优化输出质量等。同时，也有完整提示词 v1.3 版本。
2025-02-05
我想用coze搭建一个智能体，关于自然语言课程的期末复习指南，要将我的教材导入扣子作为知识库，智能体支持用户提问，搜索知识点，结合知识库和互联网搜索的内容给出问答，需要使用多智能体或工作流，使用卡片功能进行显示，请给出我搭建这个智能体的步骤
以下是使用 Coze 搭建一个关于自然语言课程期末复习指南智能体的步骤： 1. 访问 Coze 官网（https://www.coze.cn），注册并登录。 2. 点击页面左上角的⊕，通过【标准创建】填入智能体的基本信息。 3. 了解 Bot 开发调试界面： 人设与回复逻辑（左侧区域）：设定智能体的对话风格、专业领域定位，配置回复的逻辑规则和限制条件，调整回复的语气和专业程度。 功能模块（中间区域）： 技能配置： 插件：扩展智能体的专业能力，如计算器、日历等工具。 工作流：设置固定的处理流程和业务逻辑。 图像流：处理和生成图像的相关功能。 触发器：设置自动化响应条件。 知识库管理： 文本：存储文字类知识材料。 表格：结构化数据的存储和调用。 照片：图像素材库。 记忆系统： 变量：存储对话过程中的临时信息。 数据库：管理持久化的结构化数据。 长期记忆：保存重要的历史对话信息。 文件盒子：管理各类文档资料。 交互优化（底部区域）： 开场白：设置初次对话的问候语。 用户问题建议：配置智能推荐的后续问题。 快捷指令：设置常用功能的快速访问。 背景图片：自定义对话界面的视觉效果。 预览与调试（右侧区域）：实时测试智能体的各项功能，调试响应效果，优化交互体验。 4. 设定智能体的人设与回复逻辑后，为智能体配置对应的技能，以保证其可以按照预期完成目标任务。例如，以获取 AI 新闻的智能体为例，需要为它添加一个搜索新闻的接口来获取相关新闻。具体操作如下： 在智能体编排页面的技能区域，单击插件功能对应的+图标。 在添加插件页面，选择相关功能，然后单击新增。 修改人设与回复逻辑，指示智能体使用相应插件来搜索所需内容。 （可选）为智能体添加开场白，让用户更好地了解智能体的功能。开场白功能目前支持豆包、微信公众号（服务号）。 5. 配置好智能体后，在预览与调试区域中测试智能体是否符合预期。可单击清除图标清除对话记录。 6. 完成测试后，将智能体发布到社交渠道中使用。具体操作如下： 在智能体的编排页面右上角，单击发布。 在发布页面输入发布记录，并勾选发布渠道。 单击发布。 更多内容，请访问 Coze 官方文档： 英文版：https://www.coze.com/docs/welcome.html 中文版：https://www.coze.cn/docs/guides/welcome
2024-12-20
我是一名计算机专业学生，给我一份进入ai行业的指南
以下是为您提供的进入 AI 行业的指南： 一、学习计划 如果您想入门强化学习，可以将搞懂 DQN 算法作为目标。参考链接：https://github.com/ty4z2008/Qix/blob/master/dl.md 。但需注意，其中资料众多，如同大海捞针，所以在学习前要先明确目的。 二、信息源 1. 简报 TLDR AI： The Sequence： Deep Learning Weekly： Ben’s Bites： Last week in ai： Your guide to AI： 2. 播客 No Priors podcast hosted by Sarah Guo 和 Elad Gil Robot Brains Podcast hosted by Pieter Abbeel Lex Fridman Podcast hosted by Lex Fridman The Gradient podcast hosted by Daniel Bashir Generally Intelligent hosted by Kanjun Qiu Last Week in AI 3. 会议 World AI Cannes Festival 三、知识获取 欢迎来到“AI 企业落地应用”专栏，这里会分享 AI 技术在商业场景中的应用案例和经验。为方便不同背景的读者，文章会采用通俗有趣的方式讲解知识，可能存在专业性不严谨的情况，会有标注提示。对于超纲或专业的内容，也会有标注，可放心跳过。文末会有论文推荐导引，帮助您了解技术细节。
2024-12-19
用扣子智能体制作一个有关热门旅游景点攻略小助手的工作流，能够根据不同用户的需求，制定个性化的旅行计划，涵盖各种热门旅游景点，提供详细的行程安排、交通指南和景点特色介绍
要使用扣子智能体制作一个有关热门旅游景点攻略小助手的工作流，以下是一些参考信息： 1. 扣子智能体通常由工作流和数据库组成。工作流的设计相对简单，一个输入对接知识库，搭载豆包 function call 大模型，最后输出。数据库的收集和整理需要一定专业知识，并进行手动二次校对。 2. 插件方面，扣子平台有多种类型的插件，如看新闻、规划旅行、提高办公效率、理解图片内容等的 API，还可根据需求自制插件。 3. 工作流就像可视化的拼图游戏，由多个节点组成，包括大语言模型、代码块等，能创造复杂稳定的业务流程。 4. 扣子预置了各种场景的 Bot，如旅游大师 Bot。在 Bot 商店可查看精选的预置 Bot，选择后会被引导至编排页面，该页面分为顶部区域（显示所用大型语言模型）、人设与回复逻辑区域、技能区域（展示配置的功能，如查询航班的插件、推荐景点的工作流等）、预览与调试区域（展示交互运行结果）。 基于以上信息，您可以尝试设计热门旅游景点攻略小助手的工作流，根据不同用户需求制定个性化旅行计划，涵盖热门景点、行程安排、交通指南和景点特色介绍。但需要注意的是，工作流的设计和数据库的整理需要精心规划和准确操作。
2024-12-16
关于欧盟人工智能法案AI禁止性规定的合规指南
欧盟人工智能法案的禁止性规定主要包括以下方面： 1. 全面禁止人工智能用于生物识别监控、情绪识别、预测性警务。 公共空间中的“实时”远程生物识别系统被禁止。 “邮寄”远程生物特征识别系统，仅在起诉严重犯罪且经司法授权后除外。 禁止使用敏感特征（如性别、种族、民族、公民身份、宗教、政治取向）的生物识别分类系统。 禁止预测警务系统（基于分析、位置或过去的犯罪行为）在执法、边境管理、工作场所和教育机构中的应用。 禁止在执法、边境管理、工作场所和教育机构中的情绪识别系统。 禁止从互联网或闭路电视录像中无目的地抓取面部图像以创建面部识别数据库。 2. ChatGPT 等生成式人工智能系统必须披露内容是人工智能生成的。 3. 用于在被认为高风险的选举中影响选民的人工智能系统受到限制。 这些规则旨在促进以人为本、值得信赖的人工智能的应用，并保护健康、安全、基本权利和民主免受其有害影响。同时，欧盟在平衡人工智能创新发展与安全规范方面更倾向于保护欧盟境内人员的安全和维护欧盟价值观。
2024-12-04
你是基于哪个模型训练出来的
以下是为您整合的相关内容： 在 Comfy UI 中训练 LoRA 模型：确保后面有一个空格，将 requirements_win.txt 文件（Windows 系统）或 requirements.txt 文件（非 Windows 系统）拖到命令提示符中，按 Enter 键安装依赖项。若使用虚拟环境，需先激活。图像应放在特定命名格式的文件夹中，data_path 需写入包含数据库文件夹的路径，Python 需要斜杠，节点会自动转换反斜杠，文件夹名称中的空格不是问题。第一行可从 checkpoint 文件夹中选择模型，据说训练需选择基本模型。 训练 Midjourney 的 prompt：V5 是在其 AI 超级集群上训练了 5 个月的第二个模型。基本参数包括：Aspect Ratios 可改变生成的纵横比；Chaos 可改变结果的多样性；No 用于负向提示；Quality 决定渲染质量时间；Seed 用于指定生成图像的起始点，相同种子和提示会产生相似结果；Stop 可在过程中途停止作业。 如何使用 AI 来做事：制作图像时，不同模型创建的图像有比较。这些系统存在内置偏见，可能存在法律和道德问题，目前不能创建真正的文本。
2025-02-06
如何训练一个自己的模型用来识别不同的图片类别
训练自己的模型来识别不同的图片类别可以参考以下方法： 对于扩散模型（如 Midjourney）： 强大的扩散模型训练往往消耗大量 GPU 资源，推理成本高。在有限计算资源下，可在强大预训练自动编码器的潜在空间中应用扩散模型，以在复杂度降低和细节保留间达到平衡，提高视觉保真度。引入交叉注意力层可使其成为灵活的生成器，支持多种条件输入。 Midjourney 会定期发布新模型版本以提升效率、连贯性和质量。最新的 V5 模型具有更广泛的风格范围、更高的图像质量、更出色的自然语言提示解读能力等。 用 SD 训练贴纸 LoRA 模型： 对于原始形象，可通过 MJ 关键词生成不同风格的贴图，总结其特征。注意关键词中对颜色的限制，保持正面和负面情绪数据比例平衡。若训练 25626 大小的表情包，初始素材可能够用，若训练更高像素图片，可能需进一步使用 MJ 垫图和高清扩展功能。 进行高清化时，从 256 到 1024 分辨率，输入左图并加入内容和风格描述，挑选合适的图片。 多模态模型（以 StableDiffusion 为例）： 多模态模型包括文生图、图生图、图生视频、文生视频等，底层逻辑通常从生图片源头开始。 扩散模型（如 StableDiffusion 中使用的）的训练是对图片加减噪点的过程。先对海量带有标注文字描述的图片逐渐加噪点，模型学习每一步图片向量值和文字向量值的数据分布演变规律，完成训练。输入文字后，模型根据文字向量指导充满噪点的图片减噪点生成最终图片。扩散模型加减噪点方式与大脑构思图片方式类似，且多模态模型会关联文字向量值和图片像素点向量值。
2025-01-31
如何对扣子智能体做专属训练
对扣子智能体进行专属训练时，需要注意以下要点： 1. 跳转设置：扣子在节点切换提供了独立和非独立两种识别模式。独立识别模式中每个节点都有一个独立识别模型，非独立模式则直接使用当前智能体模型进行判断，实际使用中推荐独立模式。 2. 独立模式的选择：独立模式有两种选择。第一种是面对通用指令时，选择已经训练好的、专门用于节点切换的大型模型，其优点是经过特定训练，无需额外操心设计。第二种是在遇到非常复杂的情景时，使用自定义的大型模型，可根据需求定制模型和编写特定提示词以适应复杂交互场景，但实际测试效果不理想，所以推荐使用第一种。 3. 关键注意点：在使用专门训练的意图识别模型进行节点切换时，要特别注意两个关键点。一是每个智能体的用途必须清晰明确，在设计和实现时要清楚标注其功能和目的，以确保系统能准确识别和响应用户意图。二是智能体的名称非常重要，应清晰、易于识别，便于系统识别和记忆。
2025-01-27
预训练
以下是关于预训练的相关内容： Atom 系列模型的预训练： Atom 系列模型包含 Atom7B 和 Atom13B，基于 Llama2 做了中文能力的持续优化。Atom 大模型在 Llama2 的基础上，采用大规模的中文数据进行持续预训练，数据来源广泛，包括百科、书籍、博客、新闻、公告、小说、金融数据、法律数据、医疗数据、代码数据、专业论文数据、中文自然语言处理竞赛数据集等。同时对庞大的数据进行了过滤、打分、去重，筛选出超过 1T token 的高质量中文数据，持续不断加入训练迭代中。为了提高中文文本处理的效率，针对 Llama2 模型的词表进行了深度优化，扩展词库至 65,000 个单词，提高了中文编码/解码速度约 350％，还扩大了中文字符集的覆盖范围，包括所有 emoji 符号。Atom 大模型默认支持 4K 上下文，利用位置插值 PI 和 Neural Tangent Kernel（NTK）方法，经过微调可以将上下文长度扩增到 32K。 GPT 助手的预训练： 预训练阶段是 GPT 训练中计算工作基本发生的地方，占用了训练计算时间和浮点运算的 99%。在这个阶段，需要收集大量的数据，如 Common Crawl、C4、GitHub、维基百科、图书、ArXiv、StackExchange 等，并按照一定比例采样形成训练集。在实际训练前，需要进行预处理步骤 Tokenization（分词/标记化），将原始文本翻译成整数序列。 OpenAI o1 的预训练： GPT 4 等 LLM 模型训练一般由“预训练”和“后训练”两个阶段组成。“预训练”通过 Next Token Prediction 从海量数据吸收语言、世界知识、逻辑推理、代码等基础能力，模型规模越大、训练数据量越多，则模型能力越强。
2025-01-24
怎么做tts模型训练
以下是关于 TTS 模型训练的相关内容： 使用 GPTSoVITS 进行 TTS 模型训练： GPTSoVITS 是一个声音克隆和文本到语音转换的开源 Python RAG 框架。 只需 1 分钟语音即可训练一个自己的 TTS 模型。5 秒数据就能模仿您，1 分钟的声音数据就能训练出一个高质量的 TTS 模型，完美克隆您的声音。 主要特点： 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 预训练模型：项目提供了一些已经训练好的模型，您可以直接下载使用。 GitHub： 视频教程： TTS 模型训练的音库制作和文本前端： 音频录制： 音频的录制对合成语音的表现较为重要，较差的语音甚至会导致端到端声学模型无法正常收敛。 用于训练的录音至少要保证录音环境和设备始终保持一致，无混响、背景噪音；原始录音不可截幅。 如果希望合成出来的语音干净，则要删除含口水音、呼吸音、杂音、模糊等，但对于目前的端到端合成模型，有时会学习到在合适的位置合成呼吸音、口水音，反而会增加语音自然度。 录音尽可能不要事先处理，语速的调节尚可，但调节音效等有时会造成奇怪的问题，甚至导致声学模型无法收敛。 音频的录制可以参考录音公司的标准，购买专业麦克风，并保持录音环境安静即可。 在音库录制过程中，可尽早提前尝试声学模型，比如音库录制 2 个小时语音后，就可尝试训练基线语音合成系统，以防止录音不符合最终的需求。 语料整理： 检查文本和录制的语音是否一一对应，录制的音频本身一句话是否能量渐弱，参与训练的语音前后静音段要保持一致，能量要进行规范化。 可使用预训练的语音活动检测（Voice Activity Detection，VAD）工具，或者直接根据语音起止的电平值确定前后静音段。 可以使用一些开源的工具，比如统一所有语音的整体能量，这将有助于声学模型的收敛。当然，在声学模型模型训练时，首先就要对所有语料计算均值方差，进行统一的规范化，但是这里最好实现统一能量水平，防止一句话前后能量不一致。 GPTSoVITS 实现 AIyoyo 声音克隆的步骤： 前置数据获取处理： 选择音频，开启切割。 有噪音时，进行降噪处理。 降噪处理完成，开启离线 ASR。 GPTSowitsTTS： 训练集格式化：开启一键三连，耐心等待即可。 微调训练：开启 SoVITS 训练和 GPT 训练。 推理：开始推理 刷新模型 选择微调后的模型 yoyo。 成功：出现新的 URL，说明您自己的声音微调完毕，然后可以进行使用。 声音复刻：开启声音复刻之旅，实现跨多语种语言的声音。 希望以上内容对您有所帮助。
2025-01-24
如何用最简单的方法，训练一个自有数据的大模型
训练自有数据的大模型可以通过以下步骤实现： 1. 了解大模型的概念：大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。可以用上学参加工作来类比大模型的训练、使用过程，包括找学校（需要大量 GPU 等计算资源）、确定教材（需要大量数据）、找老师（选择合适算法）、就业指导（进行微调）、搬砖（推导）。在 LLM 中，Token 被视为模型处理和生成的文本单位，会对输入进行分词并形成词汇表。 2. 基础训练步骤： 进入厚德云模型训练数据集，如 https://portal.houdeyun.cn/sd/dataset 。 创建数据集：在数据集一栏中，点击右上角创建数据集，输入数据集名称。可以上传包含图片+标签的 zip 文件，也可单独上传照片，但建议提前打包。Zip 文件里图片名称与标签文件应当匹配，上传后等待一段时间确认创建，返回上一个页面等待上传成功并可点击详情检查，能预览数据集的图片及对应的标签。 Lora 训练：点击 Flux，基础模型会默认是 FLUX 1.0D 版本。选择数据集，触发词可有可无，模型效果预览提示词随机抽取数据集里的标签填入。训练参数可调节重复次数与训练轮数，厚德云会自动计算训练步数，可默认 20 重复次数和 10 轮训练轮数，按需求选择是否加速，点击开始训练，会显示所需消耗的算力，等待训练完成，会显示每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有生图，点击可自动跳转到使用此 lora 生图的界面，点击下方下载按钮可自动下载到本地。 3. 部署和训练自己的 AI 开源模型的主要步骤： 选择合适的部署方式，如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署，根据自身资源、安全和性能需求选择。 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 选择合适的预训练模型作为基础，如开源的预训练模型 BERT、GPT 等，也可自行训练基础模型。 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 注意安全性和隐私保护，大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 总的来说，训练自有数据的大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-01-24