以下是 Flux 的 Lora 模型训练教程:
首先,您需要下载相关模型,如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1-dev.safetensors。
Flux GGUF 模型可从以下链接获取:https://huggingface.co/city96/FLUX.1-dev-gguf/tree/main ,同时还有 GGUF 配套节点插件及 GGUF 节点包:https://github.com/city96/ComfyUI-GGUF 。在最新版本的 ComfyUI 中,GGUF 的节点插件可在 Manager 管理器中搜到下载安装,但 NF4 的配套节点插件则搜不到。
如果您的显卡是 16G 的,右键 16G 那个 train_flux_16GLora 的文件;如果您的显卡是 24G 或更高的,右键 24G 那个 train_flux_24GLora 的文件。(DB 全参微调对硬件要求更高,内存 32G 不行)即使是 train_flux_24GLora 的方式,也建议内存尽量高于 32G 以避免意外。
右键用代码编辑器方式打开文件(图中右边红框的两种任意一种均可,没有可以下载一下)。开头的绿色部分不用动,理论上只改红色部分:底模路径、VAE 路径、数据集路径,还有下面的 clip 路径和 T5xxl 路径。如果相关模型在一个文件夹里,路径填写会更简单;如果不在,要准确找到并复制 flux1-dev 底模的文件路径,注意检查双引号的使用,避免多双引号、漏双引号或路径错误。训练集的路径要注意是到 train 截止。在 SD3 训练相关参数那里,还有部分路径需要设置。
大家好,上次讲了Flux简介,我们这次来讲讲Flux的Lora训练首先你要确保你已经正确安装使用了Flux的各个模块~~哈哈,开个玩笑,其实不用安装使用也是可以训练的~但是你要把当时需要的几个模型下载下来:t5xxl_fp16.safetensorsclip_l.safetensorsae.safetensorsflux1-dev.safetensors
Flux GGUF模型:https://huggingface.co/city96/FLUX.1-dev-gguf/tree/mainGGUF配套节点插件GGUF节点包:https://github.com/city96/ComfyUI-GGUF以下是使用GGUF生图:值得一提的是在最新版本的comfyUI中GGUF的节点插件是可以在Manager管理器中搜到下载安装的,NF4的配套节点插件则搜不到。注意使用精度优化的低配模型的话,工作流和原版是不一样的。此处没有专门列举。自己改的话就是把上面官方的这个fp8的工作流,只需把底模的节点换成NF4的或者GUFF的即可。相关生态发展很快,有Lora、Controlnet、IP-adpter相关生态建设非常速度,以及字节最近发布的Flux Hyper lora是为了8步快速生图。下节我们先讲讲Flux的lora训练。
接下来,如果你的显卡是16G的,右键16G那个train_flux_16GLora的文件,如果你的显卡是24G或更高的,右键24G那个train_flux_24GLora的文件,(DB全参微调会对硬件要求更高一些,内存32G是不行的)不过即使是train_flux_24GLora的方式,也建议内存尽量想办法高于32G,避免意外情况的发生。刚没说完,右键用代码编辑器方式打开(图中右边红框的两种任意一种均可,没有可以下载一下)首先我们开头的绿色部分不用动理论上只改红色部分:底模路径、VAE路径、数据集路径,还有下面的clip路径和T5xxl路径:文章开头的4件套,如果你在一个文件夹里,更简单一些,不用分辨,路径填上去就行。如果不在一起,首先找到你的flux1-dev底模的文件,把他的路径复制过来,注意复制过来后还是一套双引号,有同学会多双引号或者漏双引号,以及路径错误,都会导致后面训练无法进行。注意检查,慎重。然后是ae的那个是VAE路径这里注意训练集的路径!是到train截止!里面虽然还有一层文件夹,但是到此为止!往下,在SD3训练相关参数那里,咱们4件套不是还有2位吗?路径在这里(g那个不用管,是SD3里面的)