以下是关于 Flux 大模型训练的相关内容:
Flux 的 Lora 模型训练:
Flux 模型的参数量比较:
大家好,上次讲了Flux简介,我们这次来讲讲Flux的Lora训练首先你要确保你已经正确安装使用了Flux的各个模块~~哈哈,开个玩笑,其实不用安装使用也是可以训练的~但是你要把当时需要的几个模型下载下来:t5xxl_fp16.safetensorsclip_l.safetensorsae.safetensorsflux1-dev.safetensors
注意:你不使用的话他们放到哪里都可以,甚至放一起一个文件夹,只要你知道“路径”,我们后面要引用到“路径”因为是训练,不是跑图,跑图我们可以寻求降低方案,训练的话,哈哈模型就用flux1-dev.safetensors这个版本,编码器也用t5xxl_fp16.safetensors这个版本最好。
Flux的参数训练量达到了12B,且语言支持自然语言。12B我们类比一下8月6日的智谱发布的开源视频模型CogVideoX-2B,开源的是2B的一个模型,所以模型的视频推理结果不如快手的可灵。8月28日智谱最新开源了5B的视频模型。视频还在5B,由此可见图像12B确实是一个高度(开源里面)所以Flux一出现就占据极重要影响。Flux:训练参数12B(120亿)SD3 Large:训练参数8B(80亿)SD3 Medium:训练参数2B(20亿)