要提升 Flux 的生图速度,以下是一些相关的依赖和要点:
在去噪过程中,模型使用编码后的文本向量来引导图像生成。这确保了生成的图像与输入的文本描述相符。[heading1]五、采样器[content]ComfyUI提供了多种采样算法(如Euler,DDIM,DPM++等)来控制去噪过程。不同的采样器可能会产生略微不同的结果或影响生成速度。[heading1]六、Vae编码[content]VAE是一种基于概率生成模型的框架,它由编码器(Encoder)和解码器(Decoder)组成。(1)编码器:编码器的任务是输入一幅图像,输出一个表示该图像特征的概率分布。这个概率分布通常是一个高斯分布,其均值和方差分别表示图像的特征。(2)解码器:解码器的任务是将编码器输出的概率分布映射回图像空间。它接收一个随机采样的噪声向量(来自编码器输出的概率分布),通过一系列的卷积层和非线性激活函数,生成与输入图像相似的图像。[heading1]七、结果输出[content]最终,ComfyUI将生成的图像显示在界面上,用户可以保存、进一步编辑或用于其他目的。[heading1]八、额外控制[content]ComfyUI支持多种高级功能,如:图像到图像:使用现有图像作为起点进行生成。Lora:使用额外的小型模型来调整风格或内容。ControlNet:允许用用额外的图像来精确控制生成过程。ipadapter:使用参考图像进行风格迁移生成。放大和后处理:改善生成图像的质量和分辨率。
开源社区迅速展开了对低配置方案的优化,NF4来自我们controlnet的作者,GGUF则包含多个版本可以使用[heading4]NF4模型下载[content]https://huggingface.co/lllyasviel/flux1-dev-bnb-nf4/blob/main/flux1-dev-bnb-nf4.safetensors放置在ComfyUI/models/checkpoint/中(不像其他Flux模型那样放置在UNET中)NF4配套节点插件git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git[heading4]GGUF模型下载[content]Flux GGUF模型:https://huggingface.co/city96/FLUX.1-dev-gguf/tree/mainGGUF配套节点插件GGUF节点包:https://github.com/city96/ComfyUI-GGUF以下是使用GGUF生图:值得一提的是在最新版本的comfyUI中GGUF的节点插件是可以在Manager管理器中搜到下载安装的,NF4的配套节点插件则搜不到。注意使用精度优化的低配模型的话,工作流和原版是不一样的。此处没有专门列举。[workflow.json](https://bytedance.feishu.cn/space/api/box/stream/download/all/NUMabE5CcoxYVTxoSQAcpCslnWd?allow_redirect=1)自己改的话就是把上面官方的这个fp8的工作流,只需把底模的节点换成NF4的或者GUFF的即可。相关生态发展很快,有Lora、Controlnet、IP-adpter相关生态建设非常速度,以及字节最近发布的Flux Hyper lora是为了8步快速生图。下节我们先讲讲Flux的lora训练。
开源社区迅速展开了对低配置方案的优化,NF4来自我们controlnet的作者,GGUF则包含多个版本可以使用[heading4]NF4模型下载[content]https://huggingface.co/lllyasviel/flux1-dev-bnb-nf4/blob/main/flux1-dev-bnb-nf4.safetensors放置在ComfyUI/models/checkpoint/中(不像其他Flux模型那样放置在UNET中)NF4配套节点插件git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git[heading4]GGUF模型下载[content]Flux GGUF模型:https://huggingface.co/city96/FLUX.1-dev-gguf/tree/mainGGUF配套节点插件GGUF节点包:https://github.com/city96/ComfyUI-GGUF以下是使用GGUF生图:值得一提的是在最新版本的comfyUI中GGUF的节点插件是可以在Manager管理器中搜到下载安装的,NF4的配套节点插件则搜不到。注意使用精度优化的低配模型的话,工作流和原版是不一样的。此处没有专门列举。[workflow.json](https://bytedance.feishu.cn/space/api/box/stream/download/all/NUMabE5CcoxYVTxoSQAcpCslnWd?allow_redirect=1)自己改的话就是把上面官方的这个fp8的工作流,只需把底模的节点换成NF4的或者GUFF的即可。相关生态发展很快,有Lora、Controlnet、IP-adpter相关生态建设非常速度,以及字节最近发布的Flux Hyper lora是为了8步快速生图。下节我们先讲讲Flux的lora训练。