ComfyUI 工作流包括以下内容:
这个方法的目的是让FLUX模型能在较低的显存情况下也能运行.分阶段处理的思路:1.使用Flux模型进行初始生成,在较低分辨率下工作以提高效率2.采用两阶段处理:先用Flux生成,后用SDXL放大,效控制显存的使用3.使用SD放大提升图片质量工作流的流程:初始图像生成(Flux):UNETLoader:加载flux1-dev.sft模型DualCLIPLoader:加载t5xxl和clip_l模型VAELoader:加载flux-ae.sftCLIPTextEncode:处理输入提示词BasicGuider和RandomNoise:生成初始噪声和引导SamplerCustomAdvanced:使用Flux模型生成初始图像VAEDecode:解码生成的潜在图像初始图像预览:PreviewImage:显示Flux生成的初始图像图像放大和细化(SDXL):CheckpointLoaderSimple:加载SDXL模型(fenrisxl_SDXLLightning.safetensors)UpscaleModelLoader:加载RealESRGAN_x4.pth用于放大VAELoader:加载sdxl_vae.safetensorsImageSharpen:对初始图像进行锐化处理UltimateSDUpscale:使用SDXL模型和放大模型进行最终的放大和细化最终图像预览:PreviewImage:显示最终放大和细化后的图像
Workflow是ComfyUI的精髓。所谓Workflow工作流,在ComfyUI这里就是它的节点结构及数据流运转过程。[heading2]推荐工作流网站[heading3]“老牌”workflow网站Openart.ai[content]https://openart.ai/workflows/流量比较高,支持上传、下载、在线生成,免费账户总共有50个积分,加入Discord可以再加100积分,开通最低的每个月6美元的套餐后,每个月会有5000积分。[heading3]ComfyWorkflows网站[content]https://comfyworkflows.com/cloud支持在线运行工作流,从workflow的实际下载量和访问量来看,略少于openart。[heading3]Flowt.ai[content]https://flowt.ai/community
在多次社区的ComfyUI共学中发现,ComfyUI工作流的门槛确实过高。让很多人理解“潜空间”,“Vae”,“LoRA”,“controlnet”等一系列概念非常困难,更别说基于理解做一个工作流了。这次英伟达整了个花活,让大家看到了打破这个门槛的可能性:🌈通过画图提示词,自动生成匹配的ComfyUI工作流!英伟达将其命名为ComfyGen(comfy生成器)!当然目前仅支持文生图模型。在英伟达发布的内容中,他们称:“ComfyGen可以生成高质量的图并泛化到其他领域(如下图)。”并且他们很自豪的宣称:“下图这么优秀的图,完全是ComfyGen基于SDXL规模的模型画的,还没有用flux呢!”当然,作为学术性研究论文,肯定不会很草率的下结论。英伟达团队做了对比测试:下图中分别为1)SDXL原生2)两个微调模型(用过的同学会很熟悉3)两个人搭的工作流4)两个不同的comfyGen制作的图(后文原理部分中会说明这两者的区别)可以看到效果基本一致,甚至确实更符合人类对提示词的判断和理解。同时他们还做了和C站上人类写的提示词作对比:很显然,ComfyGen的效果略胜一筹。不过由于项目未开源,无法体验实际效果。但是如果真的效果如英伟达发布所说,那是相当惊艳了。