Stable Diffusion 是一种图像生成模型,而 ComfyUI 是一个基于节点流程式的 Stable Diffusion AI 绘图工具 WebUI。
ComfyUI 具有以下特点和相关知识:
在与 Blender 结合方面:
ComfyUI是一个基于节点流程式的stable diffusion AI绘图工具WebUI,你可以把它想象成集成了stable diffusion功能的substance designer,通过将stable diffusion的流程拆分成节点,实现了更加精准的工作流定制和完善的可复现性。
UNET是从噪音中生成图像的主要组件,在预测过程中,通过反复调用UNET,将UNET预测输出的noise slice从原有的噪声中去除,得到逐步去噪后的图像表示。Stable Diffusion Model的UNET包含约860M的参数,以float32的精度编码大概需要3.4G的存储空间。(source:zhuanlan.zhihu.com/p/582266032)核心的组件CLIP将用户输入的Prompt文本转化成text embeddingUNET UNET进行迭代降噪,在文本引导下进行多轮预测扩散模型在传统扩散模型中,反向扩散过程通过U-Net结构将全尺寸图像逐步传递,从而获得最终的去噪结果。然而,这种迭代性质在计算效率上带来了挑战,特别是在处理大尺寸图像和大量扩散步骤(T)时。在采样过程中,从高斯噪声中去噪图像可能需要很长时间。为了解决这一问题,一组研究人员提出了一种新的方法,称为稳定扩散(Stable Diffusion),最初称为潜在扩散模型(Latent Diffusion Models)CheckpointComfyUI存放路径:models/checkpoints/SD基础预训练模型SD1.5SDXLSD微调模型模型实例SD1.5【majicMIX realistic麦橘写实V7】by麦橘MERJIC----sd1.5微调SDXL【LEOSAM HelloWorld新世界】by LEOSAM是只兔狲----SDXL微调训练方法DreamBooth,by Google格式EMA-only & pruned VS FullEMA-only & pruned只画图Full画图和微调训练
想不到研究了blender这么久,终于等到了AI绘画和blender结合的一天,不得不感叹一句:少年啊,这盛世如你所愿!那么今天,我们就来看一下如何在blender中实现comfyUI的使用,以及无限圣杯有什么优势。#安装下载网盘里的两个文件,先安装稳定版blender,这个是主程序,解压即用,如果已经有blender的朋友可以跳过这一步。另外说一句,有steam平台的可以去steam上下载blender,我就是在这里装的,软件会自动更新,很方便。接下来打开软件,安装无限圣杯的插件。进入“偏好设置”——插件——选择“安装”。找到“无限圣杯节点工具”里面的压缩包,不用解压,直接选择压缩包进行安装。安装好之后,打上勾,就可以开启无限圣杯了。接着看插件下方的ComfyUI路径这一栏,将它更改为我们电脑中的comfyUI的地址,我的是“E:\ComfyUI_windows_portable\ComfyUI”。然后选择一个适合自己的显存模式:8G以上都是高显存;6G选中显存;4G选低显存。安装完成,重启就可以了。#无限圣杯的使用打开软件,编辑器类型中就出现了“ComfyUI Node”。点击进入comfyUI界面,先点击上方的“新建”按钮,然后展开右侧的N面板可以看到无限圣杯的界面了。