ComfyUI 相关信息如下:
目前只支持sdxl节点地址ComfyUI_InstantID https://github.com/cubiq/ComfyUI_InstantID?tab=readme-ov-file主要的模型(ip_adapter.bin),下载后放在ComfyUI/models/instantid文件夹里,没有这个文件夹就新建一个https://huggingface.co/InstantX/InstantID/resolve/main/ip-adapter.bin?download=trueInsightFace模型是antelopev2(不是经典的buffalo_l)。下载模型,解压并将它们放在ComfyUI/models/insightface/models/antelopev2目录中https://huggingface.co/MonsterMMORPG/tools/tree/main还需要一个controlNet模型https://huggingface.co/InstantX/InstantID/resolve/main/ControlNetModel/diffusion_pytorch_model.safetensors?download=true放在ComfyUI/models/controlnet目录下上述模型网络环境不好的,可以在网盘https://pan.baidu.com/s/1Fk-GTXLmM0Ofynz04NfCaQ?pwd=cycy
结合ComfyUI的生图原理,这张图展示了扩散模型中的加噪和去噪过程。在ComfyUI的节点化界面中,每一步的操作都可以通过不同的模块来实现,用户可以控制潜在空间中的操作(如调度器和噪声的选择)、U-Net中的推理步骤(通过去噪模块实现)、以及条件输入(通过文本提示或图像引导)。[heading1]一、基础模型[content]ComfyUI使用预训练的扩散模型作为其核心,通常是Stable Diffusion模型。这些模型通过大量图像和文本对的训练,学会了将文本描述与视觉概念关联起来。其中包括SD1.5、SD2.0、SDXL、SD3、FLUX等模型。[heading1]二、文本编码[content]当用户输入文本提示时,ComfyUI首先使用CLIP(Contrastive Language-Image Pre-training)文本编码器将文本转换为向量表示。这个向量捕捉了文本的语义信息。
背景替换是一个看似简单,但是又难的活,难在于不同图片合并时候要考虑,光线、色调、边缘细节,这个工作流在测试了目前多种技术,选择了表示较好的,将他们流程化。有许多细节是需要注意的[heading3]背景移除[content]模型放在E:\ComfyUI\models\rembg需要下载对应的模型[heading3]填充背景[content]用来移除背景里面的主题,模型需要放在E:\ComfyUI\models\lama下[heading3]ic-light[content]在管理器中节点管理搜索ComfyUI-IC-Light,安装后重启ComfyUI模型可以在网盘里,下载后放入ComfyUI/models/unet文件夹ic处理过的图片,颜色会发黄偏色,这里就需要让做颜色匹配和细节的迁移,注意,不是IC Light处理过的就是好的,有时候反而会负优化。[heading3]