ComfyUI 与传统抠图方法主要有以下不同:
此外,ComfyUI 中的 BrushNet 是一种新颖的即插即用的双分支模型,具有以下特点和优势:
通俗来讲,BrushNet 的工作过程类似于小时候的连点成图游戏:
我为什么学习使用ComfyUI:更接近SD的底层工作原理,在更靠近一朵鲜花的地方,才能闻到它的芳香自动化工作流(我也用webui,虽然很好,但我觉得ComfyUI更符合AI的精神,即消灭重复性工作)作为一个强大的可视化后端工具,可以实现SD之外的功能,如调用api及本文所讲的内容等可根据定制需求开发节点或模块Hi,大家好,我是金属文。我制作这个工作流的动机是:我的工作室经常需要一些抠图素材,用做海报、推文、短视频等用途传统的搜集抠图素材途径无非是网站下载、付费购买、自己PS。要么花钱,要么花时间,还不能根据自己的需求定制素材近期在github上看到一个名为[ComfyI2I](https://github.com/ManglerFTW/ComfyI2I)的项目,其中包含了丰富的蒙版处理节点于是我基于[ComfyI2I](https://github.com/ManglerFTW/ComfyI2I)创建了这个ComfyUI工作流,不仅可以用作绿幕素材的抠图,还可以自动生成定制需求的抠图素材,全程只需要几秒,太香了!先来看下效果:下面我将分享创建整个工作流的思路以及详细步骤讲解话不多说,开始干货教程
作者:CYCHENYUE来源:[开源的Ai知识库](https://u0ptmdsjdxb.feishu.cn/wiki/Kq5hwmobYiJR4akJwNecP9yhnse)[heading1]BrushNet介绍[content]BrushNet,这是一种新颖的即插即用的双分支模型,旨在将像素级遮罩图像特征嵌入任何预训练的扩散模型中,确保连贯且增强的图像修复结果BrushNet的优势BrushNet在图像修复模型中的主要优势在于其能够高效地从遮罩图像和潜在噪声中提取和整合特征。这一点非常关键,因为它允许模型在图像生成过程中更好地理解和重建缺失或损坏的部分。此外,BrushNet通过与预训练的UNet网络结合使用,可以有效地增强图像细节和质量,这使得最终修复的图像能够达到较高的视觉质量和自然度。这种特性尤其适用于那些需要精细重建细节的高分辨率图像修复任务。BrushNet在于它能够更加细致地处理图像的细节和边缘,尤其是在接缝处,确保修复后的图像与原始图像在内容和风格上保持一致。这样的处理方式可以使图像看起来更自然,不会有生硬或不自然的感觉。这种方法比传统的局部重绘技术更先进,因为它不仅考虑了缺失部分,还充分利用了图像的整体信息来优化修复效果。
通俗易懂的说:这个过程有点像我们小时候玩的连点成图游戏,只不过现在是电脑在帮我们连线,而且是在图片上。1.掩码:就像是一张有洞的纸覆盖在图片上,电脑程序通过这些洞了解哪些部分需要修复。2.编码器:这部分是电脑的大脑,它把需要修复的图片转换成电脑能理解和处理的信息。3.噪声潜在空间:为了让修复的部分不那么单调,程序会加入一些随机性,这样修复出来的图片看起来更自然。4.BrushNet和冻结的UNet(Frozen UNet,值预训练好的固定不变的):这些是处理图片的工具,就像画家的画笔和调色板,帮助电脑细致地完成修复工作。5.去噪和生成图像:程序会尝试去除不需要的噪声,并最终创建出看起来很真实的图片部分。6.模糊掩码和合成:最后,程序会用一种特殊的技巧,将新生成的图片和原始图片融合在一起,就像我们用橡皮擦把画作上的错误擦掉并重画一样,只是这里用的是电脑技术。