在 Stable Diffusion 中,采样(Sampling)指的是去噪过程。稳定扩散从随机高斯噪声起步,通过一步步降噪逐渐接近符合提示的图像。每一步都会产生一个新的样本图像,这种方法被称为采样器(Sampler)或采样(Sampling)。
不同的采样器具有不同的特点和效果,例如:
采样步数(Sampling Steps)也很重要,随着步数增多,可以得到对目标更小、更精确的图像,但增加步数会增加生成图像所需的时间,且增加步数的边际收益递减,一般开到 20 - 30 步。在实际应用中,如何选择采样器和设置采样步数可以按照模型作者的推荐进行。
Sampler(采样器/采样方法)选择使用哪种采样器。Euler a(Eular ancestral)可以以较少的步数产生很大的多样性,不同的步数可能有不同的结果。而非ancestral采样器都会产生基本相同的图像。DPM相关的采样器通常具有不错的效果,但耗时也会相应增加。Euler是最简单、最快的Euler a更多样,不同步数可以生产出不同的图片。但是太高步数(>30)效果不会更好。DDIM收敛快,但效率相对较低,因为需要很多step才能获得好的结果,适合在重绘时候使用。LMS是Euler的衍生,它们使用一种相关但稍有不同的方法(平均过去的几个步骤以提高准确性)。大概30 step可以得到稳定结果PLMS是Euler的衍生,可以更好地处理神经网络结构中的奇异性。DPM2是一种神奇的方法,它旨在改进DDIM,减少步骤以获得良好的结果。它需要每一步运行两次去噪,它的速度大约是DDIM的两倍,生图效果也非常好。但是如果你在进行调试提示词的实验,这个采样器可能会有点慢了。UniPC效果较好且速度非常快,对平面、卡通的表现较好,推荐使用。Sampling Steps(采样步数)Stable Diffusion的工作方式是从以随机高斯噪声起步,向符合提示的图像一步步降噪接近。随着步数增多,可以得到对目标更小、更精确的图像。但增加步数也会增加生成图像所需的时间。增加步数的边际收益递减,取决于采样器。一般开到20~30。不同采样步数与采样器之间的关系:
CLIP还可以用于评估和优化生成的图像。通过对比生成的图像和文本描述之间的相似度,模型可以迭代调整生成过程,使图像更符合输入描述。CLIP Text EncoderSDXL Base模型由U-Net、VAE以及CLIP Text Encoder(两个)三个模块组成,在FP16精度下Base模型大小6.94G(FP32:13.88G),其中U-Net占5.14G、VAE模型占167M以及两个CLIP Text Encoder一大一小(OpenCLIP ViT-bigG和OpenAI CLIP ViT-L)分别是1.39G和246M。VaeSDXLSD1.5Baked in VAECLIP skip in ComfyUI常用值为-1和-2Clip skip in SD1.5(-1 VS -2)如何设置按照模型作者推荐个人喜好SDXL官方默认Clip为-2Clip skip in SDXL(-1 VS -2)去噪过程被称为采样,因为稳定扩散在每一步产生一个新的样本图像。这种方法称为采样器(sampler)或采样(sampling)(source:stable-diffusion-art.com/samplers/#What_is_Sampling)采样器对比(source:stable-diffusion-art.com/samplers/#What_is_Sampling)如何选择Sampler(采样器)&调度器(scheduler)按推荐设置模型作者调度器(scheduler)Sampler(采样器)控制每一步如何采样控制每一步的噪声水平变化Unet结构
作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-05-01 20:00原文网址:https://mp.weixin.qq.com/s/kwNfc9NCaKJRy30wHI95UgStable Diffusion的生成方式主要分为文生图和图生图两种:文生图是仅通过正反向词汇描述来发送指令;图生图除了可以添加文字以外,还可以给AI参考图进行模仿,也就是我们常说的“垫图”。接下去就是对你想要的图形进行文本描述,文本描述上又分为两类:内容型提示词和标准化提示词。内容型提示词主要用于描述你想要的画面,我们选择anythingV5这个专门用于二次元绘画的大模型,然后输入以下提示词:1个女孩,黑发,长发,校服,向上看,短袖,粉红色的花,户外,白天,蓝色的天空,云,阳光,上身,侧面。(使用翻译软件翻译成英文)采样迭代步数是指AI绘画去噪的次数,步数越高绘画越清晰,但是绘画速度也会越慢,通常数值控制在20-40之间最好。采样方法是指AI生成图像时候的某种特定算法,我们不用全部了解,一般常用的为:Euler a;DPM++2S a Karras;DPM++2M Karras;DPM++ SDE Karras;DDIM。有的模型会有指定的算法,搭配起来更好用。将比例设置为800:400,注意这里的尺寸并不是越大越好,因为模型的练图基本上都是按照512x512的框架去画,所以我们的高宽比尽量都在这个数值附近。太大的数值比如1920x1080,会使AI做出很奇怪的构图。那你就会说,我就想要很高清的图怎么办,其实Stable Diffusion也提供了图片放大的功能,我们可以同时点选这个高清修复来放大图像倍率,而高宽比我们只要记住这里主要是控制一个画面比例就可以了。