Stable Diffusion 是一种扩散模型的变体,以下是关于其使用的相关内容:
此外,ComfyUI 存放路径为 models/checkpoints/,模型包括 SD1.5、SDXL 等基础预训练模型,还有如 DreamBooth 等训练方法,存在 EMA-only&pruned VS Full、FP16&FP32 等格式,以及模型自带已适配的 VAE 和微调模型等。同时存在融合模型,如 checkpoint+checkpoint、Lora+Lora、checkpoint+Lora 等形式。
的去噪结果。然而,这种迭代性质在计算效率上带来了挑战,特别是在处理大尺寸图像和大量扩散步骤(T)时。在采样过程中,从高斯噪声中去噪图像可能需要很长时间。为了解决这一问题,一组研究人员提出了一种新的方法,称为稳定扩散(Stable Diffusion),最初称为潜在扩散模型(Latent Diffusion Models)Stable DiffusionStable Diffusion是一种扩散模型(diffusion model)的变体,叫做“潜在扩散模[heading1]型”(Latent Diffusion Models)[content]CLIP将用户输入的Prompt文本转化成text embedding核心的组件VAE Encoder-DecoderUNETUNET进行迭代降噪,在文本引导下进行多轮预测High-Resolution Image Synthesis with Latent Diffusion ModelsComfyUI存放路径:models/checkpoints/SD1.5SD基础预训练模型SDXLSD1.5模型实例SDXL训练方法DreamBooth,by GoogleEMA-only&pruned VS FullFP16&FP32格式.pt VS.safetensorBake in VAE模型自带已适配的VAESD微调模型概念学习Checkpoint作用source:stable-diffusion-art.com/models/#How_are_models_created1puppy训练要求sd1.512G VARMSDXL16G VARMThe merged model sits between the realistic F222 and the anime Anything V3styles.It is a very good model for generating illustration art with human figures.(source:stable-diffusion-art.com/models/#Example_of_a_merged_model)融合模型checkpoint+checkpointLora+Lora形式checkpoint+LoraBaking VAE
为了大家能够更加顺利的安装和使用Stable Diffusion(简称“SD”)在正式安装之前希望大家先一起查看一下自己的电脑配置,需要注意的是以下两点:01.电脑系统是Win10或者Win11为了避免一些奇怪的兼容性问题,不要选择更低版本的系统。查看电脑系统的方法:在桌面上找到“我的电脑”——鼠标右键点击——点击“属性”——查看Windows规格02.检查电脑性能这里是检查自己的电脑配置能不能带动SD(Stable Diffusion)需要满足3个要求:电脑运行内存8GB以上是英伟达(俗称N卡)的显卡显卡内存4GB以上检查方法:①鼠标右击桌面底部任务栏——点击“任务管理器”②查看电脑的运行内存在“性能”里面找到“内存”,这里的内存不是电脑的存储内存,而是运行内存噢!只要看图中划线的那一个参数就可以8GB:那就说明你的电脑配置内存是勉强达到标准的16GB:那就说明你的内存配置可以正常使用32GB:那么你就可以非常自由的使用SD啦!③查看“GPU”GPU就是显卡的意思首先先看右上角显卡的名字或者型号必须确认的第一个是NVIDIA,代表的是英伟达的显卡(俗称N卡),这里是N卡我们才可以进行下一步,如果这个地方是AMD或者是Intel,可能你的电脑会不太支持SD,网上的安装教程也比较麻烦,
显然,作者不可能坐下来决定尝试什么数字。尤其是当你考虑到它们不是像1、2、3这样的“整数”,而是我们计算机迷所说的“浮点”值时——你在表格中看到的小的、非常精确的分数。我们不仅没有选择这些数字——我们甚至无法解释其中的任何一个!这就是为什么我们无法完全解释稳定扩散的工作原理。我们对这些方程式的作用有一些直观的理解,但是很多事情都隐藏在那些数字的值中,我们不能完全理解。很疯狂,对吧?那么我们是如何找出这些数字的呢?我们首先选择十亿个随机数字来使用。有了这些初始的随机参数值,模型完全无用——在我们找出更好的参数值来使用之前,它无法做出任何有价值的事情。因此,我们应用了一个我们称之为训练的数学过程,该过程逐渐将值调整为有效的值。训练的工作方式是我们完全理解的东西——它是一些基本的微积分(尽管应用于一个非常大的方程),基本上保证有效,并且我们对为什么有效有清晰的理解。训练涉及到一个巨大的训练样本集。一个单独的训练样本由一个输入和一个期望的输出组成。(我会在另一篇文章中解释对于稳定扩散来说,一个训练样本看起来是什么样子)。当我们运行第一个训练输入(参数值完全随机)时,模型吐出的东西将完全不像期望的输出。但是,利用实际输出和期望输出之间的差异,我们可以对这些方程应用一些非常基本的微积分,这些方程将告诉我们,对于这十亿个数字中的每一个,我们应该加上或减去特定的数量。(每个单独的参数都进行了不同的少量调整!)在我们做了那些调整之后,模型在数学上保证会生成一个我们更期望的输出图像。所以我们用许多不同的训练样本做了很多次(数亿次),模型越来越好。然而,随着我们训练的进行,收益逐渐减少,最终我们会到达一个模型无法从进一步训练中受益的点。一旦作者们完成了模型的训练,他们就发布了参数值供所有人免费使用!