Stable Diffusion 值得学习。以下是一些原因和相关介绍:
简单来说,Stable Diffusion(简称SD)就是一个AI自动生成图片的软件通过我们输入文字,SD就能生成对应的一张图片,不再需要像以前一样要把图片“画”出来,或者是“拍”出有的人说,我学习一个软件之前是不是要先知道它的原理呢?我的回答是:不需要!下面这张图就是我在网上保存的SD的原理图看得懂吗?看不懂,我也看不懂影响使用吗?完全不影响!很多人想学习stable diffusion,上网一搜,大多数教程都先告诉你SD的原理是什么但偏偏就是这一步就劝退了很多人继续学习因为这看起来真的好像很复杂很难但事实是:大多数的我们只是要能够熟练使用SD而不是要深入研究它我们还有自己的学习和工作因此,我们的目的就是花更少的时间快速入门Stable Diffusion当然了,如果你的时间比较充裕,去把SD的原理也了解了也是可以的跟大家说这些是想告诉大家学习SD真的非常简单!!这篇文章就会带大家通过一个个案例,实际上手操作生成各种照片我相信在你看完这篇文章并且自己去尝试过之后你就已经可以快速上手stable diffusion了!!接下来我们就正式开始去使用stable diffusion!!
1.Stable Diffusion系列资源2.零基础深入浅出理解Stable Diffusion核心基础原理2.1通俗讲解Stable Diffusion模型工作流程(包含详细图解)2.2从0到1读懂Stable Diffusion模型核心基础原理(包含详细图解)2.3零基础读懂Stable Diffusion训练全过程(包含详细图解)2.4其他主流生成式模型介绍3.Stable Diffusion核心网络结构解析(全网最详细)3.1 SD模型整体架构初识3.2 VAE模型3.3 U-Net模型3.4 CLIP Text Encoder模型3.5 SD官方训练细节解析4.从0到1搭建使用Stable Diffusion模型进行AI绘画(全网最详细讲解)4.1零基础使用ComfyUI搭建Stable Diffusion推理流程4.2零基础使用SD.Next搭建Stable Diffusion推理流程4.3零基础使用Stable Diffusion WebUI搭建Stable Diffusion推理流程4.4零基础使用diffusers搭建Stable Diffusion推理流程4.5 Stable Diffusion生成示例5.Stable Diffusion经典应用场景5.1文本生成图像5.2图片生成图片5.3图像inpainting5.4使用controlnet辅助生成图片5.5超分辨率重建6.从0到1上手使用Stable Diffusion训练自己的AI绘画模型(全网最详细讲解)6.0 Stable Diffusion训练资源分享6.1 Stable Diffusion模型训练初识6.2配置训练环境与训练文件6.3 SD训练数据集制作6.4 Stable Diffusion微调(finetune)训练
Stable Diffusion的整个训练过程在最高维度上可以看成是如何加噪声和如何去噪声的过程,并在针对噪声的“对抗与攻防”中学习到生成图片的能力。Stable Diffusion整体的训练逻辑也非常清晰:1.从数据集中随机选择一个训练样本2.从K个噪声量级随机抽样一个timestep t t3.将timestep t t对应的高斯噪声添加到图片中4.将加噪图片输入U-Net中预测噪声5.计算真实噪声和预测噪声的L2损失6.计算梯度并更新SD模型参数下图是SD训练过程Epoch迭代的图解:下图是SD每个训练step的详细图解过程:SD每个训练step的详细图解过程下面Rocky再对SD模型训练过程中的一些关键环节进行详细的讲解。【1】SD训练集加入噪声SD模型训练时,我们需要把加噪的数据集输入模型中,每一次迭代我们用random函数生成从强到弱各个强度的噪声,通常来说会生成0-1000一共1001种不同的噪声强度,通过Time Embedding嵌入到SD的训练过程中。