Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

Stable Diffusion

Answer

稳定扩散（Stable Diffusion）的运作原理如下：

  • 消除图像中的噪点：如果拍照太暗会产生噪点，而 Stable Diffusion 用于生成艺术作品时会在幕后“清理”图像。它比手机图像编辑器中的噪点消除滑块复杂得多，它了解世界的样子和书面语言，并以此指导噪点消除过程。例如，给它一幅以 H.R. Giger 风格描绘的外星人弹吉他的画，它能像熟练的平面艺术家一样进行清理。
  • 推理步骤：稳定扩散是逐步去除噪点的，有“推理步骤”滑块。例如一个运行 25 步的例子，外星吉他手的例子更能清晰展示其效果。
  • 开始方式：为了生成艺术，给 Stable Diffusion 提供的初始图像实际上只是纯噪点，并告知它这是一幅特定风格的画。在最简单层面，它作为计算机程序会执行任务。更深层次，它基于统计数据，估计所有选项的概率，即使概率都极低，也会选择概率最高的路径，例如寻找噪点中最可能像吉他边缘的部分来填充物体。每次给它不同的纯噪点图像，都会创作出不同的艺术作品。

此外，UNET 是从噪音中生成图像的主要组件，在预测过程中，通过反复调用 UNET，将其预测输出的 noise slice 从原有的噪声中去除，得到逐步去噪后的图像表示。Stable Diffusion Model 的 UNET 包含约 860M 的参数，以 float32 的精度编码大概需要 3.4G 的存储空间。

ComfyUI 中的相关内容：

  • CLIP 将用户输入的 Prompt 文本转化成 text embedding，UNET 进行迭代降噪，在文本引导下进行多轮预测。
  • 稳定扩散最初称为潜在扩散模型，解决了传统扩散模型在处理大尺寸图像和大量扩散步骤时计算效率的问题。
  • Checkpoint 的 ComfyUI 存放路径：models/checkpoints/，包括 SD 基础预训练模型（如 SD1.5、SDXL）、SD 微调模型等。训练方法有 DreamBooth 等，格式有 EMA-only & pruned（只画图）和 Full（画图和微调训练）。
Content generated by AI large model, please carefully verify (powered by aily)

References

稳定扩散（Stable Diffusion）是如何运作的

你熟悉大多数艺术生成工具中的“推理步骤”滑块吗？稳定扩散是逐步去除噪点的。这是一个运行25步的例子：外星吉他手的例子更有意义，因为你可以更清楚地看出它应该是什么样子的……但在上图中，起始图像看起来完全无法辨认！实际上，这个充满噪点的外星人例子其实是从过程的大约一半开始取的——它（最开始的图像）实际上也是从完全的噪点开始的！

稳定扩散（Stable Diffusion）是如何运作的

为了生成艺术，我们给稳定扩散提供了一个实际上只是纯噪点的初始图像。但是，相当残忍地😏，我们撒谎说：“这是一幅超级充满噪点的H.R。Giger风格的外星人弹吉他的画——你能帮我清理一下吗？”如果你把这个任务交给一个平面艺术家，他们会束手无策——“我帮不了你，这个图像完全无法辨认！”那么稳定扩散是如何做到的呢？在最简单的层面上，答案是它是一个计算机程序，它别无选择，只能做它的事情并为我们生产一些东西。更深层次的答案与这样一个事实有关，即稳定扩散等AI模型（从技术上讲，“机器学习”模型）在很大程度上基于统计数据。它们估计所有选项的概率，即使所有选项的正确概率都极低，它们仍然只会选择概率最高的路径。例如，它对吉他可能出现在图像中的位置有一些理解，并且它可以寻找哪部分噪点最可能像是吉他边缘的部分（即使实际上没有“正确”的选择），然后开始填充物体。因为没有正确的答案，每次你给它一个不同的纯噪点图像，它都会创作出不同的艺术作品！

第二课 《ComfyUI基础知识》 By 郭佑萌 @ 🌈WaytoAGI 2024.8.15 .pdf

UNET是从噪音中生成图像的主要组件，在预测过程中，通过反复调用UNET，将UNET预测输出的noise slice从原有的噪声中去除，得到逐步去噪后的图像表示。Stable Diffusion Model的UNET包含约860M的参数，以float32的精度编码大概需要3.4G的存储空间。（source:zhuanlan.zhihu.com/p/582266032）核心的组件CLIP将用户输入的Prompt文本转化成text embeddingUNET UNET进行迭代降噪，在文本引导下进行多轮预测扩散模型在传统扩散模型中，反向扩散过程通过U-Net结构将全尺寸图像逐步传递，从而获得最终的去噪结果。然而，这种迭代性质在计算效率上带来了挑战，特别是在处理大尺寸图像和大量扩散步骤(T)时。在采样过程中，从高斯噪声中去噪图像可能需要很长时间。为了解决这一问题，一组研究人员提出了一种新的方法，称为稳定扩散（Stable Diffusion），最初称为潜在扩散模型（Latent Diffusion Models）CheckpointComfyUI存放路径：models/checkpoints/SD基础预训练模型SD1.5SDXLSD微调模型模型实例SD1.5【majicMIX realistic麦橘写实V7】by麦橘MERJIC----sd1.5微调SDXL【LEOSAM HelloWorld新世界】by LEOSAM是只兔狲----SDXL微调训练方法DreamBooth，by Google格式EMA-only & pruned VS FullEMA-only & pruned只画图Full画图和微调训练

Others are asking
有stable diffusion的学习教程吗
以下为您提供一些 Stable Diffusion 的学习教程： 1. 超详细的 Stable Diffusion 教程： 介绍了为什么要学习 Stable Diffusion 及其强大之处。 指出 Stable Diffusion 是能根据输入文字生成图片的软件。 强调学习目的是快速入门，而非深入研究原理，通过案例和实际操作帮助上手。 2. 深入浅出完整解析 Stable Diffusion（SD）核心基础知识 知乎： 包含 Stable Diffusion 系列资源。 零基础深入浅出理解 Stable Diffusion 核心基础原理，如模型工作流程、核心基础原理、训练全过程等。 解析 Stable Diffusion 核心网络结构，包括 SD 模型整体架构、VAE 模型、UNet 模型等。 介绍从 0 到 1 搭建使用 Stable Diffusion 模型进行 AI 绘画的流程。 列举 Stable Diffusion 经典应用场景。 讲解从 0 到 1 上手使用 Stable Diffusion 训练自己的 AI 绘画模型。 3. 视频教程： 「AI 绘画」软件比较与 stable diffusion 的优势： 「AI 绘画」零基础学会 Stable Diffusion： 「AI 绘画」革命性技术突破： 「AI 绘画」从零开始的 AI 绘画入门教程——魔法导论： 「入门 1」5 分钟搞定 Stable Diffusion 环境配置，消灭奇怪的报错： 「入门 2」stable diffusion 安装教程，有手就会不折腾： 「入门 3」你的电脑是否跑得动 stable diffusion？： 「入门 4」stable diffusion 插件如何下载和安装？：
2025-03-28
stablediffusion学习
以下是关于系统学习 Stable Diffusion 的相关内容： 学习 Stable Diffusion 的提示词是一个系统性的过程，需要理论知识和实践经验相结合。具体步骤如下： 1. 学习基本概念： 了解 Stable Diffusion 的工作原理和模型架构。 理解提示词如何影响生成结果。 掌握提示词的组成部分，如主题词、修饰词、反面词等。 2. 研究官方文档和教程： 通读 Stable Diffusion 官方文档，了解提示词相关指南。 研究来自开发团队和专家的教程和技巧分享。 3. 学习常见术语和范例： 熟悉 UI、艺术、摄影等相关领域的专业术语和概念。 研究优秀的图像标题和描述，作为提示词范例。 4. 掌握关键技巧： 学习如何组合多个词条来精确描述想要的效果。 掌握使用“（）”、“”等符号来控制生成权重的技巧。 了解如何处理抽象概念、情感等无形事物的描述。 5. 实践和反馈： 使用不同的提示词尝试生成各种风格和主题的图像。 对比提示词和实际结果，分析原因，总结经验教训。 在社区内分享结果，请教高手，获取反馈和建议。 6. 创建提示词库： 根据主题、风格等维度，建立自己的高质量提示词库。 将成功案例和总结记录在案，方便后续参考和复用。 7. 持续跟进前沿： 关注 Stable Diffusion 的最新更新和社区分享。 及时掌握提示词的新技术、新范式、新趋势。 此外，Stable Diffusion 是一个 AI 自动生成图片的软件，通过输入文字就能生成对应的图片。学习 Stable Diffusion 非常简单，不需要深入了解其原理也能熟练使用。 Stable Diffusion 是一种扩散模型的变体，称为潜在扩散模型。其核心组件包括将用户输入的 Prompt 文本转化成 text embedding 的 CLIP、VAE EncoderDecoder 以及进行迭代降噪和在文本引导下进行多轮预测的 UNET 等。在训练和模型方面，有多种模型实例、训练方法、格式等，如 SD1.5、SDXL 等，还包括融合模型等形式。
2025-03-25
介绍一下什么是stable diffusion
Stable Diffusion 是一种扩散模型的变体，最初称为潜在扩散模型（Latent Diffusion Models）。它是一个 AI 自动生成图片的软件，通过用户输入文字就能生成对应的图片。其核心组件包括将用户输入的 Prompt 文本转化成 text embedding 的 CLIP、VAE EncoderDecoder 以及进行迭代降噪并在文本引导下进行多轮预测的 UNET 等。 在硬件要求方面，建议使用不少于 16GB 内存，并有 60GB 以上的硬盘空间，需要用到 CUDA 架构，推荐使用 N 卡。目前也有对 A 卡的相关支持，但运算速度明显慢于 N 卡。在训练方面，不同模型有不同的训练要求，例如 SD1.5 训练要求 12G VARM，SDXL 训练要求 16G VARM。此外，还有诸如模型实例、融合模型、微调模型等相关内容。
2025-03-25
现在Ai作图用什么？还是以前的Stable Diffusion吗？还是又出现了新的开源软件？
目前在 AI 作图领域，Stable Diffusion 仍然是常用的工具之一。Stable Diffusion 是 AI 绘画领域的核心模型，能够进行文生图和图生图等图像生成任务，其完全开源的特点使其能快速构建强大繁荣的上下游生态。 除了 Stable Diffusion，也出现了一些新的相关开源软件和工具，例如： ：Stability AI 开源的 AI 图像生成平台。 ：拥有超过 700 种经过测试的艺术风格，可快速搜索查找各类艺术家，并支持一键复制 Prompt。 同时，市面上主流的 AI 绘图软件还有 Midjourney，其优势是操作简单方便，创作内容丰富，但需要科学上网并且付费。如果您想尝试使用 Stable Diffusion，可以参考 B 站【秋葉 aaaki】这个 Up 主的视频了解具体的安装方法。
2025-03-24
什么是Diffusion Model
在 AI 图像生成中，“Diffusion Model”（扩散模型）是一类生成模型。其工作原理包括以下几个方面： 1. 正向扩散过程：向图像逐渐添加高斯噪声，直至图像完全无法识别，此过程可形式化为顺序扩散马尔可夫链。 2. 潜空间表示：将图像压缩到低维的潜在空间中，以减少计算量并提高生成速度。 3. 学习逆向过程：训练神经网络来预测每一步中噪声的分布，并逐步去除噪声以恢复清晰图像。 4. 文本到图像的生成：结合文本编码器和图像解码器，依据文本描述生成相应图像。 扩散模型的关键优势在于能够生成高质量的图像，且相比其他生成模型（如 GANs）在计算效率和稳定性方面更具优势。例如 Stable Diffusion 等模型就是基于扩散模型的文本到图像生成工具，可根据文本提示生成逼真的图像。 扩散模型的逆向过程，即从噪声中恢复图像的过程，可类比为雕刻，AI 逐步去除不必要的部分，最终得到清晰的图像。这个过程可以逐步进行，也可以一次性完成，取决于模型的具体实现和采样算法。 总的来说，扩散模型为 AI 图像生成提供了强大的技术手段，能在多种场景下生成高质量的图像。例如 Midjourney 就是一个由 Latent Diffusion Model（LDM）驱动的 AI 图像生成工具，它通过文本提示和参数输入，利用基于大量图像数据训练的机器学习算法生成独特的图像。
2025-03-21
Stable Diffusion 是 Diffusion Model 的优化版本，引入了潜在空间（Latent Space）技术，这个潜在空间（Latent Space）是什么意思，它的实现原理是什么？
在 Stable Diffusion 模型中，潜在空间（Latent Space）指的是图像的潜在分布，它包含了与图像相关的所有信息。 图像被映射到潜在空间后，扩散过程在这个空间中进行。ComfyUI 中的许多操作都在潜在空间中进行，如 KSampler 节点就是在这个空间中执行采样过程。在潜在空间中，通过节点调整对潜在空间的操作，如噪声添加、去噪步数等，这部分通常由潜在空间操作模块来实现。 在 Stable Diffusion 模型中，图像的潜在分布是通过一个编码器解码器结构来学习的。编码器将图像映射到潜在空间，而解码器则将潜在空间中的向量映射回图像空间。通过这种方式，模型可以学习到图像的潜在分布，从而实现图像生成、编辑和操作。 在采样过程中，Stable Diffusion 模型通过逐步降低噪声水平来生成图像。在这个过程中，模型根据当前的噪声水平预测图像的潜在分布，然后根据这个分布生成一个新的图像。这个过程重复进行，直到生成一个高质量的图像。 与之对应的是像素空间（Pixel Space），像素空间指的是图像中每个像素的原始颜色或强度值所组成的空间。图像可以看作是一个二维或三维的矩阵，其中每个元素代表一个像素。在像素空间中，图像的表示是密集的，且包含了大量的细节信息。
2025-03-21
Stable Diffusion有哪些模型
Stable Diffusion 模型包括以下几种： 1. Stable Video Diffusion 模型： 避坑指南：直接使用百度网盘准备好的资源可规避大部分坑；若报显存溢出问题，可调低帧数或增加 novram 启动参数；云部署实战部分，基础依赖模型权重有两个 models–laion–CLIPViTH14laion2Bs32Bb79K 和 ViTL14.pt，需放到指定路径下。 总结：Sora 发布后，之前的视频生成模型略显逊色，Stable Video Diffusion 作为开源项目可自由创作无需充值，有独特优势。其生成的视频画质清晰、过渡自然，虽目前只能生成最多 4 秒视频，但在不断迭代。 2. 潜在扩散模型（Latent Diffusion Models）： CLIP：将用户输入的 Prompt 文本转化成 text embedding。 核心组件：VAE EncoderDecoder、UNET（进行迭代降噪，在文本引导下进行多轮预测）。 存放路径：ComfyUI 存放路径为 models/checkpoints/。 基础预训练模型：SD1.5、SDXL。 训练方法：DreamBooth（by Google）。 格式：.pt、.safetensor。 融合模型：checkpoint+checkpoint、Lora+Lora、checkpoint+Lora。 模型自带已适配的 VAE。 微调模型：概念学习、Checkpoint。 3. 不同版本模型对比： Stable Diffusion 2.0 系列模型。 Stable Diffusion 2.1 系列模型。 Stable Diffusion 1.6 系列模型。 SD Turbo 模型。 4. 性能优化方面： 使用 TF32 精度加速 SD 模型训练与推理。 使用 FP16 半精度加速。 对注意力模块进行切片。 对 VAE 进行切片。 大图像切块。 CPU<>GPU 切换。 变换 Memory Format。 使用 xFormers 加速 SD 模型训练与推理。 使用 tomesd 加速 SD 模型推理。 使用 torch.compile 加速 SD 推理速度。 此外，还有关于 Stable Diffusion 训练数据集制作、微调训练、基于其训练 LoRA 模型、训练结果测试评估等方面的内容。
2025-03-21