直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

stable diffusion

回答

稳定扩散(Stable Diffusion)的运作原理如下:

  • 消除图像中的噪点:
    • 如同在太暗环境拍照产生的颗粒状噪点,Stable Diffusion 用于生成艺术作品时会在幕后“清理”图像,它比手机图像编辑器中的噪点消除滑块复杂得多,它了解世界的样子和书面语言,并以此指导噪点消除过程。例如,给它一幅以 H.R. Giger 风格描绘的外星人弹吉他的画,它能像熟练的平面艺术家一样进行清理。
    • 大多数艺术生成工具中有“推理步骤”滑块,稳定扩散是逐步去除噪点的。
  • 起始运作方式:为生成艺术,给稳定扩散提供纯噪点的初始图像,它基于统计数据估计所有选项的概率,即使正确概率极低,仍会选择概率最高的路径。例如,它对吉他在图像中的位置有一定理解,会寻找噪点中最可能像吉他边缘的部分进行填充,且每次给不同的纯噪点图像都会创作出不同作品。
  • 相关组件和模型:
    • UNET 是从噪音中生成图像的主要组件,在预测过程中通过反复调用 UNET,将其预测输出的 noise slice 从原有的噪声中去除,得到逐步去噪后的图像表示。Stable Diffusion Model 的 UNET 包含约 860M 的参数,以 float32 的精度编码大概需要 3.4G 的存储空间。
    • CLIP 将用户输入的 Prompt 文本转化成 text embedding,UNET 进行迭代降噪,在文本引导下进行多轮预测。
    • 传统扩散模型在处理大尺寸图像和大量扩散步骤时存在计算效率问题,稳定扩散(最初称为潜在扩散模型)是为解决此问题提出的新方法。
  • 存放路径和模型实例:
    • ComfyUI 存放路径:models/checkpoints/SD 基础预训练模型,包括 SD1.5、SDXL 以及 SD 微调模型。
    • 模型实例有【majicMIX realistic 麦橘写实 V7】(sd1.5 微调)、【LEOSAM HelloWorld 新世界】(SDXL 微调)等。
  • 训练方法:DreamBooth(by Google)
  • 格式:EMA-only & pruned 只画图,Full 可画图和微调训练。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

稳定扩散(Stable Diffusion)是如何运作的

如果您曾尝试在太暗的情况下拍照,而拍出的照片全是颗粒状,那么这种颗粒状就是图像中“噪点”的一个例子。我们使用Stable Diffusion来生成艺术作品,但它实际上在幕后所做的是“清理”图像!不过,它比手机图像编辑器中的噪点消除滑块复杂得多。它实际上了解世界的样子、了解书面语言,并利用这些来指导(噪点消除)过程。例如,想象一下,如果我给了下面左边的图像给一位熟练的平面艺术家,并告诉他们这是一幅以H.R。Giger(瑞士画家、雕塑家与布景师,《异形》中的外星生物就是他的作品)的风格描绘的外星人弹吉他的画。我打赌他们可以精心清理它,创造出像右图那样的东西。(这些是稳定扩散的实际图像!)艺术家会利用他们对Giger的艺术作品的了解,以及对世界的了解(例如吉他应该是什么样子以及如何弹奏)来做到这一点。稳定扩散本质上是在做同样的事情![heading2]“推理步骤”[content]你熟悉大多数艺术生成工具中的“推理步骤”滑块吗?稳定扩散是逐步去除噪点的。这是一个运行25步的例子:外星吉他手的例子更有意义,因为你可以更清楚地看出它应该是什么样子的……但在上图中,起始图像看起来完全无法辨认!实际上,这个充满噪点的外星人例子其实是从过程的大约一半开始取的——它(最开始的图像)实际上也是从完全的噪点开始的!

稳定扩散(Stable Diffusion)是如何运作的

为了生成艺术,我们给稳定扩散提供了一个实际上只是纯噪点的初始图像。但是,相当残忍地😏,我们撒谎说:“这是一幅超级充满噪点的H.R。Giger风格的外星人弹吉他的画——你能帮我清理一下吗?”如果你把这个任务交给一个平面艺术家,他们会束手无策——“我帮不了你,这个图像完全无法辨认!”那么稳定扩散是如何做到的呢?在最简单的层面上,答案是它是一个计算机程序,它别无选择,只能做它的事情并为我们生产一些东西。更深层次的答案与这样一个事实有关,即稳定扩散等AI模型(从技术上讲,“机器学习”模型)在很大程度上基于统计数据。它们估计所有选项的概率,即使所有选项的正确概率都极低,它们仍然只会选择概率最高的路径。例如,它对吉他可能出现在图像中的位置有一些理解,并且它可以寻找哪部分噪点最可能像是吉他边缘的部分(即使实际上没有“正确”的选择),然后开始填充物体。因为没有正确的答案,每次你给它一个不同的纯噪点图像,它都会创作出不同的艺术作品!

第二课 《ComfyUI基础知识》 By 郭佑萌 @ 🌈WaytoAGI 2024.8.15 .pdf

UNET是从噪音中生成图像的主要组件,在预测过程中,通过反复调用UNET,将UNET预测输出的noise slice从原有的噪声中去除,得到逐步去噪后的图像表示。Stable Diffusion Model的UNET包含约860M的参数,以float32的精度编码大概需要3.4G的存储空间。(source:zhuanlan.zhihu.com/p/582266032)核心的组件CLIP将用户输入的Prompt文本转化成text embeddingUNET UNET进行迭代降噪,在文本引导下进行多轮预测扩散模型在传统扩散模型中,反向扩散过程通过U-Net结构将全尺寸图像逐步传递,从而获得最终的去噪结果。然而,这种迭代性质在计算效率上带来了挑战,特别是在处理大尺寸图像和大量扩散步骤(T)时。在采样过程中,从高斯噪声中去噪图像可能需要很长时间。为了解决这一问题,一组研究人员提出了一种新的方法,称为稳定扩散(Stable Diffusion),最初称为潜在扩散模型(Latent Diffusion Models)CheckpointComfyUI存放路径:models/checkpoints/SD基础预训练模型SD1.5SDXLSD微调模型模型实例SD1.5【majicMIX realistic麦橘写实V7】by麦橘MERJIC----sd1.5微调SDXL【LEOSAM HelloWorld新世界】by LEOSAM是只兔狲----SDXL微调训练方法DreamBooth,by Google格式EMA-only & pruned VS FullEMA-only & pruned只画图Full画图和微调训练

其他人在问
stable diffusion 绘画
以下是关于 Stable Diffusion 绘画的相关内容: 如果您是运营网店的女装店主,在没有资金请模特的情况下,可以用 Stable Diffusion 来制作商品展示图。具体步骤如下: 1. 真人穿衣服拍照,并获取具有真实质感的照片。若身材方面有问题,可借助美图秀秀或 PS 处理。 2. 选好底模,一定要是 realistic 的、真人照片风格的底模,如 majicmixRealistic_v7。 3. 进行换头操作,根据不同平台需求更换,如面向海外市场换白女头,面向中老妇女换妈妈头。 4. 在图生图下的局部重绘选项卡下涂抹自己替换的部分,并设置好 prompts 和 parameters,如“breathtaking cinematic photo, masterpiece, best quality, , blonde hair, silver necklace, carrying a white bag, standing, full body, detailed face, big eyes, detailed hands”。 关于 Stable Diffusion 的工作原理,就像学习画画临摹梵高的作品一样。您花四十年学习的梵高风格相当于 Stable Diffusion 的大模型——Checkpoint。人们将成千上万美术风格的作品练成模型放入 AI 中,AI 就能依照模型画出类似风格的作品。要画出符合心意的作品,首先要选对合适的大模型。大模型可在 C 站(https://civitai.com/)下载,但需要科学上网。有真实系的(Chillmixout)、二次元的(anything)、游戏 CG 风(ReV Animated)等。 用 Stable Diffusion 时,可以把自己想象成画家。在起笔前要确定照片风格,如二次元动漫、三次元现实照片或盲盒模型。确定风格后切换大模型,不同模型代表不同照片风格,即 SD 界面左上角的“Stable Diffusion 模型”。若想生成真人 AI 小姐姐,可选用 chilloutmix 的大模型。关于模型的获取和存放位置,后续会详细介绍。
2024-11-08
stable diffusion
稳定扩散(Stable Diffusion)的运作原理如下: 消除图像中的噪点: 如同在太暗环境拍照产生的颗粒状噪点,Stable Diffusion 用于生成艺术作品时会在幕后“清理”图像。它比手机图像编辑器中的噪点消除滑块复杂得多,不仅了解世界的样子和书面语言,还能利用这些来指导噪点消除过程。例如,就像平面艺术家利用对特定风格和事物的了解来清理图像一样,Stable Diffusion 本质上也在做类似的事情。 对于“推理步骤”,它是逐步去除噪点的。例如运行 25 步的例子中,起始图像可能完全无法辨认,但它实际上是从完全的噪点开始的。 开始生成的方式:为了生成艺术,给 Stable Diffusion 提供的初始图像实际上只是纯噪点,然后让其进行清理。从简单层面看,它作为计算机程序会执行任务并生成内容。更深层次来说,它基于统计数据,估计所有选项的概率,即使正确概率极低,也会选择概率最高的路径,例如寻找噪点中最可能像吉他边缘的部分来填充物体。每次给它不同的纯噪点图像,都会创作出不同的艺术作品。 此外,UNET 是从噪音中生成图像的主要组件,通过反复调用 UNET 去除噪声得到逐步去噪后的图像表示。Stable Diffusion Model 的 UNET 包含约 860M 的参数。CLIP 将用户输入的 Prompt 文本转化成 text embedding,UNET 在文本引导下进行多轮迭代降噪预测。稳定扩散最初称为潜在扩散模型,是为解决传统扩散模型在计算效率上的挑战而提出的。ComfyUI 中存放路径为 models/checkpoints/,有 SD 基础预训练模型如 SD1.5、SDXL 以及微调模型,训练方法有 DreamBooth 等,格式包括 EMAonly & pruned 和 Full 等。
2024-11-08
Mac部署stable diffusion
在 Mac 上部署 Stable Diffusion 存在一定限制,功能可能不全且出错率偏高,严重影响使用体验。个人建议升级设备或者采用云服务器玩耍。 如果您仍想在 Mac 上部署,可以参考以下步骤: 1. 电脑硬件要求: 系统:无明确针对 Mac 的特定系统要求。 显卡:未明确针对 Mac 的显卡要求。 硬盘:留有足够的空间,最低 100G 起步(包括模型)。 2. 环境安装: 未提供 Mac 系统下的具体环境安装步骤。 由于 Mac 系统的特殊性,更推荐您采用云端部署的方式,相关教程可参考:https://qa3dhma45mc.feishu.cn/wiki/A6WYw1Nm0ikGplkuO9Ecwomqnnd
2024-11-06
stablediffusion在线webui如何开发
开发 Stable Diffusion 在线 Web UI 可以按照以下步骤进行: 1. 安装必要的软件环境: 安装 Git 用于克隆源代码。 安装 Python 3.10.6 版本,确保勾选“Add Python 3.10 to PATH”选项。 安装 Miniconda 或 Anaconda 创建 Python 虚拟环境。 2. 克隆 Stable Diffusion Web UI 源代码: 打开命令行工具,输入命令 git clone https://github.com/AUTOMATIC1111/stablediffusionwebui.git ,将源代码克隆到本地目录。 3. 运行安装脚本: 进入 stablediffusionwebui 目录,运行 webuiuser.bat 或 webui.sh 脚本,它会自动安装依赖项并配置环境。等待安装完成,命令行会显示 Web UI 的访问地址。 4. 访问 Web UI 界面: 复制命令行显示的本地 Web 地址,在浏览器中打开,即可进入 Stable Diffusion Web UI 的图形化界面。 5. 学习 Web UI 的基本操作: 了解 Web UI 的各种设置选项,如模型、采样器、采样步数等。尝试生成图像,观察不同参数对结果的影响。学习使用提示词(prompt)来控制生成效果。 6. 探索 Web UI 的扩展功能: 了解 Web UI 支持的各种插件和扩展,如 Lora、Hypernetwork 等。学习如何导入自定义模型、VAE、embedding 等文件。掌握图像管理、任务管理等技巧,提高工作效率。 在完成了依赖库和 repositories 插件的安装后,还需要进行以下配置: 将 Stable Diffusion 模型放到/stablediffusionwebui/models/Stablediffusion/路径下。然后到/stablediffusionwebui/路径下,运行 launch.py 即可。运行完成后,将命令行中出现的输入到本地网页中,即可打开 Stable Diffusion WebUI 可视化界面。进入界面后,在红色框中选择 SD 模型,在黄色框中输入 Prompt 和负向提示词,在绿色框中设置生成的图像分辨率(推荐设置成 768x768),然后点击 Generate 按钮进行 AI 绘画。生成的图像会展示在界面右下角,并保存到/stablediffusionwebui/outputs/txt2imgimages/路径下。 如果选用 Stable Diffusion 作为 AIGC 后台,需要注意: DallE 缺乏室内设计能力,MidJourney 出图效果好但无法基于现实环境重绘,Stable Diffusion 出图成功率较低,但可调用 controlnet 的 MLSD 插件捕捉现实环境线条特征做二次设计。安装 Stable Diffusion WEB UI 后,修改 webuiuser.bat 文件加上 listen 和 API 参数,让 Stable Diffusion 处于网络服务状态。代码如下: @echo off set PYTHON= set GIT= set VENV_DIR= set COMMANDLINE_ARGS=xformers nohalfvae listen api git pull call webui.bat 让 Stable Diffusion 具有 AI 室内设计能力的步骤: 1. 下载室内设计模型(checkpoint 类型),放到 stable diffusion 目录/models/stablediffusion 下面。 2. 安装 controlnet 插件,使用 MLSD 插件,实现空间学习。 通过 API 方式让前端连接到 Stable Diffusion 后台的具体代码在前端开发详细展开,API 参考文档可选读。
2024-11-01
Stable diffusion提示词生成器
以下是关于 Stable diffusion 提示词生成器的相关内容: 1. 描述逻辑:通常包括人物及主体特征(如服饰、发型发色、五官、表情、动作),场景特征(如室内室外、大场景、小细节),环境光照(如白天黑夜、特定时段、光、天空),画幅视角(如距离、人物比例、观察视角、镜头类型),画质(如高画质、高分辨率),画风(如插画、二次元、写实)。通过这些详细的提示词,能更精确地控制绘图。 2. 辅助网站: http://www.atoolbox.net/ ,可通过选项卡方式快速填写关键词信息。 https://ai.dawnmark.cn/ ,每种参数有缩略图参考,方便直观选择提示词。 还可以去 C 站(https://civitai.com/)抄作业,复制每一张图的详细参数粘贴到正向提示词栏,点击生成按钮下的第一个按键,Stable Diffusion 会自动匹配所有参数,但要注意图像作者使用的大模型和 LORA,否则即使参数相同,生成的图也可能不同。也可以选取其中较好的描述词,如人物描写、背景描述、小元素或画面质感等。 3. 充当有艺术气息的 Stable Diffusion prompt 助理:根据给定的主题想象完整画面,转化为详细、高质量的 prompt,包含“Prompt:”和“Negative Prompt:”两部分,用英文半角“,”分隔,negative prompt 描述不想在生成图像中出现的内容。 4. 插件“Easy Prompt Selector”:安装方式是在扩展面板中点击“从网址安装”,输入 https://github.com/bluepen5805/sdwebeasypromptselector 直接安装,将汉化包复制进“……\\sdwebuiakiv4\\extensions”路径文件夹下覆盖,重启 webUI 后,在生成按钮下会多出“提示词”按钮,点击会出现下拉列表,包含很多分类,如点击“人物”会出现常用标签,选择后自动加入正向提示词。
2024-10-31
Stable Diffusion
稳定扩散(Stable Diffusion)的运作原理如下: 消除图像中的噪点:如果拍照太暗会产生噪点,而 Stable Diffusion 用于生成艺术作品时会在幕后“清理”图像。它比手机图像编辑器中的噪点消除滑块复杂得多,它了解世界的样子和书面语言,并以此指导噪点消除过程。例如,给它一幅以 H.R. Giger 风格描绘的外星人弹吉他的画,它能像熟练的平面艺术家一样进行清理。 推理步骤:稳定扩散是逐步去除噪点的,有“推理步骤”滑块。例如一个运行 25 步的例子,外星吉他手的例子更能清晰展示其效果。 开始方式:为了生成艺术,给 Stable Diffusion 提供的初始图像实际上只是纯噪点,并告知它这是一幅特定风格的画。在最简单层面,它作为计算机程序会执行任务。更深层次,它基于统计数据,估计所有选项的概率,即使概率都极低,也会选择概率最高的路径,例如寻找噪点中最可能像吉他边缘的部分来填充物体。每次给它不同的纯噪点图像,都会创作出不同的艺术作品。 此外,UNET 是从噪音中生成图像的主要组件,在预测过程中,通过反复调用 UNET,将其预测输出的 noise slice 从原有的噪声中去除,得到逐步去噪后的图像表示。Stable Diffusion Model 的 UNET 包含约 860M 的参数,以 float32 的精度编码大概需要 3.4G 的存储空间。 ComfyUI 中的相关内容: CLIP 将用户输入的 Prompt 文本转化成 text embedding,UNET 进行迭代降噪,在文本引导下进行多轮预测。 稳定扩散最初称为潜在扩散模型,解决了传统扩散模型在处理大尺寸图像和大量扩散步骤时计算效率的问题。 Checkpoint 的 ComfyUI 存放路径:models/checkpoints/,包括 SD 基础预训练模型(如 SD1.5、SDXL)、SD 微调模型等。训练方法有 DreamBooth 等,格式有 EMAonly & pruned(只画图)和 Full(画图和微调训练)。
2024-10-29