直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

FLUX stable diffusion

回答

以下是关于 FLUX stable diffusion 的相关信息：

  • ComfyUI 的生图原理：ComfyUI 使用预训练的扩散模型作为核心，包括 FLUX 等模型。在节点化界面中，用户可通过不同模块控制潜在空间操作、U-Net 中的推理步骤及条件输入。
  • 稳定扩散的运作：稳定扩散通过逐步去除图像中的噪点来生成艺术作品，它了解世界和书面语言以指导噪点消除过程。
  • Flux 工具：
    • 制作团队：原 stable diffusion 核心团队因开源理念不合，成立“黑森林”团队，推出 Flux。
    • 型号：首次发布三种型号，包括 Flux pro（闭源使用）、Flux dev（开源，供学习研究，不支持商用）、Flux schnell（开源，开源最彻底，支持商用）。
    • 参数量：参数训练量达 12B，语言支持自然语言。相比之下，SD3 Large 训练参数 8B，SD3 Medium 训练参数 2B。
    • 硬件要求：推理 dev 版本的 Flux 模型时，最低显存需要 16G，建议 24G，模型本身大小约 22G。训练时，优化后 16G 可训练 Lora 模型，DB 方式训练微调模型除显存最低 24G 外，内存需 32G 以上。
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

ComfyUI的生图原理 副本

结合ComfyUI的生图原理，这张图展示了扩散模型中的加噪和去噪过程。在ComfyUI的节点化界面中，每一步的操作都可以通过不同的模块来实现，用户可以控制潜在空间中的操作（如调度器和噪声的选择）、U-Net中的推理步骤（通过去噪模块实现）、以及条件输入（通过文本提示或图像引导）。[heading1]一、基础模型[content]ComfyUI使用预训练的扩散模型作为其核心,通常是Stable Diffusion模型。这些模型通过大量图像和文本对的训练,学会了将文本描述与视觉概念关联起来。其中包括SD1.5、SD2.0、SDXL、SD3、FLUX等模型。[heading1]二、文本编码[content]当用户输入文本提示时,ComfyUI首先使用CLIP(Contrastive Language-Image Pre-training)文本编码器将文本转换为向量表示。这个向量捕捉了文本的语义信息。

稳定扩散（Stable Diffusion）是如何运作的

如果您曾尝试在太暗的情况下拍照，而拍出的照片全是颗粒状，那么这种颗粒状就是图像中“噪点”的一个例子。我们使用Stable Diffusion来生成艺术作品，但它实际上在幕后所做的是“清理”图像！不过，它比手机图像编辑器中的噪点消除滑块复杂得多。它实际上了解世界的样子、了解书面语言，并利用这些来指导（噪点消除）过程。例如，想象一下，如果我给了下面左边的图像给一位熟练的平面艺术家，并告诉他们这是一幅以H.R。Giger（瑞士画家、雕塑家与布景师，《异形》中的外星生物就是他的作品）的风格描绘的外星人弹吉他的画。我打赌他们可以精心清理它，创造出像右图那样的东西。（这些是稳定扩散的实际图像！)艺术家会利用他们对Giger的艺术作品的了解，以及对世界的了解（例如吉他应该是什么样子以及如何弹奏）来做到这一点。稳定扩散本质上是在做同样的事情！[heading2]“推理步骤”[content]你熟悉大多数艺术生成工具中的“推理步骤”滑块吗？稳定扩散是逐步去除噪点的。这是一个运行25步的例子：外星吉他手的例子更有意义，因为你可以更清楚地看出它应该是什么样子的……但在上图中，起始图像看起来完全无法辨认！实际上，这个充满噪点的外星人例子其实是从过程的大约一半开始取的——它（最开始的图像）实际上也是从完全的噪点开始的！

工具教程：Flux

作者：郑敏轩/Mike/六耳@郑敏轩https://space.bilibili.com/3461579519560151?spm_id_from=333.999.0.0[heading2]Flux制作团队由来：[content]Flux模型团队制作者：原stable diffusion核心团队因开源理念不合，出来成立“黑森林”团队。黑森林获3200万美元投资，拿出第一款产品：Flux[heading2]首次一次发布三种型号：[content]拿出来时有三种型号：Flux pro（最好的，闭源使用)Flux dev（开源，供学习研究使用，不支持商用）Flux schnell（开源，开源最彻底，支持商用）[heading2]参数量比较：[content]Flux的参数训练量达到了12B，且语言支持自然语言。12B我们类比一下8月6日的智谱发布的开源视频模型CogVideoX-2B，开源的是2B的一个模型，所以模型的视频推理结果不如快手的可灵。8月28日智谱最新开源了5B的视频模型。视频还在5B，由此可见图像12B确实是一个高度（开源里面）所以Flux一出现就占据极重要影响。Flux：训练参数12B（120亿）SD3 Large：训练参数8B（80亿）SD3 Medium：训练参数2B（20亿）[heading2]硬件要求变高：[content]由参数带来的，是硬件要求变高，推理dev版本的Flux模型时，最低显存需要16G，建议24G，模型本身大小是22多G，如果训练的话，经过优化目前16G也可以训练Lora模型，但是DB方式训练微调模型的话，除显存最低要24G外，要求内存也需要32G以上才行。

其他人在问
flux和sdXL出图的区别
Flux 和 SDXL 出图主要有以下区别： 1. 生成人物外观：Flux 存在女生脸油光满面、下巴等相同外观问题，而 SDXL 相对在这方面有改进。 2. 模型构成：SDXL 由 base 基础模型和 refiner 优化模型两个模型构成，能更有针对性地优化出图质量；Flux 中 Dev/Schnell 是从专业版中提取出来，导致多样性丧失。 3. 处理方式：在低显存运行时，可采用先使用 Flux 模型进行初始生成，再用 SDXL 放大的分阶段处理方式，有效控制显存使用。 4. 模型参数和分辨率：SDXL 的 base 模型参数数量为 35 亿，refiner 模型参数数量为 66 亿，总容量达 13G 之多，基于 10241024 的图片进行训练，可直接生成 1000 分辨率以上的图片，拥有更清晰的图像和更丰富的细节；而 Flux 在这方面相对较弱。
2024-12-20
flux和sd3.5出图的区别
Flux 和 SD3.5 出图存在以下区别： 1. 模型性质：Flux.1 有多种版本，如开源不可商用的 FLUX.1等。而 SD3.5 未提及相关性质。 2. 训练参数：Flux.1 的训练参数高达 120 亿，远超 SD3 Medium 的 20 亿。 3. 图像质量和提示词遵循能力：Flux.1 在图像质量、提示词跟随、尺寸适应、排版和输出多样性等方面超越了一些流行模型，如 Midjourney v6.0、DALL·E 3和 SD3Ultra 等。 4. 应用场景：Flux.1 可以在 Replicate 或 fal.ai 等平台上试用，支持在 Replicate、fal.ai 和 Comfy UI 等平台上使用，并且支持用户根据自己的数据集进行微调以生成特定风格或主题的图像。而 SD3.5 未提及相关应用场景。 5. 本地运行：文中尝试了在没有 N 卡，不使用复杂工作流搭建工具的 Mac Mini M1 上运行 FLUX.1，以及在边缘设备 Raspberry PI5B 上运行的情况，未提及 SD3.5 的相关内容。 6. 模型安装部署：对于 Flux.1，不同版本的模型下载后放置的位置不同，如 FLUX.1应放在 ComfyUI/models/unet/文件夹中。而 SD3.5 未提及相关安装部署内容。 7. 显存处理：对于 Flux.1，如果爆显存，“UNET 加载器”节点中的 weight_dtype 可以控制模型中权重使用的数据类型，设置为 fp8 可降低显存使用量，但可能会稍微降低质量。而 SD3.5 未提及相关显存处理内容。 8. 提示词使用：在训练 Flux 时，应尽量使用长提示词或自然语言，避免使用短提示词，因为 T5 自带 50%的删标。而 SD3.5 未提及相关提示词使用内容。
2024-12-20
flux1-depth-dev模型存放路径
flux1depthdev 模型的存放路径如下： 1. 下载 flux1depthdev 模型放到 ComfyUI/models/diffusion_models/文件夹中。 夸克网盘：链接：https://pan.quark.cn/s/571d174ec17f 百度网盘：见前文 2. depth lora 模型：https://huggingface.co/blackforestlabs/FLUX.1Depthdevlora ，放到：comfyUI\\models\\loras 。 3. 百度网盘分享的 flux1depthdevlora.safetensors ： 链接：https://pan.baidu.com/s/10BmYtY3sU1VQzwUy2gpNlw?pwd=qflr 提取码：qflr
2024-12-17
flux模型为什么总是生成动漫风格
Flux 模型生成动漫风格可能有以下原因： 1. 开源社区的发展：FLUX 发布后，其周边生态发展迅速，有多种相关模型和训练脚本被开发，包括动漫 Lora 等，这为生成动漫风格提供了支持。 2. 优秀的图片质量和美学调教风格：FLUX 具有优秀的图片质量和偏向真实的美学调教风格，这使得它能够适应多种风格的生成，包括动漫风格。 3. 提示词和参数设置：在使用 Flux 模型时，输入的提示词和设置的参数可能会引导模型生成动漫风格的图像。 同时，关于模型的更多信息，您可以参考以下链接获取： 1. 褪色胶片风格 Flux Lora 模型下载：https://www.liblib.art/modelinfo/4510bb8cd80142168dc42103d7c20f82?from=personal_page 2. Xlabs 发布的基于 FLUX 的 Controlnet 模型和 Lora 模型的训练脚本：https://github.com/XLabsAI/xflux 3. Xlabs 的多个 Lora 下载：https://huggingface.co/XLabsAI/fluxRealismLora 4. InstantX 训练的 Canny 模型：https://huggingface.co/InstantX/FLUX.1devControlnetCannyalpha
2024-12-15
flux怎么提升生图速度需要哪些依赖
要提升 Flux 的生图速度，以下是一些相关的依赖和要点： 1. 条件引导：在去噪过程中，模型使用编码后的文本向量来引导图像生成，确保生成的图像与输入的文本描述相符。 2. 采样器：ComfyUI 提供了多种采样算法（如 Euler、DDIM、DPM++等）来控制去噪过程，不同的采样器可能会影响生成速度和结果。 3. Vae 编码：VAE 由编码器和解码器组成。编码器输入图像并输出表示其特征的概率分布，解码器将概率分布映射回图像空间。 4. 结果输出：ComfyUI 最终将生成的图像显示在界面上，用户可进行保存、编辑或用于其他目的。 5. 额外控制：ComfyUI 支持多种高级功能，如图像到图像、Lora、ControlNet、ipadapter 等。 6. 低配置方案：对于显存不够 16G 的情况，开源社区有优化方案。如 NF4 来自 controlnet 的作者，GGUF 包含多个版本。NF4 模型可从 https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 下载，放置在 ComfyUI/models/checkpoint/中，其配套节点插件可通过 git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git 获取。GGUF 模型可从 https://huggingface.co/city96/FLUX.1devgguf/tree/main 下载，配套节点插件为 https://github.com/city96/ComfyUIGGUF 。在最新版本的 ComfyUI 中，GGUF 的节点插件可在 Manager 管理器中搜到下载安装，NF4 的配套节点插件则搜不到。使用精度优化的低配模型时，工作流和原版不同。相关生态发展迅速，有 Lora、Controlnet、IPadpter 等，字节最近发布的 Flux Hyper lora 可实现 8 步快速生图。
2024-12-09
flux和lora分别是什么意思
Flux 是一种在图像转换和处理方面具有特定功能的工具。它具有多种功能，如使用 FLUX.1 Canny / Depth 进行结构调节，通过边缘或深度检测来在图像转换过程中保持精确控制；使用 FLUX.1 Redux 进行图像变化和重新设计，给定输入图像可以重现具有轻微变化的图像。 Lora 是一种低阶自适应模型，可以理解为基础模型（如 Checkpoint）的小插件。在生图时可有可无，但对于控制面部、材质、物品等细节有明显价值，旁边的数值是其权重。
2024-11-25
stable diffusion
稳定扩散（Stable Diffusion）的运作原理如下： 消除图像中的噪点： 若在太暗情况下拍照产生的颗粒状即图像中的噪点。Stable Diffusion用于生成艺术作品，其在幕后所做的是“清理”图像，且比手机图像编辑器中的噪点消除滑块复杂得多。它了解世界的样子和书面语言，并利用这些来指导噪点消除过程。例如，给它一幅以H.R. Giger风格描绘的外星人弹吉他的图像，它能像熟练的平面艺术家一样利用对Giger艺术作品和世界的了解来清理图像。 大多数艺术生成工具中有“推理步骤”滑块，稳定扩散是逐步去除噪点的。 开始生成的方式：为了生成艺术，给稳定扩散提供一个纯噪点的初始图像，并谎称这是一幅特定风格的画。稳定扩散能做到是因为它是基于统计数据的计算机程序，会估计所有选项的概率，即使概率都极低，也会选择概率最高的路径，例如寻找噪点中最可能像吉他边缘的部分来填充物体。每次给它不同的纯噪点图像，都会创作出不同的艺术作品。 ComfyUI的生图原理： ComfyUI是一个开源的图形用户界面，用于生成AI图像，主要基于Stable Diffusion等扩散模型。 Pixel Space（像素空间）：图的左边表示输入图像的像素空间，在ComfyUI中，对应于通过“图像输入”模块或直接从文本提示生成的随机噪声图像。生成过程结束时，系统会将处理后的潜在表示转换回像素空间，生成最终的图像。 Latent Space（潜在空间）：ComfyUI中的许多操作都在潜在空间中进行，如KSampler节点就是在这个空间中执行采样过程。图像被映射到潜在空间后，扩散过程在这个空间中进行。在ComfyUI中，可通过节点调整对潜在空间的操作，如噪声添加、去噪步数等。 扩散过程（Diffusion Process）： 噪声的生成和逐步还原：扩散过程表示从噪声生成图像的过程。在ComfyUI中，通常通过调度器（Schedulers）控制，典型的调度器有Normal、Karras等，会根据不同的采样策略逐步将噪声还原为图像。 时间步数：在生成图像时，扩散模型会进行多个去噪步。在ComfyUI中，可通过控制步数来影响图像生成的精细度和质量。
2024-12-18
stable diffusion
稳定扩散（Stable Diffusion）的运作原理如下： 消除图像中的噪点：如果拍照太暗会产生噪点，而 Stable Diffusion 用于生成艺术作品时，在幕后所做的是“清理”图像。它比手机图像编辑器中的噪点消除滑块复杂得多，它了解世界的样子和书面语言，并利用这些来指导噪点消除过程。例如，给它一幅以特定风格描绘的图像，它能像艺术家一样利用对相关艺术作品和世界的了解来清理图像。 “推理步骤”：稳定扩散是逐步去除噪点的，通过“推理步骤”滑块可以控制。 开始方式：为了生成艺术，给稳定扩散提供一个纯噪点的初始图像，并谎称这是一幅特定的画。在最简单层面上，它作为计算机程序会做事并生成东西。更深层次上，它基于统计数据，估计所有选项的概率，即使概率极低也会选择最高概率的路径，比如寻找噪点中最可能像吉他边缘的部分来填充物体。每次给不同的纯噪点图像，都会创作出不同的艺术作品。 ComfyUI 的生图原理： Pixel Space（像素空间）：图的左边表示输入图像的像素空间，在 ComfyUI 中，对应于通过“图像输入”模块或直接从文本提示生成的随机噪声图像，生成过程结束时会将处理后的潜在表示转换回像素空间生成最终图像。 Latent Space（潜在空间）：ComfyUI 中的许多操作都在潜在空间中进行，如 KSampler 节点就是在这个空间中执行采样过程。图像被映射到潜在空间后，扩散过程在这个空间中进行，可通过节点调整对潜在空间的操作，如噪声添加、去噪步数等。 扩散过程（Diffusion Process）：表示从噪声生成图像的过程，在 ComfyUI 中通常通过调度器控制，如 Normal、Karras 等，可通过“采样器”节点选择不同调度器来控制如何在潜在空间中处理噪声以及逐步去噪回归到最终图像。生成图像时会进行多个去噪步，通过控制步数可影响图像生成的精细度和质量。
2024-12-18
stable diffusion通俗讲解
Stable Diffusion 是由 Stability AI 和 LAION 等公司共同开发的生成式模型，参数量约 1B，可用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等任务。 文生图任务是将一段文本输入模型，经过一定迭代次数生成符合描述的图片。例如输入“天堂，巨大的，海滩”，模型生成美丽沙滩图片。 图生图任务在输入文本基础上再输入一张图片，模型根据文本提示重绘输入图片使其更符合描述，如在沙滩图片上添加“海盗船”。 输入的文本信息需通过 CLIP Text Encoder 模型这一“桥梁”转换为机器数学信息，该模型将文本信息编码生成 Text Embeddings 特征矩阵用于控制图像生成。 初始 Latent Feature 经过图像解码器重建是纯噪声图片，而经过 SD 的“图像优化模块”处理后再重建是包含丰富内容的有效图片。UNet 网络+Schedule 算法的迭代去噪过程的每一步结果用图像解码器重建，可直观感受从纯噪声到有效图片的全过程。 以下是 Stable Diffusion 模型工作的完整流程总结及前向推理流程图。 此外，关于 Stable Diffusion 还有系列资源，包括从 0 到 1 读懂其核心基础原理、训练全过程，核心网络结构解析，搭建使用模型进行 AI 绘画的多种方式，经典应用场景，以及上手训练自己的 AI 绘画模型等内容。
2024-12-17
Stable Diffusion 启动器
以下是关于 Stable Diffusion 启动器的相关内容： 整合包： 觉得麻烦的同学可以使用整合包，解压即用。比如也非常好用，将启动器复制到下载仓库的目录下即可，更新管理会更方便。 电脑配置能支持 SD 运行的朋友，可以使用 B 站秋叶分享的整合包。具体安装方法： 打开整合包链接（https://pan.baidu.com/s/1hY8CKbYRAj9RrFGmswdNiA?pwd=caru），下载《1.整合包安装》，存放到电脑本地。 打开保存到电脑里的文件夹。 打开文件夹《1.秋叶整合包主包》，鼠标右击文件，点击“解压文件”，选择解压到 D 盘或者 E 盘。 解压完成后，来到第二个文件夹，双击里面的文件，点击安装。 打开刚刚解压保存的 SD 的根目录，找到启动器，鼠标右击启动器，点击“发送到”，创建桌面快捷方式。 启动器设置： 打开启动器后，可一键启动。如果有其他需求，可以在高级选项中调整配置。 显存优化根据显卡实际显存选择，不要超过当前显卡显存。不过并不是指定了显存优化量就一定不会超显存，在出图时如果启动了过多的优化项（如高清修复、人脸修复、过大模型）时，依然有超出显存导致出图失败的几率。 xFormers 能极大地改善内存消耗和速度，建议开启。准备工作完毕后，点击一键启动即可。等待浏览器自动跳出，或是控制台弹出本地 URL 后说明启动成功。 如果报错提示缺少 Pytorch，则需要在启动器中点击配置。 Stable Diffusion webui 的更新比较频繁，请根据需求在“版本管理”目录下更新，同样地，也请注意插件的更新。 插件： Stable Diffusion 可配置大量插件扩展，在 webui 的“扩展”选项卡下，可以安装插件。点击“加载自”后，目录会刷新，选择需要的插件点击右侧的 install 即可安装。安装完毕后，需要重新启动用户界面。 低配置电脑： 电脑配置较低的朋友，可通过云平台畅玩 SD，比如“青椒云”。使用方法： 点击链接（http://account.qingjiaocloud.com/signup?inviteCode=R0JJ9CHY）注册账号。 下载并安装后，登录账号。 点击右上角的个人中心进行实名认证。 在进行实名认证后回到主界面，点击新增云桌面。想玩 Stable Diffusion 可以选“AIGC 尝鲜”，一般新注册的会有优惠券，可以免费试用。 在新弹出的框框中点击“开机”按钮，稍等一下之后，点击“进入桌面”。进入桌面之后弹出的全部框框可以直接关掉。 点击新打开桌面的“此电脑”，在 C 盘里面找到 SD 的根目录，点击“A 启动器.exe”。 点击右下角的“一键启动”就可以进入 SD。用完云平台之后，记得关机，不然会持续计费。
2024-12-13
stable diffusion
稳定扩散（Stable Diffusion）的运作原理如下： 1. 消除图像中的噪点： 如果在太暗情况下拍照产生的颗粒状即图像中的噪点。 Stable Diffusion用于生成艺术作品，其在幕后所做的是“清理”图像，且比手机图像编辑器中的噪点消除滑块复杂得多。 它了解世界的样子和书面语言，并利用这些来指导噪点消除过程。例如，给它一幅以特定风格描绘的图像，它能像熟练的平面艺术家一样进行清理。 2. “推理步骤”： 稳定扩散是逐步去除噪点的。 以运行 25 步为例，起始图像可能完全无法辨认，实际上最初是从完全的噪点开始。 3. 开始方式： 为生成艺术，给稳定扩散提供纯噪点的初始图像并告知相关描述。 稳定扩散能做到是因为它是计算机程序，且基于统计数据，估计所有选项的概率，即使正确概率极低，仍会选择概率最高的路径，例如寻找噪点中最可能像吉他边缘的部分来填充物体。每次给不同纯噪点图像，都会创作出不同艺术作品。 ComfyUI 的生图原理： 1. Pixel Space（像素空间）和 Latent Space（潜在空间）： Pixel Space：图的左边表示输入图像的像素空间，对应于通过“图像输入”模块或直接从文本提示生成的随机噪声图像，生成过程结束时转换回像素空间生成最终图像。 Latent Space：ComfyUI 中的许多操作在潜在空间中进行，如 KSampler 节点执行采样过程，图像映射到潜在空间后扩散过程在此进行，可通过节点调整潜在空间的操作。 2. 扩散过程（Diffusion Process）： 噪声的生成和逐步还原：扩散过程表示从噪声生成图像的过程，在 ComfyUI 中通过调度器控制，如 Normal、Karras 等，可通过“采样器”节点选择不同调度器控制处理噪声及逐步去噪回归到最终图像。 时间步数：生成图像时扩散模型会进行多个去噪步，通过控制步数影响图像生成的精细度和质量。
2024-12-05
sora是stable diffusion中的一部分吧
Sora 与 Stable Diffusion 有关联。自 2021 年以来，AI 领域出现了能解释人类指令的生成式语言和视觉模型，如 CLIP 和 Stable Diffusion。Stable Diffusion 采用变压器架构和潜在扩散技术解码文本输入生成图像。2023 年出现了商业文本到图像产品，如 Stable Diffusion 等。Sora 是一个重大突破，能根据人类指令生成长达一分钟的视频。从技术架构上，Stable Diffusion 3 后续版本有希望成为 Sora 的开源平替。此外，在一些观点中，Sora 就在 Stable Diffusion 这样的文生图模型之外加了一个时间维度，虽然方法类似，但数据高维很多，实现工程难度大。
2024-12-03