Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

SD曝显存

Answer

在使用 SD 进行超大尺寸绘制时，直接调分辨率绘制超高分辨率的图片（如 10000x768 的清明上河图）通常会爆显存。正常尺寸设置最高到 2048，无法直接设置 10000 的宽度。解决方法是先在 PS 中设置所需尺寸的画布并保存为 jpg 图片，然后将图片放入 ControlNet 中，点击右下角箭头将尺寸信息发送到生成设置，填入正反向提示词，并启用 Tiled Diffusion 插件（方案选择 Mixture of Diffusers）防止接缝产生。

在 ComfyUI 中，模型的安装部署方面，FLUX 模型建议选择 dev 版本，显卡可以的用 fp16，显卡不够用的选 fp8，模型下载后放入 ComfyUI/models/unet/文件夹中。若爆显存，“UNET 加载器”节点中的 weight_dtype 可设置为 fp8 降低显存使用量，但可能稍降质量。clip 模型（t5xxl_fp16.safetensors 和 clip_l.safetensors）放在 ComfyUI/models/clip/文件夹，也可用 t5xxl_fp8_e4m3fn.safetensors 降低内存使用率。Vae 模型下载后放入 ComfyUI/models/vae 文件夹。

在生成过程中，ComfyUI 处理 SDXL 模型比 webUI 更有效率。例如，ComfyUI 生成过程中显存占用率为 7 - 9GB，每次生成耗时 13 - 15s；webUI 显存占用率为 8 - 11GB，每次生成耗时 25s。此外，还可对 SDXL 进行风格控制，添加【新建节点】-【实用工具】-【SDXL Promot Styler Advanced】节点，通过右键增加输入点将文本提示词赋予 base 和 refiner 并切换风格。

Content generated by AI large model, please carefully verify (powered by aily)

References

【SD】 超大尺寸绘制、分区控制，详解Tiled Diffusion & VAE插件功能

如果你想用SD来画一幅超高分辨率的图片，比如10000x768的清明上河图，直接调分辨率画是不太可能的，因为这样一定会爆显存。而且正常的尺寸设置，最高也就到2048了，没法设置出10000的宽度来。我们首先需要在PS中设置一个这么大尺寸的画布，然后保存成jpg图片。然后将图片放入ControlNet当中，点击右下角的箭头，将当前图片尺寸信息发送到生成设置，可以看到，我们需要的尺寸就设置好了。填入正反向提示词，这里我使用了一个中国风lora。正向：masterpiece,best quality,qingming riverside map,painting,guofeng,chinese style,<lora:Chinese style illustration v2:1>,反向：lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,worst quality,low quality,normal quality,jpeg artifacts,signature,watermark,username,blurry分别启用这两个插件，Tiled Diffusion中的方案选择Mixture of Diffusers，这一种方案可以协调分块扩散过程的混合方式，适合用来直接生成大图，防止接缝的产生。

ComfyUI FLUX

FLUX.1[dev]FLUX.1[dev fp8]FLUX.1[schnell],选一个.建议选择dev版本的,显卡可以的用fp16,显卡不够用的选fp8.模型下载后,放入，这个文件应该放在你的：ComfyUI/models/unet/文件夹中。如果爆显存了,“UNET加载器”节点中的weight_dtype可以控制模型中权重使用的数据类型,设置为fp8，这将使显存使用量降低一半，但可能会稍微降低质量.默认下的weight_type,显存使用比较大.[heading4]clip[content]t5xxl_fp16.safetensors和clip_l.safetensors,放在ComfyUI/models/clip/文件夹里面.https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main可以使用t5xxl_fp8_e4m3fn.safetensors来降低内存使用率，但是如果你有超过32GB内存，建议使用fp16[heading4]Vae[content]下载后,放入ComfyUI/models/vae文件夹https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main[heading3][heading3]T5（/t5xxl_fp16.safetensors）的这个clip，[content]原本是有一个输入输出的。就是有一半是应该空着的。会导致提示词被吞的情况，就是可能会有一半的提示词被吞掉了。所以短提示的效果会比较差。我们在训练flux或者sd3时候，应该尽量的去用长提示词或者自然语言。不要用短提示词。因为T5自带了50%的删标。

【ComfyUI】使用ComfyUI玩SDXL的正确打开方式

在生成过程中，显存的占用率为7-9GB。从后台可以看到，每一次生成的耗时在13-15s之间。我使用同样的参数来测试一下webUI。在生成过程中，显存的占用率为8-11GB。从后台可以看到，每一次生成的耗时在25s之间。可以看出，comfyui在处理sdxl的模型是，确实要比webui更有效率一些。可能有些朋友已经被这个节点绕得有点晕了，但是还没结束。接下来，我们再试一试sdxl的风格控制，添加【新建节点】-【实用工具】-【SDXL Promot Styler Advanced】节点。我们可以看到，在这个节点上有两套正负向提示词，分别对应着base和refiner。点击右键，分别增加g和l作为输入点。这样，我们就可以通过这一个节点将文本提示词分别赋予到base和refiner上，同时也把风格的切换加进了工作流当中。点击这里的【style】就可以看到各种风格了，不过都是英文的。我这里有一份中英文对照的表，大家也可以参考一下，一共105种风格，我会把它放在网盘里。选一个黏土风格进行测试，尺寸设置为1280*768，用时15.11。同样的参数，我在webui里跑了一下，用时3分33秒。

Others are asking
FLUX低显存怎么安装
如果您的显存较低，安装 FLUX 可以参考以下步骤： 1. NF4 模型下载： 链接：https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 放置位置：ComfyUI/models/checkpoint/中（不像其他 Flux 模型那样放置在 UNET 中） NF4 配套节点插件：git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git 2. GGUF 模型下载： 链接：Flux GGUF 模型：https://huggingface.co/city96/FLUX.1devgguf/tree/main GGUF 配套节点插件：GGUF 节点包：https://github.com/city96/ComfyUIGGUF 值得一提的是在最新版本的 ComfyUI 中，GGUF 的节点插件可以在 Manager 管理器中搜到下载安装，NF4 的配套节点插件则搜不到。 3. 对于 8G 以下显存的方案： flux1devbnbnf4.safetensors 放入 ComfyUI\\models\\checkpoints 文件夹内。 ComfyUI_c_NF4 节点：https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 注：如果报错，请更新 BitsandBytes 库。下载放入解压后 ComfyUI\\custom_node 文件夹内，重启 ComfyUI，如果之前没更新，更新后再重启。 相关资源链接： BitsandBytes Guidelines and Flux：https://github.com/lllyasviel/stablediffusionwebuiforge/discussions/981 ComfyUI_bitsandbytes_NF4 节点：https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 flux1devbnbnf4.safetensors：https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 注意使用精度优化的低配模型的话，工作流和原版是不一样的。自己改的话就是把上面官方的这个 fp8 的工作流，只需把底模的节点换成 NF4 的或者 GUFF 的即可。相关生态发展很快，有 Lora、Controlnet、IPadpter 相关生态建设非常速度，以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。
2025-01-09
低显存版怎么安装
对于低显存版的安装，以下是相关步骤： 1. FLUX.1 低显存方案（8G 以下）： 将 flux1devbnbnf4.safetensors 放入 ComfyUI\models\checkpoints 文件夹内。 下载 ComfyUI_c_NF4 节点：https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 ，放入解压后 ComfyUI\custom_node 文件夹内。 注：如果报错，请更新 BitsandBytes 库，下载放入解压后 ComfyUI\custom_node 文件夹内，重启 ComfyUI，如果之前没更新，更新后再重启。 2. Dreambooth Extension for StableDiffusionWebUI： 在 SD Web UI 中转到“Extensions（扩展）”选项卡，选择“Available（可用）”子选项卡，选择“Load from:（从...加载）”以加载扩展列表，最后在 Dreambooth 条目旁边点击“install（安装）”。 安装完成后，必须完全重新启动 StableDiffusion WebUI。重新加载 UI 将无法安装所需的依赖项。 还需要更新版本的 diffusers，因为 SDWebUI 使用的是 0.3.0 版本，而 DB 训练需要>=0.10.0 版本。没有正确的 diffusers 版本会导致“UNet2DConditionModel”对象没有属性“enable_gradient_checkpointing”的错误消息，以及安全检查器警告。
2025-01-09
comy UI FLUX 低显存
ComfyUI FLUX 低显存运行的相关内容如下： 工作流： 目的是让 FLUX 模型能在较低的显存情况下运行。 分阶段处理思路： 先使用 Flux 模型在较低分辨率下进行初始生成以提高效率。 采用两阶段处理，先用 Flux 生成，后用 SDXL 放大，有效控制显存的使用。 使用 SD 放大提升图片质量。 工作流的流程： 初始图像生成（Flux）： UNETLoader：加载 flux1dev.sft 模型。 DualCLIPLoader：加载 t5xxl 和 clip_l 模型。 VAELoader：加载 fluxae.sft。 CLIPTextEncode：处理输入提示词。 BasicGuider 和 RandomNoise：生成初始噪声和引导。 SamplerCustomAdvanced：使用 Flux 模型生成初始图像。 VAEDecode：解码生成的潜在图像。 初始图像预览：PreviewImage 显示 Flux 生成的初始图像。 图像放大和细化（SDXL）： CheckpointLoaderSimple：加载 SDXL 模型（fenrisxl_SDXLLightning.safetensors）。 UpscaleModelLoader：加载 RealESRGAN_x4.pth 用于放大。 VAELoader：加载 sdxl_vae.safetensors。 ImageSharpen：对初始图像进行锐化处理。 UltimateSDUpscale：使用 SDXL 模型和放大模型进行最终的放大和细化。 最终图像预览：PreviewImage 显示最终放大和细化后的图像。 FLUX 模型的选择： 用半精度 fp8 dev 版本（能用单精度 dev 版本的尽量用），也适合 fp8 的 T8 模型，降低对内存的占用。 记得把 weight dtype 也设置为 fp8，降低对显存的使用。 建议：先关闭高清放大部分，等跑出来效果满意的图片后，再开启放大。 ComfyUI 简介： 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI，可以想象成集成了 stable diffusion 功能的 substance designer，通过将 stable diffusion 的流程拆分成节点，实现更加精准的工作流定制和完善的可复现性。 优势： 对显存要求相对较低，启动速度快，出图速度快。 具有更高的生成自由度。 可以和 webui 共享环境和模型。 可以搭建自己的工作流程，可以导出流程并分享给别人，报错的时候能清晰发现错误出在哪一步。 生成的图片拖进后会还原整个工作流程，模型也会选择好。 劣势： 操作门槛高，需要有清晰的逻辑。 生态没有 webui 多（常用的都有），也有一些针对 Comfyui 开发的有趣插件。 官方链接：从 github 上下载作者部署好环境和依赖的整合包，按照官方文档安装即可：https://github.com/comfyanonymous/ComfyUI
2025-01-08
在comyui中，使用flux1-dev模型24g显存够吗
在 ComfyUI 中使用 Flux1dev 模型，24G 显存是可以的，但建议内存尽量高于 32G 以避免意外情况的发生。如果您的显卡是 24G 或更高，右键 24G 那个 train_flux_24GLora 的文件。修改脚本路径和参数时，要注意底模路径、VAE 路径、数据集路径，还有下面的 clip 路径和 T5xxl 路径的正确填写。ae.safetensors 和 flux1dev.safetensors 的下载地址为：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。flux 相关模型（体积较大）的夸克网盘链接：https://pan.quark.cn/s/b5e01255608b ，百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码：ub9h 。如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 。最后下载 dev 的工作流： ，或者使用官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ，打开 ComfyUI 把工作流或图片拖拽到其中即可。
2024-11-12
在comyui中，使用flux1-dev模型需要多少显存
在 ComfyUI 中使用 flux1dev 模型所需的显存情况如下： 相关模型的下载地址：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 对于 GPU 性能不足、显存不够的情况，底模可以使用 fp8 的量化版模型，下载地址为：https://huggingface.co/Kijai/fluxfp8/tree/main 。 低显存方案（8G 以下）：flux1devbnbnf4.safetensors ，放入 ComfyUI\\models\\checkpoints 文件夹内，下载链接为 https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 。 此外，还提供了以下相关资源链接： BitsandBytes Guidelines and Flux ：https://github.com/lllyasviel/stablediffusionwebuiforge/discussions/981 ComfyUI_bitsandbytes_NF4 节点：https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4
2024-11-12
除了SD，有哪些方便快捷的网站可以用的？
以下是一些方便快捷的 AI 相关网站： 1. 吐司：https://tusiart.com/images/635511733697550450?post_id=635512498197535244&source_id=nzywoVHilkK7o_cqaH31xAh 2. 哩布：https://www.liblib.ai/ 3. 哩布哩布 AI：其在线 SD 界面和本地部署界面区别不大，每天有一百次生成次数，且已集成最新的 SDXL 模型。 4. Clipdrop：https://clipdrop.co/stablediffusion ，和 midjourney 的使用方法相似，每天免费 400 张图片，需排队，出四张图约二三十秒。 此外，还有一些 AI 视频相关的网站： 1. SVD：https://stablevideo.com/ ，对于景观更好用。 2. Morph Studio：https://app.morphstudio.com/ ，还在内测。 3. Heygen：https://www.heygen.com/ ，数字人/对口型。 4. Kaiber：https://kaiber.ai/ 5. Moonvalley：https://moonvalley.ai/ 6. Mootion：https://discord.gg/AapmuVJqxx ，3d 人物动作转视频。 7. 美图旗下：https://www.miraclevision.com/ 8. Neverends：https://neverends.life/create ，操作傻瓜。 9. Leiapix：https://www.leiapix.com/ ，可以把一张照片转动态。 10. Krea：https://www.krea.ai/ 11. Opusclip：https://www.opus.pro/ ，利用长视频剪成短视频。 12. Raskai：https://zh.rask.ai/ ，短视频素材直接翻译至多语种。 13. invideoAI：https://invideo.io/make/aivideogenerator/ ，输入想法>自动生成脚本和分镜描述>生成视频>人工二编>合成长视频。 14. descript：https://www.descript.com/?ref=feizhuke.com 15. veed.io：https://www.veed.io/ ，自动翻译自动字幕。 16. clipchamp：https://app.clipchamp.com/ 17. typeframes：https://www.revid.ai/?ref=aibot.cn
2025-02-04
sd 的imagebrowser在哪下载
Stable Diffusion 的 ImageBrowser 插件可以通过以下方式下载： 因为该插件还没有收录到官方的插件列表当中，您可以到这个网址去下载：https://github.com/hnmr293/sdwebuicutoff ，或者是去作者的云盘链接下载。安装之后重启，就可以看到这个插件。 另外，大多数的模型都是在 Civitai（C 站）这个网站里面下载，网址为：https://civitai.com/ 。使用 C 站时需要科学上网，点击右上角的筛选按钮，在框框里面找到自己需要的模型类型。下载的模型保存位置如下： 大模型：存放在 SD 根目录的【……\\models\\Stablediffusion】文件夹。 Lora：存放在根目录下的相应文件夹。 VAE：存放在根目录的【……\\models\\VAE】文件夹。 如果不会科学上网，也可以去启动器的界面直接下载模型。下载的 Embedding 可以在 C 站通过右上角的筛选 Textual Inversion 找到，放在根目录下的 embeddings 文件夹里。
2025-01-23
SD模型
Stable Diffusion（SD）模型是由 Stability AI 和 LAION 等公司共同开发的生成式模型，参数量约 1B，可用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等任务。 文生图任务是将文本输入到 SD 模型，经过一定迭代次数生成符合描述的图片。例如输入“天堂，巨大的，海滩”，模型生成美丽沙滩图片。 图生图任务在输入文本基础上再输入一张图片，模型根据文本提示重绘输入图片使其更符合描述，如在沙滩图片上添加“海盗船”。 输入的文本信息需通过“桥梁”CLIP Text Encoder 模型转换为机器数学信息。该模型作为 SD 模型中的前置模块，将输入文本编码生成 Text Embeddings 特征矩阵，用于控制图像生成。 目前 SD 模型使用的是中的 Text Encoder 模型，其只包含 Transformer 结构，由 12 个 CLIPEncoderLayer 模块组成，模型参数大小为 123M，输出 Text Embeddings 的维度为 77x768。 以下是相关资源获取方式： SD 模型权重：关注 Rocky 的公众号 WeThinkIn，后台回复“SD 模型”，可获得包含多种模型权重的资源链接。 SD 保姆级训练资源：关注 Rocky 的公众号 WeThinkIn，后台回复“SDTrain”，可获得包含数据处理、模型微调训练及基于 SD 的 LoRA 模型训练代码等全套资源。 Stable Diffusion 中 VAE、UNet 和 CLIP 三大模型的可视化网络结构图：关注 Rocky 的公众号 WeThinkIn，后台回复“SD 网络结构”，即可获得网络结构图资源链接。
2025-01-22
SD如何操作
以下是关于 SD 操作的相关内容： Stable Diffusion 中，Checkpoint 是最重要的模型，也是主模型，几乎所有操作都依托于它。主模型基于 Stable Diffusion 模型训练而来，有时被称为 Stable Diffusion 模型。主模型后缀一般为.ckpt 或者.safetensors，体积较大，一般在 2G 7G 之间。要管理模型，需进入 WebUl 目录下的 models/Stable diffusion 目录。 画出商用级别的高清大图操作简单，调整好放大倍率即可直接放大。其原理和其他图片放大原理相同，并非重绘，只是变清晰，缺失细节不会补全。 制作中文文字的思路： 将中文字做成白底黑字，存成图片样式。 使用文生图的方式，使用大模型真实系，输入关键词和反关键词，反复刷机得到满意效果。 可输出 C4D 模型，自由贴图材质效果。 若希望有景深效果，可打开 depth。 打开高清修复，分辨率 1024 以上，步数 29 60。
2025-01-09
sd 学习教程
以下是关于系统学习 Stable Diffusion 提示词的教程： 1. 学习基本概念： 了解 Stable Diffusion 的工作原理和模型架构。 理解提示词如何影响生成结果。 掌握提示词的组成部分（主题词、修饰词、反面词等）。 2. 研究官方文档和教程： 通读 Stable Diffusion 官方文档，了解提示词相关指南。 研究来自开发团队和专家的教程和技巧分享。 3. 学习常见术语和范例： 熟悉 UI、艺术、摄影等相关领域的专业术语和概念。 研究优秀的图像标题和描述，作为提示词范例。 4. 掌握关键技巧： 学习如何组合多个词条来精确描述想要的效果。 掌握使用“（）”、“”等符号来控制生成权重的技巧。 了解如何处理抽象概念、情感等无形事物的描述。 5. 实践和反馈： 使用不同的提示词尝试生成各种风格和主题的图像。 对比提示词和实际结果，分析原因，总结经验教训。 在社区内分享结果，请教高手，获取反馈和建议。 6. 创建提示词库： 根据主题、风格等维度，建立自己的高质量提示词库。 将成功案例和总结记录在案，方便后续参考和复用。 7. 持续跟进前沿： 关注 Stable Diffusion 的最新更新和社区分享。 及时掌握提示词的新技术、新范式、新趋势。 此外，为您推荐以下学习资源： 1. SD 从入门到大佬： Nenly 同学的视频合集（点我看合集）：https://space.bilibili.com/1 。 想入门 SD 的同学可以在安装完 SD 后，参考 0.SD 的安装：https://qa3dhma45mc.feishu.cn/wiki/Ouiyw6v04iTJlmklDCcc50Jenzh 。 可选的一些图片版教程： 。 2. 第一期：上班的你： 。 。 。 。 。 。 。 。 。
2025-01-06
Midjourney+sd可以生成服装模特视频么
Midjourney 和 SD 可以用于生成服装模特视频。以下是一些常见的方法： 1. 方法 1【MJ 出图 + AI 视频软件】：使用 Midjourney 垫图➕描述出图，再去视频工具中转成视频。下载项里的深度图，打开 Midjourney 官网（https://www.midjourney.com/）上传深度图。局部重绘有难度，最终方式可以是分开画，比如先画个被关着的红衣服女孩，再画个二战德国士兵的背影，再合成后交给 MJ。 2. 方法 3【SD 出图 + AI 视频软件】：在 SD 的 controlnet 中上传原图，选择深度，文生图生成图片，再把生成好的图放在 AI 视频工具中进行视频生成。 同时，您还可以参考以下视频工具建议： 。另外，使用 Dreamina 图片生成功能（https://dreamina.jianying.com/aitool/image/generate）上传深度图，选择适应画布比例并填写描述，也可以实现深度图出图和出视频。
2025-01-06