Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

comy UI FLUX 低显存

Answer

ComfyUI FLUX 低显存运行的相关内容如下:

  • 工作流:
    • 目的是让 FLUX 模型能在较低的显存情况下运行。
    • 分阶段处理思路:
      • 先使用 Flux 模型在较低分辨率下进行初始生成以提高效率。
      • 采用两阶段处理,先用 Flux 生成,后用 SDXL 放大,有效控制显存的使用。
      • 使用 SD 放大提升图片质量。
    • 工作流的流程:
      • 初始图像生成(Flux):
        • UNETLoader:加载 flux1-dev.sft 模型。
        • DualCLIPLoader:加载 t5xxl 和 clip_l 模型。
        • VAELoader:加载 flux-ae.sft。
        • CLIPTextEncode:处理输入提示词。
        • BasicGuider 和 RandomNoise:生成初始噪声和引导。
        • SamplerCustomAdvanced:使用 Flux 模型生成初始图像。
        • VAEDecode:解码生成的潜在图像。
        • 初始图像预览:PreviewImage 显示 Flux 生成的初始图像。
      • 图像放大和细化(SDXL):
        • CheckpointLoaderSimple:加载 SDXL 模型(fenrisxl_SDXLLightning.safetensors)。
        • UpscaleModelLoader:加载 RealESRGAN_x4.pth 用于放大。
        • VAELoader:加载 sdxl_vae.safetensors。
        • ImageSharpen:对初始图像进行锐化处理。
        • UltimateSDUpscale:使用 SDXL 模型和放大模型进行最终的放大和细化。
        • 最终图像预览:PreviewImage 显示最终放大和细化后的图像。
  • FLUX 模型的选择:
    • 用半精度 fp8 dev 版本(能用单精度 dev 版本的尽量用),也适合 fp8 的 T8 模型,降低对内存的占用。
    • 记得把 weight dtype 也设置为 fp8,降低对显存的使用。
  • 建议:先关闭高清放大部分,等跑出来效果满意的图片后,再开启放大。

ComfyUI 简介:

  • 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI,可以想象成集成了 stable diffusion 功能的 substance designer,通过将 stable diffusion 的流程拆分成节点,实现更加精准的工作流定制和完善的可复现性。
  • 优势:
    • 对显存要求相对较低,启动速度快,出图速度快。
    • 具有更高的生成自由度。
    • 可以和 webui 共享环境和模型。
    • 可以搭建自己的工作流程,可以导出流程并分享给别人,报错的时候能清晰发现错误出在哪一步。
    • 生成的图片拖进后会还原整个工作流程,模型也会选择好。
  • 劣势:
    • 操作门槛高,需要有清晰的逻辑。
    • 生态没有 webui 多(常用的都有),也有一些针对 Comfyui 开发的有趣插件。
  • 官方链接:从 github 上下载作者部署好环境和依赖的整合包,按照官方文档安装即可:https://github.com/comfyanonymous/ComfyUI
Content generated by AI large model, please carefully verify (powered by aily)

References

ComfyUI FLUX低显存运行

这个方法的目的是让FLUX模型能在较低的显存情况下也能运行.分阶段处理的思路:1.使用Flux模型进行初始生成,在较低分辨率下工作以提高效率2.采用两阶段处理:先用Flux生成,后用SDXL放大,效控制显存的使用3.使用SD放大提升图片质量工作流的流程:初始图像生成(Flux):UNETLoader:加载flux1-dev.sft模型DualCLIPLoader:加载t5xxl和clip_l模型VAELoader:加载flux-ae.sftCLIPTextEncode:处理输入提示词BasicGuider和RandomNoise:生成初始噪声和引导SamplerCustomAdvanced:使用Flux模型生成初始图像VAEDecode:解码生成的潜在图像初始图像预览:PreviewImage:显示Flux生成的初始图像图像放大和细化(SDXL):CheckpointLoaderSimple:加载SDXL模型(fenrisxl_SDXLLightning.safetensors)UpscaleModelLoader:加载RealESRGAN_x4.pth用于放大VAELoader:加载sdxl_vae.safetensorsImageSharpen:对初始图像进行锐化处理UltimateSDUpscale:使用SDXL模型和放大模型进行最终的放大和细化最终图像预览:PreviewImage:显示最终放大和细化后的图像

ComfyUI FLUX低显存运行

FLUX模型用的半精度fp8 dev版本(能用单精度dev版本的尽量用),另外也同时适合fp8的T8模型,来降低对内存的占用.记得,可以把weight dtype也设置为fp8,这能降低对显存的使用.[heading3]建议[content]先闭关高清放大部分,等跑出来效果满意的图片后,再开启放大

问:ComfyUI 是什么?

ComfyUI是一个基于节点流程式的stable diffusion AI绘图工具WebUI,你可以把它想象成集成了stable diffusion功能的substance designer,通过将stable diffusion的流程拆分成节点,实现了更加精准的工作流定制和完善的可复现性。[heading2]优劣势[content]优势:1.对显存要求相对较低,启动速度快,出图速度快;2.具有更高的生成自由度;3.可以和webui共享环境和模型;4.可以搭建自己的工作流程,可以导出流程并分享给别人,报错的时候也能清晰的发现错误出在哪一步;5.生成的图片拖进后会还原整个工作流程,模型也会选择好。劣势:1.操作门槛高,需要有清晰的逻辑;2.生态没有webui多(常用的都有),也有一些针对Comfyui开发的有趣插件。[heading2]官方链接[content]从github上下载作者部署好环境和依赖的整合包,按照官方文档按照即可:https://github.com/comfyanonymous/ComfyUI[heading2]截图示例[heading2]延伸阅读:[content]内容由AI大模型生成,请仔细甄别。

Others are asking
在comyui中,使用flux1-dev模型24g显存够吗
在 ComfyUI 中使用 Flux1dev 模型,24G 显存是可以的,但建议内存尽量高于 32G 以避免意外情况的发生。如果您的显卡是 24G 或更高,右键 24G 那个 train_flux_24GLora 的文件。修改脚本路径和参数时,要注意底模路径、VAE 路径、数据集路径,还有下面的 clip 路径和 T5xxl 路径的正确填写。ae.safetensors 和 flux1dev.safetensors 的下载地址为:https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。flux 相关模型(体积较大)的夸克网盘链接:https://pan.quark.cn/s/b5e01255608b ,百度网盘链接:https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码:ub9h 。如果 GPU 性能不足、显存不够,底模可以使用 fp8 的量化版模型,下载地址:https://huggingface.co/Kijai/fluxfp8/tree/main 。最后下载 dev 的工作流: ,或者使用官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ,打开 ComfyUI 把工作流或图片拖拽到其中即可。
2024-11-12
在comyui中,使用flux1-dev模型需要多少显存
在 ComfyUI 中使用 flux1dev 模型所需的显存情况如下: 相关模型的下载地址:https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 对于 GPU 性能不足、显存不够的情况,底模可以使用 fp8 的量化版模型,下载地址为:https://huggingface.co/Kijai/fluxfp8/tree/main 。 低显存方案(8G 以下):flux1devbnbnf4.safetensors ,放入 ComfyUI\\models\\checkpoints 文件夹内,下载链接为 https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 。 此外,还提供了以下相关资源链接: BitsandBytes Guidelines and Flux :https://github.com/lllyasviel/stablediffusionwebuiforge/discussions/981 ComfyUI_bitsandbytes_NF4 节点:https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4
2024-11-12
comfyui workflow
ComfyUI 的工作流主要包括以下内容: 低显存运行工作流:目的是让 FLUX 模型能在较低显存情况下运行。分阶段处理思路为,先在较低分辨率下使用 Flux 模型进行初始生成,然后采用两阶段处理,即先用 Flux 生成,后用 SDXL 放大,有效控制显存使用,最后使用 SD 放大提升图片质量。工作流流程包括初始图像生成(Flux)阶段的 UNETLoader 加载 flux1dev.sft 模型、DualCLIPLoader 加载 t5xxl 和 clip_l 模型、VAELoader 加载 fluxae.sft 等步骤,以及图像放大和细化(SDXL)阶段的 CheckpointLoaderSimple 加载 SDXL 模型、UpscaleModelLoader 加载 RealESRGAN_x4.pth 用于放大等步骤。 工作流相关网站: Openart.ai:流量较高,支持上传、下载、在线生成,免费账户有 50 个积分,加入 Discord 可再加 100 积分,开通最低每月 6 美元套餐后每月有 5000 积分。 ComfyWorkflows 网站:支持在线运行工作流,实际下载量和访问量略少于 openart。 Flowt.ai:https://flowt.ai/community 提示词自动生成 ComfyUI 工作流:英伟达整了个花活,通过画图提示词自动生成匹配的 ComfyUI 工作流,命名为 ComfyGen(comfy 生成器),目前仅支持文生图模型。英伟达称其可以生成高质量的图并泛化到其他领域,做了对比测试,效果基本一致甚至更符合人类对提示词的判断和理解,与 C 站上人类写的提示词对比效果略胜一筹,但项目未开源。
2025-01-09
comefui可以做视频吗
ComfyUI 可以生成视频。在 ComfyUI 中,您能想到的诸如生成视频、写真、表情包、换脸、换装等都可以完成,统统只需要一个工作流一键完成。而且,将图像视为具有单帧的视频来将 SAM 扩展到视频也是 ComfyUI 的应用之一。
2025-01-09
comfulUI
ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI,以下是关于它的详细介绍: 简介:可以想象成集成了 stable diffusion 功能的 substance designer,通过将 stable diffusion 的流程拆分成节点,实现更精准的工作流定制和完善的可复现性。 优劣势: 优势: 1. 对显存要求相对较低,启动速度快,出图速度快。 2. 具有更高的生成自由度。 3. 可以和 webui 共享环境和模型。 4. 可以搭建自己的工作流程,可以导出流程并分享给别人,报错时能清晰发现错误所在。 5. 生成的图片拖进后会还原整个工作流程,模型也会选择好。 劣势: 1. 操作门槛高,需要有清晰的逻辑。 2. 生态没有 webui 多(常用的都有),但也有一些针对 Comfyui 开发的有趣插件。 官方链接:从 github 上下载作者部署好环境和依赖的整合包,按照官方文档安装即可:https://github.com/comfyanonymous/ComfyUI 生图原理: Pixel Space 和 Latent Space: Pixel Space(像素空间):图的左边表示输入图像的像素空间,在 ComfyUI 中,对应于通过“图像输入”模块或直接从文本提示生成的随机噪声图像,生成过程结束时会将处理后的潜在表示转换回像素空间生成最终图像。 Latent Space(潜在空间):ComfyUI 中的许多操作都在潜在空间中进行,如 KSampler 节点执行采样过程,图像被映射到潜在空间后,扩散过程在这个空间中进行,可通过节点调整对潜在空间的操作。 扩散过程(Diffusion Process): 噪声的生成和逐步还原:扩散过程表示从噪声生成图像的过程,在 ComfyUI 中通过调度器控制,可通过“采样器”节点选择不同调度器控制在潜在空间中处理噪声及逐步去噪回归到最终图像。 时间步数:在生成图像时,扩散模型会进行多个去噪步,可通过控制步数影响图像生成的精细度和质量。 安装部署: 地址:https://github.com/comfyanonymous/ComfyUI ,可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ,或者下载安装包 file:ComfyUI.zip ,下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘,然后找到文件名称为 run_nvidia_gpu 的文件双击并启动,启动完成即进入基础界面。 节点存放目录:comfyUI 的节点包括后面安装的拓展节点都存放在本目录下 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 模型存放目录: 1. 大模型:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 2. Lora:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 3. Vae:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 。 模型共用:已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型,找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件,将后缀.example 删除,然后右键用记事本打开。 快捷键:未提及。
2025-01-09
comfyui 学习教程
以下是一些关于 ComfyUI 的学习资源和推荐学习路径: 学习资料网站: ComfyUI 官方文档:提供使用手册和安装指南,适合初学者和有经验的用户。网站:https://www.comfyuidoc.com/zh/ 优设网:有详细的入门教程,介绍了 ComfyUI 的特点、安装方法及生成图像等内容。教程地址:https://www.uisdc.com/comfyui3 知乎:有用户分享的部署教程和使用说明,适合有一定基础并希望进一步了解的用户。教程地址:https://zhuanlan.zhihu.com/p/662041596 Bilibili:有一系列涵盖从新手入门到精通各个阶段的视频教程。教程地址:https://www.bilibili.com/video/BV14r4y1d7r8/ 共学快闪内容:包括 Stuart 风格迁移、红泥小火炉基础课程、大雨换背景图等众多课程和工作流相关内容。 推荐学习路径: 入门视频教程:学习三个 NENLY 出品的免费视频课程,包括“ComfyUI 入门教程”(https://www.bilibili.com/video/BV1D7421N7xN)、“ComfyUI 自定义节点的秘密”(https://www.bilibili.com/video/BV1pZ421b7t7)、“拆解 ComfyUI 工作流”(https://www.bilibili.com/video/BV1ab42187er/)。 理论宝典教程:学习 ZHO 出品的免费理论视频课程。 文生图实操:学习完上述视频课程后,可使用文生图工作流实际出图实操,工作流地址:https://openart.ai/workflows/lailai/textgeneratesimagesmvpworkflow/ChYNJiXHkZrjyvg1yL9f 内容由 AI 大模型生成,请仔细甄别。
2025-01-06
Stable Diffusion、comfyui
ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI,您可以将其想象成集成了 stable diffusion 功能的 substance designer。它具有以下特点: 优势: 对显存要求相对较低,启动和出图速度快。 生成自由度更高。 可以和 webui 共享环境和模型。 能搭建自己的工作流程,可导出流程并分享,报错时能清晰发现错误所在。 生成的图片拖进后会还原整个工作流程,模型也会选择好。 劣势: 操作门槛高,需要有清晰的逻辑。 生态没有 webui 丰富(但常用的都有),也有一些针对 Comfyui 开发的有趣插件。 其生图原理如下: 基础模型:ComfyUI 使用预训练的扩散模型作为核心,通常是 Stable Diffusion 模型,包括 SD1.5、SD2.0、SDXL、SD3、FLUX 等。 文本编码:当用户输入文本提示时,ComfyUI 首先使用 CLIP 文本编码器将文本转换为向量表示,以捕捉文本的语义信息。 Pixel Space 和 Latent Space: Pixel Space(像素空间):图的左边表示输入图像的像素空间,在 ComfyUI 中,对应于“图像输入”模块或直接从文本提示生成的随机噪声图像,生成过程结束时会将处理后的潜在表示转换回像素空间生成最终图像。 Latent Space(潜在空间):ComfyUI 中的许多操作都在潜在空间中进行,如 KSampler 节点执行采样过程,通过节点调整对潜在空间的操作,如噪声添加、去噪步数等。 扩散过程(Diffusion Process): 噪声的生成和逐步还原:扩散过程表示从噪声生成图像的过程,在 ComfyUI 中通常通过调度器控制,如 Normal、Karras 等,可通过“采样器”节点选择不同调度器控制处理噪声和逐步去噪回归到最终图像。 时间步数:在生成图像时,扩散模型会进行多个去噪步,通过控制步数影响图像生成的精细度和质量。 官方链接:https://github.com/comfyanonymous/ComfyUI (内容由 AI 大模型生成,请仔细甄别)
2025-01-06
自动生成UI界面
以下是关于自动生成 UI 界面的相关信息: Midjourney 生成 UI 界面: 页面指令:如果想指定生成某个页面(如首页、登录页等),只需添加页面指令描述,例如“landing page”“Profile Page”。社交平台可使用“landing page”生成登录页设计,信息类可用“Profile Page”生成人力资源类产品的个人资料页,包含照片、自我介绍、基本信息等内容。 AI 设计指令:Midjourney 中没有固定的 Prompt 来生成某种 APP,可先使用指令模板“ui design forapplication,mobile app,iPhone,iOS,Apple Design Award,screenshot,single screen,high resolution,dribbble”,将“类型”替换成想设计产品的关键词描述(英文),就能生成想要的 UI 设计图。例如出行类可使用“距离、车费、费用结算、优惠金额、地图”等关键词,餐饮类可使用“介绍咖啡的特色、口味、咖啡豆产地、价格”等关键词,运动类可使用“卡路里、步数、距离、某种运动”等描述。 Uizard 生成 UI 界面: Uizard 可以通过文字描述生成相关界面及简单的界面,网址为:https://uizard.io/autodesigner/ 。 Midjourney 产出的设计图视觉效果不错,更适合在 APP 设计的初始阶段,如头脑风暴和风格探索中为设计师提供灵感和创意。但目前让其产出的 UI 设计图直接落地开发仍有距离,不过按照 AI 现在的技术迭代速度,这个距离应该不会太远。
2025-01-04
flux lora调参数,我训练出来的人物模型和数据集的人物图片不像,出现这种情况的原因都有哪些,应该调整哪些参数,我需要我的flux模型训练出来的模型是一致性还原性,和泛化性比较不错的,按照这个方向给我指导
以下是关于 flux lora 调参数以获得一致性、还原性和泛化性较好的人物模型的指导: 打标环节: 选择基础大模型,如“麦橘写实”,并为 lora 命名。 将照片导入,选择合适分辨率,可勾选“脸部加强训练”,然后进行预处理。手动裁剪图片比自动裁剪更可靠。 预处理后会出现脸部和整体文件夹,且每张照片自动打好 tag 标签。 可为整体添加统一标签,也可单独修改每张图片的标签。标签有助于 AI 理解图片,描述越详细,人物变化可能越多,泛化性可能越好。仔细检查每张图片的标签,其质量会影响人物 lora 的泛化性。 参数调整环节: 大部分参数是固定的,主要的几个按照人物参数配置一遍。后期根据生成结果再调整。 炼丹环节: 例如 18 张脸部图片,20 张整体图片,各训练 50 步,循环训练 10 次,并行步数为 1。训练总步数和时长会有所不同,loss 值可作为参考,但最终效果仍需通过测试判断。 此外,在 Lora 串联方面,多个 Lora 串联时左右顺序不影响结果,可复制并点对点连接。CLIP 层 1 和 2 的效果不同,加 Lora 时某些 Lora 可能更适合 2。Lora 可用于生成底模无法画出的内容。在运行中点击取消可打断正在渲染跑的图。图像放大可通过 up scale image using model 节点,选择放大模型,用 resize 节点调整尺寸,再用编码器和采样器处理。放大模型直接放大的图像效果不佳,需再次采样增加细节。添加飞桨缺失节点可通过拖入工作流查看标红节点,从管理器安装或从 GitHub 获取节点包放入文件管理系统。采样器和调度器参数设置建议参考模型作者推荐,并结合自己调试。Web UI 中 Lora 库有刷新按钮,将 Lora 丢到文件夹后多点几次刷新即可。
2025-01-04
flux lora训练指南
以下是关于 Flux 的 Lora 模型训练的指南: 准备工作: 需要下载以下模型: t5xxl_fp16.safetensors clip_l.safetensors ae.safetensors flux1dev.safetensors 注意事项: 1. 不使用的话,模型放置位置不限,但要清楚其“路径”,后续会引用到。 2. 训练建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 修改脚本路径和参数: 如果显卡是 16G,右键 16G 的 train_flux_16GLora 文件;如果显卡是 24G 或更高,右键 24G 的 train_flux_24GLora 文件。(DB 全参微调对硬件要求高,内存 32G 可能不行。即使是 train_flux_24GLora 方式,也建议内存高于 32G 以避免意外。) 右键用代码编辑器打开文件,理论上只需修改红色部分:底模路径、VAE 路径、数据集路径,还有下面的 clip 路径和 T5xxl 路径。如果 4 件套在一个文件夹,路径填写更简单;若不在,需准确复制各模型的路径,注意检查格式,避免多双引号、漏双引号或路径错误。 数据集准备: 1. 进入厚德云 模型训练 数据集:https://portal.houdeyun.cn/sd/dataset 2. 创建数据集:在数据集一栏中,点击右上角创建数据集,输入数据集名称。zip 文件可以包含图片+标签 txt,也可以只有图片(之后可在 c 站使用自动打标功能),也可一张一张单独上传照片,但建议提前将图片和标签打包成 zip 上传。Zip 文件里图片名称与标签文件应当匹配,例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传 zip 后等待一段时间,确认创建数据集,返回到上一个页面,等待上传成功后可点击详情检查,能预览到数据集的图片以及对应的标签。 Lora 训练: 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。选择数据集,点击右侧箭头选择上传过的数据集。触发词可有可无,取决于数据集是否有触发词。模型效果预览提示词可随机抽取数据集中的一个标签填入。训练参数可调节重复次数与训练轮数,若不知如何设置,可默认 20 重复次数和 10 轮训练轮数。可按需求选择是否加速,点击开始训练,会显示所需消耗的算力,然后等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图,鼠标悬浮到想要的轮次模型,中间会有生图,点击会自动跳转到使用此 lora 生图的界面,点击下方的下载按钮则会自动下载到本地。
2025-01-04
flux模型风格提示词
以下是关于 Flux 模型风格提示词的相关信息: ComfyUI Flux redux: Redux 模型是轻量级的,可与 Flux.1配合使用,基于 1 个输入图像生成图像变体,无需提示,适合快速生成特定样式图像。 往一张图上融合时,提示词最好描述图片背景颜色。 将 Redux 模型下载到 comfyui/models/style_models,下载 sigclip_patch14384.safetensors 到 ComfyUI/models/clip_vision。 重绘节点为 ComfyUIInpaintEasy,相关链接:https://github.com/CYCHENYUE/ComfyUIInpaintEasy。 ComfyUI FLUX 模型的安装部署: 模型 FLUX.1中,建议选择 dev 版本,显卡可以的用 fp16,显卡不够用的选 fp8。模型下载后放入 ComfyUI/models/unet/文件夹中。若爆显存,“UNET 加载器”节点中的 weight_dtype 可设置为 fp8 降低显存使用量,但可能稍降质量,默认的 weight_type 显存使用较大。 clip 方面,t5xxl_fp16.safetensors 和 clip_l.safetensors 放在 ComfyUI/models/clip/文件夹里,相关链接:https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main。可用 t5xxl_fp8_e4m3fn.safetensors 降低内存使用率,有超过 32GB 内存建议用 fp16。 Vae 下载后放入 ComfyUI/models/vae 文件夹,相关链接:https://huggingface.co/blackforestlabs/FLUX.1schnell/tree/main。 T5(/t5xxl_fp16.safetensors)的 clip 原本有输入输出,可能会导致提示词被吞,短提示效果差,训练 flux 或 sd3 时应尽量用长提示词或自然语言。 STYLE PROMPTS 风格: Stratospheric:关联流派为 Soundtrack、Classical、Orchestral。指高空和极高的音乐风格,具有高亢壮丽特质,典型用于表现高空和极高情感的音乐作品,示例为 Queen 的《Bohemian Rhapsody》。 Streetwise:关联流派为 HipHop、Rap、R&B。指街头和世故的音乐风格,具有现实机智特质,典型用于表现街头和世故情感的音乐作品,示例为 JayZ 的《Empire State of Mind》。 Strength:关联流派为 Rock、Hard Rock、Arena Rock。指力量和坚强的音乐风格,具有强大坚定特质,典型用于表现力量和坚强情感的音乐作品,示例为 Survivor 的《Eye of the Tiger》。 Stressful:关联流派为 Progressive Rock、Psychedelic Rock、Classic Rock。指紧张和压力的音乐风格,具有紧张焦虑特质,典型用于表现紧张和压力情感的音乐作品,示例为 Pink Floyd 的《Time》。 Stretching:指延伸和扩展的音乐风格,具有延展渐进特质,典型用于表现延伸和扩展情感的音乐作品。
2025-01-03
flux-dev提示词
以下是关于 ComfyUI Fluxdev 提示词的相关信息: Redux 模型:是轻量级模型,可与 Flux.1配合使用,基于 1 个输入图像生成图像变体,无需提示,适合快速生成特定样式的图像。若要往一张图上融合,提示词最好描述图片的背景颜色。将 Redux 模型下载到 comfyui/models/style_models,下载 sigclip_patch14384.safetensors 到 ComfyUI/models/clip_vision。重绘节点可使用 ComfyUIInpaintEasy,链接为 https://github.com/CYCHENYUE/ComfyUIInpaintEasy。 低显存运行工作流:目的是让 FLUX 模型能在较低显存情况下运行。分阶段处理思路为:先在较低分辨率下使用 Flux 模型进行初始生成以提高效率,采用两阶段处理,即先用 Flux 生成,后用 SDXL 放大,有效控制显存使用,最后使用 SD 放大提升图片质量。工作流流程包括初始图像生成(Flux)和图像放大和细化(SDXL),各阶段涉及不同的模型加载、处理和预览步骤。 模型的安装部署:FLUX.1中建议选择 dev 版本,显卡可以的用 fp16,显卡不够用的选 fp8,模型下载后放入 ComfyUI/models/unet/文件夹。若爆显存,可在“UNET 加载器”节点中的 weight_dtype 设置为 fp8 降低显存使用量,但可能稍降质量。t5xxl_fp16.safetensors 和 clip_l.safetensors 放在 ComfyUI/models/clip/文件夹,可使用 t5xxl_fp8_e4m3fn.safetensors 降低内存使用率,超过 32GB 内存建议使用 fp16。Vae 下载后放入 ComfyUI/models/vae 文件夹。T5(/t5xxl_fp16.safetensors)的 clip 原本有输入输出,可能导致提示词被吞,短提示效果差,训练 flux 或 sd3 时应尽量用长提示词或自然语言。
2025-01-03
我想问 有没有可以帮忙写 flux 或者其他图像模型 prompt 的 system prompt 模板
以下是为您整理的相关内容: 关于 FLUX 模型的安装部署: 模型选择:FLUX.1 有 dev、dev fp8、schnell 等版本,建议选择 dev 版本,显卡较好可用 fp16,显卡不够选 fp8。模型下载后放入 ComfyUI/models/unet/文件夹中。若爆显存,可在“UNET 加载器”节点中将 weight_dtype 设置为 fp8,降低显存使用量,但可能稍降质量。 clip:t5xxl_fp16.safetensors 和 clip_l.safetensors 放在 ComfyUI/models/clip/文件夹里,也可用 t5xxl_fp8_e4m3fn.safetensors 降低内存使用率,超过 32GB 内存建议用 fp16。 Vae:下载后放入 ComfyUI/models/vae 文件夹。 关于训练 Midjourney 的 prompt: 训练问题:强大的 DMs 通常消耗数百个 GPU 天,推理由于顺序评估而成本高昂。在有限的计算资源上应用 DMs 于强大的预训练自动编码器的潜在空间中训练,可在不影响质量和灵活性的情况下实现复杂度降低和细节保留的最佳点,显著提高视觉保真度。引入交叉注意力层到模型架构使扩散模型成为强大灵活的生成器,支持文本和边界框等一般条件输入,实现高分辨率卷积合成。 版本:Midjourney 定期发布新模型版本以提高效率、连贯性和质量。最新模型为默认,也可通过version 或v 参数或/settings 命令选择其他版本。V5 模型于 2023 年 3 月 15 日发布,具有更广泛的风格范围、更高的图像质量、更详细的图像等优点。 关于 ComfyUI 图片提示词反推提示词生成: 在 ComfyUI 里使用 MiniCPM 做图片提示词反推与文本提示词生成,可和 flux 模型配合生成图片,建议使用量化版本的模型(int4 结尾)节省显存。 安装方法:进入 ComfyUI 自定义节点目录,克隆相关仓库,重启 ComfyUI。 模型下载:网盘 https://pan.quark.cn/s/00b3b6fcd6ca ,下载后放入 ComfyUI 的 models 文件夹下 MiniCPM 文件夹中,没有就新建一个。
2025-01-02
flux lora训练
以下是关于 Flux 的 Lora 模型训练的相关内容: 模型准备: 需下载以下模型:t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意:不使用时存放位置不限,只要知晓路径即可。训练建议使用 flux1dev.safetensors 和 t5xxl_fp16.safetensors 版本。 下载训练脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 数据集准备: 进入厚德云模型训练数据集(https://portal.houdeyun.cn/sd/dataset)。 创建数据集:在数据集一栏中,点击右上角创建数据集,输入数据集名称。可以提前将图片和标签打包成 zip 上传,也可一张一张单独上传照片。Zip 文件里图片名称与标签文件应当匹配,例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传 zip 后等待一段时间,确认创建数据集,返回到上一个页面等待上传成功,可点击详情检查,预览数据集的图片以及对应的标签。 Lora 训练: 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 选择数据集,点击右侧箭头选择上传过的数据集。 触发词可有可无,取决于数据集是否有触发词。 模型效果预览提示词随机抽取数据集中的一个标签填入。 训练参数可调节重复次数与训练轮数,厚德云会自动计算训练步数。若不知如何设置,可默认 20 重复次数和 10 轮训练轮数。可按需求选择是否加速,点击开始训练,会显示所需消耗的算力,然后等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图,鼠标悬浮到想要的轮次模型,中间会有生图,点击会自动跳转到使用此 lora 生图的界面,点击下方下载按钮可自动下载到本地。 数据集存放位置:.Flux_train_20.4\\train\\qinglong\\train ,红色文件夹内。若未准备数据集,此路径内有试验数据集可直接使用。 运行训练:约 1 2 小时即可训练完成。 验证和 lora 跑图:若有 ComfyUI 基础,在原版工作流的模型后面,多加一个 LoraloaderModelOnly 的节点即可,自行选择 Lora 和调节参数。
2024-12-27