Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

在comyui中,使用flux1-dev模型24g显存够吗

Answer

在 ComfyUI 中使用 Flux1-dev 模型,24G 显存是可以的,但建议内存尽量高于 32G 以避免意外情况的发生。如果您的显卡是 24G 或更高,右键 24G 那个 train_flux_24GLora 的文件。修改脚本路径和参数时,要注意底模路径、VAE 路径、数据集路径,还有下面的 clip 路径和 T5xxl 路径的正确填写。ae.safetensors 和 flux1-dev.safetensors 的下载地址为:https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main 。flux 相关模型(体积较大)的夸克网盘链接:https://pan.quark.cn/s/b5e01255608b ,百度网盘链接:https://pan.baidu.com/s/1mCucHrsfRo5SttW-03ei0g?pwd=ub9h 提取码:ub9h 。如果 GPU 性能不足、显存不够,底模可以使用 fp8 的量化版模型,下载地址:https://huggingface.co/Kijai/flux-fp8/tree/main 。最后下载 dev 的工作流:dev 的官方原版 workflow.json ,或者使用官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ,打开 ComfyUI 把工作流或图片拖拽到其中即可。

Content generated by AI large model, please carefully verify (powered by aily)

References

郑敏轩 :Flux的Lora模型训练

接下来,如果你的显卡是16G的,右键16G那个train_flux_16GLora的文件,如果你的显卡是24G或更高的,右键24G那个train_flux_24GLora的文件,(DB全参微调会对硬件要求更高一些,内存32G是不行的)不过即使是train_flux_24GLora的方式,也建议内存尽量想办法高于32G,避免意外情况的发生。刚没说完,右键用代码编辑器方式打开(图中右边红框的两种任意一种均可,没有可以下载一下)首先我们开头的绿色部分不用动理论上只改红色部分:底模路径、VAE路径、数据集路径,还有下面的clip路径和T5xxl路径:文章开头的4件套,如果你在一个文件夹里,更简单一些,不用分辨,路径填上去就行。如果不在一起,首先找到你的flux1-dev底模的文件,把他的路径复制过来,注意复制过来后还是一套双引号,有同学会多双引号或者漏双引号,以及路径错误,都会导致后面训练无法进行。注意检查,慎重。然后是ae的那个是VAE路径这里注意训练集的路径!是到train截止!里面虽然还有一层文件夹,但是到此为止!往下,在SD3训练相关参数那里,咱们4件套不是还有2位吗?路径在这里(g那个不用管,是SD3里面的)再次提醒检查格式,别漏了,错了这是最简单的少量修改方式,可以直接看下一段:数据集准备。建议随着深入以及经验丰富后再修改关于其他参数,温馨提醒修改其他深入参数的话自己最好最好备份管理。蓝色部分可改可不改,是备注名称。

工具教程:Flux

https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main我随后也准备一下百度网盘和夸克网盘。更新:(下面准备了夸克和百度的网盘链接,方便部分同学下载)flux相关模型(体积较大)的夸克网盘链接:https://pan.quark.cn/s/b5e01255608bflux相关模型(体积较大)的百度网盘链接:https://pan.baidu.com/s/1mCucHrsfRo5SttW-03ei0g?pwd=ub9h提取码:ub9h如果GPU性能不足、显存不够,底模可以使用fp8的量化版模型,速度会快很多,下载地址:https://huggingface.co/Kijai/flux-fp8/tree/main最后我们再下载dev的工作流:[dev的官方原版workflow.json](https://bytedance.feishu.cn/space/api/box/stream/download/all/KhTAbaxbconU6PxBfJkcAkt8nJc?allow_redirect=1)上面我把工作流复制上了,用上面这个就行。或者下面官方原版的图片链接,图片导入comfyUI就是工作流。https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png我们打开ComfyUI,把工作流或图片拖拽到ComfyUI里:

工具教程:Flux

https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main我随后也准备一下百度网盘和夸克网盘。更新:(下面准备了夸克和百度的网盘链接,方便部分同学下载)flux相关模型(体积较大)的夸克网盘链接:https://pan.quark.cn/s/b5e01255608bflux相关模型(体积较大)的百度网盘链接:https://pan.baidu.com/s/1mCucHrsfRo5SttW-03ei0g?pwd=ub9h提取码:ub9h如果GPU性能不足、显存不够,底模可以使用fp8的量化版模型,速度会快很多,下载地址:https://huggingface.co/Kijai/flux-fp8/tree/main最后我们再下载dev的工作流:[dev的官方原版workflow.json](https://bytedance.feishu.cn/space/api/box/stream/download/all/KhTAbaxbconU6PxBfJkcAkt8nJc?allow_redirect=1)上面我把工作流复制上了,用上面这个就行。或者下面官方原版的图片链接,图片导入comfyUI就是工作流。https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png我们打开ComfyUI,把工作流或图片拖拽到ComfyUI里:

Others are asking
FLUX低显存怎么安装
如果您的显存较低,安装 FLUX 可以参考以下步骤: 1. NF4 模型下载: 链接:https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 放置位置:ComfyUI/models/checkpoint/中(不像其他 Flux 模型那样放置在 UNET 中) NF4 配套节点插件:git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git 2. GGUF 模型下载: 链接:Flux GGUF 模型:https://huggingface.co/city96/FLUX.1devgguf/tree/main GGUF 配套节点插件:GGUF 节点包:https://github.com/city96/ComfyUIGGUF 值得一提的是在最新版本的 ComfyUI 中,GGUF 的节点插件可以在 Manager 管理器中搜到下载安装,NF4 的配套节点插件则搜不到。 3. 对于 8G 以下显存的方案: flux1devbnbnf4.safetensors 放入 ComfyUI\\models\\checkpoints 文件夹内。 ComfyUI_c_NF4 节点:https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 注:如果报错,请更新 BitsandBytes 库。下载放入解压后 ComfyUI\\custom_node 文件夹内,重启 ComfyUI,如果之前没更新,更新后再重启。 相关资源链接: BitsandBytes Guidelines and Flux:https://github.com/lllyasviel/stablediffusionwebuiforge/discussions/981 ComfyUI_bitsandbytes_NF4 节点:https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 flux1devbnbnf4.safetensors:https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 注意使用精度优化的低配模型的话,工作流和原版是不一样的。自己改的话就是把上面官方的这个 fp8 的工作流,只需把底模的节点换成 NF4 的或者 GUFF 的即可。相关生态发展很快,有 Lora、Controlnet、IPadpter 相关生态建设非常速度,以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。
2025-01-09
低显存版怎么安装
对于低显存版的安装,以下是相关步骤: 1. FLUX.1 低显存方案(8G 以下): 将 flux1devbnbnf4.safetensors 放入 ComfyUI\models\checkpoints 文件夹内。 下载 ComfyUI_c_NF4 节点:https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 ,放入解压后 ComfyUI\custom_node 文件夹内。 注:如果报错,请更新 BitsandBytes 库,下载放入解压后 ComfyUI\custom_node 文件夹内,重启 ComfyUI,如果之前没更新,更新后再重启。 2. Dreambooth Extension for StableDiffusionWebUI: 在 SD Web UI 中转到“Extensions(扩展)”选项卡,选择“Available(可用)”子选项卡,选择“Load from:(从...加载)”以加载扩展列表,最后在 Dreambooth 条目旁边点击“install(安装)”。 安装完成后,必须完全重新启动 StableDiffusion WebUI。重新加载 UI 将无法安装所需的依赖项。 还需要更新版本的 diffusers,因为 SDWebUI 使用的是 0.3.0 版本,而 DB 训练需要>=0.10.0 版本。没有正确的 diffusers 版本会导致“UNet2DConditionModel”对象没有属性“enable_gradient_checkpointing”的错误消息,以及安全检查器警告。
2025-01-09
comy UI FLUX 低显存
ComfyUI FLUX 低显存运行的相关内容如下: 工作流: 目的是让 FLUX 模型能在较低的显存情况下运行。 分阶段处理思路: 先使用 Flux 模型在较低分辨率下进行初始生成以提高效率。 采用两阶段处理,先用 Flux 生成,后用 SDXL 放大,有效控制显存的使用。 使用 SD 放大提升图片质量。 工作流的流程: 初始图像生成(Flux): UNETLoader:加载 flux1dev.sft 模型。 DualCLIPLoader:加载 t5xxl 和 clip_l 模型。 VAELoader:加载 fluxae.sft。 CLIPTextEncode:处理输入提示词。 BasicGuider 和 RandomNoise:生成初始噪声和引导。 SamplerCustomAdvanced:使用 Flux 模型生成初始图像。 VAEDecode:解码生成的潜在图像。 初始图像预览:PreviewImage 显示 Flux 生成的初始图像。 图像放大和细化(SDXL): CheckpointLoaderSimple:加载 SDXL 模型(fenrisxl_SDXLLightning.safetensors)。 UpscaleModelLoader:加载 RealESRGAN_x4.pth 用于放大。 VAELoader:加载 sdxl_vae.safetensors。 ImageSharpen:对初始图像进行锐化处理。 UltimateSDUpscale:使用 SDXL 模型和放大模型进行最终的放大和细化。 最终图像预览:PreviewImage 显示最终放大和细化后的图像。 FLUX 模型的选择: 用半精度 fp8 dev 版本(能用单精度 dev 版本的尽量用),也适合 fp8 的 T8 模型,降低对内存的占用。 记得把 weight dtype 也设置为 fp8,降低对显存的使用。 建议:先关闭高清放大部分,等跑出来效果满意的图片后,再开启放大。 ComfyUI 简介: 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI,可以想象成集成了 stable diffusion 功能的 substance designer,通过将 stable diffusion 的流程拆分成节点,实现更加精准的工作流定制和完善的可复现性。 优势: 对显存要求相对较低,启动速度快,出图速度快。 具有更高的生成自由度。 可以和 webui 共享环境和模型。 可以搭建自己的工作流程,可以导出流程并分享给别人,报错的时候能清晰发现错误出在哪一步。 生成的图片拖进后会还原整个工作流程,模型也会选择好。 劣势: 操作门槛高,需要有清晰的逻辑。 生态没有 webui 多(常用的都有),也有一些针对 Comfyui 开发的有趣插件。 官方链接:从 github 上下载作者部署好环境和依赖的整合包,按照官方文档安装即可:https://github.com/comfyanonymous/ComfyUI
2025-01-08
在comyui中,使用flux1-dev模型需要多少显存
在 ComfyUI 中使用 flux1dev 模型所需的显存情况如下: 相关模型的下载地址:https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 对于 GPU 性能不足、显存不够的情况,底模可以使用 fp8 的量化版模型,下载地址为:https://huggingface.co/Kijai/fluxfp8/tree/main 。 低显存方案(8G 以下):flux1devbnbnf4.safetensors ,放入 ComfyUI\\models\\checkpoints 文件夹内,下载链接为 https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 。 此外,还提供了以下相关资源链接: BitsandBytes Guidelines and Flux :https://github.com/lllyasviel/stablediffusionwebuiforge/discussions/981 ComfyUI_bitsandbytes_NF4 节点:https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4
2024-11-12
flux1-depth-dev模型存放路径
flux1depthdev 模型的存放路径如下: 1. 下载 flux1depthdev 模型放到 ComfyUI/models/diffusion_models/文件夹中。 夸克网盘:链接:https://pan.quark.cn/s/571d174ec17f 百度网盘:见前文 2. depth lora 模型:https://huggingface.co/blackforestlabs/FLUX.1Depthdevlora ,放到:comfyUI\\models\\loras 。 3. 百度网盘分享的 flux1depthdevlora.safetensors : 链接:https://pan.baidu.com/s/10BmYtY3sU1VQzwUy2gpNlw?pwd=qflr 提取码:qflr
2024-12-17
2024 AI工具排行榜
以下是 2024 年部分 AI 工具的相关信息: 开发者工具: 23 年 12 月至 24 年 3 月的访问量排行榜中,非大厂的 Top1 公司是 Langchain,其 3 月 PV 为 356 万,单 PV 价值为 56.18 美元。 赛道方面,天花板潜力 TAM 为 120 亿美元,总体趋势平稳增长,月平均增速为 82 万 PV/月,原生产品占比高。 竞争方面,Top1 占 19%,Top3 占 54%,马太效应弱,网络效应强,大厂已入局,技术门槛中。 教育工具: 23 年 12 月至 24 年 3 月的访问量排行榜中,非大厂的 Top1 公司是 Quizlet,其 3 月 PV 为 1.3 亿。 赛道方面,天花板潜力 TAM 约为 30 亿,总体趋势快速增长,月平均增速为 1793 万 PV/月,原生产品占比低。 竞争方面,Top1 占 45%,Top3 占 76%,马太效应弱,网络效应弱,大厂未入局,技术门槛中。 此外,在展望 2025 时,AI 行业的创新机会方面,2024 年 9 月 OpenAI 发布了新一代语言模型 o1,业界推测其采用了全新的训练与推理方案,结合强化学习技术,显著增强了推理能力,可能借鉴了下围棋的 AlphaGo Zero 的技术思路。
2025-01-26
2024年视频换脸技术
2024 年视频换脸技术面临一些挑战和发展趋势: 挑战方面: 可控性和一致性存在挑战,如人脸转动中保持观感不变形、多个生成片段保持人物一致性、遵循生成指令等,目前视频生成的体感仍需改进,需要底层模型的进步。 成本较高,生成一段 5 秒视频的成本最低约为 1 元人民币,限制了 C 端玩法和大规模应用。 发展趋势: 原生多模态成为 AI 架构的主流选择,从 OpenAI 的 GPT4V 到 Anthropic 的 Claude3V 和 xAI 的 Grok1.5V 等,行业正从简单的模态叠加向真正的多模态融合迈进。原生多模态模型采用统一的编码器解码器架构,在预训练阶段完成多模态信息的深度融合,提升了模型的理解能力,实现了模态间的无缝转换和互补增强,能够处理更复杂的任务。 自 2023 年末开始,Runway、Pika、Meta、Google 等不断推出视频生成/编辑工具,2024 年是 AI 视频技术逐渐成熟并开始商用的一年,下半年或 2025 年可能会看到 AI3D 技术的突破。抖音的成功证明音频、视频加入泛社交/娱乐产品会带来质的飞跃,AI 陪聊赛道中视频、音频技术的加入也将带来内容生产和社交方式的质变。
2025-01-24
2024大模型典型应用案例集
以下是 2024 大模型的一些典型应用案例及相关信息: 《2024 大模型典型示范应用案例集》汇集了 97 个优秀案例,展示了大模型技术在教育、医疗、金融、政务等多个行业和领域的应用。案例由阿里云、百度、华为等领先企业实施,上海成为应用落地的热点地区,大中型企业是主要试验场。AI 智能体和知识库成为提升大模型落地实效的关键手段。 在智能终端行业,中国超半数手机厂商都在使用文心大模型,包括三星、荣耀、vivo、OPPO、小米等主流手机品牌;上汽大众、吉利汽车、蔚来汽车、长安汽车等十余家车企已接入百度文心大模型。 整体来看,在主流大模型厂商中,百度表现突出,拿下最关键的中标项目数量、中标金额两项第一。截至 11 月,其文心大模型日均调用量超过 15 亿次,千帆平台帮助客户精调了 3.3 万个模型、开发了 77 万个企业应用。今年三季度财报披露,百度智能云营收达 49 亿元,同比增长 11%,其增长主要由互联网、教育、金融等行业对模型训练和推理的高需求带动。 企业想要真正将大模型在自身场景落地,需要具备构建算力、数据治理、模型训练、场景落实、应用搭建、持续运营、安全合规等整套能力。 相关报告: 《信达证券:AI 行业设计领域专题报告:Adobe AI 功能覆盖全面,Canva、美图等力争上游》 《中国信通院:大模型基准测试体系研究报告(2024 年)》 《埃森哲:人工智能行业:2024 在生成式人工智能时代重塑工作、劳动力和员工》 此外,还有一些相关活动,如: 2024 年是国内大模型技术加速落地的关键年份,各大厂商如百度、阿里、字节等在 AI 大模型领域展开激烈竞争。百度凭借 40 个中标项目和 2.74 亿元中标金额在行业中处于领先地位。尤其在金融、智能终端等行业,百度文心大模型的应用广泛,表现亮眼。 🏮「非遗贺春」魔多蛇年春节 AI 模型创作大赛,大赛时间 2024 年 12 月 24 日2025 年 1 月 15 日。大赛奖池【¥12000】现金奖励+官方高含金量荣誉证书+会员与算力激励+流量激励。双赛道同时开启,赛道一【春节】+赛道二【爱非遗 AI 传承】。本次活动由浙江省非遗保护中心(浙江省非遗馆)指导×浙江省非遗保护基金会主办×魔多 AI 联合承办,由提供社区传播支持。
2025-01-16
2024年人工智能指数报告 下载
以下是为您提供的 2024 年人工智能指数报告的相关下载信息: 1. 《》由微软和领英联合发布,揭示了人工智能(AI)在工作场所的快速增长和深远影响。 2. 可在知识星球下载的报告: 《》深入分析了 AI Agent 的市场定义、发展阶段、核心组件及其在企业用户场景中的应用。 《》企业实施 AI Agent 的主要目标是降低运营成本,尤其是在知识库管理、数据分析、营销与客户服务等领域。 3. 《》数据处理应从模型为中心转向数据为中心,并强调向量数据库在提升模型服务能力中的核心作用。 4. 斯坦福大学发布的基础模型透明度指数相关报告:在上一届 SOAI 发布后不久,斯坦福大学发布了其首个基础模型透明度指数,模型开发者的平均得分为 37 分。在团队的中期更新中,这一分数攀升至 58 分。2024 年 5 月,该指数的最新一期基于 100 项指标,评估了 14 家领先的基础模型开发者的透明度,这些指标涵盖“上游”因素数据、劳动力、计算、围绕能力和风险的“模型级”因素、围绕分布的“下游”标准以及社会影响。计算和使用政策的评分出现了最强劲的改善,而“上游”评分仍然疲弱。 5. 《2024 年人工智能现状:辉煌、戏谑和“牛市”》报告链接:
2025-01-11
2024年人工智能指数报告
以下是关于 2024 年人工智能指数报告的相关内容: 斯坦福大学发布的基础模型透明度指数显示,模型开发者的平均得分从最初的 37 分攀升至中期更新的 58 分。2024 年 5 月的最新一期基于 100 项指标评估了 14 家领先的基础模型开发者的透明度,其中计算和使用政策的评分改善强劲,“上游”评分仍疲弱。 2024 年 AI 年度报告的十大预测包括:好莱坞级别的制作公司开始使用生成式人工智能制作视觉特效;美国联邦贸易委员会或英国竞争与市场管理局基于竞争理由调查微软/OpenAI 的交易;在全球人工智能治理方面进展有限;一首由人工智能创作的歌曲进入公告牌 Hot 100 前 10 名或 Spotify 2024 年热门榜单;随着推理工作负载和成本的显著增长,一家大型人工智能公司收购或建立专注于推理的人工智能芯片公司。同时也有错误预测,如生成式人工智能媒体公司在 2024 年美国选举期间的滥用行为未受到调查,自我改进的人工智能智能体在复杂环境中未超越现有技术最高水平。 预测还覆盖了人工智能领域的多个方面,如主权国家向美国大型人工智能实验室投资超 100 亿美元引发国家安全审查;完全无编码能力的人创建的应用或网站走红;前沿实验室在案件审判后对数据收集实践方式发生重大转变;早期欧盟人工智能法案实施结果比预期宽松;开源的 OpenAI o1 替代品在推理基准测试中超越;挑战者未能突破英伟达市场地位;对人形机器人投资水平下降;苹果在设备上的研究成果加速个人设备上人工智能的发展;人工智能科学家生成的研究论文被主要机器学习会议或研讨会接受;以“生成式人工智能”为元素互动的视频游戏取得突破性地位。
2025-01-11
2024ai 大事记
以下是 2024 年 AI 大事纪的相关内容: 1 月: 斯坦福大学 Mobile Aloha。 1 月 10 号 LumaAl Genie 文生 3D。 1 月 11 号 GPT store 上线。 MagnificAl 高清放大爆火。 1 月最后一天苹果 Vision Pro 宣布发售。 3 月: 潞晨科技发布 OpenSora。 Suno 发布 V3 版本爆火。 4 月:英伟达发布硬件股价飙升。 5 月: 苹果发布 AI 芯片。 张吕敏发布 IC light。 7 月:快手开源 LivePortrait 模型,表情迁移。 8 月:StabilityAI 老板成立新公司发布 flux 大模型。 9 月: 阿里云发布模型,海螺 AI 参战。 Google 发布 GameGen 实时生成游戏。 通义千问 2.5 系列全家桶开源。 华为发布 cloud matrix 云计算基础设施。 GPT 高级语音模式上线。 Meta 发布 AI 眼镜 Orion。 AI 代码编辑器 cursor 爆火。 10 月: Pika 发布 1.5 模型。 诺奖颁发给 AI 奠基人。 特斯拉发布机器人。 Adobe 发布 Illustrator+Al 生成矢量图。 智谱 AI 发布 autoGLM。 腾讯混元开源 3D 模型。 云深处发布机器人山猫机器狗。 Apple 发布 Mac mini。 12 月: 李飞飞发布空间智能成果。 腾讯开源混元视频模型。 Open AI 开 12 天发布会。 微软发布 Trellis 最强开源图生 3D。 Gemini2.0 视觉交互智能体。 智元机器人开始量产。 谷歌发布 Veo2 能生成 4K 视频。 需要注意的是,本大事记经过一定筛选,带有一定倾向性,但不包含任何广告或其他商业考量,仅以新闻热度与大众反响为依据。仅代表个人看法,如有遗漏请谅解。
2025-01-10