Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

comfyui workflow

Answer

ComfyUI 的工作流主要包括以下内容：

  • 低显存运行工作流：目的是让 FLUX 模型能在较低显存情况下运行。分阶段处理思路为，先在较低分辨率下使用 Flux 模型进行初始生成，然后采用两阶段处理，即先用 Flux 生成，后用 SDXL 放大，有效控制显存使用，最后使用 SD 放大提升图片质量。工作流流程包括初始图像生成（Flux）阶段的 UNETLoader 加载 flux1-dev.sft 模型、DualCLIPLoader 加载 t5xxl 和 clip_l 模型、VAELoader 加载 flux-ae.sft 等步骤，以及图像放大和细化（SDXL）阶段的 CheckpointLoaderSimple 加载 SDXL 模型、UpscaleModelLoader 加载 RealESRGAN_x4.pth 用于放大等步骤。
  • 工作流相关网站：
    • Openart.ai：流量较高，支持上传、下载、在线生成，免费账户有 50 个积分，加入 Discord 可再加 100 积分，开通最低每月 6 美元套餐后每月有 5000 积分。
    • ComfyWorkflows 网站：支持在线运行工作流，实际下载量和访问量略少于 openart。
    • Flowt.ai：https://flowt.ai/community
  • 提示词自动生成 ComfyUI 工作流：英伟达整了个花活，通过画图提示词自动生成匹配的 ComfyUI 工作流，命名为 ComfyGen（comfy 生成器），目前仅支持文生图模型。英伟达称其可以生成高质量的图并泛化到其他领域，做了对比测试，效果基本一致甚至更符合人类对提示词的判断和理解，与 C 站上人类写的提示词对比效果略胜一筹，但项目未开源。
Content generated by AI large model, please carefully verify (powered by aily)

References

ComfyUI FLUX低显存运行

这个方法的目的是让FLUX模型能在较低的显存情况下也能运行.分阶段处理的思路:1.使用Flux模型进行初始生成，在较低分辨率下工作以提高效率2.采用两阶段处理：先用Flux生成，后用SDXL放大，效控制显存的使用3.使用SD放大提升图片质量工作流的流程:初始图像生成（Flux）:UNETLoader:加载flux1-dev.sft模型DualCLIPLoader:加载t5xxl和clip_l模型VAELoader:加载flux-ae.sftCLIPTextEncode:处理输入提示词BasicGuider和RandomNoise:生成初始噪声和引导SamplerCustomAdvanced:使用Flux模型生成初始图像VAEDecode:解码生成的潜在图像初始图像预览:PreviewImage:显示Flux生成的初始图像图像放大和细化（SDXL）:CheckpointLoaderSimple:加载SDXL模型(fenrisxl_SDXLLightning.safetensors)UpscaleModelLoader:加载RealESRGAN_x4.pth用于放大VAELoader:加载sdxl_vae.safetensorsImageSharpen:对初始图像进行锐化处理UltimateSDUpscale:使用SDXL模型和放大模型进行最终的放大和细化最终图像预览:PreviewImage:显示最终放大和细化后的图像

ComfyUI工作流网站

Workflow是ComfyUI的精髓。所谓Workflow工作流，在ComfyUI这里就是它的节点结构及数据流运转过程。[heading2]推荐工作流网站[heading3]“老牌”workflow网站Openart.ai[content]https://openart.ai/workflows/流量比较高，支持上传、下载、在线生成，免费账户总共有50个积分，加入Discord可以再加100积分，开通最低的每个月6美元的套餐后，每个月会有5000积分。[heading3]ComfyWorkflows网站[content]https://comfyworkflows.com/cloud支持在线运行工作流，从workflow的实际下载量和访问量来看，略少于openart。[heading3]Flowt.ai[content]https://flowt.ai/community

提示词自动生成 ComfyUI 工作流来了！ （英伟达整花活， 把 ComfyUI 的门槛打下来！

在多次社区的ComfyUI共学中发现，ComfyUI工作流的门槛确实过高。让很多人理解“潜空间”，“Vae”，“LoRA”，“controlnet”等一系列概念非常困难，更别说基于理解做一个工作流了。这次英伟达整了个花活，让大家看到了打破这个门槛的可能性：🌈通过画图提示词，自动生成匹配的ComfyUI工作流！英伟达将其命名为ComfyGen（comfy生成器）！当然目前仅支持文生图模型。在英伟达发布的内容中，他们称：“ComfyGen可以生成高质量的图并泛化到其他领域（如下图）。”并且他们很自豪的宣称：“下图这么优秀的图，完全是ComfyGen基于SDXL规模的模型画的，还没有用flux呢！”当然，作为学术性研究论文，肯定不会很草率的下结论。英伟达团队做了对比测试：下图中分别为1）SDXL原生2）两个微调模型（用过的同学会很熟悉3）两个人搭的工作流4）两个不同的comfyGen制作的图（后文原理部分中会说明这两者的区别）可以看到效果基本一致，甚至确实更符合人类对提示词的判断和理解。同时他们还做了和C站上人类写的提示词作对比：很显然，ComfyGen的效果略胜一筹。不过由于项目未开源，无法体验实际效果。但是如果真的效果如英伟达发布所说，那是相当惊艳了。

Others are asking
ComfyUI中的放大插件
ComfyUI 中的放大插件相关知识如下： 通过使用神经网络对潜在空间进行放大，无需使用 VAE 进行解码和编码，此方法比传统方式快很多且质量损失小。插件项目地址：https://github.com/Ttl/ComfyUi_NNLatentUpscale?tab=readmeovfile 。潜在表示是神经网络处理图像时生成的压缩版本，包含图像主要特征信息，处理潜在表示更快且资源消耗更少。其流程包括生成潜在表示（生成低分辨率图像）、放大潜在表示、生成高分辨率图像（将放大的潜在图像反馈到稳定扩散 UNet 中进行低噪声扩散处理）。UNet 是一种常用于图像处理的特别神经网络结构，包括编码部分（逐步缩小图像提取重要特征）、解码部分（逐步放大图像并重新组合）和跳跃连接（保留细节信息），能在放大图像时保持细节和准确性。 8 月 13 日的 ComfyUI 共学中，讨论了图像生成中分辨率和放大方式。不同模型有适合的分辨率，如 SD1.5 通用尺寸为 512×512 或 512×768，SDXL 基础尺寸为 1024×1024，生成图像前要选对尺寸。通过浅空间缩放放大图像时，直接对浅空间图片编辑放大，然后进行第二次采样和高清处理，直接放大不解码会模糊，需用较低采样系数增加细节。也可使用外置放大模型放大图像，默认放大 4 倍，可通过 resize image 节点调整尺寸，放大后要送回编码器进行采样处理。还提到图像对比节点、算力和资源获取、AI 绘图相关技术与工具、CLIP 和 CFG 的区别、搭建带 Lora 的图生图工作流等内容。 Comfyui PuLID 人物一致节点相关：节点插件 PuLID ComfyUI https://github.com/cubiq/PuLID_ComfyUI 。包括 model（使用预训练的基础文本到图像扩散模型）、pulid（加载的 PuLID 模型权重）、eva_clip（用于从 ID 参考图像中编码面部特征的 EvaCLIP 模型）、face_analysis（使用 InsightFace 模型识别和裁剪 ID 参考图像中的面部）、image（提供的参考图像用于插入特定 ID）、method（选择 ID 插入方法）、weight（控制 ID 插入强度）、start_at 和 end_at（控制在去噪步骤的应用阶段）、attn_mask（可选的灰度掩码图像），还有高级节点可进行更精细的生成调优。
2025-02-20
我要配置一台跑ComfyUI的电脑，请给我最具性价比的推荐
以下是为您推荐的跑 ComfyUI 最具性价比的电脑配置： 系统：Windows 7 以上。 显卡：建议使用 6GB 以上显存的 NVIDIA 显卡（N 卡），最低要求 NVDIA 独立显卡且显存至少 4G 起步。SDXL 出来后，最低需要 8GB 显存+32GB 运行内存，12GB 可流畅运行，推荐 16GB 以上。运行内存最低 32GB，越高越好，最低配可能会经常爆显存。 硬盘：留有足够的空间，最低 100G 起步（包括模型）。最好把软件和模型部署在 SSD（固态硬盘）上，以提高加载模型的速度。 CPU：无特别要求，但如果您的电脑能顺畅清晰地玩 3A 游戏，那运行 ComfyUI 通常也没问题。 需要注意的是，ComfyUI 相比 WebUI 配置更低，系统资源占用更少，出图速度更快，最低可在小于 3G 的 GPU 上运行，甚至没有 GPU 光用 CPU 也可以运行，但速度极慢。配置上不封顶，您可以根据自己的需求和预算来选择。
2025-02-15
comfyui的本地部署安装，GPU：RX6600 8G，CPU：R5 5600，内存：DDR4 8G*2
以下是关于 ComfyUI 本地部署安装的相关信息： ComfyUI 相比 WebUI，配置更低，系统资源占用更少，出图速度更快，最低可在小于 3G 的 GPU 上运行，甚至没有 GPU 光用 CPU 也可以运行，但速度极慢。SDXL 出来后提高了运行配置，最低需要 8GB 显存+32GB 运行内存，12GB 流畅运行，推荐 16GB 以上。运行内存最低 32GB，越高越好，最低配会经常爆显存。玩 SDwebui 和 ComfyUI 建议使用 6GB 以上显存的 NVIDIA 显卡（N 卡），内存在 16G 以上。硬盘会影响加载模型的速度，最好把软件和模型部署在 SSD 上。如果电脑能顺畅清晰地玩 3A 游戏，那玩 webui 和 ComfyUI 也没问题。配置上不封顶，根据自己的需求和预算来即可。 安装地址：https://github.com/comfyanonymous/ComfyUI 。可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ，或者下载安装包 file:ComfyUI.zip ，下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 节点存放目录：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 模型存放目录： 大模型：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae：D:\\COMFYUI\\ComFYUI_windows_portable\\ComfyUI\\models\\vae 。 已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可，这样就不用重复下载模型了。找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件，将后缀.example 删除，然后右键用记事本打开。 您的电脑配置为 GPU：RX6600 8G，CPU：R5 5600，内存：DDR4 8G2，可能需要注意内存方面可能不太满足推荐配置，可能会影响运行效果。
2025-02-13
如何凭借comfyUI，成为自由职业工作者
ComfyUI 是一种具有独特特点和优势的工具，以下是关于如何凭借它成为自由职业工作者的相关内容： ComfyUI 的概念和重要性： ComfyUI 的 UI 界面相较于 SD WebUI 更为复杂，除输入框外还有很多块状元素和复杂连线。 虽然学习成本较高，但连线并不复杂，小方块与 SD WebUI 的输入框和按钮作用相同，都是对参数进行配置，连线类似搭建自动化工作流，从左到右依次运行。 ComfyUI 的功能和优势： 从功能角度看，它与 SD WebUI 提供的功能相同，但以连线方式呈现。 通过改变节点可实现不同功能，如一个是直接加载图片，一个是通过画板绘制图片，从而实现导入图片生图或绘图生图等不同功能。 选择 ComfyUI 的核心原因在于其自由和拓展性，可根据自身需求搭建适合自己的工作流，无需依赖开发者，还能开发并改造节点。 ComfyUI 的基础界面和操作： 熟悉基本界面，如创建第一个工作流时，要进行加载 Latent（设置图片宽高和批次）、加载 VAE 等操作。 节点分为起始节点、最终输出节点和过程执行节点，将各节点按规则串联，如 checkpoint 加载器、CLIP 对应链接正向和负向提示词等，最终得到工作流。 要成为凭借 ComfyUI 的自由职业工作者，需要多练习和使用，尝试通过变现图片获取收益。
2025-02-10
可以不学sd而是直接学comfyui
学习 ComfyUI 而不先学习 SD 是可行的。ComfyUI 具有一些独特的优势，例如更接近 SD 的底层工作原理，能够实现自动化工作流以消灭重复性工作，作为强大的可视化后端工具还能实现 SD 之外的功能，如调用 API 等，并且可根据定制需求开发节点或模块。 比如，有人基于 ComfyUI 中的创建了工作流，不仅能用于绿幕素材的抠图，还能自动生成定制需求的抠图素材，全程只需几秒。 在电脑硬件方面，使用 ComfyUI 时，系统要求 Windows7 以上，显卡要求 NVDIA 独立显卡且显存至少 4G 起步，硬盘需留有至少 100G 空间（包括模型）。但 mac 系统、AMD 显卡、低显卡的情况也能安装使用，只是功能不全、出错率偏高，严重影响使用体验，建议升级设备或采用云服务器。
2025-02-08
ComfyUI教程
以下是一些关于 ComfyUI 的学习教程资源： 1. ComfyUI 官方文档：提供使用手册和安装指南，适合初学者和有经验的用户，可在获取相关信息。 2. 优设网：有详细的 ComfyUI 入门教程，适合初学者，介绍了特点、安装方法及生成图像等内容，教程地址是。 3. 知乎：有用户分享了 ComfyUI 的部署教程和使用说明，适合有一定基础并希望进一步了解的用户，可在找到相关教程。 4. Bilibili：提供了从新手入门到精通各个阶段的系列视频教程，可在查看。 此外，还有以下教程： 1. 一个全面的 ComfyUI 教程：https://www.comflowy.com/zhCN 2. 超有意思的 ComfyUI 教程：https://comfyanonymous.github.io/ComfyUI_tutorial_vn/ ComfyUI 基础教程中关于 KSampler 的部分： KSampler 即采样器，包含以下参数： 1. seed：随机种子，用于控制潜空间的初始噪声，若要重复生成相同图片，需种子和 Prompt 相同。 2. control_after_generate：设置每次生成完图片后 seed 数字的变化规则，有 randomize（随机）、increment（递增 1）、decrement（递减 1）、fixed（固定）。 3. step：采样的步数，一般步数越大效果越好，但与使用的模型和采样器有关。 4. cfg：一般设置在 6 8 之间较好。 5. sampler_name：可通过此设置采样器算法。 6. scheduler：控制每个步骤中去噪的过程，可选择不同调度算法。 7. denoise：表示要增加的初始噪声，文生图一般默认设置为 1。 内容由 AI 大模型生成，请仔细甄别。
2025-02-07
关于workflow有什么著名的论文
以下是一些关于 workflow 的著名论文或相关内容： 1. 5 月 9 日艾木分享的《Workflow》，其中包含关于 workflow 的理论探讨、对 AGI 的正确理解与思考、如何客观看待大语言模型的基础表现、人工智能在编程领域的应用及挑战、从提示词工程到 flow 工程：AI 在代码生成领域的研究与应用、人工智能在开源项目测试集中的表现与工作流的重要性、关于 workflow 的介绍与案例演示等内容。 2. 艾木的《如何用 Coze 制作一个信息检索 Bot（含 Workflow 的基础用法）》，提到 Coze 的 Workflow 为制作 Agents/Bots 提供很大的灵活性和便捷性，对 Workflow 中的函数进行了分类，并提出了超函数（Hyperfuction）的概念。 3. 2024 年 8 月 20 日的更新中，有《[AI Agent 产品经理血泪史（二）欲知方圆，则必规矩【Workflow 篇】》，聚焦于工作流（Workflow）在 AI 智能体中的重要性，回顾了集成平台的演变，探讨了工作流在自动化和手动编排中的应用以及如何提升灵活性以应对不断变化的需求。 4. 还有《[张梦飞：【全网最细】从 LLM 大语言模型、知识库到微信机器人的全本地部署教程》和《[ComfyUI 工作流：黑猴子悟空换脸报错解决大法》等相关内容。
2024-12-18
workflow使用指南
使用工作流的指南如下： 1. 创建工作流。 2. 配置工作流： 通过拖拽的方式将节点添加到画布内，并按照任务执行顺序连接节点。 工作流提供了基础节点供使用，还可以添加插件节点来执行特定任务。具体操作如下： 在左侧面板中选择要使用的节点。 将节点拖拽到画布中，并与其他节点相连接。 配置节点的输入输出参数。 3. 测试并发布工作流。 4. 在 Bot 内使用工作流： 前往当前团队的 Bots 页面，选择进入指定 Bot。 在 Bots 编排页面的工作流区域，单击右侧的加号图标。 在添加工作流对话框，在“我创建的”页面选择自建的工作流。 在 Bot 的人设与回复逻辑区域，引用工作流的名称来调用工作流。
2024-09-23
How Al Agentic workflows could drive more Al progress than even the next generation of foundation models
以下是关于您提出的“ How Al Agentic workflows could drive more Al progress than even the next generation of foundation models ”问题的相关信息： 吴恩达认为人工智能代理工作流程将在今年推动人工智能的巨大进步，甚至可能超过下一代基础模型。构建代理的设计模式框架包括反思、工具使用、规划和多代理协作。反思是指 LLMs 审视自身工作并提出改进方法；工具使用是指赋予 LLMs 如网络搜索、代码执行等工具以帮助其收集信息、采取行动或处理数据；规划是指 LLMs 制定并执行多步骤计划以实现目标；多代理协作则涉及多个 AI 代理共同工作，通过分工、讨论和辩论来提出比单个代理更好的解决方案。这些设计模式为构建高效的 AI 代理提供了指导，并将在下周进一步详细阐述并提供相关阅读建议。 此外，在医疗保健领域，为了产生真正的改变，AI 需要像我们一样学习。必须让这些专家 AI 接触到顶级从业人员的多样化视角，以避免复制危险的偏见。鉴于人工智能依赖的神经网络基础，这些专家 AI 可能通过元学习（或学会学习）比我们预期的更快地获得知识，并带着我们人类一同进步。 在 AI 进化方面，CNN 的结构基于两类细胞的级联模型，主要用于模式识别任务，在计算上比大多数其他架构更有效、更快速，在许多应用中，包括自然语言处理和图像识别，已经被用来击败大多数其他算法。我们每次对大脑的工作机制的认知多一点，神经网络的算法和模型也会前进一步。
2024-09-02
agentic workflow 是什么？
Agentic Workflow 是指通过学会调用外部不同类型的 API 来获取模型中缺少的额外信息、代码执行能力、访问专有信息源等。它将一个复杂的任务分解成较小的步骤，融入更多人类参与到流程中的规划与定义，减少对 Prompt Engineering 和模型推理能力的依赖，提高 LLM 应用面向复杂任务的性能。 生成式 AI 的人机协同分为 Embedding（嵌入式）、Copilot（副驾驶）、Agent（智能代理）3 种产品设计模式，在不同模式下，人与 AI 的协作流程有所差异。 Agentic Workflow 可以使用 Multiagent Collaboration 的方法，让不同角色的 Agent 按照任务要求自主规划选择工具、流程进行协作完成任务。例如，作为产品经理，可通过 Agents 将任务拆解为多个独立任务，遵循不同工作流生成大体符合期望的输出结果，再进行修改。 吴恩达通过开源项目 ChatDev 举例，可让大语言模型扮演不同角色相互协作开发应用或复杂程序。AI Agent 基本框架包括“Agent = LLM + 规划 + 记忆 + 工具使用”，其中 LLM 扮演“大脑”，规划包括子目标分解、反思与改进，记忆分为短期记忆和长期记忆，工具用于处理各种任务。
2024-08-30
Agentic Workflow是什么意思
Agentic Workflow 指的是一种在生成式 AI 的人机协同中，通过不同模式（如 Embedding、Copilot、Agent）下的角色协作流程来完成任务的方式。 在 Agent 模式中，AI 完成大多数工作。它使用 Multiagent Collaboration 的方法，让不同角色的 Agent 按照任务要求自主规划选择工具、流程进行协作。例如，作为产品经理，可将产品功能设计任务拆解为多个独立任务，遵循不同工作流，生成初步结果后再修改。 Agentic Workflow 还通过学会调用外部不同类型 API 来获取模型缺少的额外信息等。其动作的决策需要根据大模型结合问句、上下文规划、各类工具来确定。 从提升效率、提高质量、节省时间的角度思考，Agentic Workflow 可以将复杂任务分解成较小步骤，融入更多人类参与的规划与定义，减少对 Prompt Engineering 和模型推理能力的依赖，提高 LLM 应用面向复杂任务的性能。 吴恩达通过开源项目 ChatDev 举例，让大语言模型扮演不同角色相互协作开发应用或复杂程序。AI Agent 的基本框架包括“LLM +规划+记忆+工具使用”，其中 LLM 扮演“大脑”，规划包括子目标分解、反思与改进，记忆分为短期和长期，工具用于辅助完成任务。
2024-08-30
Agentic Workflow是什么
Agentic Workflow 是一种基于 AI 的工作流管理方式，它可以帮助人们更高效地完成各种任务。以下是关于 Agentic Workflow 的一些介绍： 1. 专家代理：Agentic Workflow 中的专家代理是指具有特定领域和工具专长的 AI 模型，它们能够以步骤化、理性的方式帮助用户达成目标。 2. 工作流程：Agentic Workflow 的工作流程通常包括收集信息、初始化专家代理、持续支持用户直到目标完成等步骤。 3. Tool Use：Tool Use 是指 Agent 通过自行规划任务执行的工作流路径，面向于简单的或者一些线性流程的运行。 4. Planning：Agent 通过自行规划任务执行的工作流路径，面向于简单的或者一些线性流程的运行。 5. Multiagent Collaboration：通过学会调用外部不同类型 API 来获取模型（通常在预训练后很难修改）中缺少的额外信息，代码执行能力，访问专有信息源等（例如获取此时此刻的天气、联网网搜索等）。 6. Action（动作）：根据上述大模型结合问句（Query）、上下文的规划（Context）、各类工具，最终大模型才能决策出最终需要执行的动作是什么。 7. Productivity（效率）：Agentic Workflow 通过将一个复杂的任务分解成较小的步骤，在整个过程中中融入了更多人类参与到流程中的规划与定义。它减少了对 Prompt Engineering 和模型推理能力的依赖，提高了 LLM 应用面向复杂任务的性能，更丰富、更精确。 总的来说，Agentic Workflow 是一种将 AI 技术应用于工作流管理的方式，它可以帮助人们更高效地完成各种任务。
2024-05-29