Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

comfyui workflow

Answer

ComfyUI 的工作流主要包括以下内容：

  • 低显存运行工作流：目的是让 FLUX 模型能在较低显存情况下运行。分阶段处理思路为，先在较低分辨率下使用 Flux 模型进行初始生成，然后采用两阶段处理，即先用 Flux 生成，后用 SDXL 放大，有效控制显存使用，最后使用 SD 放大提升图片质量。工作流流程包括初始图像生成（Flux）阶段的 UNETLoader 加载 flux1-dev.sft 模型、DualCLIPLoader 加载 t5xxl 和 clip_l 模型、VAELoader 加载 flux-ae.sft 等步骤，以及图像放大和细化（SDXL）阶段的 CheckpointLoaderSimple 加载 SDXL 模型、UpscaleModelLoader 加载 RealESRGAN_x4.pth 用于放大等步骤。
  • 工作流相关网站：
    • Openart.ai：流量较高，支持上传、下载、在线生成，免费账户有 50 个积分，加入 Discord 可再加 100 积分，开通最低每月 6 美元套餐后每月有 5000 积分。
    • ComfyWorkflows 网站：支持在线运行工作流，实际下载量和访问量略少于 openart。
    • Flowt.ai：https://flowt.ai/community
  • 提示词自动生成 ComfyUI 工作流：英伟达整了个花活，通过画图提示词自动生成匹配的 ComfyUI 工作流，命名为 ComfyGen（comfy 生成器），目前仅支持文生图模型。英伟达称其可以生成高质量的图并泛化到其他领域，做了对比测试，效果基本一致甚至更符合人类对提示词的判断和理解，与 C 站上人类写的提示词对比效果略胜一筹，但项目未开源。
Content generated by AI large model, please carefully verify (powered by aily)

References

ComfyUI FLUX低显存运行

这个方法的目的是让FLUX模型能在较低的显存情况下也能运行.分阶段处理的思路:1.使用Flux模型进行初始生成，在较低分辨率下工作以提高效率2.采用两阶段处理：先用Flux生成，后用SDXL放大，效控制显存的使用3.使用SD放大提升图片质量工作流的流程:初始图像生成（Flux）:UNETLoader:加载flux1-dev.sft模型DualCLIPLoader:加载t5xxl和clip_l模型VAELoader:加载flux-ae.sftCLIPTextEncode:处理输入提示词BasicGuider和RandomNoise:生成初始噪声和引导SamplerCustomAdvanced:使用Flux模型生成初始图像VAEDecode:解码生成的潜在图像初始图像预览:PreviewImage:显示Flux生成的初始图像图像放大和细化（SDXL）:CheckpointLoaderSimple:加载SDXL模型(fenrisxl_SDXLLightning.safetensors)UpscaleModelLoader:加载RealESRGAN_x4.pth用于放大VAELoader:加载sdxl_vae.safetensorsImageSharpen:对初始图像进行锐化处理UltimateSDUpscale:使用SDXL模型和放大模型进行最终的放大和细化最终图像预览:PreviewImage:显示最终放大和细化后的图像

ComfyUI工作流网站

Workflow是ComfyUI的精髓。所谓Workflow工作流，在ComfyUI这里就是它的节点结构及数据流运转过程。[heading2]推荐工作流网站[heading3]“老牌”workflow网站Openart.ai[content]https://openart.ai/workflows/流量比较高，支持上传、下载、在线生成，免费账户总共有50个积分，加入Discord可以再加100积分，开通最低的每个月6美元的套餐后，每个月会有5000积分。[heading3]ComfyWorkflows网站[content]https://comfyworkflows.com/cloud支持在线运行工作流，从workflow的实际下载量和访问量来看，略少于openart。[heading3]Flowt.ai[content]https://flowt.ai/community

提示词自动生成 ComfyUI 工作流来了！ （英伟达整花活， 把 ComfyUI 的门槛打下来！

在多次社区的ComfyUI共学中发现，ComfyUI工作流的门槛确实过高。让很多人理解“潜空间”，“Vae”，“LoRA”，“controlnet”等一系列概念非常困难，更别说基于理解做一个工作流了。这次英伟达整了个花活，让大家看到了打破这个门槛的可能性：🌈通过画图提示词，自动生成匹配的ComfyUI工作流！英伟达将其命名为ComfyGen（comfy生成器）！当然目前仅支持文生图模型。在英伟达发布的内容中，他们称：“ComfyGen可以生成高质量的图并泛化到其他领域（如下图）。”并且他们很自豪的宣称：“下图这么优秀的图，完全是ComfyGen基于SDXL规模的模型画的，还没有用flux呢！”当然，作为学术性研究论文，肯定不会很草率的下结论。英伟达团队做了对比测试：下图中分别为1）SDXL原生2）两个微调模型（用过的同学会很熟悉3）两个人搭的工作流4）两个不同的comfyGen制作的图（后文原理部分中会说明这两者的区别）可以看到效果基本一致，甚至确实更符合人类对提示词的判断和理解。同时他们还做了和C站上人类写的提示词作对比：很显然，ComfyGen的效果略胜一筹。不过由于项目未开源，无法体验实际效果。但是如果真的效果如英伟达发布所说，那是相当惊艳了。

Others are asking
comfyui 学习教程
以下是一些关于 ComfyUI 的学习资源和推荐学习路径： 学习资料网站： ComfyUI 官方文档：提供使用手册和安装指南，适合初学者和有经验的用户。网站：https://www.comfyuidoc.com/zh/ 优设网：有详细的入门教程，介绍了 ComfyUI 的特点、安装方法及生成图像等内容。教程地址：https://www.uisdc.com/comfyui3 知乎：有用户分享的部署教程和使用说明，适合有一定基础并希望进一步了解的用户。教程地址：https://zhuanlan.zhihu.com/p/662041596 Bilibili：有一系列涵盖从新手入门到精通各个阶段的视频教程。教程地址：https://www.bilibili.com/video/BV14r4y1d7r8/ 共学快闪内容：包括 Stuart 风格迁移、红泥小火炉基础课程、大雨换背景图等众多课程和工作流相关内容。 推荐学习路径： 入门视频教程：学习三个 NENLY 出品的免费视频课程，包括“ComfyUI 入门教程”（https://www.bilibili.com/video/BV1D7421N7xN）、“ComfyUI 自定义节点的秘密”（https://www.bilibili.com/video/BV1pZ421b7t7）、“拆解 ComfyUI 工作流”（https://www.bilibili.com/video/BV1ab42187er/）。 理论宝典教程：学习 ZHO 出品的免费理论视频课程。 文生图实操：学习完上述视频课程后，可使用文生图工作流实际出图实操，工作流地址：https://openart.ai/workflows/lailai/textgeneratesimagesmvpworkflow/ChYNJiXHkZrjyvg1yL9f 内容由 AI 大模型生成，请仔细甄别。
2025-01-06
Stable Diffusion、comfyui
ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI，您可以将其想象成集成了 stable diffusion 功能的 substance designer。它具有以下特点： 优势： 对显存要求相对较低，启动和出图速度快。 生成自由度更高。 可以和 webui 共享环境和模型。 能搭建自己的工作流程，可导出流程并分享，报错时能清晰发现错误所在。 生成的图片拖进后会还原整个工作流程，模型也会选择好。 劣势： 操作门槛高，需要有清晰的逻辑。 生态没有 webui 丰富（但常用的都有），也有一些针对 Comfyui 开发的有趣插件。 其生图原理如下： 基础模型：ComfyUI 使用预训练的扩散模型作为核心，通常是 Stable Diffusion 模型，包括 SD1.5、SD2.0、SDXL、SD3、FLUX 等。 文本编码：当用户输入文本提示时，ComfyUI 首先使用 CLIP 文本编码器将文本转换为向量表示，以捕捉文本的语义信息。 Pixel Space 和 Latent Space： Pixel Space（像素空间）：图的左边表示输入图像的像素空间，在 ComfyUI 中，对应于“图像输入”模块或直接从文本提示生成的随机噪声图像，生成过程结束时会将处理后的潜在表示转换回像素空间生成最终图像。 Latent Space（潜在空间）：ComfyUI 中的许多操作都在潜在空间中进行，如 KSampler 节点执行采样过程，通过节点调整对潜在空间的操作，如噪声添加、去噪步数等。 扩散过程（Diffusion Process）： 噪声的生成和逐步还原：扩散过程表示从噪声生成图像的过程，在 ComfyUI 中通常通过调度器控制，如 Normal、Karras 等，可通过“采样器”节点选择不同调度器控制处理噪声和逐步去噪回归到最终图像。 时间步数：在生成图像时，扩散模型会进行多个去噪步，通过控制步数影响图像生成的精细度和质量。 官方链接：https://github.com/comfyanonymous/ComfyUI （内容由 AI 大模型生成，请仔细甄别）
2025-01-06
comfyui手册
以下是关于 ComfyUI 的相关学习资料和安装部署指南： 学习资料： 1. ComfyUI 官方文档：提供使用手册和安装指南，适合初学者和有经验用户，网址：https://www.comfyuidoc.com/zh/ 。 2. 优设网：有详细的 ComfyUI 入门教程，适合初学者，网址：https://www.uisdc.com/comfyui3 。 3. 知乎：有用户分享 ComfyUI 的部署教程和使用说明，适合有一定基础并希望进一步了解的用户，网址：https://zhuanlan.zhihu.com/p/662041596 。 4. Bilibili：提供一系列涵盖从新手入门到精通阶段的视频教程，网址：https://www.bilibili.com/video/BV14r4y1d7r8/ 。 安装部署指南： 1. 作者“白马少年”于 2023 年 9 月 3 日 19:00 发布的【ComfyUI】本地部署 ComfyUI 上手指南，原文网址：https://mp.weixin.qq.com/s/7ZO9AXvzjwohyNOXTe1x8A 。 先讲解本地部署和初步使用方法，ComfyUI 下载的 github 链接：https://github.com/comfyanonymous/ComfyUIinstalling，也可去作者网盘下载一键启动压缩包。下载完后，将文件解压到一个没有中文的路径下。 2. 完全从 0 开始安装的介绍： 电脑硬件要求： 系统：Windows7 以上。 显卡要求：NVDIA 独立显卡且显存至少 4G 起步。 硬盘留有足够空间，最低 100G 起步（包括模型）。 注：mac 系统、AMD 显卡、低显卡的情况也可安装使用，但功能不全，出错率偏高，严重影响使用体验，建议升级设备或者采用云服务器玩耍。 下载并更新 Nvidia 显卡驱动下载地址：https://www.nvidia.cn/ geforce/drivers/ 。 下载并安装所需环境： 依次下载并安装 python、Git、VSCode，安装过程中一直点击勾选对应选项，一直下一步。 安装 Python：https://www.python.org/downloads/release/python3119/ ，安装时选中“将 Python 添加到系统变量”。 安装 VSCode：https://code.visualstudio.com/Download 。 安装 Git：https://gitscm.com/download/win 。 安装 CUDA：https://developer.nvidia.com/cuda1220downloadarchive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_network 。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-01-03
用macbook M3 Pro芯片，comfyUI 跑工作流，结果黑屏，没有输出图像，是为什么呢
很抱歉，目前没有关于使用 Macbook M3 Pro 芯片运行 ComfyUI 工作流出现黑屏且无输出图像的具体原因的相关知识。可能的原因有多种，比如软件与芯片的兼容性问题、显卡驱动异常、工作流设置错误、系统资源不足等。建议您检查软件的版本是否与您的系统兼容，更新显卡驱动，确认工作流的设置是否正确，以及关闭其他占用大量资源的程序以释放系统资源。
2025-01-03
comfyui工作流共享比较好的网站
以下是一些 ComfyUI 工作流共享比较好的网站： 官方工作流示例： ComfyUI Example：https://comfyanonymous.github.io/ComfyUI_examples/ 可根据需要检索不同分类下的工作流下载使用，包含作者撰写的各种工作流的应用说明。如果想一次性下载所有工作流，可以将这个项目下载/克隆到本地：https://github.com/comfyanonymous/ComfyUI_examples 国内网站： eSheep 电子羊 AIGC 社区：https://www.esheep.com/app 主页点击工作流/应用分区，即可浏览、下载或在线运行各类工作流。 AIGODLIKE：https://www.aigodlike.com/ 下拉选取“ComfyUI 奥术”，即可查看其他用户上传的 ComfyUI 生成图片，保存或复制参数皆可读取到图片中的工作流。 国外网站： Comfy Workflows：https://comfyworkflows.com/ Openart.AI：https://openart.ai/workflows/home 流量比较高，支持上传、下载、在线生成，免费账户总共有 50 个积分，加入 Discord 可以再加 100 积分，开通最低的每个月 6 美元的套餐后，每个月会有 5000 积分。 ComfyICU：https://comfy.icu/ C 站工作流分区：https://civitai.com/models （在筛选项中选择“Workflows”） 此外，还有一些关于 ComfyUI 工作流的相关信息： Workflow 是 ComfyUI 的精髓，所谓 Workflow 工作流，在 ComfyUI 这里就是它的节点结构及数据流运转过程。 推荐的工作流网站还有： “老牌”workflow 网站 Openart.ai：https://openart.ai/workflows/ ComfyWorkflows 网站：https://comfyworkflows.com/cloud 支持在线运行工作流，从 workflow 的实际下载量和访问量来看，略少于 openart。 Flowt.ai：https://flowt.ai/community
2024-12-30
comfyui的学习路径
以下是一些 ComfyUI 的学习路径和资源： 1. 官方文档：提供使用手册和安装指南，适合初学者和有经验的用户。网址：https://www.comfyuidoc.com/zh/ 2. 优设网：有详细的入门教程，介绍了 ComfyUI 的特点、安装方法及生成图像等内容。网址：https://www.uisdc.com/comfyui3 3. 知乎：有用户分享的部署教程和使用说明，适合有一定基础并希望进一步了解的用户。网址：https://zhuanlan.zhihu.com/p/662041596 4. Bilibili：有一系列涵盖从新手入门到精通各个阶段的视频教程。网址：https://www.bilibili.com/video/BV14r4y1d7r8/ 此外，还有以下共学快闪相关的学习内容： 1. Stuart 风格迁移 2. 红泥小火炉基础课程 3. 大雨换背景图 4. Anna 娜娜°图生 3D 5. 柒小毓基础课程 6. Ting 基础课程 7. 郑个小目标针对某个插件的深入讲解 8. 波风若川报错解决 9. chen 工作流的研发 10. 朱敏🎈基础课程、工作流 11. 王卓圻基础课程 12. 南城基础课程 13. Zero one 工作流开发 14. 梓阳基础课程 15. 蓝牙耍手机工作流搭建思路 16. 皮皮 Peter 工作流的设计规划和调优逻辑 17. Jāy Līn 锦鲤工作流搭建逻辑和原理 18. K 如何本地部署基础生图参数选择工作流的基本应用 19. Adai 基础课程 20. 镜生视频 21. x 基础教程 22. 梦飞基础教程 23. 各个节点讲解和参数含义 24. 戴志伟基础课程 25. 雪娴_CC 基础课程，从安装开始 26. Joey 实时转绘工作流 27. 倪星宇 28. 22 换脸换背景实践落地 29. 早点睡觉 30. CT 优秀案例 31. 三思基础教程 32. 晓珍 33. Mr.大狐🏝报错解决 34. Duo 多吉～基础课程 35. 陈旭常用节点讲解和简单的节点制作 36. 长风归庭基础教程+工作流创建 推荐的学习路径： 1. 入门视频教程： 第 1 课：ComfyUI 入门教程，网址：https://www.bilibili.com/video/BV1D7421N7xN 第 2 课：ComfyUI 自定义节点的秘密，网址：https://www.bilibili.com/video/BV1pZ421b7t7 第 3 课：拆解 ComfyUI 工作流，网址：https://www.bilibili.com/video/BV1ab42187er/ 2. 理论宝典教程：学 ZHO 出品的免费理论视频课程 3. 文生图实操：学习完上面的视频课程，就可以使用下面的文生图工作流实际出图实操。工作流网址：https://openart.ai/workflows/lailai/textgeneratesimagesmvpworkflow/ChYNJiXHkZrjyvg1yL9f 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2024-12-27
关于workflow有什么著名的论文
以下是一些关于 workflow 的著名论文或相关内容： 1. 5 月 9 日艾木分享的《Workflow》，其中包含关于 workflow 的理论探讨、对 AGI 的正确理解与思考、如何客观看待大语言模型的基础表现、人工智能在编程领域的应用及挑战、从提示词工程到 flow 工程：AI 在代码生成领域的研究与应用、人工智能在开源项目测试集中的表现与工作流的重要性、关于 workflow 的介绍与案例演示等内容。 2. 艾木的《如何用 Coze 制作一个信息检索 Bot（含 Workflow 的基础用法）》，提到 Coze 的 Workflow 为制作 Agents/Bots 提供很大的灵活性和便捷性，对 Workflow 中的函数进行了分类，并提出了超函数（Hyperfuction）的概念。 3. 2024 年 8 月 20 日的更新中，有《[AI Agent 产品经理血泪史（二）欲知方圆，则必规矩【Workflow 篇】》，聚焦于工作流（Workflow）在 AI 智能体中的重要性，回顾了集成平台的演变，探讨了工作流在自动化和手动编排中的应用以及如何提升灵活性以应对不断变化的需求。 4. 还有《[张梦飞：【全网最细】从 LLM 大语言模型、知识库到微信机器人的全本地部署教程》和《[ComfyUI 工作流：黑猴子悟空换脸报错解决大法》等相关内容。
2024-12-18
workflow使用指南
使用工作流的指南如下： 1. 创建工作流。 2. 配置工作流： 通过拖拽的方式将节点添加到画布内，并按照任务执行顺序连接节点。 工作流提供了基础节点供使用，还可以添加插件节点来执行特定任务。具体操作如下： 在左侧面板中选择要使用的节点。 将节点拖拽到画布中，并与其他节点相连接。 配置节点的输入输出参数。 3. 测试并发布工作流。 4. 在 Bot 内使用工作流： 前往当前团队的 Bots 页面，选择进入指定 Bot。 在 Bots 编排页面的工作流区域，单击右侧的加号图标。 在添加工作流对话框，在“我创建的”页面选择自建的工作流。 在 Bot 的人设与回复逻辑区域，引用工作流的名称来调用工作流。
2024-09-23
How Al Agentic workflows could drive more Al progress than even the next generation of foundation models
以下是关于您提出的“ How Al Agentic workflows could drive more Al progress than even the next generation of foundation models ”问题的相关信息： 吴恩达认为人工智能代理工作流程将在今年推动人工智能的巨大进步，甚至可能超过下一代基础模型。构建代理的设计模式框架包括反思、工具使用、规划和多代理协作。反思是指 LLMs 审视自身工作并提出改进方法；工具使用是指赋予 LLMs 如网络搜索、代码执行等工具以帮助其收集信息、采取行动或处理数据；规划是指 LLMs 制定并执行多步骤计划以实现目标；多代理协作则涉及多个 AI 代理共同工作，通过分工、讨论和辩论来提出比单个代理更好的解决方案。这些设计模式为构建高效的 AI 代理提供了指导，并将在下周进一步详细阐述并提供相关阅读建议。 此外，在医疗保健领域，为了产生真正的改变，AI 需要像我们一样学习。必须让这些专家 AI 接触到顶级从业人员的多样化视角，以避免复制危险的偏见。鉴于人工智能依赖的神经网络基础，这些专家 AI 可能通过元学习（或学会学习）比我们预期的更快地获得知识，并带着我们人类一同进步。 在 AI 进化方面，CNN 的结构基于两类细胞的级联模型，主要用于模式识别任务，在计算上比大多数其他架构更有效、更快速，在许多应用中，包括自然语言处理和图像识别，已经被用来击败大多数其他算法。我们每次对大脑的工作机制的认知多一点，神经网络的算法和模型也会前进一步。
2024-09-02
agentic workflow 是什么？
Agentic Workflow 是指通过学会调用外部不同类型的 API 来获取模型中缺少的额外信息、代码执行能力、访问专有信息源等。它将一个复杂的任务分解成较小的步骤，融入更多人类参与到流程中的规划与定义，减少对 Prompt Engineering 和模型推理能力的依赖，提高 LLM 应用面向复杂任务的性能。 生成式 AI 的人机协同分为 Embedding（嵌入式）、Copilot（副驾驶）、Agent（智能代理）3 种产品设计模式，在不同模式下，人与 AI 的协作流程有所差异。 Agentic Workflow 可以使用 Multiagent Collaboration 的方法，让不同角色的 Agent 按照任务要求自主规划选择工具、流程进行协作完成任务。例如，作为产品经理，可通过 Agents 将任务拆解为多个独立任务，遵循不同工作流生成大体符合期望的输出结果，再进行修改。 吴恩达通过开源项目 ChatDev 举例，可让大语言模型扮演不同角色相互协作开发应用或复杂程序。AI Agent 基本框架包括“Agent = LLM + 规划 + 记忆 + 工具使用”，其中 LLM 扮演“大脑”，规划包括子目标分解、反思与改进，记忆分为短期记忆和长期记忆，工具用于处理各种任务。
2024-08-30
Agentic Workflow是什么意思
Agentic Workflow 指的是一种在生成式 AI 的人机协同中，通过不同模式（如 Embedding、Copilot、Agent）下的角色协作流程来完成任务的方式。 在 Agent 模式中，AI 完成大多数工作。它使用 Multiagent Collaboration 的方法，让不同角色的 Agent 按照任务要求自主规划选择工具、流程进行协作。例如，作为产品经理，可将产品功能设计任务拆解为多个独立任务，遵循不同工作流，生成初步结果后再修改。 Agentic Workflow 还通过学会调用外部不同类型 API 来获取模型缺少的额外信息等。其动作的决策需要根据大模型结合问句、上下文规划、各类工具来确定。 从提升效率、提高质量、节省时间的角度思考，Agentic Workflow 可以将复杂任务分解成较小步骤，融入更多人类参与的规划与定义，减少对 Prompt Engineering 和模型推理能力的依赖，提高 LLM 应用面向复杂任务的性能。 吴恩达通过开源项目 ChatDev 举例，让大语言模型扮演不同角色相互协作开发应用或复杂程序。AI Agent 的基本框架包括“LLM +规划+记忆+工具使用”，其中 LLM 扮演“大脑”，规划包括子目标分解、反思与改进，记忆分为短期和长期，工具用于辅助完成任务。
2024-08-30
Agentic Workflow是什么
Agentic Workflow 是一种基于 AI 的工作流管理方式，它可以帮助人们更高效地完成各种任务。以下是关于 Agentic Workflow 的一些介绍： 1. 专家代理：Agentic Workflow 中的专家代理是指具有特定领域和工具专长的 AI 模型，它们能够以步骤化、理性的方式帮助用户达成目标。 2. 工作流程：Agentic Workflow 的工作流程通常包括收集信息、初始化专家代理、持续支持用户直到目标完成等步骤。 3. Tool Use：Tool Use 是指 Agent 通过自行规划任务执行的工作流路径，面向于简单的或者一些线性流程的运行。 4. Planning：Agent 通过自行规划任务执行的工作流路径，面向于简单的或者一些线性流程的运行。 5. Multiagent Collaboration：通过学会调用外部不同类型 API 来获取模型（通常在预训练后很难修改）中缺少的额外信息，代码执行能力，访问专有信息源等（例如获取此时此刻的天气、联网网搜索等）。 6. Action（动作）：根据上述大模型结合问句（Query）、上下文的规划（Context）、各类工具，最终大模型才能决策出最终需要执行的动作是什么。 7. Productivity（效率）：Agentic Workflow 通过将一个复杂的任务分解成较小的步骤，在整个过程中中融入了更多人类参与到流程中的规划与定义。它减少了对 Prompt Engineering 和模型推理能力的依赖，提高了 LLM 应用面向复杂任务的性能，更丰富、更精确。 总的来说，Agentic Workflow 是一种将 AI 技术应用于工作流管理的方式，它可以帮助人们更高效地完成各种任务。
2024-05-29