如何学习comfyUI

ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI，以下是关于它的详细信息： 简介：可以想象成集成了 stable diffusion 功能的 substance designer，通过将 stable diffusion 的流程拆分成节点，实现更精准的工作流定制和完善的可复现性。 优劣势： 优势： 1. 对显存要求相对较低，启动速度快，出图速度快。 2. 具有更高的生成自由度。 3. 可以和 webui 共享环境和模型。 4. 可以搭建自己的工作流程，可以导出流程并分享给别人，报错时能清晰发现错误所在步骤。 5. 生成的图片拖进后会还原整个工作流程，模型也会选择好。 劣势： 1. 操作门槛高，需要有清晰的逻辑。 2. 生态没有 webui 多（常用的都有），也有一些针对 Comfyui 开发的有趣插件。 官方链接：从 github 上下载作者部署好环境和依赖的整合包，按照官方文档按照即可：https://github.com/comfyanonymous/ComfyUI 安装部署： 电脑硬件要求： 1. 系统：Windows7 以上。 2. 显卡要求：NVDIA 独立显卡且显存至少 4G 起步。 3. 硬盘留有足够的空间，最低 100G 起步（包括模型）。 4. 注：mac 系统，AMD 显卡，低显卡的情况也可以安装使用，功能不全，出错率偏高，严重影响使用体验个人建议升级设备或者采用云服务器玩耍。 5. 下载并更新 Nvidia 显卡驱动下载地址 https://www.nvidia.cn/ geforce/drivers/ 下载并安装所需要环境： 依次下载并安装 python、Git、VSCode，安装过程中一直点击勾选对应选项，一直下一步。 1. 安装 Python https://www.python.org/downloads/release/python3119/ ，安装的时候选中“将 Python 添加到系统变量”。 2. 安装 VSCode https://code.visualstudio.com/Download 。 3. 安装 Git https://gitscm.com/download/win 。 4. 安装 CUDA https://developer.nvidia.com/cuda1220downloadarchive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_network 。 安装地址：https://github.com/comfyanonymous/ComfyUI ，可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git 或者下载安装包 file:ComfyUI.zip ，下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 节点存放目录：comfyUI 的节点包括后面安装的拓展节点都存放在本目录下 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 模型存放目录： 1. 大模型：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 2. Lora：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 3. Vae：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 。 模型共用：已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可，这样就不用重复下载模型了。找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件，将后缀.example 删除，然后右键用记事本打开。 快捷键：（未提供相关内容）

以下是一些关于 ComfyUI 的系列教程资源： 1. ComfyUI 官方文档：提供了使用手册和安装指南，适合初学者和有经验的用户。可在获取相关信息。 2. 优设网：有详细的 ComfyUI 入门教程，适合初学者，介绍了特点、安装方法及生成图像等内容。教程地址是。 3. 知乎：有用户分享了 ComfyUI 的部署教程和使用说明，适合有一定基础并希望进一步了解的用户。可在找到相关教程。 4. Bilibili：提供了从新手入门到精通的一系列视频教程，可在找到。 此外，还有以下相关教程： 1. 硅基流动提供的 BizyAir ComfyUI 系列教程，包括六节课程，如文生图工作流搭建、SiliconLLM 的使用、LoRA 的使用和上传等。详情可访问 https://siliconflow.cn/zhcn/ 。 2. ComfyUI 共学快闪飞书学习群中的各种教程，如王蓉的基础搭建和转绘、唯有葵花向日晴的基础教程和工作流开发等。 内容由 AI 大模型生成，请仔细甄别。

ComfyUI 相关信息如下： 模型： 目前只支持 sdxl。 节点地址：ComfyUI_InstantID https://github.com/cubiq/ComfyUI_InstantID?tab=readmeovfile 。 主要的模型（ip_adapter.bin），下载后放在 ComfyUI/models/instantid 文件夹里，没有这个文件夹就新建一个，下载链接：https://huggingface.co/InstantX/InstantID/resolve/main/ipadapter.bin?download=true 。 InsightFace 模型是 antelopev2（不是经典的 buffalo_l）。下载模型，解压并将它们放在 ComfyUI/models/insightface/models/antelopev2 目录中，下载链接：https://huggingface.co/MonsterMMORPG/tools/tree/main 。 还需要一个 controlNet 模型，放在 ComfyUI/models/controlnet 目录下，下载链接：https://huggingface.co/InstantX/InstantID/resolve/main/ControlNetModel/diffusion_pytorch_model.safetensors?download=true 。上述模型网络环境不好的，可以在网盘 https://pan.baidu.com/s/1FkGTXLmM0Ofynz04NfCaQ?pwd=cycy 下载。 生图原理： 这张图展示了扩散模型中的加噪和去噪过程。 在 ComfyUI 的节点化界面中，每一步的操作都可以通过不同的模块来实现，用户可以控制潜在空间中的操作（如调度器和噪声的选择）、UNet 中的推理步骤（通过去噪模块实现）、以及条件输入（通过文本提示或图像引导）。 基础模型：ComfyUI 使用预训练的扩散模型作为其核心，通常是 Stable Diffusion 模型，包括 SD1.5、SD2.0、SDXL、SD3、FLUX 等模型。 文本编码：当用户输入文本提示时，ComfyUI 首先使用 CLIP（Contrastive LanguageImage Pretraining）文本编码器将文本转换为向量表示，这个向量捕捉了文本的语义信息。 图片合并背景替换： 背景替换看似简单，但有难度，不同图片合并时要考虑光线、色调、边缘细节，选择了表示较好的流程化技术。 背景移除：模型放在 E:\\ComfyUI\\models\\rembg，需要下载对应的模型。 填充背景：用来移除背景里面的主题，模型需要放在 E:\\ComfyUI\\models\\lama 下。 iclight：在管理器中节点管理，搜索 ComfyUIICLight，安装后重启 ComfyUI，模型可以在网盘里，下载后放入 ComfyUI/models/unet 文件夹。ic 处理过的图片，颜色会发黄偏色，这里就需要做颜色匹配和细节的迁移，注意，不是 IC Light 处理过的就是好的，有时候反而会负优化。

以下是 ComfyUI 连接 Blender 的教程： 首先，安装下载网盘里的两个文件。先安装稳定版 Blender（这是主程序，解压即用。如果已经有 Blender 的朋友可以跳过这一步）。有 Steam 平台的可以去 Steam 上下载 Blender，软件会自动更新，很方便。 接下来打开软件，安装无限圣杯的插件。进入“偏好设置”——插件——选择“安装”，找到“无限圣杯节点工具”里面的压缩包，不用解压，直接选择压缩包进行安装。安装好之后，打上勾，就可以开启无限圣杯了。 接着看插件下方的 ComfyUI 路径这一栏，将它更改为我们电脑中的 ComfyUI 的地址。然后选择一个适合自己的显存模式：8G 以上选高显存；6G 选中显存；4G 选低显存。安装完成，重启即可。 无限圣杯的使用：打开软件，编辑器类型中会出现“ComfyUI Node”。点击进入 ComfyUI 界面，先点击上方的“新建”按钮，然后展开右侧的 N 面板可以看到无限圣杯的界面。打开节点树的列表，可以看到文生图、图生图以及 ControlNet 等常见工作流。选择文生图，打开会发现还有一些更细化的预设工作流选项。再看看 ControlNet 中的工作流预设。 还有一些根据插件整理的工作流，比如随便选择一个“文生图”中的“基础+自定 VAE”，选好之后，点击“替换节点树”。界面中会出现已经连接好的工作流节点（如果没看到，就按一下 home 键），包括大模型、clip、vae、正反提示词、尺寸，采样器等所有在 webUI 中熟悉的参数，而且全都是中文面板。打开模型节点，可以看到 webUI 中的模型全部都在。这次先不更改参数，点击“运行节点树”，直接生成。此时会提醒是否启用 ComfyUI，点击确定即可。等待一会，就能在最后一个节点预览图中看到生成的图片。点击这里就可以打开后台，看到出图时间。

在 ComfyUI 搭建音频节奏生成 AI 抽象粒子视觉效果的工作流，您可以参考以下内容： 1. 大模型节点： 您可以根据自己的风格选择不同的大模型，推荐使用： AWPainting，链接：https://civitai.com/models/84476/awpainting primemixanything，链接：https://civitai.com/models/75089/primemixanything xxmix9realistic v40，链接：https://civitai.com/models/47274/xxmix9realistic 2. 关键词节点： 可以使用工作流内的关键词，也可以输入自己的正负面关键词。 3. Lora 节点： 可根据自己风格搭配进行选择，如需多个 Lora 可进行串联。 4. ControlNet 节点： 选用 qrcode_monster V2 版本，相比于 V1 版本 V2 版本识别性更强。下载需要魔法，没有魔法的同学文末领取模型。下载链接：https://huggingface.co/monsterlabs/control_v1p_sd15_qrcode_monster/tree/main/v2 5. 采样器节点： 所有生图的老演员了，Step 要选择高步数，35 50 即可。采样器默认的 euler a /dpmpp 2m sde 基础节点介绍： 1. Checkpoint 基础模型（大模型/底模型）节点： 属于预调模型，决定了 AI 图片的主要风格。输出连接：Model 连接 KSampler 采样器的 Model；Clip 连接终止层数的 Clip；Vae 连接 VaeDecode 的 Vae。 2. Clip 终止层数（clip skip）节点： ComfyUI 的是负数的，webUI 的是正数。输出入点：Clip 连接 Checkpoint 基础模型的 Clip。输出节点：Clip 连接 Prompt 节点的 Clip。正向提示词和负面提示词各一个。 3. Prompt 节点： 输出入点：Clip 连接 Clip 终止层数节点的 Clip。输出节点：正向提示词和负面提示词各连接一个。 4. KSampler 采样器： 输出入点：Model 连接 Checkpoint 基础模型；Positive 连接正向提示词；negative 连接负面提示词；latent_imageL 连接 Empty Latent Image 潜空间图像的 Latent。输出节点：Latent 连接一个 VAE 的 Samples。 5. Empty Latent Image 潜空间图像： 设置出图尺寸，例如 10241024。输出入点：Latent 连接 KSampler 采样器的 Latent。 此外，还有一些根据插件整理的工作流，您可以先随便选择一个“文生图”中的“基础+自定 VAE”。选好之后，点击“替换节点树”。界面中就会出现已经连接好的工作流节点（如果没看到，就按一下 home 键），包括大模型、clip、vae、正反提示词、尺寸，采样器等所有在 webUI 中熟悉的参数，而且全都是中文面板。打开模型节点，可以看到 webUI 中的模型全部都在。这次先不更改参数，点击“运行节点树”，直接生成。此时会提醒您是否启用 ComfyUI，点击确定即可。等待一会，就能在最后一个节点预览图中看到生成的图片。点击这里就可以打开后台，看到出图时间。

以下是 ComfyUI 工作流搭建的基础步骤： 1. 准备加载大模型的节点（load 节点）：在工作区鼠标右键点击，选择“Add Node”，然后依次选择“loaders”和“Load Checkpoint”，接着选择对应的模型，点击“Ckpt_name”下拉选择对应的模型。 2. 加载 Conditioning（条件）：在工作区鼠标右键点击，选择“Add Node”，然后选择“Conditioning”，再选择“CLIP TEXT Encode”。这里需要输入正向和反向提示词，相同节点可使用快捷键 Ctrl+C 和 Ctrl+V 复制粘贴。 3. 添加采样器：这部分和 WEB_UI 的设置类似，包括采样器、迭代步数、CFG 等。需要注意的是，seed 值只有固定、随机、每次增加、每次减少这四个选项，采样器和调度器是分开的。 4. 加载 Latent：可以设置图片的宽、高和批次，设置方式与 WEB_UI 相同。 5. 加载 VAE：操作与 WEB_UI 加载 VAE 相同。 6. 加载保存图片的节点。 7. 串联节点：节点分为起始节点、最终输出节点和过程执行节点。首先，checkpoint 加载器中模型选择好可直接使用，CLIP 对应链接需要的两个条件（正向提示词/负向提示词），VAE 直接连接对应的 VAE。然后将正向提示词、负向提示词链接到对应的采样器节点，latent 直接链接空 Latent。串联完毕后即得到最简单的 ComfyUI 工作流。 此外，ComfyUI 共学快闪的飞书学习群中有众多关于 ComfyUI 的学习内容，如王蓉的基础搭建和转绘、唯有葵花向日晴的基础教程、工作流开发和实际应用场景等。

以下是关于如何学习 AI 的建议： 一、了解 AI 基本概念 1. 阅读「」部分，熟悉 AI 的术语和基础概念，包括其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 2. 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 二、开始 AI 学习之旅 1. 在「」中，找到为初学者设计的课程，特别推荐李宏毅老师的课程。 2. 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 三、选择感兴趣的模块深入学习 AI 领域广泛，比如图像、音乐、视频等，您可以根据自己的兴趣选择特定的模块进行深入学习。同时，建议掌握提示词的技巧，它上手容易且很有用。 四、实践和尝试 1. 理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出您的作品。 2. 在知识库提供了很多大家实践后的作品、文章分享，欢迎您实践后的分享。 五、体验 AI 产品 1. 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。 2. 通过与这些 AI 产品的对话，获得对 AI 在实际应用中表现的第一手体验，并激发对 AI 潜力的认识。 六、中学生学习 AI 的特别建议 1. 从编程语言入手学习，如 Python、JavaScript 等，学习编程语法、数据结构、算法等基础知识。 2. 尝试使用 AI 工具和平台，如 ChatGPT、Midjourney 等，探索面向中学生的 AI 教育平台，如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识，包括基本概念、发展历程、主要技术如机器学习、深度学习等，以及在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目，如参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动，尝试利用 AI 技术解决生活中的实际问题，培养动手能力。 5. 关注 AI 发展的前沿动态，关注 AI 领域的权威媒体和学者，了解 AI 技术的最新进展，思考 AI 技术对未来社会的影响，培养对 AI 的思考和判断能力。 记住，学习 AI 是一个长期的过程，需要耐心和持续的努力。不要害怕犯错，每个挑战都是成长的机会。随着时间的推移，您将逐渐建立起自己的 AI 知识体系，并能够在这一领域取得自己的成就。完整的学习路径建议参考「通往 AGI 之路」的布鲁姆分类法，设计自己的学习路径。

利用 WaytoAGI 系统学习 AI 智能体可以参考以下内容： 1. 先精美地解释六大策略，参加小七姐在社区带来的共学课程及直播分享和回放，像喂饭教程般帮助理解 prompt。每个板块下有共学快闪，社区老师会带着大家动手操作并讲解思路，还提到官方最佳 prompt 有 6 个实践办法，看熟任意一个即可。 2. 了解到智能体由大语言模型衍生而来，提示词很关键。学习智能体进阶案例拆解，推荐景淮老师的相关成果。同时知晓扣子、千帆百炼属于智能体范畴，扣子更偏 ToC 应用，所以有专门讲解扣子相关内容。 3. 学习 AI agent 可能较痛苦，建议先吃透 prompt 再看相关内容。官方文档内容很全面，包含市面上 cos 的教程等。社区小伙伴参加 cos 比赛常拿大奖，有共学活动，获奖小伙伴会分享经验。cos 平台可用于工作生产，有很多功能，感兴趣可体验其官网，能进行对话感受功能。 4. 理解工具方面，AI Agent 有效使用工具的前提是全面了解工具的应用场景和调用方法。利用 LLM 强大的 zeroshot learning 和 fewshot learning 能力，AI Agent 可以通过描述工具功能和参数的 zeroshot demonstartion 或提供特定工具使用场景和相应方法演示的少量提示来获取工具知识。 5. 使用工具方面，AI Agent 学习使用工具的方法主要包括从 demonstartion 中学习和从 reward 中学习（清华有一篇从训练数据中学习的文章）。这包括模仿人类专家的行为，以及了解其行为的后果，并根据从环境和人类获得的反馈做出调整。 6. 了解具身智能，在追求人工通用智能（AGI）的征途中，具身 Agent 正成为核心的研究范式，它强调将智能系统与物理世界的紧密结合。与传统的深度学习模型相比，LLMbased Agent 不再局限于处理纯文本信息或调用特定工具执行任务，而是能够主动地感知和理解其所在的物理环境，进而与其互动。

以下是新手学习 AI 知识的方法： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，找到为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，比如图像、音乐、视频等，可根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试： 理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出作品。 在知识库提供了很多大家实践后的作品、文章分享，欢迎实践后的分享。 5. 体验 AI 产品： 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。 通过与这些 AI 产品的对话，获得对 AI 在实际应用中表现的第一手体验，并激发对 AI 潜力的认识。 对于中学生学习 AI，建议如下： 1. 从编程语言入手学习： 可以从 Python、JavaScript 等编程语言开始学习，学习编程语法、数据结构、算法等基础知识，为后续的 AI 学习打下基础。 2. 尝试使用 AI 工具和平台： 可以使用 ChatGPT、Midjourney 等 AI 生成工具，体验 AI 的应用场景。 探索一些面向中学生的 AI 教育平台，如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识： 了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等。 学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目： 参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。 尝试利用 AI 技术解决生活中的实际问题，培养动手能力。 5. 关注 AI 发展的前沿动态： 关注 AI 领域的权威媒体和学者，了解 AI 技术的最新进展。 思考 AI 技术对未来社会的影响，培养对 AI 的思考和判断能力。 总之，无论是新手还是中学生，学习 AI 可以从编程基础、工具体验、知识学习、实践项目等多个方面入手，全面系统地学习 AI 知识和技能，为未来的 AI 发展做好准备。

以下是 1 2 款适合初学者的 AI 编程助手和编程学习工具： v0：适合初学者，能为编程提供一定的辅助和支持。 Bolt：对新手友好，有助于初学者在编程过程中获得帮助和指导。 此外，还有一些其他常见的适合初学者的工具，如 GitHub Copilot，它支持多种语言和 IDE，能为程序员快速提供代码建议；通义灵码，提供行级/函数级实时续写、自然语言生成代码等多种能力。您可以根据自己的需求选择最适合您的工具。

GPT4VAct 是一个多模态 AI 助手，能够模拟通过鼠标和键盘进行网页浏览。 应用场景：基于 AI 的能力、项目目标人群和服务内容类型，可用于以后互联网项目产品的原型设计自动化生成，使生成效果更符合用户使用习惯，同时优化广告位的出现位置、时机和频率。 技术类型：AI 学习模型 简介：它可以模拟人类浏览网页时的行为，如点击链接、填写表单、滚动页面等。通过视觉理解技术识别网页上的元素，像人眼一样“看到”按钮、文本框、图片等，并理解其功能和用途。目的是让 AI 自动完成一些人工操作任务，提高工作效率，方便人们使用网页界面。 主要特点： 1. 视觉处理：能够处理视觉信息，但支持程度有限。 2. 自动标记：使用 JS DOM 自动标记器为 UI 元素分配数字 ID，支持 COCO 数据格式的导出。 3. 鼠标和键盘操作：能够执行点击和输入字符操作。 4. 特殊键码输入：目前不支持输入特殊键码（如回车、页面上移、页面下移）。 5. 其他功能：滚动、提示用户提供更多信息、记住与任务相关的信息等功能尚未支持。 工作原理：GPT

以下是为您推荐的学习资料，有助于您从产品经理转型为 AI 产品经理： 1. 林粒粒呀的相关视频，如“小白如何理解技术原理与建立框架”，其中介绍了思维链、RAG、PAL、ReAct 等概念，并且提到 Transformer 是仿生算法的阶段性实现。 思维链：谷歌在 2022 年一篇论文提到思维链可以显著提升大语言模型在复杂推理的能力，即使不用小样本提示，也可以在问题后面加一句【请你分步骤思考】。 RAG：检索增强生成（RetrievalAugmented Generation），外部知识库切分成段落后转成向量，存在向量数据库。用户提问并查找到向量数据库后，段落信息会和原本的问题一块传给 AI，可搭建企业知识库和个人知识库。 PAL：程序辅助语言模型（ProgramAided Language Model），2022 年一篇论文中提出，对于语言模型的计算问题，核心在于不让 AI 直接生成计算结果，而是借助其他工具比如 Python 解释器作为计算工具。 ReAct：2022 年一篇《React:在语言模型中协同推理与行动》的论文提出了 ReAct 框架，即 reason 与 action 结合，核心在于让模型动态推理并采取行动与外界环境互动。比如用搜索引擎对关键字进行搜索，观察行动得到的结果。可借助 LangChain 等框架简化构建流程。 2. 余一的相关内容，如《AI 时代个人生存/摸鱼探索指南.Beta》《从 2023 年报，看中国上市公司怎么使用生成式 AI》。 3. 相关网页链接： 创新公司观察： 2022 2024 年融资 2000w 美金以上的公司列表和详细公司分析：https://ameliadev.notion.site/202220242000w08f50fafd81b420fa7f26ecd6c0b3243?pvs=4 AI Grant 公司列表和详细公司分析（三期）：https://ameliadev.notion.site/AIGranta52f291e81f34b418c9919497961e831?pvs=4 AIGC 行业与商业观察（2024.1）：https://gamma.app/docs/AIGCDev9q1bax2pspnlxqu 【AI 产品/功能构建】： 顶级科技公司产品团队正在构建哪些 AI 功能【总览】：https://gamma.app/docs/AIzawqmb2ff3cv958 顶级科技公司产品团队正在构建哪些 AI 功能【产品分析】：https://gamma.app/docs/AItebxqet8ubz3rje 顶级科技公司产品团队正在构建哪些 AI 功能【思考借鉴】