云端comfy ui

ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI，您可以将其想象成集成了 stable diffusion 功能的 substance designer，通过将 stable diffusion 的流程拆分成节点，实现了更加精准的工作流定制和完善的可复现性。 其优势包括： 1. 对显存要求相对较低，启动速度快，出图速度快。 2. 具有更高的生成自由度。 3. 可以和 webui 共享环境和模型。 4. 可以搭建自己的工作流程，可以导出流程并分享给别人，报错的时候也能清晰的发现错误出在哪一步。 5. 生成的图片拖进后会还原整个工作流程，模型也会选择好。 劣势为： 1. 操作门槛高，需要有清晰的逻辑。 2. 生态没有 webui 多（常用的都有），也有一些针对 Comfyui 开发的有趣插件。 官方链接为：https://github.com/comfyanonymous/ComfyUI 安装部署 ComfyUI 副本： 1. 电脑硬件要求： 系统：Windows7 以上（不要为难 XP 老师傅了）。 显卡要求：NVDIA 独立显卡且显存至少 4G 起步。 硬盘留有足够的空间，最低 100G 起步（包括模型）。 注：mac 系统，AMD 显卡，低显卡的情况也可以安装使用，功能不全，出错率偏高，严重影响使用体验个人建议升级设备或者采用云服务器玩耍。 下载并更新 Nvidia 显卡驱动下载地址 https://www.nvidia.cn/ geforce/drivers/ 2. 下载并安装所需要环境： 依次下载并安装 python、Git、VSCode，安装过程中一直点击勾选对应选项，一直下一步。 安装 Python https://www.python.org/downloads/release/python3119/ ，安装的时候选中“将 Python 添加到系统变量”。 安装 VSCode https://code.visualstudio.com/Download 。 安装 Git https://gitscm.com/download/win 。 安装 CUDA https://developer.nvidia.com/cuda1220downloadarchive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_network 。 3. 安装地址：https://github.com/comfyanonymous/ComfyUI ，可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ，或者下载安装包 file:ComfyUI.zip ，下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 4. 节点存放目录：comfyUI 的节点包括后面安装的拓展节点都存放在本目录下 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 5. 模型存放目录： 大模型：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 。 6. 模型共用：已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可，这样就不用重复下载模型了。找到您已经安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件，将后缀.example 删除，然后右键用记事本打开。 截图示例（暂无） 延伸阅读：内容由 AI 大模型生成，请仔细甄别。

ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI，以下是关于它的详细信息： 简介：可以想象成集成了 stable diffusion 功能的 substance designer，通过将 stable diffusion 的流程拆分成节点，实现更精准的工作流定制和完善的可复现性。 优劣势： 优势： 对显存要求相对较低，启动速度快，出图速度快。 具有更高的生成自由度。 可以和 webui 共享环境和模型。 可以搭建自己的工作流程，可以导出流程并分享给别人，报错时能清晰发现错误所在步骤。 生成的图片拖进后会还原整个工作流程，模型也会选择好。 劣势：操作门槛高，需要有清晰的逻辑；生态没有 webui 多（常用的都有），也有一些针对 Comfyui 开发的有趣插件。 官方链接：从 github 上下载作者部署好环境和依赖的整合包，按照官方文档按照即可：https://github.com/comfyanonymous/ComfyUI 安装部署： 电脑硬件要求： 系统：Windows7 以上。 显卡要求：NVDIA 独立显卡且显存至少 4G 起步。 硬盘留有足够的空间，最低 100G 起步（包括模型）。 注：mac 系统，AMD 显卡，低显卡的情况也可以安装使用，功能不全，出错率偏高，严重影响使用体验，个人建议升级设备或者采用云服务器玩耍。 下载并安装所需要环境：依次下载并安装 python、Git、VSCode，安装过程中一直点击勾选对应选项，一直下一步。 安装 Python：https://www.python.org/downloads/release/python3119/ ，安装的时候选中“将 Python 添加到系统变量”。 安装 VSCode：https://code.visualstudio.com/Download 。 安装 Git：https://gitscm.com/download/win 。 安装 CUDA：https://developer.nvidia.com/cuda1220downloadarchive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_network 。 地址：https://github.com/comfyanonymous/ComfyUI ，可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ，或者下载安装包 file:ComfyUI.zip ，下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 节点存放目录：comfyUI 的节点包括后面安装的拓展节点都存放在本目录下 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 模型存放目录： 大模型：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 。 模型共用：已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可，这样就不用重复下载模型了。找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件，将后缀.example 删除，然后右键用记事本打开。

以下是为您整理的 ComfyUI 教程相关内容： 全面的 ComfyUI 教程：https://www.comflowy.com/zhCN 超有意思的 ComfyUI 教程：https://comfyanonymous.github.io/ComfyUI_tutorial_vn/ ComfyUI 官方文档：提供使用手册和安装指南，适合初学者和有经验的用户，网站：https://www.comfyuidoc.com/zh/ 优设网：详细的 ComfyUI 入门教程，适合初学者，介绍特点、安装方法及生成图像等内容，地址：https://www.uisdc.com/comfyui3 知乎：有用户分享部署教程和使用说明，适合有一定基础并希望进一步了解的用户，地址：https://zhuanlan.zhihu.com/p/662041596 Bilibili：一系列涵盖从新手入门到精通各个阶段的视频教程，地址：https://www.bilibili.com/video/BV14r4y1d7r8/ ComfyUI 基础教程部分： 掌握基础界面：熟悉基本界面和操作，包括 Comfyui 工作区介绍、基础节点介绍、KSampler 等。 KSampler： seed：随机种子，用于控制潜空间初始噪声，相同种子和 Prompt 可生成相同图片。 control_after_generate：设置每次生成完图片后 seed 数字的变化规则，有 randomize（随机）、increment（递增 1）、decrement（递减 1）、fixed（固定）。 step：采样步数，一般步数越大效果越好，但与模型和采样器有关。 cfg：一般设置为 6 8 之间较好。 sampler_name：可设置采样器算法。 scheduler：控制每个步骤去噪过程，可选择不同调度算法。 denoise：表示增加的初始噪声，文生图一般默认设置成 1。 内容由 AI 大模型生成，请仔细甄别。

在云服务器部署使用 Diffy 和 ComfyUI ，云服务器机器配置要求如下： 1. 系统：Windows 7 以上。 2. 显卡要求：NVIDIA 独立显卡且显存至少 4G 起步。但 SDXL 出来后提高了运行配置，最低需要 8GB 显存+32GB 运行内存，12GB 流畅运行，推荐 16GB 以上。 3. 硬盘：留有足够的空间，最低 100G 起步（包括模型）。硬盘会影响加载模型的速度，最好把软件和模型部署在 SSD（固态硬盘）上。 4. 内存：最低 32GB，越高越好，最低配会经常爆显存。 需要注意的是，ComfyUI 相比 WebUI 配置更低，系统资源占用更少，出图速度更快，最低可在小于 3G 的 GPU 上运行，甚至没有 GPU 光用 CPU 也可以运行，但速度极慢。如果您的电脑能顺畅清晰地玩 3A 游戏，那玩 WebUI 和 ComfyUI 通常也没问题。配置上不封顶，根据自己的需求和预算来选择即可。

要打开 OpenArt 的 ComfyUI，您可以按照以下步骤进行操作： 1. 准备相关模型和工作流： t5xxl_fp16.safetensors 和 clip_l.safetensors 下载地址：https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main 。t5xxl 分为 fp16 和 fp8，如果内存超过 32GB，用 fp16 的，没超过则用 fp8 的。 ae.safetensors 和 flux1dev.safetensors 下载地址：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 准备好 dev 的工作流：file:dev 的官方原版 workflow.json ，或者使用官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ，将图片导入 ComfyUI 就是工作流。 对于 GPU 性能不足、显存不够的情况，底模可以使用 fp8 的量化版模型，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 。 相关模型的夸克网盘链接：https://pan.quark.cn/s/b5e01255608b ；百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码：ub9h 。 2. 打开 ComfyUI，把准备好的工作流或图片拖拽到 ComfyUI 里。 3. 在处理模型连接时，如果将 refiner 的模型连上提示词导致第一个 base 模型的链接断开，可以通过以下方式解决：加入一个新节点，右键点击 【新建节点】【实用工具】【Primitive 元节点】。这个节点连接谁，就会变成谁的属性。在文本节点上单击右键，选择【转换文本为输入】，此时文本节点上会多一个文本的连接点。将元节点与文本节点相连接，元节点就变成了正向提示词的输入框。同理，负向提示词框也可用元节点代替。再复制出一套正负提示词节点，一套给 base 模型，一套给 refiner 模型。然后，base 模型的那一套输出给第一个采样器节点，refiner 模型的那一套输出给第二个采样器节点。最后，能输出两个图像节点，第一个链接 base 模型的 vae，设置为预览图像；第二个链接一个 VAE 加载器的节点，加载 sdxl 自带的 vae，设置为保存图像，即最终输出的图像。设置好两个模型和提示词，点击生成。

以下是一些关于 ComfyUI 的学习教程资源： 1. ComfyUI 官方文档：提供使用手册和安装指南，适合初学者和有经验的用户。网址：https://www.comfyuidoc.com/zh/ 2. 优设网：有详细的 ComfyUI 入门教程，适合初学者，介绍了特点、安装方法及生成图像等内容。网址：https://www.uisdc.com/comfyui3 3. 知乎：有用户分享了部署教程和使用说明，适合有一定基础并希望进一步了解的用户。网址：https://zhuanlan.zhihu.com/p/662041596 4. Bilibili：提供了从新手入门到精通各个阶段的系列视频教程。网址：https://www.bilibili.com/video/BV14r4y1d7r8/ 此外，还有以下教程： 1. 一个全面的 ComfyUI 教程：https://www.comflowy.com/zhCN 2. 超有意思的 ComfyUI 教程：https://comfyanonymous.github.io/ComfyUI_tutorial_vn/ ComfyUI 的基础界面和操作方面： 1. 熟悉 ComfyUI 的基本界面和操作。 2. Comfyui 工作区介绍。 3. 基础节点介绍。 4. KSampler： seed：随机种子，用于控制潜空间的初始噪声，若要重复生成相同图片，需种子和 Prompt 相同。 control_after_generate：设置每次生成完图片后 seed 数字的变化规则，有 randomize（随机）、increment（递增 1）、decrement（递减 1）、fixed（固定）。 step：采样的步数，一般步数越大效果越好，但与使用的模型和采样器有关。 cfg：一般设置为 6 8 之间较好。 sampler_name：可设置采样器算法。 scheduler：控制每个步骤中去噪的过程，可选择不同调度算法。 denoise：表示要增加的初始噪声，文生图一般默认设置成 1。 内容由 AI 大模型生成，请仔细甄别。

以下是一个可以做 UI 的免费 AI 平台：Deep Cognition。它具有简单的拖放界面，能帮助您轻松设计深度学习模型，还具备先进的 AutoML 功能，几乎可以一键完成，能为您的自定义数据集设计深度学习模型。而且这个平台是免费的，无需安装任何东西就可以写代码，用命令行或 Notebook 来使用 TensorFlow、Keras、Caffe、MXNet 等。

WebUI 可以使用 FLUX 模型。以下是相关的下载和使用信息： ae.safetensors 和 flux1dev.safetensors 下载地址：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 flux 相关模型（体积较大）的夸克网盘链接：https://pan.quark.cn/s/b5e01255608b 。 flux 相关模型（体积较大）的百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码：ub9h 。 如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 。 下载 dev 的工作流： 或者官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ，打开 ComfyUI，把工作流或图片拖拽到 ComfyUI 里。 郑敏轩的 Flux 的 controlnet 系列中 TheMisto.ai 的 MistoLine 版： 注意：该 ControlNet 与 Flux1.dev 的 fp16/fp8 以及使用 Flux1.dev 量化的其他模型兼容。 需要节点（可以 git clone 方式下载或通过以下网盘）： 夸克网盘：链接：https://pan.quark.cn/s/ad43dd5152a6 。 百度网盘：链接：https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc 提取码：lpvc 。 模型： 夸克网盘：链接：https://pan.quark.cn/s/5551e813db21 。 百度网盘：链接：https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq 提取码：zhfq 。 处理：将模型放到 ComfyUI\\models\\TheMisto_model 文件夹中。 导入官方工作流 。所需要的两个模型：

WebUI 可以使用 FLUX 模型。以下是相关的下载和使用信息： ae.safetensors 和 flux1dev.safetensors 的下载地址：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 夸克网盘链接：https://pan.quark.cn/s/b5e01255608b 百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码：ub9h 如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 。 dev 的工作流： 官方原版的图片链接：https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ，打开 ComfyUI ，把工作流或图片拖拽到 ComfyUI 里。 郑敏轩的 Flux 的 controlnet 系列： TheMisto.ai 的 MistoLine 版，该 ControlNet 与 Flux1.dev 的 fp16/fp8 以及使用 Flux1.dev 量化的其他模型兼容。 节点： 可以 git clone 方式下载或通过压缩包。 夸克网盘：链接：https://pan.quark.cn/s/ad43dd5152a6 百度网盘：链接：https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc 提取码：lpvc 模型： 夸克网盘：链接：https://pan.quark.cn/s/5551e813db21 百度网盘：链接：https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq 提取码：zhfq 处理：将模型放到 ComfyUI\\models\\TheMisto_model 文件夹中。 导入官方工作流： ，所需要的两个模型。

做大模型的云端部署与微调，主要包括以下步骤： 1. 选择合适的部署方式： 本地环境部署。 云计算平台部署。 分布式部署。 模型压缩和量化。 公共云服务商部署。需根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源： 确保有足够的训练数据覆盖目标应用场景。 准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础： 可以使用开源的预训练模型如 BERT、GPT 等。 也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练： 根据具体应用场景对预训练模型进行微调训练。 优化模型结构和训练过程以提高性能。 5. 部署和调试模型： 将训练好的模型部署到生产环境。 对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护： 大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 例如，对于 SDXL 的大模型，本地部署时要注意模型分为 base+refiner 以及配套的 VAE 模型，需将其放入对应文件夹，并在秋叶启动器中将 webUI 的版本升级到 1.5 以上。而对于 Llama3 的部署和微调，实操分两部分，包括本地部署并通过 webdemo 对话，以及使用特定数据集进行微调，具体流程为购买服务器、安装代码环境、下载通用模型和数据集、挑选微调框架、编写微调程序和验证结果。 总的来说，部署和微调大模型需要综合考虑多方面因素，根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。

大语言模型的未来趋势在闭源云端和开源本地部署方面存在多种可能性。 对于开源本地部署，以下是一些相关信息： Ollama 是一个方便用户在本地运行和管理大型语言模型的框架，具有以下特点： 支持多种大型语言模型，如通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 CPU 和 GPU。 提供模型库，用户可从中下载不同模型，以满足不同需求和硬件条件，模型库可通过 https://ollama.com/library 查找。 支持用户自定义模型，例如修改温度参数调整创造性和连贯性，或设置特定系统消息。 提供 REST API 用于运行和管理模型，以及与其他应用程序的集成选项。 社区贡献丰富，包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 安装可访问 https://ollama.com/download/ 。 可以通过一些教程学习如何本地部署大模型以及搭建个人知识库，例如了解如何使用 Ollama 一键部署本地大模型、通过搭建本地聊天工具了解 ChatGPT 信息流转、RAG 的概念及核心技术、通过 AnythingLLM 搭建完全本地化的数据库等。 同时，采用开源或国内企业提供的 13B 级模型本地部署在内部系统中，虽需投入算力，但有其价值。智能客服的大量优质大客户可能会选择自己搭建智能客服平台，并结合大模型企业提供的技术服务，基于大模型搭建 LangChain、RAG 框架，实现 RPA 自动流程。 对于普通用户是否有必要了解本地部署知识以及是否有必要自己搭建 agent 以及 rag，这取决于个人需求和兴趣。如果您希望更深入了解大模型的工作原理和运行机制，或者有特定的个性化需求，那么了解和尝试本地部署可能是有意义的。但如果只是一般的使用需求，可能无需深入了解和自行搭建。

Stable Diffusion（SD）的云端部署允许用户利用云服务器的强大计算能力来运行和操作AI绘图模型，无需高端的本地硬件。以下是SD云端部署的教程概述： 1. 购买云服务器：选择一个云服务提供商，如腾讯云，并购买GPU服务器。在购买时选择合适的配置，如GN7 8核32GB，N卡，并选择Ubuntu Server作为操作系统。 2. 配置运行环境：安装Anaconda以管理Python环境和依赖。可以通过wget下载Anaconda安装脚本，并按照提示完成安装。 3. 安装SDwebui：将SDwebui克隆到服务器上，使用git clone命令。然后，修改相关配置文件，如launch.until.py，以适应国内的网络环境。 4. 启动SD：在激活了相应conda环境后，定位到stablediffusionwebui项目目录下，执行启动脚本，如./webui.sh listen，以启动SD的Web界面。 5. 修改Webui配置：编辑webui.user.sh文件，预先配置一些参数，简化启动流程。 6. 扩展换源：由于一些扩展源无法在国内直接访问，需要替换成国内可访问的源，如秋叶大佬的源地址。 7. 下载与安装LoRA和VAE：下载必要的模型，并上传到服务器的相应目录下。LoRA和VAE模型通常需要放置在特定的文件夹内，并在Web UI中进行配置以使其可用。 8. 安装ControlNet：根据服务器的位置，选择直接从GitHub安装或下载压缩包后上传至服务器。 9. 配置Clip Skip：调整Clip Skip的设置，并在UI中添加相应的模块以启用该功能。 10. 安装Hypernetworks（可选）：下载并安装Hypernetworks模型，上传到指定的文件夹，并刷新Web UI。 11. 插件使用：安装汉化插件和其他有用的扩展，如中英对照tag自动补全插件，以改善用户体验。 12. 保持服务器连接：使用如Putty等工具保持服务器连接的稳定性，避免因连接中断而导致的工作中断。 13. 其他注意事项：在部署过程中，确保网络环境稳定，及时解决可能遇到的技术问题，并合理管理服务器资源以避免不必要的费用。 请注意，具体的部署步骤可能会根据云服务商的不同而有所变化，同时，确保遵循云服务提供商的使用条款和隐私政策。在部署时，也要注意数据安全和隐私保护，避免泄露敏感信息。