直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

stable diffusion和comfly UI

回答

Stable Diffusion 是一种图像生成模型,而 ComfyUI 是一个基于节点流程式的 Stable Diffusion AI 绘图工具 WebUI。

ComfyUI 具有以下特点和相关知识:

  • 工作流定制:通过将 Stable Diffusion 的流程拆分成节点,实现更加精准的工作流定制和完善的可复现性。
  • 核心组件:
    • UNET:从噪音中生成图像的主要组件,在预测过程中通过反复调用,将其预测输出的 noise slice 从原有的噪声中去除,得到逐步去噪后的图像表示。Stable Diffusion Model 的 UNET 包含约 860M 的参数,以 float32 的精度编码大概需要 3.4G 的存储空间。
    • CLIP:将用户输入的 Prompt 文本转化成 text embedding,UNET 进行迭代降噪,在文本引导下进行多轮预测。
  • 存放路径:ComfyUI 的 Checkpoint 存放路径为 models/checkpoints/,包括 SD 基础预训练模型,如 SD1.5、SDXL 以及 SD 微调模型。
  • 模型实例:如【majicMIX realistic 麦橘写实 V7】by 麦橘 MERJIC - - sd1.5 微调、【LEOSAM HelloWorld 新世界】by LEOSAM 是只兔狲 - - SDXL 微调。
  • 训练方法:如 DreamBooth,by Google。
  • 格式:EMA-only & pruned 和 Full,EMA-only & pruned 只画图,Full 可画图和微调训练。

在与 Blender 结合方面:

  • 安装:先安装稳定版 Blender(可从网盘下载或在 Steam 平台下载),然后安装无限圣杯的插件。进入“偏好设置”——插件——选择“安装”,找到“无限圣杯节点工具”里面的压缩包进行安装,安装好之后打上勾。接着更改 ComfyUI 路径为电脑中的地址,并选择适合自己的显存模式。安装完成后重启。
  • 使用:打开软件,编辑器类型中出现“ComfyUI Node”,点击进入 ComfyUI 界面,先点击上方的“新建”按钮,然后展开右侧的 N 面板可以看到无限圣杯的界面。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

问:ComfyUI 是什么?

ComfyUI是一个基于节点流程式的stable diffusion AI绘图工具WebUI,你可以把它想象成集成了stable diffusion功能的substance designer,通过将stable diffusion的流程拆分成节点,实现了更加精准的工作流定制和完善的可复现性。

第二课 《ComfyUI基础知识》 By 郭佑萌 @ 🌈WaytoAGI 2024.8.15 .pdf

UNET是从噪音中生成图像的主要组件,在预测过程中,通过反复调用UNET,将UNET预测输出的noise slice从原有的噪声中去除,得到逐步去噪后的图像表示。Stable Diffusion Model的UNET包含约860M的参数,以float32的精度编码大概需要3.4G的存储空间。(source:zhuanlan.zhihu.com/p/582266032)核心的组件CLIP将用户输入的Prompt文本转化成text embeddingUNET UNET进行迭代降噪,在文本引导下进行多轮预测扩散模型在传统扩散模型中,反向扩散过程通过U-Net结构将全尺寸图像逐步传递,从而获得最终的去噪结果。然而,这种迭代性质在计算效率上带来了挑战,特别是在处理大尺寸图像和大量扩散步骤(T)时。在采样过程中,从高斯噪声中去噪图像可能需要很长时间。为了解决这一问题,一组研究人员提出了一种新的方法,称为稳定扩散(Stable Diffusion),最初称为潜在扩散模型(Latent Diffusion Models)CheckpointComfyUI存放路径:models/checkpoints/SD基础预训练模型SD1.5SDXLSD微调模型模型实例SD1.5【majicMIX realistic麦橘写实V7】by麦橘MERJIC----sd1.5微调SDXL【LEOSAM HelloWorld新世界】by LEOSAM是只兔狲----SDXL微调训练方法DreamBooth,by Google格式EMA-only & pruned VS FullEMA-only & pruned只画图Full画图和微调训练

【ComfyUI】Blender+Stable Diffusion!少年啊,这盛世如你所愿!(附中文汉化插件)

想不到研究了blender这么久,终于等到了AI绘画和blender结合的一天,不得不感叹一句:少年啊,这盛世如你所愿!那么今天,我们就来看一下如何在blender中实现comfyUI的使用,以及无限圣杯有什么优势。#安装下载网盘里的两个文件,先安装稳定版blender,这个是主程序,解压即用,如果已经有blender的朋友可以跳过这一步。另外说一句,有steam平台的可以去steam上下载blender,我就是在这里装的,软件会自动更新,很方便。接下来打开软件,安装无限圣杯的插件。进入“偏好设置”——插件——选择“安装”。找到“无限圣杯节点工具”里面的压缩包,不用解压,直接选择压缩包进行安装。安装好之后,打上勾,就可以开启无限圣杯了。接着看插件下方的ComfyUI路径这一栏,将它更改为我们电脑中的comfyUI的地址,我的是“E:\ComfyUI_windows_portable\ComfyUI”。然后选择一个适合自己的显存模式:8G以上都是高显存;6G选中显存;4G选低显存。安装完成,重启就可以了。#无限圣杯的使用打开软件,编辑器类型中就出现了“ComfyUI Node”。点击进入comfyUI界面,先点击上方的“新建”按钮,然后展开右侧的N面板可以看到无限圣杯的界面了。

其他人在问
Stable Diffusion官网
以下是 Stable Diffusion 的相关信息: Stable Diffusion 系列资源: SD 1.4 官方项目: SD 1.5 官方项目: SD 2.x 官方项目: diffusers 库中的 SD 代码 pipelines: SD 核心论文: SD Turbo 技术报告: 教程目录: 1. Stable Diffusion 系列资源 2. 零基础深入浅出理解 Stable Diffusion 核心基础原理 2.1 通俗讲解 Stable Diffusion 模型工作流程(包含详细图解) 2.2 从 0 到 1 读懂 Stable Diffusion 模型核心基础原理(包含详细图解) 2.3 零基础读懂 Stable Diffusion 训练全过程(包含详细图解) 2.4 其他主流生成式模型介绍 3. Stable Diffusion 核心网络结构解析(全网最详细) 3.1 SD 模型整体架构初识 3.2 VAE 模型 3.3 UNet 模型 3.4 CLIP Text Encoder 模型 3.5 SD 官方训练细节解析 4. 从 0 到 1 搭建使用 Stable Diffusion 模型进行 AI 绘画(全网最详细讲解) 4.1 零基础使用 ComfyUI 搭建 Stable Diffusion 推理流程 4.2 零基础使用 SD.Next 搭建 Stable Diffusion 推理流程 4.3 零基础使用 Stable Diffusion WebUI 搭建 Stable Diffusion 推理流程 目前 Stable Diffusion WebUI 可以说是开源社区使用 Stable Diffusion 模型进行 AI 绘画最热门的框架。是 AI 绘画领域最为流行的框架,其生态极其繁荣,非常多的上下游插件能够与 Stable Diffusion WebUI 一起完成诸如 AI 视频生成,AI 证件照生成等工作流,可玩性非常强。接下来,咱们就使用这个流行框架搭建 Stable Diffusion 推理流程。首先,我们需要下载安装 Stable Diffusion WebUI 框架,我们只需要在命令行输入如下代码即可。安装好后,我们可以看到本地的 stablediffusionwebui 文件夹。下面我们需要安装其依赖库,我们进入 Stable Diffusion WebUI 文件夹,并进行以下操作。和 SD.Next 的配置流程类似,我们还需要配置 Stable Diffusion WebUI 的 repositories 插件,我们需要运行下面的代码。如果发现 repositories 插件下载速度较慢,出现很多报错,don't worry,大家可以直接使用 Rocky 已经配置好的资源包,可以快速启动 Stable Diffusion WebUI 框架。Stable Diffusion WebUI 资源包可以关注公众号 WeThinkIn,后台回复“ WebUI 资源”获取。 4.4 零基础使用 diffusers 搭建 Stable Diffusion 推理流程 4.5 Stable Diffusion 生成示例 5. Stable Diffusion 经典应用场景 5.1 文本生成图像 5.2 图片生成图片 5.3 图像 inpainting 5.4 使用 controlnet 辅助生成图片 5.5 超分辨率重建 6. 从 0 到 1 上手使用 Stable Diffusion 训练自己的 AI 绘画模型(全网最详细讲解) 6.0 Stable Diffusion 训练资源分享 6.1 Stable Diffusion 模型训练初识 6.2 配置训练环境与训练文件 6.3 SD 训练数据集制作 6.4 Stable Diffusion 微调(finetune)训练
2024-09-18
stable diffusion可以用macbook 13来运行吗?配置够吗
Stable Diffusion(简称“SD”)的运行对电脑配置有一定要求。对于 Windows 系统: 显卡:必须是 NVIDIA(俗称 N 卡)。 专用 GPU 内存:4GB 勉强可以跑动 SD,出图时间较长;6GB 出一张图时间为 20 50 秒,大部分功能可用;8GB 5 20 秒出一张图,所有功能基本开放。 电脑运行内存:8GB 以上。 电脑系统:Win10 或者 Win11。 对于 Mac 系统,可以查看以下视频进行一键安装:https://www.bilibili.com/video/BV1Kh4y1W7Vg/?spm_id_from=333.788&vd_source=6f836e2ab17b1bdb4fc5ea98f38df761 但具体 MacBook 13 是否能运行及配置是否足够,还需根据上述标准进行对照检查。
2024-09-16
stable diffusion 与大模型的关系?
Stable Diffusion 与大模型的关系如下: 与其他大模型相比,Stable Diffusion 让用户使用消费级显卡就能实现文生图,且完全免费开源,代码在 GitHub 公开可拷贝使用。 在公众传播层面,AIGC 指用 Stable Diffusion 或 Midjourney 生成图像内容,后来泛指用 AI 生成音乐、图像、视频等内容。LLM 指 NLP 领域的大语言模型,如 ChatGPT。GenAI 是生成式人工智能模型,涵盖了 LLM 和 AIGC。 Stable Diffusion 原采用 LDM+UNet,后来改为 DiT。Transformer 是公众传播中常用名词的底层结构,其底层是 function loss 损失函数,是一个大参数(千亿级别)的回归方程,能在一定 prompt condition 下,重复曾经出现的数据内容实现“生成”能力。 大语言模型是一个 perfect memory,能重复曾经出现的内容,其智能体验在于能解释两个数据集压缩后的“连续”能力。与 Alpha Go 不同,Alpha Go 是增强学习模型,学习结果会调整自身参数,有推理能力,而大语言模型在推理方面较弱。Transformer 决定 LLM 是一个生成式模型。
2024-09-13
国内较好用可以替代Midjourney或Stable Diffusion的图像生成工具有哪些
以下是国内一些较好用可以替代 Midjourney 或 Stable Diffusion 的图像生成工具: 1. 吐司:https://tusiart.com/images/635511733697550450?post_id=635512498197535244&source_id=nzywoVHilkK7o_cqaH31xAh 2. 哩布:https://www.liblib.ai/ 此外,还有一些常见的图像生成工具: 1. DALLE:来自 OpenAI,已纳入 Bing(您必须使用创意模式)和 Bing 图像创建器。 2. Adobe Firefly:内置在各种 Adobe 产品中,但在质量方面落后于 DALLE 和 Midjourney。不过 Adobe 宣布它只使用有权使用的图像。
2024-09-10
stable diffusion模型训练怎么样提升效果
以下是一些提升 Stable Diffusion 模型训练效果的方法: 1. 理解核心原理: 与 GAN 等生成式模型相比,SD 模型学习拟合训练集分布,训练过程更稳定且泛化性能更强,这归功于其核心的前向扩散过程和反向扩散过程。 前向扩散过程是对图像持续添加高斯噪声直至变成随机噪声矩阵,反向扩散过程则是去噪声直至生成图像。 2. 掌握训练全过程: 训练具体过程是对每个加噪和去噪过程进行计算,从而优化 SD 模型参数。包括从训练集中选取加噪过的图片和噪声强度输入到 UNet 中,让其预测噪声,计算预测噪声与真实噪声的误差,最后通过反向传播更新 UNet 的参数。 完成 UNet 的训练后,可对噪声图片进行去噪,逐步重建出有效图像的 Latent Feature。 3. 利用语义信息控制图片生成: SD 模型生成图片时输入的 prompt,其语义信息通过注意力机制影响图片生成。在训练中,每个训练样本对应标签通过 CLIP Text Encoder 输出 Text Embeddings,并以 Cross Attention 的形式与 UNet 结构耦合,使图片信息与文字信息融合训练。 4. 微调训练参数: train_text_encoder:设置是否在训练时对 Text Encoder 进行微调。 lr_scheduler:设置学习率调度策略,如 linear、cosine 等。 lr_warmup_steps:在启动学习率调度策略前,先固定学习率训练的步数。 debug_dataset:训练时对数据进行 debug 处理,防止破损数据中断训练进程。 in_json:读取数据集 json 文件,其中包含数据名称、标签、分桶等信息。 train_data_dir:读取本地数据集存放路径。 dataset_repeats:整个数据集重复训练的次数,可根据数据量级进行设置。 shuffle_caption:设置为 true 时,对训练标签进行打乱,能一定程度提高模型的泛化性。
2024-09-04
请用StableDiffusion生成一幅画,钻井现场,旁边的风景很优美,以柳江盆地的地形和风景为主
很抱歉,目前我无法直接使用 StableDiffusion 为您生成这幅画。但您可以通过以下步骤来实现: 1. 准备好 StableDiffusion 软件,并确保您的计算机满足其运行要求。 2. 了解 StableDiffusion 的相关设置和参数调整方法。 3. 在输入描述中详细准确地描述您想要的画面,如“钻井现场,旁边的风景很优美,以柳江盆地的地形和风景为主”,同时可以补充更多细节,比如光线、色彩、物体的具体特征等,以获得更符合您期望的结果。 希望这些信息对您有所帮助。
2024-09-03
comfyui flux相关的教程
以下是关于 ComfyUI Flux 的教程: 安装及使用: 模型放置: t5xxl_fp16.safetensors:放在 ComfyUI/models/clip/目录下。 clip_l.safetensors:放在 ComfyUI/models/clip/目录下。 ae.safetensors:放在 ComfyUI/models/vae/目录下。 flux1dev.safetensors:放在 ComfyUI/models/unet/目录下。 下载地址: 如果 GPU 性能不足、显存不够,底模可以使用 fp8 的量化版模型,速度会快很多,下载地址:https://huggingface.co/Kijai/fluxfp8/tree/main 工作流下载:上面提供的工作流复制即可,或者使用官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ,将工作流或图片拖拽到 ComfyUI 里。 ComfyUI 共学相关: 插画提效成果显著,原本需要 200 人美术团队一年多完成的 1 万多张动画插画,最终不到 10 人用半年完成。 课程从零基础开始,从认识 config、UI 及行业概念讲起,逐步深入到环境部署、底层技术概念、提示词等内容。 介绍 config 牛角尖大王系列,包括 control net、IP Adapter、图像放大、mask 等部分,阐述了它们的作用和玩法。 具备搭建复杂工作流能力,学习相关知识后初步具备搭建复杂工作流能力,会拆解分析网上热门工作流。 解决 config UI 报错问题,报错问题可分为网络、模型、工作流搭建、环境等方面,安装新插件时可参考项目地址的 requirement 文档。 规划实战案例思路,目前想到了三个实战案例的思路。 关于 config UI 生态及相关技术的分享,郭佑萌介绍课程提纲,包括课程可能的扩充、回顾总结及重点讲解 Flux 模型,实际课程不严格按大纲走,会根据大家接受程度和安排进行共学。
2024-09-16
我想学comfy ui
以下是一些关于学习 Comfy UI 的资源和信息: ComfyUI 官方文档:提供了使用手册和安装指南,适合初学者和有经验的用户。可在获取相关信息。 优设网:有详细的 ComfyUI 入门教程,适合初学者,介绍了其特点、安装方法及生成图像等内容。教程地址是。 知乎:有用户分享了 ComfyUI 的部署教程和使用说明,适合有一定基础并希望进一步了解的用户。可在找到相关教程。 Bilibili:提供了从新手入门到精通各个阶段的一系列视频教程,可在找到。 此外,还有以下相关内容: 第 1 课:做最好懂的 Comfy UI 入门教程:Stable Diffusion 专业节点式界面新手教学。教学辅导书(含知识点扩充与分享链接):,每日登录即可领取 100 羊毛,可支持免费生成 100 张图! 学习使用 ComfyUI 的原因:更接近 SD 的底层工作原理;自动化工作流,符合 AI 精神,即消灭重复性工作;作为强大的可视化后端工具,可实现 SD 之外的功能,如调用 api 等,还可根据定制需求开发节点或模块。 内容由 AI 大模型生成,请仔细甄别。
2024-09-15
在COMFYUI中使用FLUX大模型时,怎么才能让多次生成的人物一致
在 ComfyUI 中使用 FLUX 大模型让多次生成的人物一致的方法如下: 控制人物在多场景、多个姿势下的一致性有很多方法,课程后期会介绍。 对于多张图输出的显示问题,一次产出多张图在预览窗口目前不能并排显示。 Lora 的刷新:将 Lora 丢到文件夹后,多点几次刷新即可,Web UI 中 Lora 库有刷新按钮。 另外,在 Midjourney 中,人物一致性已上线,其操作如下: DavidH 介绍:Hey @everyone @here we're testing a new "Character Reference" feature today This is similar to the "Style Reference" feature, except instead of matching a reference style it tries to make the character match a "Character Reference" image. 具体操作:Type cref URL after your prompt with a URL to an image of a character. You can use cw to modify reference 'strength' from 100 to 0. strength 100 . 适用范围:This feature works best when using characters made from Midjourney images. It's not designed for real people / photos . 网页端操作:How does it work on the web alpha? Drag or paste an image into the imagine bar, it now has three icons. Selecting these sets whether it is an image prompt, a style reference, or a character reference. Shift + select an option to use an image for multiple categories. 在 ComfyUI 中处理模型连接和提示词相关问题,如让两个模型同时起作用的操作: 加入一个新节点,右键点击 【新建节点】 【实用工具】 【Primitive 元节点】。 在文本节点上单击右键,选择【转换文本为输入】,此时文本节点上就多了一个文本的连接点。 将元节点与文本节点相连接,元节点就变成了正向提示词的输入框。同理,可以将负向提示词框也用元节点代替。 再复制出一套正负提示词节点,一套给 base 模型,一套给 refiner 模型。然后,base 模型的那一套输出给第一个采样器节点,refiner 模型的那一套输出给第二个采样器节点。
2024-09-13
Way to AGI里所有COMFYUI工作流
以下是关于 ComfyUI 工作流的相关内容: 打开节点树的列表,可以看到文生图、图生图以及 ControlNet 等常见工作流。选择文生图,会有更细化的预设工作流选项,ControlNet 中也有工作流预设,还有根据插件整理的丰富工作流。例如可选择“文生图”中的“基础+自定 VAE”,选好后点击“替换节点树”,界面会出现已连接好的工作流节点,包括大模型、clip、vae、正反提示词、尺寸、采样器等熟悉的参数,且是中文面板。不了解操作的可参考上一篇【ComfyUI】本地部署 ComfyUI 上手指南。 国内的 ComfyUI 工作流网站有: eSheep 电子羊 AIGC 社区 https://www.esheep.com/app ,主页点击工作流/应用分区,即可浏览、下载或在线运行各类工作流。 AIGODLIKE https://www.aigodlike.com/ ,下拉选取“ComfyUI 奥术”,即可查看其他用户上传的 ComfyUI 生成图片,保存或复制参数皆可读取到图片中的工作流。 在完成准备工作后运行 ComfyUI,默认版本不支持模型版本和 node 管理,需安装 ComfyUI Manager 插件。工作流下载好后,可使用 ComfyUI 菜单的 load 功能加载,点击菜单栏「Queue Prompt」开始视频生成,通过工作流上的绿色框查看运行进度,最后在 ComfyUI 目录下的 output 文件夹查看生成好的视频。若生成视频时出现显存溢出问题,请另行处理。
2024-09-13
学习comfyui有哪些技术或者文章可以学习和参考?
以下是一些学习 ComfyUI 的技术、文章和资源: 飞书学习群中的相关内容: 陈旭常用节点讲解和简单的节点制作 长风归庭基础教程+工作流创建 ヘヘ阿甘采样器原理与优化 王蓉🍀 🎈 Wang Easy 基础搭建和转绘 唯有葵花向日晴基础教程,工作流开发,实际应用场景 热辣 HuolarrAI 系统课私聊图生视频 咖菲猫咪基础教程/工作流搭建思路/各版本模型使用的优缺点 傅小瑶 Lucky 如何制作多人转绘视频 云尚工作流节点搭建思路 FǎFá 热门节点功能,搭建 森林小羊基本报错解决方式及基础工作流逻辑分析 苏小蕊基础教程 Sophy 基础课程 蜂老六装一百个最新常用插件后如何快速解决冲突问题 阿苏工作流框架设计 aflyrt comfyui 节点设计与开发 老宋&SD 深度解释虚拟环境部署和缺失模型的安装 Liguo 模型训练 啊乐福基础课程 塵优秀案例 风信基础课程➕平面设计应用场景 北南基础课程 视频工作流框架设计 8 月 13 日 ComfyUI 共学的相关内容:算力和资源获取方面,飞翔提供了 50 个小时的算力时间,可在飞书群填问卷获取,分享模型较少可提建议,相关文档在飞书和公众号中。AI 绘图相关技术与工具的介绍及交流公众号文章包含 AGI 相关信息:通往 AGI 之路的公众号最新文章中有相关信息,内置工作流和启动器方便,Mac 系统因无 CUDA 生态不太好用。推荐提示词辅助插件:如 SDXL 的 S1XL style,可对提示词进行风格化扩充,还有能翻译提示词的插件,如沙拉查词、沉浸式翻译等。解释 CLIP 和 CFG 的区别:CLIP 用于解析提示词,将其转化为模型可理解的向量,CFG 是提示词对画面影响的强度,即提示词引导系数。搭建带 Lora 的图生图工作流:介绍了加载模型、设置 clip 跳过层、处理图像、连接采样器和解码器等步骤,并展示效果。关于 Lora 串联和图像放大模型的讨论 Lora 串联:多个 Lora 串联时左右顺序不影响结果,可复制并点对点连接。CLIP 层调整:CLIP 层1 和2 的效果不同,加 Lora 时某些 Lora 可能更适合2。 相关网站: ComfyUI 官方文档:提供了 ComfyUI 的使用手册和安装指南,适合初学者和有经验的用户。可在找到相关信息。 优设网:提供了一篇详细的 ComfyUI 入门教程,适合初学者,详细介绍了 ComfyUI 的特点、安装方法以及如何使用 ComfyUI 生成图像等内容。教程地址是。 知乎:有用户分享了 ComfyUI 的部署教程和使用说明,适合有一定基础并希望进一步了解 ComfyUI 的用户。可在找到相关教程。 Bilibili:提供了一系列的 ComfyUI 视频教程,涵盖了从新手入门到精通的各个阶段。可在找到视频教程。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2024-09-12
有什么AI生成UI的产品吗
目前有以下一些 AI 生成 UI 的产品: 1. Artguru AI Art Generator:是一个在线平台,能生成逼真图像,为设计师提供灵感,丰富创作过程。 2. Retrato:这是一款 AI 工具,可将图片转换为非凡肖像,有 500 多种风格供选择,适合制作个性头像。 3. Stable Diffusion Reimagine:新型 AI 工具,通过稳定扩散算法生成精细且具细节的全新视觉作品。 4. Barbie Selfie Generator:专为喜欢梦幻童话风格的人设计的 AI 工具,能将上传的照片转换为芭比风格,效果出色。 此外,Midjourney 也可以生成 UI 界面。如果想指定生成某个页面(如首页、登录页等),只需添加页面指令描述,例如“landing page、Profile Page”。通过一系列操作发现,Midjourney 产出的设计图视觉效果不错,更适合在 APP 设计的初始阶段,如头脑风暴和风格探索中为设计师提供灵感和创意。但要让其产出的 UI 设计图直接落地开发,目前还有一定距离。 在 UI 层,SillyTavern、Agnaistic 和 KoboldAI 是受欢迎的选择。
2024-09-11