Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

相同的参数下,用SD comfyui出图可以和SD webui出图保持图片效果一模一样么?

Answer

理论上,在应用完全相同参数(如 Step、CFG、Seed、prompts)的情况下,SD ComfyUI 出图和 SD WebUI 出图应当能保持图片效果一模一样。但在实际操作中可能会存在一些差异,比如:

  • 提示词的多个条件下,SD 生成的图像可能无法全部满足,这与提示词引导系数有关,该系数关系到出图与文字的相关程度。
  • 不同的模型和配置也可能影响出图效果,例如 SDXL 的大模型分为 base、refiner 以及配套的 VAE 模型,用于调节图片的画面效果和色彩。

需要注意的是,相同参数下要达到完全一致的出图效果并非绝对,还会受到多种因素的综合影响。

Content generated by AI large model, please carefully verify (powered by aily)

References

SD新手:入门图文教程

[title]SD新手:入门图文教程[heading2]三、功能介绍[heading3]文生图最简流程CFG Scale(提示词相关性)图像与你的提示的匹配程度。增加这个值将导致图像更接近你的提示,但它也在一定程度上降低了图像质量。可以用更多的采样步骤来抵消。过高的CFG Scale体现为粗犷的线条和过锐化的图像。一般开到7~11。CFG Scale与采样器之间的关系:生成批次每次生成图像的组数。一次运行生成图像的数量为“批次*批次数量”。每批数量同时生成多少个图像。增加这个值可以提高性能,但也需要更多的显存。大的Batch Size需要消耗巨量显存。若没有超过12G的显存,请保持为1。尺寸指定图像的长宽。出图尺寸太宽时,图中可能会出现多个主体。1024之上的尺寸可能会出现不理想的结果,推荐使用小尺寸分辨率+高清修复(Hires fix)。种子种子决定模型在生成图片时涉及的所有随机性,它初始化了Diffusion算法起点的初始值。理论上,在应用完全相同参数(如Step、CFG、Seed、prompts)的情况下,生产的图片应当完全相同。高清修复通过勾选"Highres.fix"来启用。默认情况下,文生图在高分辨率下会生成非常混沌的图像。如果使用高清修复,会型首先按照指定的尺寸生成一张图片,然后通过放大算法将图片分辨率扩大,以实现高清大图效果。最终尺寸为(原分辨率*缩放系数Upscale by)。

【SD】提示词服从度增强插件,CFG值修复

[title]【SD】提示词服从度增强插件,CFG值修复作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-06-22 20:01原文网址:https://mp.weixin.qq.com/s/bAy1-CydHneam2IDM916XQ在画图的时候,当我们的提示词中有多个条件,sd生成的图像可能无法帮我们全部满足。比如我想要绘制这样一幅图片,关键词是:一个女孩、戴着贝雷帽、绿色夹克、黄色印花裙子,在森林里弹吉他,盲盒风格。使用的大模型是revAnimated,加“blindbox”lora。但是图片生成的时候,我们却发现,夹克变成了黄色,裙子变成了绿色,而且人物的身材比例是接近真实人物的,而不是我们想要的“chibi”盲盒风格。这个情况和我们的一个参数有关,那就是提示词引导系数,它关系到出图与我们文字的相关程度。我们使用“X/Y/Z脚本”来做一个横向对比,测试分别在5/10/15/20/25/30的CFG值下,画面的效果。可以看到,随着CFG值的提高,画面与提示词关联度更高,衣服和裙子的颜色与提示词相符了,但是问题是画面出现了崩坏。那有没有办法可以既增加CFG值,又让画面保持正常呢?答案是可以的,这就需要用到这款插件——dynamic-thresholding安装方式可以在扩展列表中搜索这个插件的名字,或者是将下载好的插件,放在这个路径文件夹下“……\sd-webui-aki-v4\extensions”。安装完成后,重启webUI,就可以看到这个插件了。点击打勾,就可以启用生效。

【SD】向未来而生,关于SDXL你要知道事儿

[title]【SD】向未来而生,关于SDXL你要知道事儿[heading1]#本地部署与在线使用[heading2]1.本地部署SDXL的大模型分为两个部分:第一部分,base+refiner是必须下载的,base是基础模型,我们使用它进行文生图的操作;refiner是精炼模型,我们使用它对文生图中生成的模型进行细化,生成细节更丰富的图片。第二部分,是SDXL还有一个配套的VAE模型,用于调节图片的画面效果和色彩。这三个模型,我已经放入了云盘链接中,大家可以关注我的公众号【白马与少年】,然后回复【SDXL】获取下载链接。想要在webUI中使用SDXL的大模型,首先我们要在秋叶启动器中将webUI的版本升级到1.5以上。接下来,将模型放入对应的文件夹中,base和refiner放在“……\sd-webui-aki-v4.2\models\Stable-diffusion”路径下;vae放在“……\sd-webui-aki-v4.2\models\VAE”路径下。完成之后,我们启动webUI,就可以在模型中看到SDXL的模型了。我们正常的使用方法是这样的:先在文生图中使用base模型,填写提示词和常规参数,尺寸可以设置为1024*1024,进行生成。我这边使用了一个最简单的提示词“1girl”,来看看效果。生成的图片大家可以看一下,我觉得是相当不错的。我知道大家心里可能会想——“就这,还好吧,也没有那么惊艳吧?”,那么,我用同样的参数再给你画一幅sd1.5版本的图像,你就能看出进步有多大了。是不是没有对比就没有伤害?SDXL,真香!还没完,我们到现在还只使用了一个base模型,接下来,将图片发送到图生图当中,大模型切换为“refiner”,重绘幅度开小一点,再次点击生成。

Others are asking
有图片文字翻译输出图片的应用吗?
目前市面上有一些能够实现图片文字翻译并输出图片的应用。例如,百度翻译、腾讯翻译君等,它们在一定程度上具备这样的功能。但具体的效果可能会因图片的清晰度、文字的复杂程度等因素而有所不同。
2025-01-09
用macbook M3 Pro芯片,comfyUI 跑工作流,结果黑屏,没有输出图像,是为什么呢
很抱歉,目前没有关于使用 Macbook M3 Pro 芯片运行 ComfyUI 工作流出现黑屏且无输出图像的具体原因的相关知识。可能的原因有多种,比如软件与芯片的兼容性问题、显卡驱动异常、工作流设置错误、系统资源不足等。建议您检查软件的版本是否与您的系统兼容,更新显卡驱动,确认工作流的设置是否正确,以及关闭其他占用大量资源的程序以释放系统资源。
2025-01-03
flux和sdXL出图的区别
Flux 和 SDXL 出图主要有以下区别: 1. 生成人物外观:Flux 存在女生脸油光满面、下巴等相同外观问题,而 SDXL 相对在这方面有改进。 2. 模型构成:SDXL 由 base 基础模型和 refiner 优化模型两个模型构成,能更有针对性地优化出图质量;Flux 中 Dev/Schnell 是从专业版中提取出来,导致多样性丧失。 3. 处理方式:在低显存运行时,可采用先使用 Flux 模型进行初始生成,再用 SDXL 放大的分阶段处理方式,有效控制显存使用。 4. 模型参数和分辨率:SDXL 的 base 模型参数数量为 35 亿,refiner 模型参数数量为 66 亿,总容量达 13G 之多,基于 10241024 的图片进行训练,可直接生成 1000 分辨率以上的图片,拥有更清晰的图像和更丰富的细节;而 Flux 在这方面相对较弱。
2024-12-20
flux和sd3.5出图的区别
Flux 和 SD3.5 出图存在以下区别: 1. 模型性质:Flux.1 有多种版本,如开源不可商用的 FLUX.1等。而 SD3.5 未提及相关性质。 2. 训练参数:Flux.1 的训练参数高达 120 亿,远超 SD3 Medium 的 20 亿。 3. 图像质量和提示词遵循能力:Flux.1 在图像质量、提示词跟随、尺寸适应、排版和输出多样性等方面超越了一些流行模型,如 Midjourney v6.0、DALL·E 3和 SD3Ultra 等。 4. 应用场景:Flux.1 可以在 Replicate 或 fal.ai 等平台上试用,支持在 Replicate、fal.ai 和 Comfy UI 等平台上使用,并且支持用户根据自己的数据集进行微调以生成特定风格或主题的图像。而 SD3.5 未提及相关应用场景。 5. 本地运行:文中尝试了在没有 N 卡,不使用复杂工作流搭建工具的 Mac Mini M1 上运行 FLUX.1,以及在边缘设备 Raspberry PI5B 上运行的情况,未提及 SD3.5 的相关内容。 6. 模型安装部署:对于 Flux.1,不同版本的模型下载后放置的位置不同,如 FLUX.1应放在 ComfyUI/models/unet/文件夹中。而 SD3.5 未提及相关安装部署内容。 7. 显存处理:对于 Flux.1,如果爆显存,“UNET 加载器”节点中的 weight_dtype 可以控制模型中权重使用的数据类型,设置为 fp8 可降低显存使用量,但可能会稍微降低质量。而 SD3.5 未提及相关显存处理内容。 8. 提示词使用:在训练 Flux 时,应尽量使用长提示词或自然语言,避免使用短提示词,因为 T5 自带 50%的删标。而 SD3.5 未提及相关提示词使用内容。
2024-12-20
如果给AI数据,AI可以做出小波分析并出图吗
目前的 AI 技术在给定相关数据的情况下,是有可能进行小波分析并出图的。但这取决于多个因素,如数据的质量、数量、特征,以及所使用的 AI 模型和算法的能力和适应性。一些专门为数据分析和图像处理设计的 AI 模型,经过适当的训练和配置,能够处理数据并生成小波分析的结果图像。然而,要实现准确和有意义的小波分析及出图,还需要对数据进行预处理、选择合适的模型架构,并进行精细的调参和优化。
2024-10-31
给我找国内较好的Ai设计出图网站
以下是为您推荐的国内较好的 AI 设计出图网站: 爱设计 PPT:在国内 AI 辅助制作 PPT 的产品领域表现出色,其背后有强大的团队,能敏锐把握 AI 与 PPT 结合的市场机遇,已确立市场领先地位。对于经常制作 PPT 的商务人士、教育工作者、学生等都是值得尝试的工具,能提高效率并保证高质量输出。 如果您想了解关于 AI 生成 CAD 图的相关资料,可以参考以下几个方面: 学术论文:通过 Google Scholar、IEEE Xplore、ScienceDirect 等学术数据库搜索。 专业书籍:查找相关专业书籍。 在线课程和教程:参加 Coursera、edX、Udacity 等平台上的相关课程,在 YouTube 等视频平台上查找教程和演示视频。 技术论坛和社区:加入如 Stack Overflow、Reddit 的 r/AI 和 r/CAD 等,关注相关博客和新闻网站。 开源项目和代码库:探索 GitHub 等开源平台上的相关项目,例如 OpenAI 的 GPT3、AutoGPT 等在 CAD 设计中的应用。 企业案例研究:研究 Autodesk、Siemens 等公司在 AI 在 CAD 设计中的应用案例。 以下是一些用户在工作中对出图的需求示例: |用户|联系方式|需求| |||| |kone|18616571618|AI 短片、AI 商业广告| |晓涵|17801234978|做视频| |uohigher|13902973307|个人学习| |卿卿子|18610036923|图片批处理| |lok|18529409793|设计| |hell 小明|13590623865|产品图| |iseeu|15532394695|提高工作效率,页面设计,配文出图| |大白光|17704034008|出图和视频| |三川|18681537236|出图和 AI 出视频| |李小蜗|18366606265|动漫真人电影| |Lucky|18475643966|出图,视频| |无名之辈|15813236448|自媒体 ip 打造,影音行业的创新,母婴等电商行业的赋能| |龙|13911904101|画图,工作,变现| |colour|19977743192|工作流设计| |小熠|13242135972|视频、图片处理| |顺势上马|/|自媒体和电商办公等| |叉子|15103211190|儿童绘图,小红书引流| |harry|15921430685|兴趣学习,自媒体素材,自定义节点开发| |古戈尔|18975394699|视频,动画| |二师兄|13818462550|图像流制作,装修工程和建筑工程| |fyu|15880036058|生图|
2024-10-29
SD模型
Stable Diffusion(SD)模型是由 Stability AI 和 LAION 等公司共同开发的生成式模型,参数量约 1B,可用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等任务。 文生图任务是将文本输入到 SD 模型,经过一定迭代次数生成符合描述的图片。例如输入“天堂,巨大的,海滩”,模型生成美丽沙滩图片。 图生图任务在输入文本基础上再输入一张图片,模型根据文本提示重绘输入图片使其更符合描述,如在沙滩图片上添加“海盗船”。 输入的文本信息需通过“桥梁”CLIP Text Encoder 模型转换为机器数学信息。该模型作为 SD 模型中的前置模块,将输入文本编码生成 Text Embeddings 特征矩阵,用于控制图像生成。 目前 SD 模型使用的是中的 Text Encoder 模型,其只包含 Transformer 结构,由 12 个 CLIPEncoderLayer 模块组成,模型参数大小为 123M,输出 Text Embeddings 的维度为 77x768。 以下是相关资源获取方式: SD 模型权重:关注 Rocky 的公众号 WeThinkIn,后台回复“SD 模型”,可获得包含多种模型权重的资源链接。 SD 保姆级训练资源:关注 Rocky 的公众号 WeThinkIn,后台回复“SDTrain”,可获得包含数据处理、模型微调训练及基于 SD 的 LoRA 模型训练代码等全套资源。 Stable Diffusion 中 VAE、UNet 和 CLIP 三大模型的可视化网络结构图:关注 Rocky 的公众号 WeThinkIn,后台回复“SD 网络结构”,即可获得网络结构图资源链接。
2025-01-22
SD如何操作
以下是关于 SD 操作的相关内容: Stable Diffusion 中,Checkpoint 是最重要的模型,也是主模型,几乎所有操作都依托于它。主模型基于 Stable Diffusion 模型训练而来,有时被称为 Stable Diffusion 模型。主模型后缀一般为.ckpt 或者.safetensors,体积较大,一般在 2G 7G 之间。要管理模型,需进入 WebUl 目录下的 models/Stable diffusion 目录。 画出商用级别的高清大图操作简单,调整好放大倍率即可直接放大。其原理和其他图片放大原理相同,并非重绘,只是变清晰,缺失细节不会补全。 制作中文文字的思路: 将中文字做成白底黑字,存成图片样式。 使用文生图的方式,使用大模型真实系,输入关键词和反关键词,反复刷机得到满意效果。 可输出 C4D 模型,自由贴图材质效果。 若希望有景深效果,可打开 depth。 打开高清修复,分辨率 1024 以上,步数 29 60。
2025-01-09
sd 学习教程
以下是关于系统学习 Stable Diffusion 提示词的教程: 1. 学习基本概念: 了解 Stable Diffusion 的工作原理和模型架构。 理解提示词如何影响生成结果。 掌握提示词的组成部分(主题词、修饰词、反面词等)。 2. 研究官方文档和教程: 通读 Stable Diffusion 官方文档,了解提示词相关指南。 研究来自开发团队和专家的教程和技巧分享。 3. 学习常见术语和范例: 熟悉 UI、艺术、摄影等相关领域的专业术语和概念。 研究优秀的图像标题和描述,作为提示词范例。 4. 掌握关键技巧: 学习如何组合多个词条来精确描述想要的效果。 掌握使用“()”、“”等符号来控制生成权重的技巧。 了解如何处理抽象概念、情感等无形事物的描述。 5. 实践和反馈: 使用不同的提示词尝试生成各种风格和主题的图像。 对比提示词和实际结果,分析原因,总结经验教训。 在社区内分享结果,请教高手,获取反馈和建议。 6. 创建提示词库: 根据主题、风格等维度,建立自己的高质量提示词库。 将成功案例和总结记录在案,方便后续参考和复用。 7. 持续跟进前沿: 关注 Stable Diffusion 的最新更新和社区分享。 及时掌握提示词的新技术、新范式、新趋势。 此外,为您推荐以下学习资源: 1. SD 从入门到大佬: Nenly 同学的视频合集(点我看合集):https://space.bilibili.com/1 。 想入门 SD 的同学可以在安装完 SD 后,参考 0.SD 的安装:https://qa3dhma45mc.feishu.cn/wiki/Ouiyw6v04iTJlmklDCcc50Jenzh 。 可选的一些图片版教程: 。 2. 第一期:上班的你: 。 。 。 。 。 。 。 。 。
2025-01-06
Midjourney+sd可以生成服装模特视频么
Midjourney 和 SD 可以用于生成服装模特视频。以下是一些常见的方法: 1. 方法 1【MJ 出图 + AI 视频软件】:使用 Midjourney 垫图➕描述出图,再去视频工具中转成视频。下载项里的深度图,打开 Midjourney 官网(https://www.midjourney.com/)上传深度图。局部重绘有难度,最终方式可以是分开画,比如先画个被关着的红衣服女孩,再画个二战德国士兵的背影,再合成后交给 MJ。 2. 方法 3【SD 出图 + AI 视频软件】:在 SD 的 controlnet 中上传原图,选择深度,文生图生成图片,再把生成好的图放在 AI 视频工具中进行视频生成。 同时,您还可以参考以下视频工具建议: 。另外,使用 Dreamina 图片生成功能(https://dreamina.jianying.com/aitool/image/generate)上传深度图,选择适应画布比例并填写描述,也可以实现深度图出图和出视频。
2025-01-06
SD怎么学习简单
学习 Stable Diffusion(SD)可以从以下方面入手: 学习 SD 提示词: 1. 学习基本概念: 了解 Stable Diffusion 的工作原理和模型架构。 理解提示词如何影响生成结果。 掌握提示词的组成部分(主题词、修饰词、反面词等)。 2. 研究官方文档和教程: 通读 Stable Diffusion 官方文档,了解提示词相关指南。 研究来自开发团队和专家的教程和技巧分享。 3. 学习常见术语和范例: 熟悉 UI、艺术、摄影等相关领域的专业术语和概念。 研究优秀的图像标题和描述,作为提示词范例。 4. 掌握关键技巧: 学习如何组合多个词条来精确描述想要的效果。 掌握使用“()”、“”等符号来控制生成权重的技巧。 了解如何处理抽象概念、情感等无形事物的描述。 5. 实践和反馈: 使用不同的提示词尝试生成各种风格和主题的图像。 对比提示词和实际结果,分析原因,总结经验教训。 在社区内分享结果,请教高手,获取反馈和建议。 6. 创建提示词库: 根据主题、风格等维度,建立自己的高质量提示词库。 将成功案例和总结记录在案,方便后续参考和复用。 7. 持续跟进前沿: 关注 Stable Diffusion 的最新更新和社区分享。 及时掌握提示词的新技术、新范式、新趋势。 学习 SD 的 Web UI: 1. 安装必要的软件环境: 安装 Git 用于克隆源代码。 安装 Python 3.10.6 版本,确保勾选“Add Python 3.10 to PATH”选项。 安装 Miniconda 或 Anaconda 创建 Python 虚拟环境。 2. 克隆 Stable Diffusion Web UI 源代码: 打开命令行工具,输入命令 git clone https://github.com/AUTOMATIC1111/stablediffusionwebui.git ,将源代码克隆到本地目录。 3. 运行安装脚本: 进入 stablediffusionwebui 目录。 运行 webuiuser.bat 或 webui.sh 脚本,它会自动安装依赖项并配置环境。 等待安装完成,命令行会显示 Web UI 的访问地址。 4. 访问 Web UI 界面: 复制命令行显示的本地 Web 地址,在浏览器中打开。 即可进入 Stable Diffusion Web UI 的图形化界面。 5. 学习 Web UI 的基本操作: 了解 Web UI 的各种设置选项,如模型、采样器、采样步数等。 尝试生成图像,观察不同参数对结果的影响。 学习使用提示词(prompt)来控制生成效果。 6. 探索 Web UI 的扩展功能: 了解 Web UI 支持的各种插件和扩展,如 Lora、Hypernetwork 等。 学习如何导入自定义模型、VAE、embedding 等文件。 掌握图像管理、任务管理等技巧,提高工作效率。 总之,学习 SD 需要多方面的知识和经验积累。初学者可从官方资料入手,掌握基本概念;中级阶段需大量实践,培养敏锐度;高级阶段则要追求创新性、挖掘新维度。持续的学习、实践和总结反馈,是成为高手的必由之路。
2025-01-04
怎么看sd的插件不兼容
SD 插件不兼容可能有多种情况和解决方法: 对于提示词服从度增强插件,当生成图与提示词不太相符时,可以通过多刷图来找到符合需求的绘图。若条件太多始终达不到效果,可提高 cfg 值并启用修复插件。但开启插件并提高 CFG 值后,画面可能会发黄,颜色偏差可利用 PS 做后续调整。安装方式可以在扩展列表中搜索插件名字,或放在特定路径文件夹下,安装完成后重启 webUI 即可启用。 对于无需 Lora 的一键换脸插件 Roop,安装时间较长,需耐心等待。安装过程包括在特定文件夹地址栏输入“cmd”回车,在打开的 dos 界面粘贴代码安装 insightface。若出现错误,可下载最新秋叶 4.2 整合包。安装完成后重新打开启动器,后台会继续下载模型,需全程科学上网。使用时要注意参数设置,人脸像素可能偏低,可发送到“图生图”并使用 controlnet 中的 tile 模型重绘。此插件谨慎使用,切勿触犯法律。获取插件可添加公众号【白马与少年】回复【SD】。
2025-01-02
ComfyUI_LayerStyle
ComfyUI_LayerStyle 相关内容如下: 加载模型部分: 下好工作流中的所需三张图片“SeasonYou_Reference、BG、MASK”以及上传自己所需的照片到 Input 部分。右上角放自己的人像图片(非人像会报错提示“no face detected”)。 对于 vae 加载器部分,选择 xl 版本(因为大模型用的 xl)的 vae 即可。 对于 ipadater 部分,倘若加载器部分报错说 model 不存在,将文中画圈部分修改调整到不报错。 Pulid 部分,除了下载好对应的节点以及参考官方网站最下面的安装对应要求外,还要注意对应安装一些内容,具体要求可查看云盘中命名为“pulid 插件模型位置.png”及对应的云盘链接:PulID 全套模型 链接:https://pan.baidu.com/s/1ami4FA4w9mjuAsPK49kMAw?pwd=y6hb 提取码:y6hb ,否则将会报错。 爆肝博主 ZHO 的更新记录: 3 月 7 日:ComfyUI 支持 Stable Cascade 的 Inpainting ControlNet,ComfyUI 作者在示例页面给出了说明和工作流:https://comfyanonymous.github.io/ComfyUI_examples/stable_cascade/ ,博主自己也整理了一版,分享在:https://github.com/ZHOZHOZHO/ComfyUIWorkflowsZHO ,说明第二个 inpainting+composite 是将原图帖回到重绘之后的效果,是非必要项,按需使用。 3 月 6 日:国内作者把 ps 很多功能都迁移到了 ComfyUI 里,项目是:https://github.com/chflame163/ComfyUI_LayerStyle 。最新版 ComfyUI 支持了一系列图像形态学处理,包括 erode 腐蚀(去除小噪点/分离相邻对象)、dilate 膨胀(填补小洞/连接临近对象)、open 开(先腐蚀后膨胀)、close 闭(先膨胀后腐蚀)、gradient 梯度(膨胀与腐蚀之差)、top_hat 顶帽(原图与开之差)、bottom_hat 底帽(原图与闭之差)。使用方法为:1)更新 ComfyUI;2)右键 image/postprocessing/ImageMorphology;3)接上图像输入和输出即可。
2025-01-15
在comfyUI中可以接入哪些api,又和3D相关的吗
在 ComfyUI 中可以接入以下与 3D 相关的 API: 1. @CSM_ai:可以将文本、图像或草图转换为 3D 素材,并直接应用于游戏中,无需后期处理。体验地址:https://cube.csm.ai ,https://x.com/xiaohuggg/status/1763758877999587757?s=20 2. Move AI 推出的 Move API:可以从 2D 视频生成 3D 运动数据,支持多种 3D 文件格式导出,为 AR 应用、游戏开发等提供高质量 3D 运动数据。链接:https://move.ai/api ,https://x.com/xiaohuggg/status/1761590288576061573?s=20 3. ComfyUI 3D Pack 引入 3D 图像处理:可以快速将图片转换为 3D 模型,支持多角度查看,使用 3D 高斯扩散技术提升模型质量,支持多种格式导出,集成先进 3D 处理算法。链接:https://github.com/MrForExample/ComfyUI3DPack/tree/main ,https://x.com/xiaohuggg/status/1755824687811346514?s=20 此外,ZHO 博主有关于 ComfyUI 的更新记录: 1. 4 月 18 日,ComfyUI Stable Diffusion 3 API 已更新为 V1.5 版,图生图和 SD3 Turbo 都可以正常使用,但 SD3 图生图模式不支持选择比例,SD3 Turbo 模型不支持负面提示词。使用方法是先申请 API,然后填入 config.json 文件即可(每账户 25 免费积分),SD3 每张图 6.5 积分(比较贵)。项目地址:https://github.com/ZHOZHOZHO/ComfyUIStableDiffusion3API ,SD3 API ComfyUI 节点测试成功。 2. 4 月 17 日,Stability AI 刚刚发布了 Stable Diffusion 3 和 Stable Diffusion 3 Turbo,现在已经可通过 Stability AI 开发者平台 API 使用,SAI 计划在不久的将来通过会员资格提供模型权重。详情:https://bit.ly/3W43FjY
2025-01-14
在comfyUI中可以接入哪些节点
在 ComfyUI 中可以接入以下类型的节点: 1. 输入节点: 文本提示节点:用于输入生成图像的文本描述。 图像输入节点:用于输入基础图像进行二次生成。 噪声节点:用于输入初始噪声图像。 2. 处理节点: 采样器节点:选择图像生成所使用的采样器。 调度器节点:选择图像生成所使用的调度器。 CFG Scale 节点:调整引导式采样的强度。 步数节点:设置图像生成的迭代步数。 3. 输出节点: 图像输出节点:显示生成的最终图像。 4. 辅助节点: 批处理节点:支持批量生成多个图像。 图像变换节点:提供图像旋转、翻转等功能。 图像融合节点:可以将多个图像合并成一个。 此外,还有一些特定的节点插件,如: 1. PuLID 节点插件: model:使用预训练的基础文本到图像扩散模型,如 Stable Diffusion。 pulid:加载的 PuLID 模型权重,定义 ID 信息如何插入基础模型。 eva_clip:用于从 ID 参考图像中编码面部特征的 EvaCLIP 模型。 face_analysis:使用 InsightFace 模型识别和裁剪 ID 参考图像中的面部。 image:提供的参考图像用于插入特定 ID。 method:选择 ID 插入方法,如“fidelity”(优先保真度)、“style”(保留生成风格)和“neutral”(平衡两者)。 weight:控制 ID 插入强度,范围为 0 到 5。 start_at 和 end_at:控制在去噪步骤的哪个阶段开始和停止应用 PuLID ID 插入。 attn_mask:此选项用于提供灰度掩码图像,以控制 ID 自定义的应用位置,但并不是必需输入,而是可选输入。 Advanced Node:提供了高级节点,可以通过调整 fidelity 滑块和 projection 选项进行更精细的生成调优。 2. 中文提示词输入相关节点: 安装完成后,在【新建节点】【Alek 节点】下,有【预览文本】、【绘画】、【姿态】、【clip 文本编码器】和【翻译文本】这五个节点。 【clip 文本编码器(翻译)】可代替自带的【clip 文本编码器】,直接输入中文。但引用负向 embedding 时,文件夹路径不能有中文。 【翻译文本】节点可代替【元节点】,在 sdxl 流程中,当需要将文本信息单独列出来时使用。 【预览文本】节点可连接到【翻译文本】检查翻译是否正确。 如果翻译失效,可双击“embedded_instail”进行安装,然后用记事本打开 BaiduTranslate.py,填入在百度翻译开发平台申请的 ID 和密码,即可正常翻译。
2025-01-14
可以把tripo的节点接入comfyui吗
要将 tripo 的节点接入 ComfyUI,您可以参考以下步骤: 1. 确保后面有一个空格。然后将 requirements_win.txt 文件拖到命令提示符中(如果您在 Windows 上;否则,选择另一个文件 requirements.txt)。拖动文件将在命令提示符中复制其路径。 2. 按 Enter 键,这将安装所有所需的依赖项,使其与 ComfyUI 兼容。请注意,如果为 Comfy 使用了虚拟环境,必须首先激活它。 3. 在使用自定义节点之前,有一些要注意的事项: 您的图像必须放在一个以命名的文件夹中。那个数字很重要:LoRA 脚本使用它来创建一些步骤(称为优化步骤…但别问我是什么^^’)。它应该很小,比如 5。然后,下划线是必须的。 对于 data_path,您必须写入包含数据库文件夹的文件夹路径。例如:C:\\database\\5_myimages ,您必须写 C:\\database 。 Python 在这里需要斜杠,但节点会自动将所有反斜杠转换为斜杠。文件夹名称中的空格也不是问题。 4. 参数方面: 在第一行,您可以从 checkpoint 文件夹中选择任何模型。然而,据说您必须选择一个基本模型进行 LoRA 训练。 您选择一个名字为您的 LoRA,如果默认值对您不好,就更改这些值(epochs 数应该接近 40),然后启动工作流程! 5. 一旦您点击 Queue Prompt,所有事情都会在命令提示符中发生。 6. 建议与字幕自定义节点和 WD14 标签一起使用。但请注意,在制作字幕时禁用 LoRA 训练节点。因为 Comfy 可能会在制作字幕之前启动训练。 7. 关于 Tensorboard:训练会在 log 文件夹中创建一个日志文件,该文件夹会在 Comfy 的根文件夹中创建。该日志可能是一个可以在 Tensorboard UI 中加载的文件。 ComfyUI 的核心是其节点式界面,节点类型包括输入节点(如文本提示节点、图像输入节点、噪声节点)、处理节点(如采样器节点、调度器节点、CFG Scale 节点、步数节点)、输出节点(如图像输出节点)、辅助节点(如批处理节点、图像变换节点、图像融合节点)。用户可以通过拖放和连接各种节点来创建自定义的图像生成工作流,还可以创建自定义节点来扩展功能,自定义节点安装目录为 D:\\ComfyUI\\custom_nodes 。ComfyUI 还提供了丰富的节点管理功能,包括保存/加载节点图、复制/粘贴节点、批量编辑等。
2025-01-14
ComfyUI 万物迁移工作流
ComfyUI BrushNet: 项目链接: 原项目:https://tencentarc.github.io/BrushNet/ 插件地址:https://github.com/kijai/ComfyUIBrushNetWrapper 模型下载:https://huggingface.co/Kijai/BrushNetfp16/tree/main 第一次运行会自动下载需要的模型,如果是用的 ComfyUIBrushNetWrapper 节点,模型将自动从此处下载:https://huggingface.co/Kijai/BrushNetfp16/tree/main 到 ComfyUI/models/brushnet,因环境问题,也可手动下载放在这个文件夹里。另外,BrushNet 提供了三个模型,个人测试下来,random 这个效果比较好。 工作流:配合 mj 出底图,在底图不变的基础上,添加文字或者图片内容。另外可以使用 GDinoSAm(GroundingDino+Sam),检测和分割底图上的内容,做针对性的修改。 4SeasonYou 工作流副本: 一、加载模型部分(总文件有) 官网下载两个文件。 先点击如图中的左上角部分将加载器展开且选择官网下载好的两个模型,否则将会有以下的问题。 GDino 加载器部分:在链接:处下载以下文件。 然后再次检查自己的文件有没有齐全:在 models 下创建 groundingdino 且配置以下文件命名齐全。同理,sams 也是。对于 groundingdino 和 sams 配置有没有齐全可以使用“抠头发.json”来检验。 然后,接下来很大概率在运行到此节点时会报科学上网的(httpsxxxxx)错误。倘若觉得在此工作流中排除 bug 很慢,不妨使用此网址的工作流(可以直接复制他的 json 内容自己创建一个 txt 文件后粘贴,再改后缀名为 json。)进行操作:。那么就要在尝试稳定的科学上网后重启 UI 跑工作流。
2025-01-14
comfyUI 工作流
ComfyUI 工作流主要包括以下内容: 低显存运行工作流:目的是让 FLUX 模型能在较低显存情况下运行。分阶段处理思路为,先在较低分辨率下使用 Flux 模型进行初始生成,然后采用两阶段处理,即先用 Flux 生成,后用 SDXL 放大,有效控制显存使用,最后使用 SD 放大提升图片质量。工作流流程包括初始图像生成(Flux),涉及 UNETLoader 加载 flux1dev.sft 模型、DualCLIPLoader 加载 t5xxl 和 clip_l 模型、VAELoader 加载 fluxae.sft 等步骤,以及图像放大和细化(SDXL),包括加载 SDXL 模型、放大模型等步骤。 工作流网站: “老牌”workflow 网站 Openart.ai,流量较高,支持上传、下载、在线生成,免费账户有 50 个积分,加入 Discord 可再加 100 积分,开通最低每月 6 美元套餐后每月有 5000 积分,网址为 https://openart.ai/workflows/ 。 ComfyWorkflows 网站,支持在线运行工作流,从实际下载量和访问量来看略少于 openart,网址为 https://comfyworkflows.com/cloud 。 Flowt.ai,网址为 https://flowt.ai/community 。 相关介绍: RPA 很早就出现在工作流编排领域,目标是使符合某些适用性标准的基于桌面的业务流程和工作流程实现自动化。 ComfyUI 将开源绘画模型 Stable Diffusion 进行工作流化操作,提高了流程的可复用性,降低了时间成本,其 DSL 配置文件支持导出导入。 Dify.AI 的工作流设计语言与 ComfyUI 有相似之处,都定义了一套标准化的 DSL 语言,方便导入导出进行工作流复用。 Large Action Model 采用“通过演示进行模仿”的技术,从用户提供的示例中学习。但 Agentic Workflow 存在使用用户较少、在复杂流程开发上不够稳定可靠等问题,同时提出通过自然语言创建工作流的想法。
2025-01-13
我有一张图像,我要如何用stable Diffusion给它添加噪音。我是一个小白,请给出详细的步骤,用webui来操作。
以下是使用 WebUI 为图像添加噪音的详细步骤: 1. 首先,了解 Stable Diffusion 的加噪原理。从数据集中选择一张干净样本,然后用 random 函数生成 0 3 共 4 种强度的噪声,在每次迭代中随机选择一种强度的噪声添加到干净图片上,完成图片的加噪流程。 2. 在训练过程中,对干净样本进行加噪处理,采用多次逐步增加噪声的方式,直至干净样本转变成为纯噪声。 3. 加噪过程中,每次增加的噪声量级可以不同,假设存在 5 种噪声量级,每次都可以选取一种量级的噪声,以增加噪声的多样性。 4. 与图片生成图片的过程相比,在预处理阶段,先把噪声添加到隐空间特征中。通过设置去噪强度(Denoising strength)控制加入噪音的量。如果去噪强度为 0 ,则不添加噪音;如果为 1 ,则添加最大数量的噪声,使潜像成为一个完整的随机张量。若将去噪强度设置为 1 ,就完全相当于文本转图像,因为初始潜像完全是随机的噪声。
2024-11-18
stablediffusion在线webui如何开发
开发 Stable Diffusion 在线 Web UI 可以按照以下步骤进行: 1. 安装必要的软件环境: 安装 Git 用于克隆源代码。 安装 Python 3.10.6 版本,确保勾选“Add Python 3.10 to PATH”选项。 安装 Miniconda 或 Anaconda 创建 Python 虚拟环境。 2. 克隆 Stable Diffusion Web UI 源代码: 打开命令行工具,输入命令 git clone https://github.com/AUTOMATIC1111/stablediffusionwebui.git ,将源代码克隆到本地目录。 3. 运行安装脚本: 进入 stablediffusionwebui 目录,运行 webuiuser.bat 或 webui.sh 脚本,它会自动安装依赖项并配置环境。等待安装完成,命令行会显示 Web UI 的访问地址。 4. 访问 Web UI 界面: 复制命令行显示的本地 Web 地址,在浏览器中打开,即可进入 Stable Diffusion Web UI 的图形化界面。 5. 学习 Web UI 的基本操作: 了解 Web UI 的各种设置选项,如模型、采样器、采样步数等。尝试生成图像,观察不同参数对结果的影响。学习使用提示词(prompt)来控制生成效果。 6. 探索 Web UI 的扩展功能: 了解 Web UI 支持的各种插件和扩展,如 Lora、Hypernetwork 等。学习如何导入自定义模型、VAE、embedding 等文件。掌握图像管理、任务管理等技巧,提高工作效率。 在完成了依赖库和 repositories 插件的安装后,还需要进行以下配置: 将 Stable Diffusion 模型放到/stablediffusionwebui/models/Stablediffusion/路径下。然后到/stablediffusionwebui/路径下,运行 launch.py 即可。运行完成后,将命令行中出现的输入到本地网页中,即可打开 Stable Diffusion WebUI 可视化界面。进入界面后,在红色框中选择 SD 模型,在黄色框中输入 Prompt 和负向提示词,在绿色框中设置生成的图像分辨率(推荐设置成 768x768),然后点击 Generate 按钮进行 AI 绘画。生成的图像会展示在界面右下角,并保存到/stablediffusionwebui/outputs/txt2imgimages/路径下。 如果选用 Stable Diffusion 作为 AIGC 后台,需要注意: DallE 缺乏室内设计能力,MidJourney 出图效果好但无法基于现实环境重绘,Stable Diffusion 出图成功率较低,但可调用 controlnet 的 MLSD 插件捕捉现实环境线条特征做二次设计。安装 Stable Diffusion WEB UI 后,修改 webuiuser.bat 文件加上 listen 和 API 参数,让 Stable Diffusion 处于网络服务状态。代码如下: @echo off set PYTHON= set GIT= set VENV_DIR= set COMMANDLINE_ARGS=xformers nohalfvae listen api git pull call webui.bat 让 Stable Diffusion 具有 AI 室内设计能力的步骤: 1. 下载室内设计模型(checkpoint 类型),放到 stable diffusion 目录/models/stablediffusion 下面。 2. 安装 controlnet 插件,使用 MLSD 插件,实现空间学习。 通过 API 方式让前端连接到 Stable Diffusion 后台的具体代码在前端开发详细展开,API 参考文档可选读。
2024-11-01
webui可以用FLUX模型吗
WebUI 可以使用 FLUX 模型。以下是相关的下载和使用信息: ae.safetensors 和 flux1dev.safetensors 下载地址:https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 flux 相关模型(体积较大)的夸克网盘链接:https://pan.quark.cn/s/b5e01255608b 。 flux 相关模型(体积较大)的百度网盘链接:https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码:ub9h 。 如果 GPU 性能不足、显存不够,底模可以使用 fp8 的量化版模型,下载地址:https://huggingface.co/Kijai/fluxfp8/tree/main 。 下载 dev 的工作流: 或者官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ,打开 ComfyUI,把工作流或图片拖拽到 ComfyUI 里。 郑敏轩的 Flux 的 controlnet 系列中 TheMisto.ai 的 MistoLine 版: 注意:该 ControlNet 与 Flux1.dev 的 fp16/fp8 以及使用 Flux1.dev 量化的其他模型兼容。 需要节点(可以 git clone 方式下载或通过以下网盘): 夸克网盘:链接:https://pan.quark.cn/s/ad43dd5152a6 。 百度网盘:链接:https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc 提取码:lpvc 。 模型: 夸克网盘:链接:https://pan.quark.cn/s/5551e813db21 。 百度网盘:链接:https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq 提取码:zhfq 。 处理:将模型放到 ComfyUI\\models\\TheMisto_model 文件夹中。 导入官方工作流 。所需要的两个模型:
2024-10-25
webui可以用FLUX模型吗
WebUI 可以使用 FLUX 模型。以下是相关的下载和使用信息: ae.safetensors 和 flux1dev.safetensors 的下载地址:https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 夸克网盘链接:https://pan.quark.cn/s/b5e01255608b 百度网盘链接:https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码:ub9h 如果 GPU 性能不足、显存不够,底模可以使用 fp8 的量化版模型,下载地址:https://huggingface.co/Kijai/fluxfp8/tree/main 。 dev 的工作流: 官方原版的图片链接:https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ,打开 ComfyUI ,把工作流或图片拖拽到 ComfyUI 里。 郑敏轩的 Flux 的 controlnet 系列: TheMisto.ai 的 MistoLine 版,该 ControlNet 与 Flux1.dev 的 fp16/fp8 以及使用 Flux1.dev 量化的其他模型兼容。 节点: 可以 git clone 方式下载或通过压缩包。 夸克网盘:链接:https://pan.quark.cn/s/ad43dd5152a6 百度网盘:链接:https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc 提取码:lpvc 模型: 夸克网盘:链接:https://pan.quark.cn/s/5551e813db21 百度网盘:链接:https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq 提取码:zhfq 处理:将模型放到 ComfyUI\\models\\TheMisto_model 文件夹中。 导入官方工作流: ,所需要的两个模型。
2024-10-25
Flux 的lora模型训练教程,我想用用diffuser代码训练,而不是webui或comfyui
以下是关于 Flux 的 lora 模型训练的相关信息: Flux GGUF 模型:https://huggingface.co/city96/FLUX.1devgguf/tree/main GGUF 配套节点插件:https://github.com/city96/ComfyUIGGUF 在最新版本的 ComfyUI 中,GGUF 的节点插件可在 Manager 管理器中搜到下载安装,但 NF4 的配套节点插件搜不到。 注意使用精度优化的低配模型时,工作流和原版不同。把官方的 fp8 工作流中底模的节点换成 NF4 或者 GUFF 即可。 相关生态发展迅速,有 Lora、Controlnet、IPadpter 相关生态建设,字节最近发布的 Flux Hyper lora 可用于 8 步快速生图。下节将先讲讲 Flux 的 lora 训练。
2024-09-05
我添加flux的模型后,在webui中要从哪里找到
在 webui 中找到添加的 flux 模型的方法如下: 首先,您可以安装 Civitai 助手插件。如果您上不了 C 站,可以去我的百度云盘里下载,然后放在“……\\sdwebuiakiv4\\extensions”路径文件夹下。安装完成后,重启 webUI,就可以在上方的标签选项卡中找到这个插件。 另外,下载模型后需要将之放置在指定的目录下,不同类型的模型放置目录不同: 1. 大模型(Ckpt):放入 models\\Stablediffusion。 2. VAE 模型:一些大模型需要配合 vae 使用,对应的 vae 同样放置在 models\\Stablediffusion 或 models\\VAE 目录,然后在 webui 的设置栏目选择。 3. Lora/LoHA/LoCon 模型:放入 extensions\\sdwebuiadditionalnetworks\\models\\lora,也可以在 models/Lora 目录。 4. Embedding 模型:放入 embeddings 目录。 模型的类型可以通过检测。安装 Civitai 助手插件后,它可以自动扫描您的所有文件,如果您的模型是从 C 站下载的,它会帮您自动匹配好缩略图。点击刷新旁边的按钮,再把鼠标放在模型的名字上,可以看见新的四个图标:🖼:用当前生成图替换为预览图;🌐:在新标签页打开这个模型的 Civitai 页面;💡:一键添加这个模型的触发词到关键词输入框;🏷:一键使用这个模型预览图所使用的关键词。
2024-08-22