直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

相同的参数下,用SD comfyui出图可以和SD webui出图保持图片效果一模一样么?

回答

理论上,在应用完全相同参数(如 Step、CFG、Seed、prompts)的情况下,SD ComfyUI 出图和 SD WebUI 出图应当能保持图片效果一模一样。但在实际操作中可能会存在一些差异,比如:

  • 提示词的多个条件下,SD 生成的图像可能无法全部满足,这与提示词引导系数有关,该系数关系到出图与文字的相关程度。
  • 不同的模型和配置也可能影响出图效果,例如 SDXL 的大模型分为 base、refiner 以及配套的 VAE 模型,用于调节图片的画面效果和色彩。

需要注意的是,相同参数下要达到完全一致的出图效果并非绝对,还会受到多种因素的综合影响。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

SD新手:入门图文教程

[title]SD新手:入门图文教程[heading2]三、功能介绍[heading3]文生图最简流程CFG Scale(提示词相关性)图像与你的提示的匹配程度。增加这个值将导致图像更接近你的提示,但它也在一定程度上降低了图像质量。可以用更多的采样步骤来抵消。过高的CFG Scale体现为粗犷的线条和过锐化的图像。一般开到7~11。CFG Scale与采样器之间的关系:生成批次每次生成图像的组数。一次运行生成图像的数量为“批次*批次数量”。每批数量同时生成多少个图像。增加这个值可以提高性能,但也需要更多的显存。大的Batch Size需要消耗巨量显存。若没有超过12G的显存,请保持为1。尺寸指定图像的长宽。出图尺寸太宽时,图中可能会出现多个主体。1024之上的尺寸可能会出现不理想的结果,推荐使用小尺寸分辨率+高清修复(Hires fix)。种子种子决定模型在生成图片时涉及的所有随机性,它初始化了Diffusion算法起点的初始值。理论上,在应用完全相同参数(如Step、CFG、Seed、prompts)的情况下,生产的图片应当完全相同。高清修复通过勾选"Highres.fix"来启用。默认情况下,文生图在高分辨率下会生成非常混沌的图像。如果使用高清修复,会型首先按照指定的尺寸生成一张图片,然后通过放大算法将图片分辨率扩大,以实现高清大图效果。最终尺寸为(原分辨率*缩放系数Upscale by)。

【SD】提示词服从度增强插件,CFG值修复

[title]【SD】提示词服从度增强插件,CFG值修复作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-06-22 20:01原文网址:https://mp.weixin.qq.com/s/bAy1-CydHneam2IDM916XQ在画图的时候,当我们的提示词中有多个条件,sd生成的图像可能无法帮我们全部满足。比如我想要绘制这样一幅图片,关键词是:一个女孩、戴着贝雷帽、绿色夹克、黄色印花裙子,在森林里弹吉他,盲盒风格。使用的大模型是revAnimated,加“blindbox”lora。但是图片生成的时候,我们却发现,夹克变成了黄色,裙子变成了绿色,而且人物的身材比例是接近真实人物的,而不是我们想要的“chibi”盲盒风格。这个情况和我们的一个参数有关,那就是提示词引导系数,它关系到出图与我们文字的相关程度。我们使用“X/Y/Z脚本”来做一个横向对比,测试分别在5/10/15/20/25/30的CFG值下,画面的效果。可以看到,随着CFG值的提高,画面与提示词关联度更高,衣服和裙子的颜色与提示词相符了,但是问题是画面出现了崩坏。那有没有办法可以既增加CFG值,又让画面保持正常呢?答案是可以的,这就需要用到这款插件——dynamic-thresholding安装方式可以在扩展列表中搜索这个插件的名字,或者是将下载好的插件,放在这个路径文件夹下“……\sd-webui-aki-v4\extensions”。安装完成后,重启webUI,就可以看到这个插件了。点击打勾,就可以启用生效。

【SD】向未来而生,关于SDXL你要知道事儿

[title]【SD】向未来而生,关于SDXL你要知道事儿[heading1]#本地部署与在线使用[heading2]1.本地部署SDXL的大模型分为两个部分:第一部分,base+refiner是必须下载的,base是基础模型,我们使用它进行文生图的操作;refiner是精炼模型,我们使用它对文生图中生成的模型进行细化,生成细节更丰富的图片。第二部分,是SDXL还有一个配套的VAE模型,用于调节图片的画面效果和色彩。这三个模型,我已经放入了云盘链接中,大家可以关注我的公众号【白马与少年】,然后回复【SDXL】获取下载链接。想要在webUI中使用SDXL的大模型,首先我们要在秋叶启动器中将webUI的版本升级到1.5以上。接下来,将模型放入对应的文件夹中,base和refiner放在“……\sd-webui-aki-v4.2\models\Stable-diffusion”路径下;vae放在“……\sd-webui-aki-v4.2\models\VAE”路径下。完成之后,我们启动webUI,就可以在模型中看到SDXL的模型了。我们正常的使用方法是这样的:先在文生图中使用base模型,填写提示词和常规参数,尺寸可以设置为1024*1024,进行生成。我这边使用了一个最简单的提示词“1girl”,来看看效果。生成的图片大家可以看一下,我觉得是相当不错的。我知道大家心里可能会想——“就这,还好吧,也没有那么惊艳吧?”,那么,我用同样的参数再给你画一幅sd1.5版本的图像,你就能看出进步有多大了。是不是没有对比就没有伤害?SDXL,真香!还没完,我们到现在还只使用了一个base模型,接下来,将图片发送到图生图当中,大模型切换为“refiner”,重绘幅度开小一点,再次点击生成。

其他人在问
flux和sdXL出图的区别
Flux 和 SDXL 出图主要有以下区别: 1. 生成人物外观:Flux 存在女生脸油光满面、下巴等相同外观问题,而 SDXL 相对在这方面有改进。 2. 模型构成:SDXL 由 base 基础模型和 refiner 优化模型两个模型构成,能更有针对性地优化出图质量;Flux 中 Dev/Schnell 是从专业版中提取出来,导致多样性丧失。 3. 处理方式:在低显存运行时,可采用先使用 Flux 模型进行初始生成,再用 SDXL 放大的分阶段处理方式,有效控制显存使用。 4. 模型参数和分辨率:SDXL 的 base 模型参数数量为 35 亿,refiner 模型参数数量为 66 亿,总容量达 13G 之多,基于 10241024 的图片进行训练,可直接生成 1000 分辨率以上的图片,拥有更清晰的图像和更丰富的细节;而 Flux 在这方面相对较弱。
2024-12-20
flux和sd3.5出图的区别
Flux 和 SD3.5 出图存在以下区别: 1. 模型性质:Flux.1 有多种版本,如开源不可商用的 FLUX.1等。而 SD3.5 未提及相关性质。 2. 训练参数:Flux.1 的训练参数高达 120 亿,远超 SD3 Medium 的 20 亿。 3. 图像质量和提示词遵循能力:Flux.1 在图像质量、提示词跟随、尺寸适应、排版和输出多样性等方面超越了一些流行模型,如 Midjourney v6.0、DALL·E 3和 SD3Ultra 等。 4. 应用场景:Flux.1 可以在 Replicate 或 fal.ai 等平台上试用,支持在 Replicate、fal.ai 和 Comfy UI 等平台上使用,并且支持用户根据自己的数据集进行微调以生成特定风格或主题的图像。而 SD3.5 未提及相关应用场景。 5. 本地运行:文中尝试了在没有 N 卡,不使用复杂工作流搭建工具的 Mac Mini M1 上运行 FLUX.1,以及在边缘设备 Raspberry PI5B 上运行的情况,未提及 SD3.5 的相关内容。 6. 模型安装部署:对于 Flux.1,不同版本的模型下载后放置的位置不同,如 FLUX.1应放在 ComfyUI/models/unet/文件夹中。而 SD3.5 未提及相关安装部署内容。 7. 显存处理:对于 Flux.1,如果爆显存,“UNET 加载器”节点中的 weight_dtype 可以控制模型中权重使用的数据类型,设置为 fp8 可降低显存使用量,但可能会稍微降低质量。而 SD3.5 未提及相关显存处理内容。 8. 提示词使用:在训练 Flux 时,应尽量使用长提示词或自然语言,避免使用短提示词,因为 T5 自带 50%的删标。而 SD3.5 未提及相关提示词使用内容。
2024-12-20
如果给AI数据,AI可以做出小波分析并出图吗
目前的 AI 技术在给定相关数据的情况下,是有可能进行小波分析并出图的。但这取决于多个因素,如数据的质量、数量、特征,以及所使用的 AI 模型和算法的能力和适应性。一些专门为数据分析和图像处理设计的 AI 模型,经过适当的训练和配置,能够处理数据并生成小波分析的结果图像。然而,要实现准确和有意义的小波分析及出图,还需要对数据进行预处理、选择合适的模型架构,并进行精细的调参和优化。
2024-10-31
给我找国内较好的Ai设计出图网站
以下是为您推荐的国内较好的 AI 设计出图网站: 爱设计 PPT:在国内 AI 辅助制作 PPT 的产品领域表现出色,其背后有强大的团队,能敏锐把握 AI 与 PPT 结合的市场机遇,已确立市场领先地位。对于经常制作 PPT 的商务人士、教育工作者、学生等都是值得尝试的工具,能提高效率并保证高质量输出。 如果您想了解关于 AI 生成 CAD 图的相关资料,可以参考以下几个方面: 学术论文:通过 Google Scholar、IEEE Xplore、ScienceDirect 等学术数据库搜索。 专业书籍:查找相关专业书籍。 在线课程和教程:参加 Coursera、edX、Udacity 等平台上的相关课程,在 YouTube 等视频平台上查找教程和演示视频。 技术论坛和社区:加入如 Stack Overflow、Reddit 的 r/AI 和 r/CAD 等,关注相关博客和新闻网站。 开源项目和代码库:探索 GitHub 等开源平台上的相关项目,例如 OpenAI 的 GPT3、AutoGPT 等在 CAD 设计中的应用。 企业案例研究:研究 Autodesk、Siemens 等公司在 AI 在 CAD 设计中的应用案例。 以下是一些用户在工作中对出图的需求示例: |用户|联系方式|需求| |||| |kone|18616571618|AI 短片、AI 商业广告| |晓涵|17801234978|做视频| |uohigher|13902973307|个人学习| |卿卿子|18610036923|图片批处理| |lok|18529409793|设计| |hell 小明|13590623865|产品图| |iseeu|15532394695|提高工作效率,页面设计,配文出图| |大白光|17704034008|出图和视频| |三川|18681537236|出图和 AI 出视频| |李小蜗|18366606265|动漫真人电影| |Lucky|18475643966|出图,视频| |无名之辈|15813236448|自媒体 ip 打造,影音行业的创新,母婴等电商行业的赋能| |龙|13911904101|画图,工作,变现| |colour|19977743192|工作流设计| |小熠|13242135972|视频、图片处理| |顺势上马|/|自媒体和电商办公等| |叉子|15103211190|儿童绘图,小红书引流| |harry|15921430685|兴趣学习,自媒体素材,自定义节点开发| |古戈尔|18975394699|视频,动画| |二师兄|13818462550|图像流制作,装修工程和建筑工程| |fyu|15880036058|生图|
2024-10-29
AI 出图合成技巧
以下是一些 AI 出图合成的技巧: 方法 1(SD 出图 + AI 视频软件): 在 SD 的 controlnet 中上传原图,选择深度,通过文生图生成图片,然后将生成好的图放在 AI 视频工具中进行视频生成。相关网站:dreamina:https://dreamina.jianying.com/aitool/video/generate 方法 2(MJ 出图 + AI 视频软件): 使用 Midjourney 垫图加上描述出图,再去视频工具中转成视频。可在下载项里的深度图,打开 MJ 官网(https://www.midjourney.com/)上传深度图。局部重绘有一定难度,最终方式可以是分开画,比如先画个被关着的红衣服女孩,再画个二战德国士兵的背影,然后合成,拼在一起再交给 MJ。各种垫图局部重绘也能无中生有。
2024-09-12
SD和MJ出图的效果怎么样?
SD(Stable Diffusion)和 MJ(Midjourney)出图效果各有特点: 初步生成方面:DALLE 3 具有强大的文本识别能力,能快速生成符合意图的画面;MJ 则通过垫图功能(Sref 和iw 组合)确保图像风格一致。 图像优化方面:对于 DALLE 3 和 MJ 跑不出来的图,SD 可用于图像的细节处理,尤其是局部重绘,如调整人物手部细节。 角色原画设计方面:相较于 SD,MJ 能生成更多样、更具设计感的角色设计,不受制于特定模型风格。使用 Midjourney + Stable Diffusion 混合模式进行原画设计,有两到三次的 Prompt 调整空间,能运用 SD Controlnet 的各种功能对设计细节进行更多更细致的调节,可产出更合理的结构、更丰富的细节,效率极高,在合适条件下一个完整方案产出示例不超过十五分钟,还能极大避免 Midjourney 可能造成的版权争议和信息泄露风险。 模型表现方面:在 UI 设计的图标类型中,SDXL 的训练素材可能较久远,表现不如 MJ。Stability AI 称 SDXL 能识字,能还原文字内容,但字形和图像效果不如 MJ。您可以在使用 SDXL 的 API 构建内容。
2024-08-19
sd的提示词有哪些语法
以下是关于 SD 提示词的语法: 1. 多个提示词之间使用英文半角符号“,”分隔,例如:masterpiece,best quality,ultradetailed,illustration,closeup,straight on,face focus,1girl,white hair,golden eyes,long hair,halo,angel wings,serene expression,looking at viewer。 2. 一般而言,概念性、大范围、风格化的关键词写在前面,叙述画面内容的关键词其次,最后是描述细节的关键词。大致顺序为:。 3. 每个词语本身自带的权重可能不同,模型训练集中较多出现的关键词,输入一个词就能极大影响画面;较少出现的关键词,输入多个相关词汇对画面影响效果可能有限。提示词的顺序很重要,越靠后的权重越低。关键词最好具有特异性,措辞越具体越好,避免抽象和有解释空间的措辞。 4. 可以使用括号人工修改提示词的权重,例如: 将权重减少为原先的 25%。 5. 可以通过 Prompt Editing 使得 AI 在不同的步数生成不一样的内容,语法为:例如:a,100 步采样,一开始。提示词为:fantasy landscape with a mountain and an oak in foreground shoddy 在第 25 步后,提示词为:fantasy landscape with a lake and an oak in foreground in background shoddy 在第 50 步后,提示词为:fantasy landscape with a lake and an oak in foreground in background masterful 在第 60 步后,提示词为:fantasy landscape with a lake and an oak in background masterful 在第 75 步后,提示词为:fantasy landscape with a lake and a christmas tree in background masterful。 6. 提示词还可以轮转,比如:在第一步时,提示词为“cow in a field”;在第二步时,提示词为"horse in a field.";在第三步时,提示词为"cow in a field",以此类推。 7. 交替词:in a field 可以支持多个词交替。 8. 可组合扩散(AND 语法):a cat AND a dog 比如想画一个猫和狗的混合物种,每一个要混合的东西支持加权重,比如 a cat:1.2 AND dog AND a benguin:2.2。通过继续向总数添加更多提示,这可以方便地生成微调的递归变化,比如 log AND frog:0.13 AND yellow eyes:0.08 。 请注意,权重值最好不要超过 1.5。
2024-12-19
SD 怎么赚钱
Stable Diffusion(SD)赚钱的方式有多种可能性: 1. 利用 SD 生成真人 AI 美女相关内容,创建账号吸引流量并实现变现。 2. 为用户生成个性化的头像、壁纸并收取费用。 3. 借助 SD 辅助完成动漫图画、插画等创作,并通过相关渠道获取收益。 4. 后续可能会有更多关于 SD 实际变现方式和案例的详细介绍。 需要注意的是,SD 完全免费开源,所有代码均在 GitHub 上公开,大家可以拷贝使用。Stable Diffusion 模型第一个版本训练耗资 60 万美元,而提供资金支持正是 Stability AI 公司,其成立于 2020 年,最初资金都来自创始人兼 CEO Emad Mostaque。目前市面上主流的 AI 绘图软件除了 SD 还有 Midjourney,Midjourney 操作简单方便但需付费和科学上网,而 SD 开源免费但需要较好的电脑配置。
2024-12-19
sd最新的模式是什么
Stable Diffusion(SD)最新的模式包括: 1. 隐藏在光里的秘密,AI造字光与影的艺术中,将 lightingBasedPicture 模型的终止时机由 0.6 提高到 0.7 能使文字更好识别,但再提高字会显得太突兀,需把握平衡。 2. Stability AI 正式发布了期待已久的 SDXL 1.0。SDXL 1.0 由两个模型组成,第二个模型能生成更鲜艳、更准确的颜色,且比前身具有更好的对比度、光照和阴影。SDXL 1.0 是所有开放获取图像模型中参数数量最多的模型之一,拥有 3.5B 参数基础模型和 6.6B 参数模型集成管道。 如果您想要最新的 controlnet 模型,可以添加公众号【白马与少年】,回复【SD】获取。
2024-12-17
Sd文生图的专业术语有哪些
以下是一些关于 SD 文生图的专业术语: 1. 内容型提示词:主要用于描述想要的画面,如“1 个女孩,黑发,长发,校服,向上看,短袖,粉红色的花,户外,白天,蓝色的天空,云,阳光,上身,侧面”。 2. 标准化提示词:例如“,drawing,paintbrush”。 3. 权重:通过括号和特定数值来增加提示词的权重,权重越高在画面中体现越充分,提示词的先后顺序也会影响权重。 4. 反向提示词:告诉 AI 不要的内容,如“NSFw,”。 5. 采样迭代步数:指 AI 绘画去噪的次数,步数越高绘画越清晰,但绘画速度越慢,通常数值控制在 20 40 之间较好。 6. 采样方法:AI 生成图像时的特定算法,常用的有“Euler a;DPM++2S a Karras;DPM++2M Karras;DPM++SDE Karras;DDIM”。 7. 比例:尺寸并非越大越好,模型练图通常按 512x512 的框架绘制,高宽比尽量在这个数值附近。高清修复可放大图像倍率,高宽比主要控制画面比例。
2024-12-16
comfyui入门
ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI,可想象成集成了 stable diffusion 功能的 substance designer,将 stable diffusion 流程拆分成节点,实现更精准工作流定制和完善的可复现性。 其优势包括: 1. 对显存要求相对较低,启动和出图速度快。 2. 生成自由度更高。 3. 可以和 webui 共享环境和模型。 4. 能搭建自己的工作流程,可导出流程并分享,报错时能清晰发现错误所在。 5. 生成的图片拖进后会还原整个工作流程,模型也会选择好。 劣势有: 1. 操作门槛高,需要有清晰逻辑。 2. 生态没有 webui 多(但常用的都有),也有一些针对 Comfyui 开发的有趣插件。 官方链接:从 github 上下载作者部署好环境和依赖的整合包,按照官方文档安装即可:https://github.com/comfyanonymous/ComfyUI 。 相关学习资料: 1. ComfyUI 官方文档:提供使用手册和安装指南,适合初学者和有经验用户,网站:https://www.comfyuidoc.com/zh/ 。 2. 优设网:有详细的入门教程,适合初学者,地址:https://www.uisdc.com/comfyui3 。 3. 知乎:有用户分享部署教程和使用说明,适合有一定基础并希望进一步了解的用户,地址:https://zhuanlan.zhihu.com/p/662041596 。 4. Bilibili:有一系列涵盖从新手入门到精通各个阶段的视频教程,地址:https://www.bilibili.com/video/BV14r4y1d7r8/ 。 ComfyUI 共学 WaytoAGI 共学计划中的高频问题及自学资料: 1. 知识库跳转,展开菜单。 2. 。 3. 【海辛】因为一直被几个好朋友问 comfyui 怎么入门,给朋友录了几节 comfyui 基础课,顺手分享给大家~看完这 5 节应该就基本入门啦,然后可以看互联网上任何的进阶教程了。 安装部署: 界面介绍: 文生图、图生图: ComfyUI 中使用 ControlNet: ComfyUI 中不同放大图像方式:
2024-12-18
comfyui工作流
ComfyUI 工作流包括以下内容: 低显存运行工作流:目的是让 FLUX 模型能在较低显存情况下运行。分阶段处理思路为,先在较低分辨率下使用 Flux 模型进行初始生成,然后采用两阶段处理,即先用 Flux 生成,后用 SDXL 放大,有效控制显存使用,最后使用 SD 放大提升图片质量。工作流流程包括初始图像生成(Flux)阶段,如加载相关模型、处理输入提示词、生成初始噪声和引导等,以及图像放大和细化(SDXL)阶段,如加载 SDXL 模型、对初始图像进行锐化处理等,并进行最终图像预览。 工作流网站: “老牌”workflow 网站 Openart.ai:https://openart.ai/workflows/,流量较高,支持上传、下载、在线生成,免费账户有 50 个积分,加入 Discord 可再加 100 积分,开通最低每月 6 美元套餐后每月有 5000 积分。 ComfyWorkflows 网站:https://comfyworkflows.com/cloud,支持在线运行工作流,实际下载量和访问量略少于 openart。 Flowt.ai:https://flowt.ai/community 提示词自动生成 ComfyUI 工作流:英伟达整了个花活,通过画图提示词自动生成匹配的 ComfyUI 工作流,命名为 ComfyGen(comfy 生成器),目前仅支持文生图模型。英伟达称其可以生成高质量的图并泛化到其他领域,效果基本与其他模型一致甚至更优,但项目未开源。
2024-12-17
有没有根据布料照片和模特照片生成衣服上身效果的工具或 comfyUI 工作流
以下是一些与根据布料照片和模特照片生成衣服上身效果相关的工具和工作流: 1. 藏师傅的方法:将第二步的提示词和 Logo 图片放到 Comfyui 工作流就行。Lora 需要用到 InContext LoRA 中的 visualidentitydesign,可从以下地址下载:https://huggingface.co/alivilab/InContextLoRA/tree/main 。工作流下载:https://github.com/op7418/Comfyuiworkflow/blob/main/FLUX/Logo%20%E5%91%A8%E8%BE%B9%E7%94%9F%E6%88%90.json 。 2. 彭青云分享的内容:本地部署 Comfyui 有多种方式,如官方的本地部署包、秋叶整合包和二狗子老师制作的通往 AGI 之路黑猴子流专属包。处理好软件和模型后,打开一键启动,稍等片刻就会进入工作界面。通过正反提示词、文本链接图像,点击右侧队列即可生成图像。 3. ComfyUI BrushNet:原项目 https://tencentarc.github.io/BrushNet/ ,插件地址 https://github.com/kijai/ComfyUIBrushNetWrapper ,模型下载 https://huggingface.co/Kijai/BrushNetfp16/tree/main 。第一次运行会自动下载需要的模型,如果是用的 ComfyUIBrushNetWrapper 节点,模型将自动从此处下载:https://huggingface.co/Kijai/BrushNetfp16/tree/main 到 ComfyUI/models/brushnet,也可手动下载放在这个文件夹里面。另外,BrushNet 提供了三个模型,个人测试下来,random 这个效果比较好。工作流方面,可配合 mj 出底图,在底图不变的基础上,添加文字或者图片内容。还可以使用 GDinoSAm(GroundingDino+Sam),检测和分割底图上的内容,做针对性的修改。
2024-12-13
我想学习comfyui
以下是关于 ComfyUI 的相关学习信息: 学习资料: ComfyUI 官方文档:提供使用手册和安装指南,适合初学者和有经验的用户。网站:https://www.comfyuidoc.com/zh/ 优设网:有详细的入门教程,适合初学者,介绍了特点、安装方法及生成图像等内容。教程地址:https://www.uisdc.com/comfyui3 知乎:有用户分享部署教程和使用说明,适合有一定基础并希望进一步了解的用户。地址:https://zhuanlan.zhihu.com/p/662041596 Bilibili:有一系列涵盖从新手入门到精通阶段的视频教程。地址:https://www.bilibili.com/video/BV14r4y1d7r8/ 自动生成抠图素材: 作者学习使用 ComfyUI 的原因包括更接近 SD 的底层工作原理、自动化工作流、作为强大的可视化后端工具可实现 SD 之外的功能、可根据定制需求开发节点或模块等。 作者的工作室常需要抠图素材,传统途径存在问题,近期在 github 上看到相关项目创建了工作流,可自动生成定制需求的抠图素材,全程只需几秒。 简介: ComfyUI 是基于节点流程式的 stable diffusion AI 绘图工具 WebUI,可想象成集成了 stable diffusion 功能的 substance designer,通过拆分流程为节点实现精准工作流定制和完善的可复现性。 优势:对显存要求相对较低,启动和出图速度快;生成自由度高;可和 webui 共享环境和模型;能搭建工作流程,导出并分享,报错时能清晰发现错误所在;生成的图片拖进后会还原工作流程并选好模型。 劣势:操作门槛高,需要清晰逻辑;生态没有 webui 多,但有针对 Comfyui 开发的有趣插件。 官方链接:从 github 下载作者部署好环境和依赖的整合包,按照官方文档安装。https://github.com/comfyanonymous/ComfyUI 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2024-12-12
有什么 comfyui 的第三方 api 服务
ComfyUI 是一个开源的用于生成 AI 图像的图形用户界面,主要基于 Stable Diffusion 等扩散模型。以下是关于 ComfyUI 的一些详细信息: 生图原理: 1. 在去噪过程中,模型使用编码后的文本向量来引导图像生成,以确保生成的图像与输入的文本描述相符。 2. 提供了多种采样算法(如 Euler、DDIM、DPM++等)来控制去噪过程,不同采样器可能产生不同结果或影响生成速度。 3. VAE 由编码器和解码器组成。编码器输入图像并输出表示其特征的概率分布,解码器将概率分布映射回图像空间。 4. 最终生成的图像显示在界面上,用户可保存、编辑或用于其他目的。 5. 支持多种高级功能,如图像到图像、Lora、ControlNet、ipadapter、放大和后处理等。 节点认识: 1. 核心是节点式界面,用户可通过拖放和连接各种节点创建自定义图像生成工作流。 2. 节点类型包括输入节点(如文本提示节点、图像输入节点、噪声节点)、处理节点(如采样器节点、调度器节点、CFG Scale 节点、步数节点)、输出节点(如图像输出节点)、辅助节点(如批处理节点、图像变换节点、图像融合节点)。 3. 用户可通过拖动节点间的连接线构建工作流,连接线代表数据流动。 4. 除内置节点,用户还可创建自定义节点扩展功能,自定义节点安装目录为 D:\\ComfyUI\\custom_nodes。 5. 提供丰富的节点管理功能,包括保存/加载节点图、复制/粘贴节点、批量编辑等。 其他原理: 1. 涉及 Pixel Space(像素空间)和 Latent Space(潜在空间),输入图像的像素空间对应于可能通过“图像输入”模块或直接从文本提示生成的随机噪声图像,许多操作在潜在空间中进行。 2. 扩散过程表示从噪声生成图像的过程,通过调度器控制,可选择不同调度器控制在潜在空间中处理噪声及逐步去噪回归到最终图像,生成图像时会进行多个去噪步,可通过控制步数影响图像生成的精细度和质量。
2024-12-10
COMFYui安装包
以下是关于 COMFYui 安装包的相关信息: 1. 安装地址: https://github.com/comfyanonymous/ComfyUI 可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git 或者下载安装包。 安装包文件:ComfyUI.zip 、 2. 安装步骤: 下载安装包并解压至本地除 C 盘外的任意盘。 找到文件名称为 run_nvidia_gpu 的文件双击并启动,启动完成即进入基础界面。 3. 相关环境安装(安装过 WebUI 的同学请忽略): 依次下载并安装 python(版本 3.10 以上)、VSCode、Git,安装过程中一直点击勾选对应选项,一直下一步。 安装 Python: 安装 VSCode: 安装 Git: 4. 节点存放目录:comfyUI 的节点包括后面安装的拓展节点都存放在本目录下:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 5. 模型存放目录: 大模型:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints Lora:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras Vae:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 6. 模型共用:已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可,这样就不用重复下载模型了。找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件,将后缀.example 删除,然后右键用记事本打开。 目前安装 ComfyUI 的方法有在本地安装和在云端安装两种,本部分主要介绍本地安装方法,包括命令行安装和安装包安装。命令行安装普适性最强但有一定门槛,ComfyUI 的源码地址在 https://github.com/comfyanonymous/ComfyUI ,安装方法写在了 Readme 中。安装包安装比较简单,下载就能用。ComfyUI 的官方安装包下载地址是 https://github.com/comfyanonymous/ComfyUI/releases ,目前仅支持 Windows 系统,且显卡必须是 Nivida。
2024-12-05
我有一张图像,我要如何用stable Diffusion给它添加噪音。我是一个小白,请给出详细的步骤,用webui来操作。
以下是使用 WebUI 为图像添加噪音的详细步骤: 1. 首先,了解 Stable Diffusion 的加噪原理。从数据集中选择一张干净样本,然后用 random 函数生成 0 3 共 4 种强度的噪声,在每次迭代中随机选择一种强度的噪声添加到干净图片上,完成图片的加噪流程。 2. 在训练过程中,对干净样本进行加噪处理,采用多次逐步增加噪声的方式,直至干净样本转变成为纯噪声。 3. 加噪过程中,每次增加的噪声量级可以不同,假设存在 5 种噪声量级,每次都可以选取一种量级的噪声,以增加噪声的多样性。 4. 与图片生成图片的过程相比,在预处理阶段,先把噪声添加到隐空间特征中。通过设置去噪强度(Denoising strength)控制加入噪音的量。如果去噪强度为 0 ,则不添加噪音;如果为 1 ,则添加最大数量的噪声,使潜像成为一个完整的随机张量。若将去噪强度设置为 1 ,就完全相当于文本转图像,因为初始潜像完全是随机的噪声。
2024-11-18
stablediffusion在线webui如何开发
开发 Stable Diffusion 在线 Web UI 可以按照以下步骤进行: 1. 安装必要的软件环境: 安装 Git 用于克隆源代码。 安装 Python 3.10.6 版本,确保勾选“Add Python 3.10 to PATH”选项。 安装 Miniconda 或 Anaconda 创建 Python 虚拟环境。 2. 克隆 Stable Diffusion Web UI 源代码: 打开命令行工具,输入命令 git clone https://github.com/AUTOMATIC1111/stablediffusionwebui.git ,将源代码克隆到本地目录。 3. 运行安装脚本: 进入 stablediffusionwebui 目录,运行 webuiuser.bat 或 webui.sh 脚本,它会自动安装依赖项并配置环境。等待安装完成,命令行会显示 Web UI 的访问地址。 4. 访问 Web UI 界面: 复制命令行显示的本地 Web 地址,在浏览器中打开,即可进入 Stable Diffusion Web UI 的图形化界面。 5. 学习 Web UI 的基本操作: 了解 Web UI 的各种设置选项,如模型、采样器、采样步数等。尝试生成图像,观察不同参数对结果的影响。学习使用提示词(prompt)来控制生成效果。 6. 探索 Web UI 的扩展功能: 了解 Web UI 支持的各种插件和扩展,如 Lora、Hypernetwork 等。学习如何导入自定义模型、VAE、embedding 等文件。掌握图像管理、任务管理等技巧,提高工作效率。 在完成了依赖库和 repositories 插件的安装后,还需要进行以下配置: 将 Stable Diffusion 模型放到/stablediffusionwebui/models/Stablediffusion/路径下。然后到/stablediffusionwebui/路径下,运行 launch.py 即可。运行完成后,将命令行中出现的输入到本地网页中,即可打开 Stable Diffusion WebUI 可视化界面。进入界面后,在红色框中选择 SD 模型,在黄色框中输入 Prompt 和负向提示词,在绿色框中设置生成的图像分辨率(推荐设置成 768x768),然后点击 Generate 按钮进行 AI 绘画。生成的图像会展示在界面右下角,并保存到/stablediffusionwebui/outputs/txt2imgimages/路径下。 如果选用 Stable Diffusion 作为 AIGC 后台,需要注意: DallE 缺乏室内设计能力,MidJourney 出图效果好但无法基于现实环境重绘,Stable Diffusion 出图成功率较低,但可调用 controlnet 的 MLSD 插件捕捉现实环境线条特征做二次设计。安装 Stable Diffusion WEB UI 后,修改 webuiuser.bat 文件加上 listen 和 API 参数,让 Stable Diffusion 处于网络服务状态。代码如下: @echo off set PYTHON= set GIT= set VENV_DIR= set COMMANDLINE_ARGS=xformers nohalfvae listen api git pull call webui.bat 让 Stable Diffusion 具有 AI 室内设计能力的步骤: 1. 下载室内设计模型(checkpoint 类型),放到 stable diffusion 目录/models/stablediffusion 下面。 2. 安装 controlnet 插件,使用 MLSD 插件,实现空间学习。 通过 API 方式让前端连接到 Stable Diffusion 后台的具体代码在前端开发详细展开,API 参考文档可选读。
2024-11-01
webui可以用FLUX模型吗
WebUI 可以使用 FLUX 模型。以下是相关的下载和使用信息: ae.safetensors 和 flux1dev.safetensors 下载地址:https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 flux 相关模型(体积较大)的夸克网盘链接:https://pan.quark.cn/s/b5e01255608b 。 flux 相关模型(体积较大)的百度网盘链接:https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码:ub9h 。 如果 GPU 性能不足、显存不够,底模可以使用 fp8 的量化版模型,下载地址:https://huggingface.co/Kijai/fluxfp8/tree/main 。 下载 dev 的工作流: 或者官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ,打开 ComfyUI,把工作流或图片拖拽到 ComfyUI 里。 郑敏轩的 Flux 的 controlnet 系列中 TheMisto.ai 的 MistoLine 版: 注意:该 ControlNet 与 Flux1.dev 的 fp16/fp8 以及使用 Flux1.dev 量化的其他模型兼容。 需要节点(可以 git clone 方式下载或通过以下网盘): 夸克网盘:链接:https://pan.quark.cn/s/ad43dd5152a6 。 百度网盘:链接:https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc 提取码:lpvc 。 模型: 夸克网盘:链接:https://pan.quark.cn/s/5551e813db21 。 百度网盘:链接:https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq 提取码:zhfq 。 处理:将模型放到 ComfyUI\\models\\TheMisto_model 文件夹中。 导入官方工作流 。所需要的两个模型:
2024-10-25
webui可以用FLUX模型吗
WebUI 可以使用 FLUX 模型。以下是相关的下载和使用信息: ae.safetensors 和 flux1dev.safetensors 的下载地址:https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 夸克网盘链接:https://pan.quark.cn/s/b5e01255608b 百度网盘链接:https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码:ub9h 如果 GPU 性能不足、显存不够,底模可以使用 fp8 的量化版模型,下载地址:https://huggingface.co/Kijai/fluxfp8/tree/main 。 dev 的工作流: 官方原版的图片链接:https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ,打开 ComfyUI ,把工作流或图片拖拽到 ComfyUI 里。 郑敏轩的 Flux 的 controlnet 系列: TheMisto.ai 的 MistoLine 版,该 ControlNet 与 Flux1.dev 的 fp16/fp8 以及使用 Flux1.dev 量化的其他模型兼容。 节点: 可以 git clone 方式下载或通过压缩包。 夸克网盘:链接:https://pan.quark.cn/s/ad43dd5152a6 百度网盘:链接:https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc 提取码:lpvc 模型: 夸克网盘:链接:https://pan.quark.cn/s/5551e813db21 百度网盘:链接:https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq 提取码:zhfq 处理:将模型放到 ComfyUI\\models\\TheMisto_model 文件夹中。 导入官方工作流: ,所需要的两个模型。
2024-10-25
Flux 的lora模型训练教程,我想用用diffuser代码训练,而不是webui或comfyui
以下是关于 Flux 的 lora 模型训练的相关信息: Flux GGUF 模型:https://huggingface.co/city96/FLUX.1devgguf/tree/main GGUF 配套节点插件:https://github.com/city96/ComfyUIGGUF 在最新版本的 ComfyUI 中,GGUF 的节点插件可在 Manager 管理器中搜到下载安装,但 NF4 的配套节点插件搜不到。 注意使用精度优化的低配模型时,工作流和原版不同。把官方的 fp8 工作流中底模的节点换成 NF4 或者 GUFF 即可。 相关生态发展迅速,有 Lora、Controlnet、IPadpter 相关生态建设,字节最近发布的 Flux Hyper lora 可用于 8 步快速生图。下节将先讲讲 Flux 的 lora 训练。
2024-09-05
我添加flux的模型后,在webui中要从哪里找到
在 webui 中找到添加的 flux 模型的方法如下: 首先,您可以安装 Civitai 助手插件。如果您上不了 C 站,可以去我的百度云盘里下载,然后放在“……\\sdwebuiakiv4\\extensions”路径文件夹下。安装完成后,重启 webUI,就可以在上方的标签选项卡中找到这个插件。 另外,下载模型后需要将之放置在指定的目录下,不同类型的模型放置目录不同: 1. 大模型(Ckpt):放入 models\\Stablediffusion。 2. VAE 模型:一些大模型需要配合 vae 使用,对应的 vae 同样放置在 models\\Stablediffusion 或 models\\VAE 目录,然后在 webui 的设置栏目选择。 3. Lora/LoHA/LoCon 模型:放入 extensions\\sdwebuiadditionalnetworks\\models\\lora,也可以在 models/Lora 目录。 4. Embedding 模型:放入 embeddings 目录。 模型的类型可以通过检测。安装 Civitai 助手插件后,它可以自动扫描您的所有文件,如果您的模型是从 C 站下载的,它会帮您自动匹配好缩略图。点击刷新旁边的按钮,再把鼠标放在模型的名字上,可以看见新的四个图标:🖼:用当前生成图替换为预览图;🌐:在新标签页打开这个模型的 Civitai 页面;💡:一键添加这个模型的触发词到关键词输入框;🏷:一键使用这个模型预览图所使用的关键词。
2024-08-22