直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

相同的参数下,用SD comfyui出图可以和SD webui出图保持图片效果一模一样么?

回答

理论上,在应用完全相同参数(如 Step、CFG、Seed、prompts)的情况下,SD ComfyUI 出图和 SD WebUI 出图应当能保持图片效果一模一样。但在实际操作中可能会存在一些差异,比如:

  • 提示词的多个条件下,SD 生成的图像可能无法全部满足,这与提示词引导系数有关,该系数关系到出图与文字的相关程度。
  • 不同的模型和配置也可能影响出图效果,例如 SDXL 的大模型分为 base、refiner 以及配套的 VAE 模型,用于调节图片的画面效果和色彩。

需要注意的是,相同参数下要达到完全一致的出图效果并非绝对,还会受到多种因素的综合影响。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

SD新手:入门图文教程

[title]SD新手:入门图文教程[heading2]三、功能介绍[heading3]文生图最简流程CFG Scale(提示词相关性)图像与你的提示的匹配程度。增加这个值将导致图像更接近你的提示,但它也在一定程度上降低了图像质量。可以用更多的采样步骤来抵消。过高的CFG Scale体现为粗犷的线条和过锐化的图像。一般开到7~11。CFG Scale与采样器之间的关系:生成批次每次生成图像的组数。一次运行生成图像的数量为“批次*批次数量”。每批数量同时生成多少个图像。增加这个值可以提高性能,但也需要更多的显存。大的Batch Size需要消耗巨量显存。若没有超过12G的显存,请保持为1。尺寸指定图像的长宽。出图尺寸太宽时,图中可能会出现多个主体。1024之上的尺寸可能会出现不理想的结果,推荐使用小尺寸分辨率+高清修复(Hires fix)。种子种子决定模型在生成图片时涉及的所有随机性,它初始化了Diffusion算法起点的初始值。理论上,在应用完全相同参数(如Step、CFG、Seed、prompts)的情况下,生产的图片应当完全相同。高清修复通过勾选"Highres.fix"来启用。默认情况下,文生图在高分辨率下会生成非常混沌的图像。如果使用高清修复,会型首先按照指定的尺寸生成一张图片,然后通过放大算法将图片分辨率扩大,以实现高清大图效果。最终尺寸为(原分辨率*缩放系数Upscale by)。

【SD】提示词服从度增强插件,CFG值修复

[title]【SD】提示词服从度增强插件,CFG值修复作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-06-22 20:01原文网址:https://mp.weixin.qq.com/s/bAy1-CydHneam2IDM916XQ在画图的时候,当我们的提示词中有多个条件,sd生成的图像可能无法帮我们全部满足。比如我想要绘制这样一幅图片,关键词是:一个女孩、戴着贝雷帽、绿色夹克、黄色印花裙子,在森林里弹吉他,盲盒风格。使用的大模型是revAnimated,加“blindbox”lora。但是图片生成的时候,我们却发现,夹克变成了黄色,裙子变成了绿色,而且人物的身材比例是接近真实人物的,而不是我们想要的“chibi”盲盒风格。这个情况和我们的一个参数有关,那就是提示词引导系数,它关系到出图与我们文字的相关程度。我们使用“X/Y/Z脚本”来做一个横向对比,测试分别在5/10/15/20/25/30的CFG值下,画面的效果。可以看到,随着CFG值的提高,画面与提示词关联度更高,衣服和裙子的颜色与提示词相符了,但是问题是画面出现了崩坏。那有没有办法可以既增加CFG值,又让画面保持正常呢?答案是可以的,这就需要用到这款插件——dynamic-thresholding安装方式可以在扩展列表中搜索这个插件的名字,或者是将下载好的插件,放在这个路径文件夹下“……\sd-webui-aki-v4\extensions”。安装完成后,重启webUI,就可以看到这个插件了。点击打勾,就可以启用生效。

【SD】向未来而生,关于SDXL你要知道事儿

[title]【SD】向未来而生,关于SDXL你要知道事儿[heading1]#本地部署与在线使用[heading2]1.本地部署SDXL的大模型分为两个部分:第一部分,base+refiner是必须下载的,base是基础模型,我们使用它进行文生图的操作;refiner是精炼模型,我们使用它对文生图中生成的模型进行细化,生成细节更丰富的图片。第二部分,是SDXL还有一个配套的VAE模型,用于调节图片的画面效果和色彩。这三个模型,我已经放入了云盘链接中,大家可以关注我的公众号【白马与少年】,然后回复【SDXL】获取下载链接。想要在webUI中使用SDXL的大模型,首先我们要在秋叶启动器中将webUI的版本升级到1.5以上。接下来,将模型放入对应的文件夹中,base和refiner放在“……\sd-webui-aki-v4.2\models\Stable-diffusion”路径下;vae放在“……\sd-webui-aki-v4.2\models\VAE”路径下。完成之后,我们启动webUI,就可以在模型中看到SDXL的模型了。我们正常的使用方法是这样的:先在文生图中使用base模型,填写提示词和常规参数,尺寸可以设置为1024*1024,进行生成。我这边使用了一个最简单的提示词“1girl”,来看看效果。生成的图片大家可以看一下,我觉得是相当不错的。我知道大家心里可能会想——“就这,还好吧,也没有那么惊艳吧?”,那么,我用同样的参数再给你画一幅sd1.5版本的图像,你就能看出进步有多大了。是不是没有对比就没有伤害?SDXL,真香!还没完,我们到现在还只使用了一个base模型,接下来,将图片发送到图生图当中,大模型切换为“refiner”,重绘幅度开小一点,再次点击生成。

其他人在问
如果给AI数据,AI可以做出小波分析并出图吗
目前的 AI 技术在给定相关数据的情况下,是有可能进行小波分析并出图的。但这取决于多个因素,如数据的质量、数量、特征,以及所使用的 AI 模型和算法的能力和适应性。一些专门为数据分析和图像处理设计的 AI 模型,经过适当的训练和配置,能够处理数据并生成小波分析的结果图像。然而,要实现准确和有意义的小波分析及出图,还需要对数据进行预处理、选择合适的模型架构,并进行精细的调参和优化。
2024-10-31
给我找国内较好的Ai设计出图网站
以下是为您推荐的国内较好的 AI 设计出图网站: 爱设计 PPT:在国内 AI 辅助制作 PPT 的产品领域表现出色,其背后有强大的团队,能敏锐把握 AI 与 PPT 结合的市场机遇,已确立市场领先地位。对于经常制作 PPT 的商务人士、教育工作者、学生等都是值得尝试的工具,能提高效率并保证高质量输出。 如果您想了解关于 AI 生成 CAD 图的相关资料,可以参考以下几个方面: 学术论文:通过 Google Scholar、IEEE Xplore、ScienceDirect 等学术数据库搜索。 专业书籍:查找相关专业书籍。 在线课程和教程:参加 Coursera、edX、Udacity 等平台上的相关课程,在 YouTube 等视频平台上查找教程和演示视频。 技术论坛和社区:加入如 Stack Overflow、Reddit 的 r/AI 和 r/CAD 等,关注相关博客和新闻网站。 开源项目和代码库:探索 GitHub 等开源平台上的相关项目,例如 OpenAI 的 GPT3、AutoGPT 等在 CAD 设计中的应用。 企业案例研究:研究 Autodesk、Siemens 等公司在 AI 在 CAD 设计中的应用案例。 以下是一些用户在工作中对出图的需求示例: |用户|联系方式|需求| |||| |kone|18616571618|AI 短片、AI 商业广告| |晓涵|17801234978|做视频| |uohigher|13902973307|个人学习| |卿卿子|18610036923|图片批处理| |lok|18529409793|设计| |hell 小明|13590623865|产品图| |iseeu|15532394695|提高工作效率,页面设计,配文出图| |大白光|17704034008|出图和视频| |三川|18681537236|出图和 AI 出视频| |李小蜗|18366606265|动漫真人电影| |Lucky|18475643966|出图,视频| |无名之辈|15813236448|自媒体 ip 打造,影音行业的创新,母婴等电商行业的赋能| |龙|13911904101|画图,工作,变现| |colour|19977743192|工作流设计| |小熠|13242135972|视频、图片处理| |顺势上马|/|自媒体和电商办公等| |叉子|15103211190|儿童绘图,小红书引流| |harry|15921430685|兴趣学习,自媒体素材,自定义节点开发| |古戈尔|18975394699|视频,动画| |二师兄|13818462550|图像流制作,装修工程和建筑工程| |fyu|15880036058|生图|
2024-10-29
AI 出图合成技巧
以下是一些 AI 出图合成的技巧: 方法 1(SD 出图 + AI 视频软件): 在 SD 的 controlnet 中上传原图,选择深度,通过文生图生成图片,然后将生成好的图放在 AI 视频工具中进行视频生成。相关网站:dreamina:https://dreamina.jianying.com/aitool/video/generate 方法 2(MJ 出图 + AI 视频软件): 使用 Midjourney 垫图加上描述出图,再去视频工具中转成视频。可在下载项里的深度图,打开 MJ 官网(https://www.midjourney.com/)上传深度图。局部重绘有一定难度,最终方式可以是分开画,比如先画个被关着的红衣服女孩,再画个二战德国士兵的背影,然后合成,拼在一起再交给 MJ。各种垫图局部重绘也能无中生有。
2024-09-12
SD和MJ出图的效果怎么样?
SD(Stable Diffusion)和 MJ(Midjourney)出图效果各有特点: 初步生成方面:DALLE 3 具有强大的文本识别能力,能快速生成符合意图的画面;MJ 则通过垫图功能(Sref 和iw 组合)确保图像风格一致。 图像优化方面:对于 DALLE 3 和 MJ 跑不出来的图,SD 可用于图像的细节处理,尤其是局部重绘,如调整人物手部细节。 角色原画设计方面:相较于 SD,MJ 能生成更多样、更具设计感的角色设计,不受制于特定模型风格。使用 Midjourney + Stable Diffusion 混合模式进行原画设计,有两到三次的 Prompt 调整空间,能运用 SD Controlnet 的各种功能对设计细节进行更多更细致的调节,可产出更合理的结构、更丰富的细节,效率极高,在合适条件下一个完整方案产出示例不超过十五分钟,还能极大避免 Midjourney 可能造成的版权争议和信息泄露风险。 模型表现方面:在 UI 设计的图标类型中,SDXL 的训练素材可能较久远,表现不如 MJ。Stability AI 称 SDXL 能识字,能还原文字内容,但字形和图像效果不如 MJ。您可以在使用 SDXL 的 API 构建内容。
2024-08-19
我想利用AI创作出图片视频在抖音变现我应该怎么做?
利用AI创作图片和视频在抖音变现是一个多步骤的过程,涉及到内容创作、账号运营和商业变现等方面。以下是一些基本步骤和建议: 1. 确定内容方向: 确定你想要创作的内容类型,比如教学、娱乐、生活记录、产品展示等。 2. 学习和研究: 学习AI创作的基础知识,研究抖音平台的内容规则和用户偏好。 3. 选择AI创作工具: 选择适合你需求的AI创作工具,如图像生成工具(DALLE、Stable Diffusion等)和视频编辑工具(Adobe系列、Filmora等)。 4. 内容创作: 使用AI工具创作图片和视频内容。确保内容具有创意、高质量,并且符合抖音用户的口味。 5. 内容编辑和优化: 对生成的内容进行编辑和优化,确保画面美观、剪辑流畅,并符合抖音的格式要求。 6. 添加字幕和特效: 利用AI工具或抖音内置功能为视频添加字幕和特效,提高视频吸引力。 7. 制定发布计划: 制定合理的发布计划,保持定期更新,以吸引和维持粉丝。 8. 互动与社区建设: 在抖音上与粉丝互动,回复评论,参与挑战和话题,建立社区。 9. 分析数据: 分析视频数据,了解哪些类型的内容更受欢迎,根据数据调整创作策略。 10. 变现策略: 利用抖音的变现工具,如商品橱窗、广告植入、直播带货、参与抖音的变现计划等。 11. 合作与推广: 寻找品牌合作机会,参与抖音的推广活动,扩大你的影响力。 12. 遵守规则: 遵守抖音和相关法律法规,确保内容不侵权、不违规。 13. 持续学习和改进: 持续学习最新的AI创作技巧和抖音运营策略,不断改进你的内容和运营方式。 14. 注意版权问题: 确保使用的素材、音乐等不侵犯他人的版权。 15. 建立个人品牌: 在抖音上建立个人品牌,提高自己的知名度和影响力。 通过上述步骤,你可以利用AI创作图片和视频在抖音上进行内容创作和变现。记住,内容的质量和创意是吸引观众的关键,而持续的学习和改进则是长期成功的重要因素。
2024-07-26
用别人的模型出图商用 会侵权吗
使用别人的模型出图商用是否侵权,需要根据具体情况来判断。 以腾讯混元大模型为例,其适用场景包括给自己或身边人做头像、公众号和媒体版面排版时的文字配图、制作海报、PPT 的素材以及广告配图等。但需要注意的是,腾讯混元大模型并不主张生成图片的版权,且原素材涉及到的版权风险可能存在争议。比如,如果用混元生成了某个 IP 如皮卡丘、米奇老鼠等,或者某个名人的真人脸,都可能存在侵权风险。建议在使用配图过程中尽量避免此类情况。如果最终使用了腾讯混元大模型生成的图片,应注明“由腾讯混元大模型生成”。 从全国首例 AI 生成图片著作权案例解读来看,软件设计者通过设计算法训练出智能模型,对模型设计投入了智力成果。但图片是由创作者根据个人意愿,选取提示词、修改参数等步骤得出的最终成品,著作权属于人类创作者。尽管 AI 是工具,但法院强调著作权仍然属于人类创作者,保护了人类在知识产权领域的权益。 根据《中华人民共和国著作权法》第十一条规定,著作权属于作者,创作作品的自然人是作者。由法人或者非法人组织主持,代表法人或者非法人组织意志创作,并由法人或者非法人组织承担责任的作品,法人或者非法人组织视为作者。在未显示作者身份信息的情况下使用图片可能构成侵权。
2024-07-22
SD软件使用
以下是关于 SD 软件使用的相关内容: 1. 软件安装: 系统要求:Win10 或 Win11。 Win 系统查看配置: 查看电脑系统:在桌面上找到“我的电脑”,鼠标右键点击,点击“属性”,查看 Windows 规格。 查看电脑配置:需要满足 3 个要求(推荐),电脑运行内存 8GB 以上,是英伟达(NVIDA)的显卡,显卡内存 4GB 以上。打开任务管理器(同时按下 ctrl+shift+esc),可查看电脑运行内存和显卡内存(显存)。8GB 运行内存可勉强运行 SD,推荐 16GB 以上运行内存;4GB 显存可运行 SD,推荐 8GB 以上显存。 安装方式:配置达标可跳转至对应安装教程页。 2. 制作二维码: 使用进行安装。如果使用的是 Colab Notebook,只需在启动时选择 ControlNet。 生成二维码:首先需要一个二维码。为增加成功机会,请使用符合以下条件的二维码。使用高容错设置或草料二维码。具体步骤为:第一步选择文字类型,输入二维码的文字;第 2 步将容错设置为 30%;第 3 步按生成;第 4 步将二维码下载为 PNG 文件。 3. 软件原理理解: 模型下载与放置:不会科学上网时,可在启动器界面直接下载模型,将下载的大模型放在根目录的【……\\models\\Stablediffusion】文件夹下,在左上角的模型列表中选择(看不到就点旁边的蓝色按钮刷新)。 VAE:相当于给模型增加提高饱和度的滤镜和局部细节微调,有的大模型自带 VAE,可在启动器里面下载,下载的 VAE 放在根目录的【……\\models\\VAE】文件夹。 Embedding:功能相当于提示词打包,可在 C 站通过右上角的筛选 Textual Inversion 找到,放在根目录下的 embeddings 文件夹里。 LORA:可以将人物或者物品接近完美地复刻进图像中,具有极大商用价值,但使用时需注意版权和法律问题。
2024-11-13
SD大模型无法加载
SD 大模型无法加载可能有以下原因及解决方法: 1. LORA 方面: LORA 可以提炼图片特征,文件通常有几十上百兆,承载信息量远大于 Embedding。下载的 LORA 放在根目录的【……\\models\\Lora】文件夹下,使用时点击红色小书,找到 LORA 选项卡加载。 使用 LORA 时要注意看作者使用的大模型,一般需配套使用,还可能需要加入特定触发词,如盲盒 LORA 需加入“full body, chibi”等提示词。 2. Hypernetworks 方面: Hypernetworks 主要针对画风训练,文件下载后放在根目录的【…\\models\\hypernetworks】,使用时点击红色小书,找到 Hypernetworks 选项卡加载。 3. 模型下载与安装方面: 常用的模型下载网站有:。 下载模型后需放置在指定目录,大模型(Ckpt)放入【models\\Stablediffusion】,VAE 模型放入【models\\Stablediffusion】或【models\\VAE】目录(有的大模型自带 VAE 则无需再加),Lora/LoHA/LoCon 模型放入【extensions\\sdwebuiadditionalnetworks\\models\\lora】或【models/Lora】目录,Embedding 模型放入【embeddings】目录。模型类型可通过检测。 不会科学上网时,可在启动器界面直接下载模型,将下载的大模型放在根目录的【……\\models\\Stablediffusion】,在左上角模型列表中选择(看不到就点旁边蓝色按钮刷新)。 旁边的 VAE 相当于给模型增加提高饱和度的滤镜和局部细节微调,可在启动器里下载,放在根目录的【……\\models\\VAE】。 Embedding 功能相当于提示词打包,下载 Embedding 可在 C 站通过右上角筛选 Textual Inversion 找到,放在根目录下的【embeddings】文件夹里。 由于无法确定您大模型无法加载的具体原因,您可以根据上述内容逐一排查。
2024-11-12
SD安装包
以下是关于 SD 安装包的详细步骤: 1. SD 云端部署 部署流程 安装和配置基础环境 在浏览器上按照腾讯云>控制台>云服务器的路径找到购买的实例,点击启动,会新开一个远程访问的窗口,输入购买时设置的密码进入,这样就有了一个远程的 Windows 系统环境,接下来安装显卡驱动、配置环境变量。 安装显卡驱动:用内置的 IE 或下载 Chrome,打开英伟达的网站,找到驱动下载,选择购买机器时选定的显卡型号、Windows 版本号,下载对应的驱动并安装。 配置环境变量:驱动安装完成后,先找到驱动所在的目录(一般是在「C:\\Program Files\\NCIDIA Corporation」),复制这个路径。找到环境变量配置入口(控制面板>系统和安全>系统),选择「高级系统设置」,弹窗设置环境变量。找到「系统变量」里的 Path 环境变量,点击「编辑...」,然后「新建」,粘贴刚才复制的 nvidia 驱动安装地址,保存即可。 下载安装 SD 整合包 整合包也就是打包了 SD 和 Web UI 方便大家更好的使用的集合,以秋叶的 SD 整合包举例讲解。 下载 SD 整合包:秋叶 SD 整合包下载地址:https://pan.baidu.com/s/1uavAJJdYYWhpnfjwQQDviQ?pwd=a123 ,提取码:a123 。建议在服务器上装个百度网盘或者其他能够提高下载速度的工具,有百度会员则无所谓。 安装 SD 整合包:安装之后,打开安装包一级目录,双击启动器运行依赖(安装一些 SD 运行所必要的基础环境,比如 Microsoft Desktop Runtime 等),安装完成后就可以启动 SD 了。 2. 补充说明 如果在以上使用过程中发生错误,那么可能需要部署一下使用环境,再次开启最傻瓜安装教学模式。 安装 cuda_11.8.0_522.06_windows.exe。 安装 VisualStudioSetup.exe,选择 C++的桌面开发安装。(如果安装过 roop 的可以跳过) 拷贝 ninja,打开 ninja 文件包,把里面的内容拷贝到秋叶包根目录。 拷贝 python,打开 python 文件包,把里面的内容拷贝到秋叶包根目录替换。 拷贝模型,SAM 和 GroundingDINO 的模型都在这了,放到对应的文件夹即可。 重启,装好了,重启电脑,即可运行。 请注意,如果想要获取插件安装包,可以添加公众号【白马与少年】,回复【SD】即可。
2024-11-11
如何安装SD
安装 SD 的步骤如下: 1. 系统要求:系统需为 Win10 或 Win11。 2. Win 系统查看配置: 查看电脑系统:在桌面上找到“我的电脑”,鼠标右键点击,点击“属性”,查看 Windows 规格。 查看电脑配置:检查自己的电脑配置能否带动 SD的显卡;显卡内存 4GB 以上。 打开任务管理器:同时按下 ctrl+shift+esc。 查看电脑运行内存,8GB 运行内存可以勉强运行 SD,推荐 16GB 以上运行内存。 查看电脑显卡内存(显存),4GB 显存可运行 SD,推荐 8GB 以上显存。 3. 配置达标跳转至对应安装教程页: 4. 配置不够可选择云端部署(Mac 也推荐云端部署): 5. 备选:SD 好难,先试试简单的无界 AI: 此外,还有以下相关插件的安装: 1. 【SD】无需 Lora,一键换脸插件 Roop: 安装时间比较长,要耐心等待。 安装好之后,打开 SD 文件目录下的这个文件夹。 在地址栏输入“cmd”,然后回车。 在打开的 dos 界面里面,将“python m pip install insightface==0.7.3 user”粘贴进来,就会自动开始安装 insightface。 如果这个阶段出现错误,建议去下载使用最新的秋叶 4.2 整合包(6 月 23 号更新),下载包已更新到云盘,后台回复【SD】即可下载。 安装完成后,重新打开启动器,后台会继续下载一些模型,此时一定要保证全程科学上网。 完成这些后,Roop 插件就可以正常使用。 2. 【SD】商业换装如此简单,Segment Anything 保姆级教学: 补充说明:如果在使用过程中发生错误,可能需要部署使用环境。 安装 cuda_11.8.0_522.06_windows.exe。 安装 VisualStudioSetup.exe,选择 C++的桌面开发安装(安装过 Roop 的可跳过)。 拷贝 ninja,打开 ninja 文件包,把里面的内容拷贝到秋叶包根目录。 拷贝 python,打开 python 文件包,把里面的内容拷贝到秋叶包根目录替换。 拷贝模型,SAM 和 GroundingDINO 的模型都在这了,放到对应的文件夹即可。 最后:重启电脑,即可运行。 特别提醒:相关插件使用需谨慎,切勿触犯法律。获取插件安装包,可添加公众号【白马与少年】,回复【SD】。
2024-11-10
我要用Sd做图片细化,要怎么做?给出具体方法
以下是使用 SD 做图片细化的具体方法: 1. 对于更精确的蒙版,如人物的眼睛或配饰等,可使用 Segment Anything 中的 GroundingDINO。启用 GroundingDINO 后,AI 会自动下载模型,若没有魔法,可去云盘下载并放到指定文件目录下。在检测提示词中输入相关内容,如“eye”,AI 可自动检测并设置蒙版,还可通过预览箱体得到编号来选择调整单一部分。选择要修改的蒙版上传到重绘蒙版中,并添加提示词,如“闭眼”,点击生成即可完成修改。 2. 给人物换背景时,加载生成的背景蒙版。大模型选择 revAnimated_v122,正向提示词可设为“简单背景、花、国画、工笔”,蒙版模式选择“重绘非蒙版内容”。若头发部分没抠好,可将其放入图生图中,使用 tile 模型做整体细化,还能给人物衣服添加国风元素。 3. SD 扩图时,若原本图片尺寸为 1152x1152 需增高高度,可设置为(1152x1526)。ControlNet 设置方面,若无法识别处理,可采取以下措施:提高 ControlNet 的权重(增加预处理权重,降低引导介入时机直到为 0,增加引导终止时机直到为 1);降低重绘幅度(高清修复大图时使用);把原始的黑白二维码叠加在二维码上方(正片叠底,保留 4 个定位点,擦去其他地方),调节透明度;使劲抽卡。 4. SD 放大通常重绘幅度设置在 0.3 以下,使用 tile 模型时可提高重绘幅度,如保持重绘幅度为 1 放大 1.5 倍绘图,能加强画面细节且不崩坏。对于草图,可将其导入 ControlNet 中,添加提示词进行细化,还可通过改变控制模式和增加关键词来优化效果,如实现随机提示词转换,用提示词对参考图做出调整。
2024-11-09
sd中的采样是什么意思
在 Stable Diffusion 中,采样(Sampling)指的是去噪过程。稳定扩散从随机高斯噪声起步,通过一步步降噪逐渐接近符合提示的图像。每一步都会产生一个新的样本图像,这种方法被称为采样器(Sampler)或采样(Sampling)。 不同的采样器具有不同的特点和效果,例如: Euler a 可以以较少的步数产生很大的多样性,不同的步数可能有不同的结果。 Euler 是最简单、最快的。 DDIM 收敛快,但效率相对较低,需要很多 step 才能获得好的结果,适合在重绘时候使用。 LMS 是 Euler 的衍生,使用一种相关但稍有不同的方法,大概 30 step 可以得到稳定结果。 PLMS 是 Euler 的衍生,可以更好地处理神经网络结构中的奇异性。 DPM2 旨在改进 DDIM,减少步骤以获得良好的结果,但速度较慢。 UniPC 效果较好且速度非常快,对平面、卡通的表现较好,推荐使用。 采样步数(Sampling Steps)也很重要,随着步数增多,可以得到对目标更小、更精确的图像,但增加步数会增加生成图像所需的时间,且增加步数的边际收益递减,一般开到 20 30 步。在实际应用中,如何选择采样器和设置采样步数可以按照模型作者的推荐进行。
2024-11-09
comfyUI
ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI,以下是关于它的详细介绍: 简介:可以想象成集成了 stable diffusion 功能的 substance designer,通过将 stable diffusion 的流程拆分成节点,实现更精准的工作流定制和完善的可复现性。 优劣势: 优势: 对显存要求相对较低,启动速度快,出图速度快。 具有更高的生成自由度。 可以和 webui 共享环境和模型。 可以搭建自己的工作流程,可以导出流程并分享给别人,报错时能清晰发现错误所在步骤。 生成的图片拖进后会还原整个工作流程,模型也会选择好。 劣势: 操作门槛高,需要有清晰的逻辑。 生态没有 webui 多(常用的都有),但也有一些针对 Comfyui 开发的有趣插件。 官方链接:从 github 上下载作者部署好环境和依赖的整合包,按照官方文档安装即可:https://github.com/comfyanonymous/ComfyUI 安装部署: 电脑硬件要求: 系统:Windows7 以上。 显卡要求:NVDIA 独立显卡且显存至少 4G 起步。 硬盘留有足够的空间,最低 100G 起步(包括模型)。 注:mac 系统,AMD 显卡,低显卡的情况也可以安装使用,但功能不全,出错率偏高,严重影响使用体验,个人建议升级设备或者采用云服务器玩耍。 下载并安装所需要环境: 依次下载并安装 python、Git、VSCode,安装过程中一直点击勾选对应选项,一直下一步。 安装 Python:https://www.python.org/downloads/release/python3119/ ,安装时选中“将 Python 添加到系统变量”。 安装 VSCode:https://code.visualstudio.com/Download 。 安装 Git:https://gitscm.com/download/win 。 安装 CUDA:https://developer.nvidia.com/cuda1220downloadarchive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_network 。 安装步骤: 地址:https://github.com/comfyanonymous/ComfyUI ,可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ,或者下载安装包 file:ComfyUI.zip ,https://github.com/comfyanonymous/ComfyUI ,下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 节点存放目录:comfyUI 的节点包括后面安装的拓展节点都存放在本目录下 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 模型存放目录: 大模型:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 。 模型共用:已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可,这样就不用重复下载模型了。找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件,将后缀.example 删除,然后右键用记事本打开。 快捷键:暂未提及。
2024-11-09
comfyui做视频
以下是关于 comfyui 做视频的相关信息: 一些人员在相关领域的情况: 德方:18600081286,从事设计、建模、绘图、效果图、视频工作。 谌峰:13925911177,从事视频,人物,室内设计工作。 陈铭生:18861511571,利用 comfyUI 做 AI 视频,掌握 comfy 工作流设计,给一些公司定制 comfy 流程。 郑路:18868755172,进行出图、短视频创作。 塵:从事绘图与视频工作。 阿牛:13720121256,掌握 comfy 工作流。 Stable Video Diffusion 模型核心内容与部署实战中 ComfyUI 部署实战的相关步骤: 运行 ComfyUI 并加载工作流。在命令行终端操作,在浏览器输入相应地址,出现界面。默认的 ComfyUI 版本存在一些问题,需安装 ComfyUI Manager 插件。再次运行 python main.py 出现 Manager 菜单,可跑文生视频的工作流。工作流可从指定途径获取,使用 ComfyUI 菜单的 load 功能加载,点击菜单栏「Queue Prompt」开始视频生成,通过工作流上的绿色框查看运行进度,在 ComfyUI 目录下的 output 文件夹查看生成好的视频。若生成视频时出现显存溢出问题,有相应解决办法。 关于 ComfyUI 的介绍:现在甚至可以生成视频等,包括写真、表情包、换脸、换装等,只需要一个工作流一键完成,后续会一一讲解介绍如何使用。如何启动搭建 Comfyui 界面的部分简单带过。
2024-11-09
comfyui教程
以下是为您提供的 ComfyUI 教程相关信息: 有几个网站提供了关于 ComfyUI 的学习教程: ComfyUI 官方文档:提供了使用手册和安装指南,适合初学者和有经验的用户。网址:https://www.comfyuidoc.com/zh/ 优设网:提供了详细的入门教程,适合初学者,介绍了特点、安装方法及生成图像等内容。网址:https://www.uisdc.com/comfyui3 知乎:有用户分享了部署教程和使用说明,适合有一定基础并希望进一步了解的用户。网址:https://zhuanlan.zhihu.com/p/662041596 Bilibili:提供了从新手入门到精通各个阶段的系列视频教程。网址:https://www.bilibili.com/video/BV14r4y1d7r8/ 全面的 ComfyUI 教程:https://www.comflowy.com/zhCN 超有意思的 ComfyUI 教程:https://comfyanonymous.github.io/ComfyUI_tutorial_vn/ 此外,ComfyUI 基础教程中关于 KSampler 的部分: KSampler 即采样器,包含以下参数: seed:随机种子,用于控制潜空间的初始噪声,若要重复生成相同图片,需种子和 Prompt 相同。 control_after_generate:设置每次生成完图片后 seed 数字的变化规则,有 randomize(随机)、increment(递增 1)、decrement(递减 1)、fixed(固定)。 step:采样的步数,一般步数越大效果越好,但与使用的模型和采样器有关。 cfg:一般设置为 6 8 之间较好。 sampler_name:可设置采样器算法。 scheduler:控制每个步骤中去噪的过程,可选择不同的调度算法。 denoise:表示要增加的初始噪声,文生图一般默认设置成 1。 内容由 AI 大模型生成,请仔细甄别。
2024-11-09
comfyui
ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI,以下是关于它的详细介绍: 简介:可以想象成集成了 stable diffusion 功能的 substance designer,通过将 stable diffusion 的流程拆分成节点,实现更精准的工作流定制和完善的可复现性。 优劣势: 优势: 对显存要求相对较低,启动速度快,出图速度快。 具有更高的生成自由度。 可以和 webui 共享环境和模型。 可以搭建自己的工作流程,可以导出流程并分享给别人,报错时能清晰发现错误所在步骤。 生成的图片拖进后会还原整个工作流程,模型也会选择好。 劣势: 操作门槛高,需要有清晰的逻辑。 生态没有 webui 多(常用的都有),但也有一些针对 Comfyui 开发的有趣插件。 官方链接:从 github 上下载作者部署好环境和依赖的整合包,按照官方文档安装即可:https://github.com/comfyanonymous/ComfyUI 安装部署: 电脑硬件要求: 系统:Windows7 以上。 显卡要求:NVDIA 独立显卡且显存至少 4G 起步。 硬盘留有足够的空间,最低 100G 起步(包括模型)。 注:mac 系统,AMD 显卡,低显卡的情况也可以安装使用,但功能不全,出错率偏高,严重影响使用体验,个人建议升级设备或者采用云服务器玩耍。 下载并安装所需要环境: 依次下载并安装 python、Git、VSCode,安装过程中一直点击勾选对应选项,一直下一步。 安装 Python:https://www.python.org/downloads/release/python3119/ ,安装时选中“将 Python 添加到系统变量”。 安装 VSCode:https://code.visualstudio.com/Download 。 安装 Git:https://gitscm.com/download/win 。 安装 CUDA:https://developer.nvidia.com/cuda1220downloadarchive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_network 。 安装步骤: 地址:https://github.com/comfyanonymous/ComfyUI ,可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ,或者下载安装包 file:ComfyUI.zip ,https://github.com/comfyanonymous/ComfyUI ,下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 节点存放目录:comfyUI 的节点包括后面安装的拓展节点都存放在本目录下 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 模型存放目录: 大模型:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 。 模型共用:已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可,这样就不用重复下载模型了。找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件,将后缀.example 删除,然后右键用记事本打开。
2024-11-09
ComfyUI是什么
ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI,您可以将其视为集成了 stable diffusion 功能的 substance designer。通过把 stable diffusion 的流程拆分成节点,实现了更精准的工作流定制和良好的可复现性。 其具有以下优劣势: 优势: 1. 对显存要求相对较低,启动速度快,出图速度快。 2. 具有更高的生成自由度。 3. 可以和 webui 共享环境和模型。 4. 可以搭建自己的工作流程,可以导出流程并分享给别人,报错时能清晰发现错误所在步骤。 5. 生成的图片拖进后会还原整个工作流程,模型也会选择好。 劣势: 1. 操作门槛高,需要有清晰的逻辑。 2. 生态没有 webui 多(但常用的都有),也有一些针对 Comfyui 开发的有趣插件。 ComfyUI 是一个开源的图形用户界面,主要基于 Stable Diffusion 等扩散模型。其工作原理包括: 1. Pixel Space(像素空间):图的左边表示输入图像的像素空间,在 ComfyUI 中,对应于可能通过“图像输入”模块或直接从文本提示生成的随机噪声图像。生成过程结束时,系统会将处理后的潜在表示转换回像素空间,生成最终的图像。 2. Latent Space(潜在空间):ComfyUI 中的许多操作都在潜在空间中进行,如 KSampler 节点就是在这个空间中执行采样过程。图像被映射到潜在空间后,扩散过程在这个空间中进行。在 ComfyUI 中,您可以通过节点调整对潜在空间的操作,如噪声添加、去噪步数等。 3. 扩散过程(Diffusion Process):噪声的生成和逐步还原。扩散过程表示从噪声生成图像的过程。在 ComfyUI 中,通常通过调度器(Schedulers)控制,典型的调度器有 Normal、Karras 等,它们会根据不同的采样策略逐步将噪声还原为图像。您可以通过 ComfyUI 中的“采样器”节点选择不同的调度器,来控制如何在潜在空间中处理噪声,以及如何逐步去噪回归到最终图像。时间步数:在生成图像时,扩散模型会进行多个去噪步。 您可以从 github 上下载作者部署好环境和依赖的整合包,按照官方文档安装即可,官方链接为:https://github.com/comfyanonymous/ComfyUI 。 此外,开源项目作者 ailm 在 ComfyUI 上搭建了一个可以接入飞书的 AI 女友麦洛薇(mylover),实现了稳定人设,无限上下文,永久记忆,无缝联动 SD 绘图等功能,适合完全没有代码基础的小伙伴们复现并且按自己的想法修改。
2024-11-06
ComfyUI 工作流
ComfyUI 的工作流是其核心部分,指的是节点结构及数据流运转过程。以下为您介绍一些相关内容: 推荐工作流网站: “老牌” workflow 网站 Openart.ai:https://openart.ai/workflows/ 。流量较高,支持上传、下载、在线生成,免费账户有 50 个积分,加入 Discord 可再加 100 积分,开通最低每月 6 美元的套餐后,每月有 5000 积分。 ComfyWorkflows 网站:https://comfyworkflows.com/cloud 。支持在线运行工作流,从实际下载量和访问量来看,略少于 openart。 Flowt.ai:https://flowt.ai/community 工作流设计方面: ComfyUI 将开源绘画模型 Stable Diffusion 进行工作流化操作,用户在流程编辑器中配置 pipeline,通过节点和连线完成模型操作和图片生成,提高流程可复用性,降低时间成本,其 DSL 配置文件支持导出导入。 Dify.AI 的工作流设计语言与 ComfyUI 有相似之处,都定义了标准化的 DSL 语言,方便导入导出复用工作流。 模仿式工作流是一种快速学习方法,Large Action Model 采用“通过演示进行模仿”的技术,从用户示例中学习。 但 Agentic Workflow 存在使用用户较少、在复杂流程开发上不够稳定可靠等问题。 动画工作流示例: :https://bytedance.feishu.cn/space/api/box/stream/download/all/GCSQbdL1oolBiUxV0lRcjJeznYe?allow_redirect=1 :https://bytedance.feishu.cn/space/api/box/stream/download/all/LcYfbgXb4oZaTCxWMnacJuvbnJf?allow_redirect=1 :https://bytedance.feishu.cn/space/api/box/stream/download/all/WGdJbouveo6b9Pxg3y8cZpXQnDg?allow_redirect=1 :https://bytedance.feishu.cn/space/api/box/stream/download/all/KZjObxCpSoF1WuxQ2lccu9oinVb?allow_redirect=1 :https://bytedance.feishu.cn/space/api/box/stream/download/all/EVdUbp7kvojwH4xJEJ3cuEp0nPv?allow_redirect=1 :https://bytedance.feishu.cn/space/api/box/stream/download/all/TnwFbAx3FoU617x8iabcOSYcnXe?allow_redirect=1 :https://bytedance.feishu.cn/space/api/box/stream/download/all/TWwCbnVOtoyMpyxpGBqcUECLnNc?allow_redirect=1
2024-11-04
stablediffusion在线webui如何开发
开发 Stable Diffusion 在线 Web UI 可以按照以下步骤进行: 1. 安装必要的软件环境: 安装 Git 用于克隆源代码。 安装 Python 3.10.6 版本,确保勾选“Add Python 3.10 to PATH”选项。 安装 Miniconda 或 Anaconda 创建 Python 虚拟环境。 2. 克隆 Stable Diffusion Web UI 源代码: 打开命令行工具,输入命令 git clone https://github.com/AUTOMATIC1111/stablediffusionwebui.git ,将源代码克隆到本地目录。 3. 运行安装脚本: 进入 stablediffusionwebui 目录,运行 webuiuser.bat 或 webui.sh 脚本,它会自动安装依赖项并配置环境。等待安装完成,命令行会显示 Web UI 的访问地址。 4. 访问 Web UI 界面: 复制命令行显示的本地 Web 地址,在浏览器中打开,即可进入 Stable Diffusion Web UI 的图形化界面。 5. 学习 Web UI 的基本操作: 了解 Web UI 的各种设置选项,如模型、采样器、采样步数等。尝试生成图像,观察不同参数对结果的影响。学习使用提示词(prompt)来控制生成效果。 6. 探索 Web UI 的扩展功能: 了解 Web UI 支持的各种插件和扩展,如 Lora、Hypernetwork 等。学习如何导入自定义模型、VAE、embedding 等文件。掌握图像管理、任务管理等技巧,提高工作效率。 在完成了依赖库和 repositories 插件的安装后,还需要进行以下配置: 将 Stable Diffusion 模型放到/stablediffusionwebui/models/Stablediffusion/路径下。然后到/stablediffusionwebui/路径下,运行 launch.py 即可。运行完成后,将命令行中出现的输入到本地网页中,即可打开 Stable Diffusion WebUI 可视化界面。进入界面后,在红色框中选择 SD 模型,在黄色框中输入 Prompt 和负向提示词,在绿色框中设置生成的图像分辨率(推荐设置成 768x768),然后点击 Generate 按钮进行 AI 绘画。生成的图像会展示在界面右下角,并保存到/stablediffusionwebui/outputs/txt2imgimages/路径下。 如果选用 Stable Diffusion 作为 AIGC 后台,需要注意: DallE 缺乏室内设计能力,MidJourney 出图效果好但无法基于现实环境重绘,Stable Diffusion 出图成功率较低,但可调用 controlnet 的 MLSD 插件捕捉现实环境线条特征做二次设计。安装 Stable Diffusion WEB UI 后,修改 webuiuser.bat 文件加上 listen 和 API 参数,让 Stable Diffusion 处于网络服务状态。代码如下: @echo off set PYTHON= set GIT= set VENV_DIR= set COMMANDLINE_ARGS=xformers nohalfvae listen api git pull call webui.bat 让 Stable Diffusion 具有 AI 室内设计能力的步骤: 1. 下载室内设计模型(checkpoint 类型),放到 stable diffusion 目录/models/stablediffusion 下面。 2. 安装 controlnet 插件,使用 MLSD 插件,实现空间学习。 通过 API 方式让前端连接到 Stable Diffusion 后台的具体代码在前端开发详细展开,API 参考文档可选读。
2024-11-01
webui可以用FLUX模型吗
WebUI 可以使用 FLUX 模型。以下是相关的下载和使用信息: ae.safetensors 和 flux1dev.safetensors 下载地址:https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 flux 相关模型(体积较大)的夸克网盘链接:https://pan.quark.cn/s/b5e01255608b 。 flux 相关模型(体积较大)的百度网盘链接:https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码:ub9h 。 如果 GPU 性能不足、显存不够,底模可以使用 fp8 的量化版模型,下载地址:https://huggingface.co/Kijai/fluxfp8/tree/main 。 下载 dev 的工作流: 或者官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ,打开 ComfyUI,把工作流或图片拖拽到 ComfyUI 里。 郑敏轩的 Flux 的 controlnet 系列中 TheMisto.ai 的 MistoLine 版: 注意:该 ControlNet 与 Flux1.dev 的 fp16/fp8 以及使用 Flux1.dev 量化的其他模型兼容。 需要节点(可以 git clone 方式下载或通过以下网盘): 夸克网盘:链接:https://pan.quark.cn/s/ad43dd5152a6 。 百度网盘:链接:https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc 提取码:lpvc 。 模型: 夸克网盘:链接:https://pan.quark.cn/s/5551e813db21 。 百度网盘:链接:https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq 提取码:zhfq 。 处理:将模型放到 ComfyUI\\models\\TheMisto_model 文件夹中。 导入官方工作流 。所需要的两个模型:
2024-10-25
webui可以用FLUX模型吗
WebUI 可以使用 FLUX 模型。以下是相关的下载和使用信息: ae.safetensors 和 flux1dev.safetensors 的下载地址:https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 夸克网盘链接:https://pan.quark.cn/s/b5e01255608b 百度网盘链接:https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码:ub9h 如果 GPU 性能不足、显存不够,底模可以使用 fp8 的量化版模型,下载地址:https://huggingface.co/Kijai/fluxfp8/tree/main 。 dev 的工作流: 官方原版的图片链接:https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ,打开 ComfyUI ,把工作流或图片拖拽到 ComfyUI 里。 郑敏轩的 Flux 的 controlnet 系列: TheMisto.ai 的 MistoLine 版,该 ControlNet 与 Flux1.dev 的 fp16/fp8 以及使用 Flux1.dev 量化的其他模型兼容。 节点: 可以 git clone 方式下载或通过压缩包。 夸克网盘:链接:https://pan.quark.cn/s/ad43dd5152a6 百度网盘:链接:https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc 提取码:lpvc 模型: 夸克网盘:链接:https://pan.quark.cn/s/5551e813db21 百度网盘:链接:https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq 提取码:zhfq 处理:将模型放到 ComfyUI\\models\\TheMisto_model 文件夹中。 导入官方工作流: ,所需要的两个模型。
2024-10-25
Flux 的lora模型训练教程,我想用用diffuser代码训练,而不是webui或comfyui
以下是关于 Flux 的 lora 模型训练的相关信息: Flux GGUF 模型:https://huggingface.co/city96/FLUX.1devgguf/tree/main GGUF 配套节点插件:https://github.com/city96/ComfyUIGGUF 在最新版本的 ComfyUI 中,GGUF 的节点插件可在 Manager 管理器中搜到下载安装,但 NF4 的配套节点插件搜不到。 注意使用精度优化的低配模型时,工作流和原版不同。把官方的 fp8 工作流中底模的节点换成 NF4 或者 GUFF 即可。 相关生态发展迅速,有 Lora、Controlnet、IPadpter 相关生态建设,字节最近发布的 Flux Hyper lora 可用于 8 步快速生图。下节将先讲讲 Flux 的 lora 训练。
2024-09-05
我添加flux的模型后,在webui中要从哪里找到
在 webui 中找到添加的 flux 模型的方法如下: 首先,您可以安装 Civitai 助手插件。如果您上不了 C 站,可以去我的百度云盘里下载,然后放在“……\\sdwebuiakiv4\\extensions”路径文件夹下。安装完成后,重启 webUI,就可以在上方的标签选项卡中找到这个插件。 另外,下载模型后需要将之放置在指定的目录下,不同类型的模型放置目录不同: 1. 大模型(Ckpt):放入 models\\Stablediffusion。 2. VAE 模型:一些大模型需要配合 vae 使用,对应的 vae 同样放置在 models\\Stablediffusion 或 models\\VAE 目录,然后在 webui 的设置栏目选择。 3. Lora/LoHA/LoCon 模型:放入 extensions\\sdwebuiadditionalnetworks\\models\\lora,也可以在 models/Lora 目录。 4. Embedding 模型:放入 embeddings 目录。 模型的类型可以通过检测。安装 Civitai 助手插件后,它可以自动扫描您的所有文件,如果您的模型是从 C 站下载的,它会帮您自动匹配好缩略图。点击刷新旁边的按钮,再把鼠标放在模型的名字上,可以看见新的四个图标:🖼:用当前生成图替换为预览图;🌐:在新标签页打开这个模型的 Civitai 页面;💡:一键添加这个模型的触发词到关键词输入框;🏷:一键使用这个模型预览图所使用的关键词。
2024-08-22