Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

forge diffusion的layer diffuse插件不管用是什么原因

Answer

Forge Diffusion 的 layer diffuse 插件不管用可能有以下原因:

  1. 未正确安装 SD WebUI 的 Forge 版本:在安装 layer diffuse 插件之前,需要确保已安装正确的 SD WebUI 的 Forge 版本
  2. 插件安装步骤有误:应在 Forge 界面点击“Extensions”,选中“layerdiffusion”插件,然后点击安装,并等待安装完成。
  3. 部分功能未完成:透明 img2img 功能尚未完成(大约一周内完成)。
  4. 代码处于动态变化阶段:插件的代码非常动态,可能在接下来的一个月内发生大幅变化。

此信息来自标记狮社区,原文链接:https://mmmnote.com/article/7e8/03/article-e395010da7c846a3.shtml

Content generated by AI large model, please carefully verify (powered by aily)

References

辅助工具:生成透明背景图像

[sd-forge-layerdiffuse插件](https://github.com/layerdiffusion/sd-forge-layerdiffusion)正式发布,该插件可以实现透明图像的生成和编辑。目前支持Stable Diffusion WebUI Forge和Comfy ui。[heading2]安装指南[content]在开始安装之前,请确保你已经安装了[SD WebUI的Forge版本](https://github.com/lllyasviel/stable-diffusion-webui-forge)。以下是安装sd-forge-layerdiffusion插件的步骤:1.在Forge界面点击"Extensions",选中"layerdiffusion"插件,点击安装。2.等待插件安装完成。

辅助工具:生成透明背景图像

sd-forge-layerdiffusion插件的强大之处在于其对透明度的原生处理能力。不仅可以处理透明玻璃、半透明光效等效果,还可以生成细节丰富的毛发、绒毛等元素,这些是传统背景移除技术无法达到的。进度图像生成和基本图层功能现已运行,但透明img2img尚未完成(大约一周内完成)。sd-forge-layerdiffusion插件的代码非常动态,可能在接下来的一个月内发生大幅变化。——————————————————————————此文章来自标记狮社区原文链接:https://mmmnote.com/article/7e8/03/article-e395010da7c846a3.shtml

Others are asking
目前最好用的ai整合插件
目前一些好用的 AI 整合插件如下: Coze 插件: 提供了多样化的插件库,涵盖从基础的文本处理到高级的机器学习功能,如文本分析插件可帮助理解用户输入意图,情感分析插件能识别情绪倾向,自然语言处理(NLP)插件支持复杂对话生成,还有图像识别、语音识别、数据分析等插件,其数量和种类不断增加以适应变化。 整合了符合平民生活化的插件,如新闻资讯(头条新闻)、天气预报(墨迹天气)、出行必备(飞常准、猫途鹰)、生活便利(快递查询助手、国内快递查询、食物大师、懂车帝、幸福里、猎聘)等。 Excel 相关的 AI 工具和插件: Excel Labs:是 Excel 插件,新增生成式 AI 功能,基于 OpenAI 技术,可在 Excel 中利用 AI 进行数据分析和决策支持。 Microsoft 365 Copilot:微软推出,整合了 Word、Excel、PowerPoint、Outlook、Teams 等办公软件,通过聊天形式,用户告知需求后自动完成任务。 Formula Bot:提供数据分析聊天机器人和公式生成器两大功能,可通过自然语言交互式进行数据分析和生成 Excel 公式。 Numerous AI:支持 Excel 和 Google Sheets 的 AI 插件,能公式生成、根据提示生成相关文本内容、执行情感分析、语言翻译等任务。 随着技术发展,未来可能会有更多 AI 功能集成到相关软件中,提高工作效率和智能化水平。请注意,部分内容由 AI 大模型生成,请仔细甄别。
2025-01-28
Coze + 飞书 + 飞书多维表格:通过飞书机器人与 Coze 搭建的智能体进行对话,在聊天窗口中完成链接输入和阅读计划输出。由 Coze 调用大模型、插件完成内容的整理、推荐,利用飞书多维表格存储和管理稍后读数据,无需开发任何插件、APP,能实现跨平台的稍后读收集与智能阅读计划的推荐。其设计思路包括简化“收集”,实现跨平台收集和通过输入 URL 完成收集;自动化“整理入库”,自动整理关键信息并支持跨平台查看;智能“选择”推荐,根据收藏记录和用户兴趣生成阅读计划——这个方法具体如何操作?
以下是关于通过飞书机器人与 Coze 搭建的智能体进行对话,并利用飞书多维表格存储和管理稍后读数据,实现跨平台的稍后读收集与智能阅读计划推荐的具体操作方法: 前期准备: 1. 简化“收集”: 实现跨平台收集功能,支持电脑(web 端)、安卓、iOS 多端操作。 输入一个 URL 即可完成收集,借鉴微信文件传输助手的方式,通过聊天窗口完成收集输入。 2. 自动化“整理入库”: 系统在入库时自动整理每条内容的关键信息,包括标题、摘要、作者、发布平台、发布日期、收集时间和阅读状态。 阅读清单支持跨平台查看。 3. 智能“选择”推荐: 根据当前收藏记录和用户阅读兴趣进行相关性匹配,生成阅读计划。 使用飞书·稍后读助手: 1. 设置稍后读存储地址: 首次使用,访问。 点击「更多创建副本」,复制新表格的分享链接。 将新链接发送到智能体对话中。 还可以发送“查询存储位置”、“修改存储位置”来更换飞书多维表格链接,调整稍后读存储位置。 2. 收藏待阅读的页面链接: 在对话中输入需要收藏的页面链接,第一次使用会要求授权共享数据,授权通过后再次输入即可完成收藏。但目前部分页面链接可能小概率保存失败。 3. 智能推荐想看的内容: 在对话中发送“我想看 xx”、“xx 内容”,即可按个人兴趣推荐阅读计划。 至此,专属 AI 稍后读智能体大功告成,您可以尽情享受相关服务。
2025-01-27
coze插件工具使用
使用 Coze IDE 创建插件的操作步骤如下: 1. 登录。 2. 在左侧导航栏的工作区区域,选择进入指定团队。 3. 在页面顶部进入插件页面,或者在某一 Bot 的编排页面,找到插件区域并单击“+”图标。 4. 单击“创建插件”。 5. 在新建插件对话框,根据以下信息完成配置并单击“确认”: 插件图标:(可选)单击默认图标后,您可以上传本地图片文件作为新的图标。 插件名称:自定义插件名称,用于标识当前插件。建议输入清晰易理解的名称,便于大语言模型搜索与使用插件。 插件描述:插件的描述信息,一般用于记录当前插件的用途。 插件工具创建方式:选择在 Coze IDE 中创建。 IDE 运行时:选择 Node.js 或者 Python3。 6. 在插件详情页,单击“在 IDE 中创建工具”。 7. 在弹出的创建工具对话框,设置工具名称和介绍,以明确工具的用途,并单击“确定”。工具名称和介绍越清晰,大语言模型就越能理解并使用它。创建后,您将跳转到 Coze IDE 页面进行编码。 8. (可选)在 IDE 左上角工具列表区域,单击“+”图标,向插件添加更多工具。您还可以通过单击列表内某一工具的设置图标,来编辑、删除或重置代码。 9. (可选)在 IDE 左下角依赖包区域,管理依赖包,所有工具共用该依赖列表。 以下是一个网页搜索工具的元数据配置说明: |配置项|描述| ||| |名称|工具名称。建议输入清晰易理解的名称,便于后续大语言模型搜索与使用工具。| |描述|工具的描述信息,一般用于记录当前工具的用途。| |启用|是否启用当前工具。使用说明:<br>如果工具未开发测试完成,建议先禁用该工具,只启用并发布已通过测试的工具。<br>如果需要下线某一工具,可将该工具设置为禁用,并再次发布插件。<br>如果插件中只有一个工具,则不支持禁用该工具。如需下线该工具,您可以选择直接删除该插件,或者创建另一个工具并完成开发测试后,再禁用该工具,最后发布插件。| |输入参数|当前工具对应接口的输入参数信息。准确、清晰易理解的参数名称、描述等信息,可以让大语言模型更准确的使用工具。| |输出参数|当前工具对应接口的输出参数信息。准确、清晰易理解的参数名称、描述等信息,可以让大语言模型更准确的使用工具。| 在页面右侧单击测试代码图标并输入所需的参数,然后单击“Run”测试工具。如果您在元数据设置了输入参数,可单击自动生成图标,由 IDE 生成模拟数据,您只需要调整参数值即可进行测试。您可以在控制台区域查看运行日志、在输出区域查看运行结果,单击更新输出参数,IDE 会自动把输出结果中的参数,更新到元数据的输出参数中。 Coze 提供了丰富的插件,涵盖了从搜索引擎、文本分析以及图像识别等各种领域。这些插件的能力如果我们个人接入都是要收费的,但是在 Coze 平台则是免费使用的,例如: Coze 国内版本:https://www.coze.cn/store/plugin 必应搜索 LinkReader:读取文档 知乎热榜 而且国内版本还提供了很多便民的服务,例如: 新闻资讯 头条新闻:持续更新,了解最新的头条新闻和新闻文章。 天气预报 墨迹天气:提供省、市、区县的未来 40 天的天气情况,包括温度、湿度、日夜风向等。 出行必备 飞常准:通过 VariFlight 覆盖的全球商业客运航班,您的终端用户可以轻松获得他们的航班状态、办理登机手续柜台、预计出发时间、登机口、登机状态、行李转盘等信息,并能在整个航程中随时掌握。 猫途鹰:查询实时酒店搜索,航班价格,餐厅,吸引人的旅游地点等信息以创建一个旅行网站。 生活便利 快递查询助手、国内快递查询:查询快递单号,快递公司,快递进度等信息。 食物大师:Food Master 提供食物搜索功能。 懂车帝:如果你想要查询汽车信息,包括二手车、新车、某些车型的信息时可以使用此插件进行查询。 幸福里:提供二手房、新房、租房信息的插件,想要查询某个城市、区域、户型的房产信息时,可以使用此插件。 猎聘:帮助用户根据工作经验、教育经历、地理位置、薪水、职位名称、工作性质等条件搜索猎聘上提供的招聘信息。
2025-01-23
有哪些比较好用的AI价格比较插件
以下是一些比较好用的 AI 相关价格插件: AiTC 车辆执行项:由吉利研究院提供。根据输入车辆操作参数,输出车辆操作结果,包含空调、后视镜等多种执行项。链接: 懂车帝:由懂车帝提供。SecondHandCar 是一款专为二手车市场设计的信息查询工具,可对二手车进行深度的数据挖掘和分析。CarSeries 可以查询新车或特定车系信息。链接: 此外,在价格对比方面: 主流 AI 视频会员价格对比中,可灵最近开放全球价格体系,中国以外可付美金享受。价格情况为 Runway 最贵,Haiper 其次,Luma 中规中矩,可灵最便宜。链接:
2025-01-18
工作流中如何调用插件
在工作流中调用插件的方式如下: 1. 触发器触发: 为 Bot 设置触发器,可选择定时触发或事件触发。 触发时执行任务的方式包括 Bot 提示词、调用插件、调用工作流。 调用插件时,需为触发器添加一个插件,触发后 Bot 会调用该插件获取返回结果并发送给用户。 一个 Bot 内的触发器最多可添加 10 个,且仅当 Bot 发布飞书时生效。 2. 在 Bot 内使用插件: 在 Bots 页面,选择指定 Bot 并进入 Bot 编排页面。 在 Bot 编排页面的插件区域,单击加号图标添加插件,或者单击自动添加图标,让大语言模型自动添加适用的插件。使用大语言模型自动添加插件后,需检查被添加的插件是否可以正常使用。 在添加插件页面,展开目标插件查看工具,然后单击添加。单击我的工具,可查看当前团队下可用的插件。 在 Bot 的人设与回复逻辑区域,定义何时使用插件,然后在预览与调试区域测试插件功能是否符合预期。 3. 在工作流中使用插件节点: 在页面顶部进入工作流页面,然后创建工作流或选择一个已创建的工作流。 在页面左侧,单击插件页签。 搜索并选择插件,然后单击加号图标。 在工作流的画布内,连接插件节点,并配置插件的输入和输出。 需要注意的是,即使是官方插件也可能存在不稳定的情况,需要自己去尝试,找到适合当前场景的插件。
2025-01-14
coze插件说明器
Coze 插件相关说明如下: Coze 工作流节点: 节点是构成工作流的基本单元,每个节点代表特定功能或操作。 开始节点定义工作流输入参数,是起点;结束节点设置工作流输出内容,是终点。 节点命名建议含义在前,类型不加也可,要清晰以便选择。 插件可扩展大语言模型本身限制,用于调用外部插件实现特定功能,如抓取网页内容。 调用指加入智能体后的使用次数。 引用指被其他工作流或智能体使用的情况。 运行耗时包括平均耗时,过长会增加失败概率和导致工作流超时。 成功率不高且调用次数低会比较尴尬,即使官方插件也可能不稳定,需自行尝试找到适合场景的插件。 使用 Coze IDE 创建插件: 登录。 在左侧导航栏工作区区域选择进入指定团队。 在页面顶部进入插件页面或在某一 Bot 的编排页面找到插件区域并单击“+”图标。 单击创建插件。 在新建插件对话框,配置插件图标(可选)、名称、描述、工具创建方式、IDE 运行时等信息并单击确认。 在插件详情页单击在 IDE 中创建工具,在弹出对话框设置工具名称和介绍后确定,跳转到 Coze IDE 页面进行编码。 (可选)在 IDE 左上角工具列表区域单击“+”图标添加更多工具,还可通过单击工具的设置图标编辑、删除或重置代码。 (可选)在 IDE 左下角依赖包区域管理依赖包,所有工具共用该依赖列表。 插件系统与 AI Agent 的关系: AI Agent = LLM + Planning + Memory + Tools,插件系统对应 Tools,主要目的是扩展 Bot 的能力边界。 插件是工具集,一个插件内可包含一个或多个工具(API)。 Coze 集成了超过 60 种类型的插件,包括资讯阅读、旅游出行、效率办公、图片理解等 API 及多模态模型。 若 Coze 集成的插件不满足需求,可创建自定义插件集成所需 API。
2025-01-11
stablediffusion学习
以下是关于系统学习 Stable Diffusion(SD)的相关内容: 学习 SD 的提示词: 学习 Stable Diffusion 的提示词是一个系统性的过程,需要理论知识和实践经验相结合。具体步骤如下: 1. 学习基本概念:了解 Stable Diffusion 的工作原理和模型架构,理解提示词如何影响生成结果,掌握提示词的组成部分(主题词、修饰词、反面词等)。 2. 研究官方文档和教程:通读 Stable Diffusion 官方文档,了解提示词相关指南,研究来自开发团队和专家的教程和技巧分享。 3. 学习常见术语和范例:熟悉 UI、艺术、摄影等相关领域的专业术语和概念,研究优秀的图像标题和描述,作为提示词范例。 4. 掌握关键技巧:学习如何组合多个词条来精确描述想要的效果,掌握使用“()”、“”等符号来控制生成权重的技巧,了解如何处理抽象概念、情感等无形事物的描述。 5. 实践和反馈:使用不同的提示词尝试生成各种风格和主题的图像,对比提示词和实际结果,分析原因,总结经验教训,在社区内分享结果,请教高手,获取反馈和建议。 6. 创建提示词库:根据主题、风格等维度,建立自己的高质量提示词库,将成功案例和总结记录在案,方便后续参考和复用。 7. 持续跟进前沿:关注 Stable Diffusion 的最新更新和社区分享,及时掌握提示词的新技术、新范式、新趋势。 学习 SD 的 Web UI: 学习 Stable Diffusion Web UI 可以按照以下步骤进行: 1. 安装必要的软件环境:安装 Git 用于克隆源代码,安装 Python 3.10.6 版本,确保勾选“Add Python 3.10 to PATH”选项,安装 Miniconda 或 Anaconda 创建 Python 虚拟环境。 2. 克隆 Stable Diffusion Web UI 源代码:打开命令行工具,输入命令 git clone https://github.com/AUTOMATIC1111/stablediffusionwebui.git,将源代码克隆到本地目录。 3. 运行安装脚本:进入 stablediffusionwebui 目录,运行 webuiuser.bat 或 webui.sh 脚本,它会自动安装依赖项并配置环境,等待安装完成,命令行会显示 Web UI 的访问地址。 4. 访问 Web UI 界面:复制命令行显示的本地 Web 地址,在浏览器中打开,即可进入 Stable Diffusion Web UI 的图形化界面。 5. 学习 Web UI 的基本操作:了解 Web UI 的各种设置选项,如模型、采样器、采样步数等,尝试生成图像,观察不同参数对结果的影响,学习使用提示词(prompt)来控制生成效果。 6. 探索 Web UI 的扩展功能:了解 Web UI 支持的各种插件和扩展,如 Lora、Hypernetwork 等,学习如何导入自定义模型、VAE、embedding 等文件,掌握图像管理、任务管理等技巧,提高工作效率。 通过这些步骤,相信您可以快速上手 Stable Diffusion Web UI,开始探索 AI 绘画的乐趣。后续还可以深入学习 Stable Diffusion 的原理,以及在不同场景中的应用。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-01-16
有什么AI模型可以制作瞬息宇宙?比如Stable Diffusion,还有别的吗?
以下是一些可以用于制作类似效果的 AI 模型: 1. Adobe Firefly:内置在各种 Adobe 产品中,不过在质量方面稍逊于 DALLE 和 Midjourney,但它只使用有权使用的图像进行训练。 2. Stable Diffusion:开源模型,可以在任何高端计算机运行。开始时需要学会正确制作提示,一旦掌握能产生很好的结果,尤其适合将 AI 与其他源的图像结合。 3. DALLE:来自 OpenAI,已纳入 Bing(需使用创意模式)和 Bing 图像创建器,系统可靠但效果比 Midjourney 稍差。 4. Midjourney:2023 年中期最好的系统,学习曲线最低,只需键入特定指令就能得到很好的结果,需要 Discord。 此外,在游戏制作领域,已经出现了用于游戏中几乎所有资产的生成式人工智能模型,从 3D 模型到角色动画,再到对话和音乐。但文中未提及具体的模型名称。
2025-01-10
stable diffusion和国内的这些AI绘画的模型有什么区别
Stable Diffusion 和国内的 AI 绘画模型主要有以下区别: 1. 数据集和学习方式: 在线的国内模型可以访问庞大且不断更新扩展的数据集,还能实时从用户的弱监督学习中获得反馈,从而不断调整和优化绘画策略。而 Stable Diffusion 通常受限于本地设备的计算能力,其数据集和学习反馈相对有限。 2. 计算能力: 在线的国内模型能利用云计算资源进行大规模并行计算,加速模型的训练和推理过程。Stable Diffusion 受本地设备计算能力限制,性能可能不如在线模型。 3. 模型更新: 在线的国内模型可以随时获得最新的版本和功能更新,更好地适应不断变化的绘画风格和技巧。Stable Diffusion 的模型更新相对较慢。 4. 协同学习: 在线的国内模型可以从全球范围内的用户中学习,更好地理解各种绘画风格和技巧。Stable Diffusion 则只能依赖于有限的本地模型,对绘画可能性的了解可能不够全面。 例如,Niji·journey 5 在二次元角色设计领域就展现出比 Stable Diffusion 更强大的性能和实用性。同时,国内还有 DeepSeek、阿里巴巴的 Qwen2 系列、清华大学的 OpenBMB 项目等在不同方面表现出色的模型。
2025-01-08
Stable Diffusion 学习教程
以下是关于 Stable Diffusion 学习的教程: 学习提示词: 1. 学习基本概念:了解 Stable Diffusion 的工作原理和模型架构,理解提示词如何影响生成结果,掌握提示词的组成部分(主题词、修饰词、反面词等)。 2. 研究官方文档和教程:通读 Stable Diffusion 官方文档,研究来自开发团队和专家的教程和技巧分享。 3. 学习常见术语和范例:熟悉 UI、艺术、摄影等相关领域的专业术语和概念,研究优秀的图像标题和描述,作为提示词范例。 4. 掌握关键技巧:学习如何组合多个词条来精确描述想要的效果,掌握使用“()”、“”等符号来控制生成权重的技巧,了解如何处理抽象概念、情感等无形事物的描述。 5. 实践和反馈:使用不同的提示词尝试生成各种风格和主题的图像,对比提示词和实际结果,分析原因,总结经验教训,在社区内分享结果,请教高手,获取反馈和建议。 6. 创建提示词库:根据主题、风格等维度,建立自己的高质量提示词库,将成功案例和总结记录在案,方便后续参考和复用。 7. 持续跟进前沿:关注 Stable Diffusion 的最新更新和社区分享,及时掌握提示词的新技术、新范式、新趋势。 核心基础知识: 1. Stable Diffusion 系列资源。 2. 零基础深入浅出理解 Stable Diffusion 核心基础原理,包括通俗讲解模型工作流程(包含详细图解)、从 0 到 1 读懂模型核心基础原理(包含详细图解)、零基础读懂训练全过程(包含详细图解)、其他主流生成式模型介绍。 3. Stable Diffusion 核心网络结构解析(全网最详细),包括 SD 模型整体架构初识、VAE 模型、UNet 模型、CLIP Text Encoder 模型、SD 官方训练细节解析。 4. 从 0 到 1 搭建使用 Stable Diffusion 模型进行 AI 绘画(全网最详细讲解),包括零基础使用 ComfyUI 搭建推理流程、零基础使用 SD.Next 搭建推理流程、零基础使用 Stable Diffusion WebUI 搭建推理流程、零基础使用 diffusers 搭建推理流程、生成示例。 5. Stable Diffusion 经典应用场景,包括文本生成图像、图片生成图片、图像 inpainting、使用 controlnet 辅助生成图片、超分辨率重建。 6. 从 0 到 1 上手使用 Stable Diffusion 训练自己的 AI 绘画模型(全网最详细讲解),包括训练资源分享、模型训练初识、配置训练环境与训练文件。 其他资源: 1. 了解 Stable diffusion 是什么: 。 2. 入门教程: 。 3. 模型网站:C 站 。 4. 推荐模型:人像摄影模型介绍:https://www.bilibili.com/video/BV1DP41167bZ 。
2025-01-06
Stable Diffusion、comfyui
ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI,您可以将其想象成集成了 stable diffusion 功能的 substance designer。它具有以下特点: 优势: 对显存要求相对较低,启动和出图速度快。 生成自由度更高。 可以和 webui 共享环境和模型。 能搭建自己的工作流程,可导出流程并分享,报错时能清晰发现错误所在。 生成的图片拖进后会还原整个工作流程,模型也会选择好。 劣势: 操作门槛高,需要有清晰的逻辑。 生态没有 webui 丰富(但常用的都有),也有一些针对 Comfyui 开发的有趣插件。 其生图原理如下: 基础模型:ComfyUI 使用预训练的扩散模型作为核心,通常是 Stable Diffusion 模型,包括 SD1.5、SD2.0、SDXL、SD3、FLUX 等。 文本编码:当用户输入文本提示时,ComfyUI 首先使用 CLIP 文本编码器将文本转换为向量表示,以捕捉文本的语义信息。 Pixel Space 和 Latent Space: Pixel Space(像素空间):图的左边表示输入图像的像素空间,在 ComfyUI 中,对应于“图像输入”模块或直接从文本提示生成的随机噪声图像,生成过程结束时会将处理后的潜在表示转换回像素空间生成最终图像。 Latent Space(潜在空间):ComfyUI 中的许多操作都在潜在空间中进行,如 KSampler 节点执行采样过程,通过节点调整对潜在空间的操作,如噪声添加、去噪步数等。 扩散过程(Diffusion Process): 噪声的生成和逐步还原:扩散过程表示从噪声生成图像的过程,在 ComfyUI 中通常通过调度器控制,如 Normal、Karras 等,可通过“采样器”节点选择不同调度器控制处理噪声和逐步去噪回归到最终图像。 时间步数:在生成图像时,扩散模型会进行多个去噪步,通过控制步数影响图像生成的精细度和质量。 官方链接:https://github.com/comfyanonymous/ComfyUI (内容由 AI 大模型生成,请仔细甄别)
2025-01-06
社区有关于stable diffusion 的教程吗
以下是为您找到的关于 Stable Diffusion 的教程: 知乎教程:深入浅出完整解析 Stable Diffusion(SD)核心基础知识,目录包括: Stable Diffusion 系列资源 零基础深入浅出理解 Stable Diffusion 核心基础原理,包含通俗讲解模型工作流程(包含详细图解)、从 0 到 1 读懂模型核心基础原理(包含详细图解)、零基础读懂训练全过程(包含详细图解)、其他主流生成式模型介绍 Stable Diffusion 核心网络结构解析(全网最详细),包括 SD 模型整体架构初识、VAE 模型、UNet 模型、CLIP Text Encoder 模型、SD 官方训练细节解析 从 0 到 1 搭建使用 Stable Diffusion 模型进行 AI 绘画(全网最详细讲解),包括零基础使用 ComfyUI 搭建推理流程、零基础使用 SD.Next 搭建推理流程、零基础使用 Stable Diffusion WebUI 搭建推理流程、零基础使用 diffusers 搭建推理流程、Stable Diffusion 生成示例 Stable Diffusion 经典应用场景,包括文本生成图像、图片生成图片、图像 inpainting、使用 controlnet 辅助生成图片、超分辨率重建 从 0 到 1 上手使用 Stable Diffusion 训练自己的 AI 绘画模型(全网最详细讲解),包括 Stable Diffusion 训练资源分享、模型训练初识、配置训练环境与训练文件 其他教程: 了解 Stable diffusion 是什么: 基本介绍:https://waytoagi.feishu.cn/wiki/CeOvwZPwCijV79kt9jccfkRan5e 稳定扩散(Stable Diffusion)是如何运作的:https://waytoagi.feishu.cn/wiki/TNIRw7qsViYNVgkPaazcuaVfndc 入门教程: 文字教程: 模型网站: C 站SD 模型网站:https://civitai.com/ Liblibai模型+在线 SD:https://www.liblib.ai/ huggingface:https://huggingface.co/models?pipeline_tag=texttoimage&sort=trending 吐司站:https://tusiart.com/ 推荐模型:人像摄影模型介绍:https://www.bilibili.com/video/BV1DP41167bZ
2025-01-04
ComfyUI_LayerStyle
ComfyUI_LayerStyle 相关内容如下: 加载模型部分: 下好工作流中的所需三张图片“SeasonYou_Reference、BG、MASK”以及上传自己所需的照片到 Input 部分。右上角放自己的人像图片(非人像会报错提示“no face detected”)。 对于 vae 加载器部分,选择 xl 版本(因为大模型用的 xl)的 vae 即可。 对于 ipadater 部分,倘若加载器部分报错说 model 不存在,将文中画圈部分修改调整到不报错。 Pulid 部分,除了下载好对应的节点以及参考官方网站最下面的安装对应要求外,还要注意对应安装一些内容,具体要求可查看云盘中命名为“pulid 插件模型位置.png”及对应的云盘链接:PulID 全套模型 链接:https://pan.baidu.com/s/1ami4FA4w9mjuAsPK49kMAw?pwd=y6hb 提取码:y6hb ,否则将会报错。 爆肝博主 ZHO 的更新记录: 3 月 7 日:ComfyUI 支持 Stable Cascade 的 Inpainting ControlNet,ComfyUI 作者在示例页面给出了说明和工作流:https://comfyanonymous.github.io/ComfyUI_examples/stable_cascade/ ,博主自己也整理了一版,分享在:https://github.com/ZHOZHOZHO/ComfyUIWorkflowsZHO ,说明第二个 inpainting+composite 是将原图帖回到重绘之后的效果,是非必要项,按需使用。 3 月 6 日:国内作者把 ps 很多功能都迁移到了 ComfyUI 里,项目是:https://github.com/chflame163/ComfyUI_LayerStyle 。最新版 ComfyUI 支持了一系列图像形态学处理,包括 erode 腐蚀(去除小噪点/分离相邻对象)、dilate 膨胀(填补小洞/连接临近对象)、open 开(先腐蚀后膨胀)、close 闭(先膨胀后腐蚀)、gradient 梯度(膨胀与腐蚀之差)、top_hat 顶帽(原图与开之差)、bottom_hat 底帽(原图与闭之差)。使用方法为:1)更新 ComfyUI;2)右键 image/postprocessing/ImageMorphology;3)接上图像输入和输出即可。
2025-01-15
flux inpainting 是怎么基于diffusersion train的inpainting
Flux inpainting 基于 diffusion train 的 inpainting 通常涉及以下方面: 训练扩散模型在特定的表示上,能够在降低复杂度和保留细节之间达到最优平衡点,显著提高视觉保真度。在模型架构中引入交叉注意力层,使其成为强大且灵活的生成器,能够处理诸如文本和边界框等一般条件输入,实现基于高分辨率卷积的合成。 关于 Midjourney 的训练 prompt 方面: Midjourney 会定期发布新的模型版本以提高效率、连贯性和质量。最新模型是默认的,但也可以通过 version 或 v 参数或使用 /settings 命令选择其他模型版本。不同模型在不同类型的图像上表现出色。Midjourney V5 模型是最新且最先进的模型,于 2023 年 3 月 15 日发布。使用该模型可在 prompt 末尾添加 v 5 参数,或通过 /settings 命令选择 MJ Version 5。该模型具有很高的连贯性,擅长解释自然语言 prompt,分辨率更高,并支持诸如 tile 等高级功能。V5 基础模型具有更广泛的风格范围、对 prompt 响应更灵敏、图像质量更高(分辨率提高 2 倍)、动态范围改进、图像细节更丰富且更准确、文本干扰更少等新特点,还支持 tile 参数实现无缝平铺(实验性)、支持大于 2:1 的 ar 宽高比(实验性)、支持 iw 权衡图像 prompt 与文本 prompt 以及特定的风格和 prompt 方式。
2025-01-22
Flux 的lora模型训练教程,我想用用diffuser代码训练,而不是webui或comfyui
以下是关于 Flux 的 lora 模型训练的相关信息: Flux GGUF 模型:https://huggingface.co/city96/FLUX.1devgguf/tree/main GGUF 配套节点插件:https://github.com/city96/ComfyUIGGUF 在最新版本的 ComfyUI 中,GGUF 的节点插件可在 Manager 管理器中搜到下载安装,但 NF4 的配套节点插件搜不到。 注意使用精度优化的低配模型时,工作流和原版不同。把官方的 fp8 工作流中底模的节点换成 NF4 或者 GUFF 即可。 相关生态发展迅速,有 Lora、Controlnet、IPadpter 相关生态建设,字节最近发布的 Flux Hyper lora 可用于 8 步快速生图。下节将先讲讲 Flux 的 lora 训练。
2024-09-05