直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

controlnet教程

回答

以下是关于 ControlNet 的教程:

ControlNet 是 Stable Diffusion 中的一个功能,能够让用户更精确地控制出图结果。比如可以控制人物的动作、建筑物的线条等。

在使用时,大模型和关键词正常填写生成所需照片。然后鼠标滑到最下面点击“ControlNet”:

  1. 点击空白处上传指定姿势的照片。
  2. 点击“启用”。
  3. 在“预处理器”和“模型”里选择“openpose”,这用于让计算机识别人物姿势。

接着点击“预览预处理结果”,原照片右边会出现人物姿势的线条,最后点击生成照片即可得到指定姿势的图片。

另外,如果是用秋叶大佬的整合包,会自带 ControlNet 插件。若没有,可去扩展中搜索安装。

其使用逻辑是通过预处理器将图片提取特征并转换为 AI 可识别的形式,再通过模型进行图像生成。例如绘制女孩打篮球模仿库里动作的图片,输入相关关键词,选择大模型,在 ControlNet 中导入库里照片,选择合适的预处理器和模型,调试参数后生成。

在 ControlNet 中还可以尝试不同的预处理器,如 softedge_pidinet、depth、canny、tile 等,可能会得到不错的效果。同时要注意电脑配置,避免出现显存不足等问题。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

教程:超详细的Stable Diffusion教程

现在我们已经能够生成美女的照片了可以定制出独一无二的脸,换上更好看的衣服但是我们怎么才能让照片的小姐姐摆出指定的姿势呢?通过关键词去描绘动作,可是出来的照片又不太准确通过图生图去生成,可是人脸又变了那我们就可以用到这个“ControlNet”功能,翻译成中文就是控制网络简单来说就是可以用它控制照片的线条,比如人物的动作、建筑物的线条等比如,我现在想让左边照片的小姐姐摆出右边小姐姐的姿势,得到最右边的一张照片首先,大模型和关键词我们还是正常的填写生成一张我们我们想要的小姐姐的照片接着鼠标滑到最下面,点击“ControlNet”①点击空白的地方,上传我们需要指定的姿势的照片②点击“启用”③在“预处理器”和“模型”里选择“openpose”,这就是用来让计算机识别人物姿势的下一步就点击这个“预览预处理结果”接着原来照片的右边就会出现人物姿势的线条,最后点击生成照片这样我们一张指定姿势的美女小姐姐就生成啦!

【SD】最强控制插件ControlNet(1)附模型下载

[title]【SD】最强控制插件ControlNet(1)附模型下载作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-05-10 20:00原文网址:https://mp.weixin.qq.com/s/6ZKnYF0x6pHo-fWMQ66kiQStable Diffusion一直在致力于更精确地控制出图结果,而在这众多的功能中,最突出的要属ControlNet了。无论是文生图还是图生图,我们更多的是对内容的一个描述,但是如果我们想要更细化一些,比如构图、轮廓、形象姿态、色彩风格等等,单靠文生图或者图生图就不够用了,我们需要一个更强大的控制模块,这时ControlNet也就应运而生。它带来的最大的改变,就是让输出结果能更好的被我们控制了。关于ControlNet插件的安装,如果是用的秋叶大佬的整合包,就会自带这个插件。如果没有,可以去扩展中搜索ControlNet进行安装。安装完成之后,就可以看到ControlNet的使用界面了。ControlNet的使用逻辑是通过预处理器将我们的图片提取特征,并转换为AI可识别的形式,再通过模型将预处理器的结果进行图像生成。说得再直白一点,预处理器就是我们和ControlNet之间的一款翻译软件。比如,我想绘制一张女孩打篮球的图片,并且想让她模仿库里的这个动作。接下来,输入关键词:(最好的质量,杰作),女孩,打篮球,篮球场,认真,球衣,看着观众,受伤,绷带。大模型选择Toonyou的二次元卡通风格,在ControlNet中导入库里的照片,预处理器选择openpose,点击预处理器右侧的爆炸标志,就可以看到提炼出来的骨骼结构。接下来,使用同样名为openpose的模型,调试参数,点击生成。可以看到,这张AI绘图就采用我们提供给它的动作参考画了出来,效果相当不错。

教程:01_立春

[title]教程:01_立春[heading3]1、关键词(稳定)总批次数我这里是跑了4张,有2张都不错。电脑配置不太好的可以先跑一张看看,要不等太久了,多抽几张,选一张喜欢的。在ControlNet上传前面做的白底黑字图512x768,勾选(启用、完美像素、允许预览)预处理器选择softedge_pidinet,权重0.85。当然你也可以试试depth,canny,tile等也可以得到不错的效果。记得点击💥图标才会起作用哦。选择你想要的图片,按♻️键锁定种子,选择放大算法R-ESRGAN 4x+,放大2倍,重绘幅度0.35,(如果配置不够,这里可能会爆显存出不来,需要是图生图放大)如果想要变化更大可以给到0.35-0.5。黑白字体设计(字体设计来源于:ཉི叶承欢

其他人在问
什么是controlnet? controlnet有什么重要作用
ControlNet 是一种由斯坦福大学张吕敏发布的神经网络模型,常与预训练的图像扩散模型(如 Stable Diffusion)结合使用。 其重要作用包括: 1. 实现对 AI 绘画生成过程的精细控制,通过引入如涂鸦、边缘图、姿势关键点、深度图、分割图、法线图等多种类型的额外条件输入来指导生成图像的内容。 2. 工作原理是将 Stable Diffusion 模型的权重复制到 ControlNet 的可训练副本中,并使用外部条件向量训练副本,在不破坏原模型能力的前提下,通过小批量数据集训练实现对特定条件的学习。 3. 设计思想提供了训练过程的鲁棒性,避免过度拟合,允许在小规模甚至个人设备上训练,架构具有强大的兼容性与迁移能力,可用于其他扩散模型,增强图像生成的多样性和可控性。 4. 应用不限于 AI 绘画,还可用于图像编辑、风格迁移、图像超分辨率等多种计算机视觉任务,展现了在 AIGC 领域的广泛应用潜力。 在 Stable Diffusion 中,ControlNet 带来的最大改变是让输出结果能更好地被控制。其使用逻辑是通过预处理器将图片提取特征并转换为 AI 可识别的形式,再通过模型进行图像生成。在使用时,如启用 ControlNet 需点击 Enable,Preprocessor 指预处理器,Weight 可调整其在合成中的影响权重,Guidance strength 控制图像生成的前百分之多少步由 ControlNet 主导生成,Invert Input Color 可启动反色模式,RGB to BGR 可反转输入色彩通道信息,Low VRAM 为低显存优化,Guess Mode 为无提示词模式。同时,Model 中选择的解析模型应与输入图像或预处理器对应。
2024-09-13
controlnet一直加载怎么办
ControlNet 一直加载可能由以下原因导致及对应的解决方法: 1. 模型版本问题:确保 checkpoint、ContalNet 等所有需要加载模型的版本均基于 SD1.5,否则可能会报“超出索引”的错误。 2. 节点未安装完全:载入工作流后若出现爆红部分,可能是节点没下好、没下全。此时可以先全部更新,让所缺节点“显露出来”,然后安装好缺失的节点。 3. 参数设置问题:假如右下角的区域报红,那么就得根据报错信息相应调整一下左上角蓝色区域的 h、w 参数。 此外,ControlNet 还有一些新的功能和应用,例如: 1. 1.1 版本新出的 lineart 线稿提取功能,可先通过 invert 预处理将白底黑线处理成黑底白线,然后切换到 lineart 预处理器和模型进行生成。 2. mlsd 直线线条检测功能,一般用在建筑或者室内设计上,预处理器可提炼出室内的结构线。 ComfyUI 中的 ControlNet 高级控件: 在时间步和批处理潜变量之间调度 ControlNet 强度的节点,以及应用自定义权重和注意力掩码。这里的 ControlNet 节点完全支持滑动上下文采样。输入包括 positive(提示词(正面))、negative(提示词(负面))、control_net(加载了控制网络)、image(用于指导控制网络的图像)、mask_optional(应用于控制网络的注意力掩码)、timestep_kf(时间步关键帧)、latent_kf_override(潜在关键帧的覆盖)。
2024-08-29
ControlNet是什么?
ControlNet是一种神经网络模型,由斯坦福大学张吕敏发布,它与预训练的图像扩散模型(例如Stable Diffusion)结合使用,通过引入额外的条件输入来控制AI绘画的生成过程。ControlNet模型通过在Stable Diffusion模型中添加辅助模块,实现对生成图像的精细控制。这些条件输入可以是多种类型的图像,例如涂鸦、边缘图、姿势关键点、深度图、分割图、法线图等,它们作为条件输入来指导生成图像的内容。 ControlNet的工作原理涉及将Stable Diffusion模型的权重复制到ControlNet的可训练副本中,并使用外部条件向量来训练这个副本。这样做的好处是,可以在不破坏Stable Diffusion模型原本能力的前提下,通过小批量数据集对ControlNet进行训练,从而实现对特定条件的学习。 ControlNet的设计思想提供了训练过程中的鲁棒性,避免了模型过度拟合,并允许在小规模甚至个人设备上进行训练。此外,ControlNet的架构具有强大的兼容性与迁移能力,可以用于其他扩散模型中,增强了图像生成的多样性和可控性。 ControlNet的应用不仅限于AI绘画,它还可以用于图像编辑、风格迁移、图像超分辨率等多种计算机视觉任务,展现了在AI生成内容(AIGC)领域的广泛应用潜力。
2024-04-28
学习coze的教程
以下是一些学习 Coze 的教程资源: 概览与介绍:https://waytoagi.feishu.cn/wiki/YGgzwDfWLiqsDWk2ENpcSGuqnxg 基础教程: 大圣:胎教级教程:万字长文带你使用 Coze 打造企业级知识库 https://waytoagi.feishu.cn/wiki/CT3UwDM8OiVmOOkohPbcV3JCndb 大聪明:保姆级教程:Coze 打工你躺平 https://waytoagi.feishu.cn/wiki/PQoUwXwpvi2ex7kJOrIcnQTCnYb 安仔:Coze 全方位入门剖析免费打造自己的 AI Agent https://waytoagi.feishu.cn/wiki/SaCFwcw9xi2qcrkmSxscxTxLnxb Coze “图像流”抢先体验 https://waytoagi.feishu.cn/wiki/AHs2whOS2izNJakGA1NcD5BEnuf YoYo:Coze 图像流小技巧:探索视觉艺术的隐藏宝藏 https://waytoagi.feishu.cn/wiki/CTajwJnyZizxlJk8a4AcJYywnfe 【智能体】让 Coze 智能体机器人连上微信和微信群详细配置文档 https://waytoagi.feishu.cn/wiki/ExHMwCDZ7i6NA7knCWucFvFvnvJ 一泽 Eze:万字实践教程,全面入门 Coze 工作流|用 Coze 打造 AI 精读专家智能体,复刻 10 万粉公众号的创作生产力 阅读指南:长文预警,请视情况收藏保存 核心看点:通过实际案例逐步演示,用 Coze 工作流构建一个能够稳定按照模板要求,生成结构化内容的 AI Agent;开源 AI Agent 的设计到落地的全过程思路;10+项常用的 Coze 工作流的配置细节、常见问题与解决方法 适合人群:任何玩过 AI 对话产品的一般用户(如果没用过,可以先找个国内大模型耍耍);希望深入学习 AI 应用开发平台(如 Coze、Dify),对 AI Agent 工作流配置感兴趣的爱好者 注:本文不单独讲解案例所涉及 Prompt 的撰写方法。文末「拓展阅读」中,附有相关 Prompt 通用入门教程、Coze 其他使用技巧等内容,以供前置或拓展学习。
2024-11-15
使用ai工具教程
以下是一些常见的 AI 工具使用教程: AI 画示意图: 假设您需要创建一个项目管理流程图,可以按照以下步骤使用 Lucidchart: 1. 注册并登录: 2. 选择模板:在模板库中搜索“项目管理流程图”。 3. 编辑图表:根据您的项目需求添加和编辑图形和流程步骤。 4. 优化布局:利用 AI 自动布局功能,优化图表的外观。 5. 保存和分享:保存图表并与团队成员分享,或导出为 PDF、PNG 等格式。 利用这些 AI 工具,您可以快速、高效地创建专业的示意图,满足各种工作和项目需求。 AI 视频相关: 以下是一些 AI 视频软件的教程链接: AI 线上绘画: 如果您在工作中需要用到大量图片,又想使用能够商用且具有较强艺术美感的图片,AI 生图是高效的解决办法。不论是人像、动物、自然风景或是人造景观的图,都可以用 AI 完成。 但主流的两款工具 midjourney(MJ)付费成本较高,stable diffusion(SD)硬件门槛不低。不过,还有像这样的免费在线 SD 工具网站。 本教程适用于入门玩家,计划让您在半个小时内自由上手创作绘图。如果半个小时内您无法理解工具如何使用,可通过评论区或加微信 designurlife1st(记得备注来意:ai 绘图交流)与作者联系。教程内容会持续更新,欢迎关注和催更。
2024-11-14
prompt 教程
以下是关于 prompt 教程的详细内容: 在 AI 视频生成中,prompt 是直接描述或引导视频生成的文本或指令,类似于给 AI 的提示,包含主体、运动、风格等信息,用户借此控制和指导生成内容。其作用十分重要,是表达需求的方式,影响视频内容和质量。如果上述过于抽象,您可以理解 Prompt 为:将您输入的文字变成对应的画面和运动形式。 Prompt 的专场教程 基础篇: 什么是 prompt(提示词):一段指令,用于指挥 AI 生成您所需要的内容,每个单独的提示词叫 tag(关键词)。 支持的语言:支持英语(不用担心英语不好的问题,),另外 emoji 也可以用。 语法规则: 用英文半角符号逗号,来分隔 tag。注意逗号前后有空格或者换行都不影响效果。 改变 tag 权重:tag 的顺序越靠前对于 SD 来说权重越大,但是依旧可以给每个位置上的 tag 单独设置权重。有两种写法:括号,权重就重 1.1 倍,每加一层括号就反向减弱 1.1 倍。 进行 tag 的步数控制(高级玩法):就是 SD 先按您输入的这个 tag1 开始生成,然后在达到您设定的步数之后,tag1 停止产生作用,此时 tag2 再参与到对内容生成的影响。,数字大于 1 理解为第 X 步前为 tag1,第 X 步后变成 tag2,数字小于 1 理解为总步数的百分之 X 前为 tag1,之后变成 tag2。
2024-11-14
prompt 教程
以下是关于 prompt 教程的详细内容: 在 AI 视频生成中,prompt 是直接描述或引导视频生成的文本或指令,类似于给 AI 的提示,包含主体、运动、风格等信息,用户借此控制和指导生成内容。其作用十分重要,是表达需求的方式,影响视频内容和质量。如果上述过于抽象,您可以理解 Prompt 为:将您输入的文字变成对应的画面和运动形式。 Prompt 的专场教程 基础篇: 什么是 prompt(提示词):一段指令,用于指挥 AI 生成您所需要的内容,每个单独的提示词叫 tag(关键词)。 支持的语言:支持英语(不用担心英语不好的问题,),另外 emoji 也可以用。 语法规则: 用英文半角符号逗号,来分隔 tag。注意逗号前后有空格或者换行都不影响效果。 改变 tag 权重:tag 的顺序越靠前对于 SD 来说权重越大,可通过两种写法设置权重。 :数值从 0.1 到 100,默认状态是 1,低于 1 就是减弱,大于 1 就是加强。 括号,权重就重 1.1 倍,每加一层括号就反向减弱 1.1 倍。 进行 tag 的步数控制(高级玩法):就是 SD 先按您输入的这个 tag1 开始生成,然后在达到您设定的步数之后,tag1 停止产生作用,此时 tag2 再参与到对内容生成的影响。,数字大于 1 理解为第 X 步前为 tag1,第 X 步后变成 tag2,数字小于 1 理解为总步数的百分之 X 前为 tag1,之后变成 tag2。 本文阅读时长大约 30 分钟,建议打开任意一款 SD 产品分屏对照使用。如果有地方觉得写得不够清晰,请在评论区激情发言,或者添加微信 designurlife1st 直接沟通(记得备注来意:ai 绘图交流)。
2024-11-14
prompt 教程
以下是关于 prompt 教程的详细内容: 在 AI 视频生成中,prompt 是直接描述或引导视频生成的文本或指令。它类似于给 AI 的提示,包含主体、运动、风格等信息,用户借此控制和指导生成内容。Prompt 在 AI 视频生成中作用十分重要,是表达需求的方式,影响视频内容和质量。如果上述过于抽象,您可以理解 Prompt 为:将您输入的文字变成对应的画面和运动形式。 Prompt 的专场教程 基础篇: 什么是 prompt(提示词):一段指令,用于指挥 AI 生成您所需要的内容,每个单独的提示词叫 tag(关键词)。 支持的语言:支持英语(不用担心英语不好的问题,),另外 emoji 也可以用。 语法规则: 用英文半角符号逗号,来分隔 tag。注意逗号前后有空格或者换行都不影响效果。 改变 tag 权重: :数值从 0.1 到 100,默认状态是 1,低于 1 就是减弱,大于 1 就是加强。 括号,权重就重 1.1 倍,每加一层括号就反向减弱 1.1 倍。 进行 tag 的步数控制(高级玩法):就是 SD 先按您输入的这个 tag1 开始生成,然后在达到您设定的步数之后,tag1 停止产生作用,此时 tag2 再参与到对内容生成的影响。,数字大于 1 理解为第 X 步前为 tag1,第 X 步后变成 tag2,数字小于 1 理解为总步数的百分之 X 前为 tag1,之后变成 tag2。 本文阅读时长大约 30 分钟,建议打开任意一款 SD 产品分屏对照使用。如果有地方觉得写得不够清晰,请在评论区激情发言,或者添加微信 designurlife1st 直接沟通(记得备注来意:ai 绘图交流)。
2024-11-14
prompt 教程
以下是关于 prompt 教程的详细内容: 在 AI 视频生成中,prompt 是直接描述或引导视频生成的文本或指令,类似于给 AI 的提示,包含主体、运动、风格等信息,用户借此控制和指导生成内容。其作用十分重要,是表达需求的方式,影响视频内容和质量。如果上述描述过于抽象,您可以理解 Prompt 为:将您输入的文字变成对应的画面和运动形式。 Prompt 的专场教程 基础篇: 什么是 prompt(提示词):一段指令,用于指挥 AI 生成您所需要的内容,每个单独的提示词叫 tag(关键词)。 支持的语言:支持英语(不用担心英语不好的问题,),另外 emoji 也可以用。 语法规则: 用英文半角符号逗号,来分隔 tag。注意逗号前后有空格或者换行都不影响效果。 改变 tag 权重:tag 的顺序越靠前对于 SD 来说权重越大,但是依旧可以给每个位置上的 tag 单独设置权重。有两种写法:括号,权重就重 1.1 倍,每加一层括号就反向减弱 1.1 倍。 进行 tag 的步数控制(高级玩法):就是 SD 先按您输入的这个 tag1 开始生成,然后在达到您设定的步数之后,tag1 停止产生作用,此时 tag2 再参与到对内容生成的影响。,数字大于 1 理解为第 X 步前为 tag1,第 X 步后变成 tag2,数字小于 1 理解为总步数的百分之 X 前为 tag1,之后变成 tag2。 建议打开任意一款 SD 产品分屏对照使用。如果有地方觉得写得不够清晰,请在评论区激情发言,或者添加微信 designurlife1st 直接沟通(记得备注来意:ai 绘图交流)。本文阅读时长大约 30 分钟。
2024-11-14