什么是Controlnet

ControlNet是一种神经网络模型，由斯坦福大学张吕敏发布，它与预训练的图像扩散模型（例如Stable Diffusion）结合使用，通过引入额外的条件输入来控制AI绘画的生成过程。ControlNet模型通过在Stable Diffusion模型中添加辅助模块，实现对生成图像的精细控制。这些条件输入可以是多种类型的图像，例如涂鸦、边缘图、姿势关键点、深度图、分割图、法线图等，它们作为条件输入来指导生成图像的内容。ControlNet的工作原理涉及将Stable Diffusion模型的权重复制到ControlNet的可训练副本中，并使用外部条件向量来训练这个副本。这样做的好处是，可以在不破坏Stable Diffusion模型原本能力的前提下，通过小批量数据集对ControlNet进行训练，从而实现对特定条件的学习。ControlNet的设计思想提供了训练过程中的鲁棒性，避免了模型过度拟合，并允许在小规模甚至个人设备上进行训练。此外，ControlNet的架构具有强大的兼容性与迁移能力，可以用于其他扩散模型中，增强了图像生成的多样性和可控性。ControlNet的应用不仅限于AI绘画，它还可以用于图像编辑、风格迁移、图像超分辨率等多种计算机视觉任务，展现了在AI生成内容（AIGC）领域的广泛应用潜力。内容由AI大模型生成，请仔细甄别类似问题：Transformer是什么？

作者：白马少年介绍：SD实践派，出品精细教程发布时间：2023-05-10 20:00原文网址：https://mp.weixin.qq.com/s/6ZKnYF0x6pHo-fWMQ66kiQStable Diffusion一直在致力于更精确地控制出图结果，而在这众多的功能中，最突出的要属ControlNet了。无论是文生图还是图生图，我们更多的是对内容的一个描述，但是如果我们想要更细化一些，比如构图、轮廓、形象姿态、色彩风格等等，单靠文生图或者图生图就不够用了，我们需要一个更强大的控制模块，这时ControlNet也就应运而生。它带来的最大的改变，就是让输出结果能更好的被我们控制了。关于ControlNet插件的安装，如果是用的秋叶大佬的整合包，就会自带这个插件。如果没有，可以去扩展中搜索ControlNet进行安装。安装完成之后，就可以看到ControlNet的使用界面了。ControlNet的使用逻辑是通过预处理器将我们的图片提取特征，并转换为AI可识别的形式，再通过模型将预处理器的结果进行图像生成。说得再直白一点，预处理器就是我们和ControlNet之间的一款翻译软件。比如，我想绘制一张女孩打篮球的图片，并且想让她模仿库里的这个动作。接下来，输入关键词：(最好的质量，杰作)，女孩，打篮球，篮球场，认真，球衣，看着观众，受伤，绷带。大模型选择Toonyou的二次元卡通风格，在ControlNet中导入库里的照片，预处理器选择openpose，点击预处理器右侧的爆炸标志，就可以看到提炼出来的骨骼结构。接下来，使用同样名为openpose的模型，调试参数，点击生成。可以看到，这张AI绘图就采用我们提供给它的动作参考画了出来，效果相当不错。

Controlnet允许通过线稿、动作识别、深度信息等对生成的图像进行控制。请注意，在使用前请确保ControlNet设置下的路径与本地Stable Diffusion的路径同步[heading3]基本流程[content]点击Enable启用该项ControlNetPreprocessor指预处理器，它将对输入的图像进行预处理。如果图像已经符合预处理后的结果，请选择None。譬如，图中导入的图像已经是OpenPose需要的骨架图，那么preprocessor选择none即可。在Weight下，可以调整该项ControlNet的在合成中的影响权重，与在prompt中调整的权重类似。Guidance strength用来控制图像生成的前百分之多少步由Controlnet主导生成，这点与[:]语法类似。Invert Input Color表示启动反色模式，如果输入的图片是白色背景，开启它。RGB to BGR表示将输入的色彩通道信息反转，即RGB信息当做BGR信息解析，只是因为OpenCV中使用的是BGR格式。如果输入的图是法线贴图，开启它。Low VRAM表示开启低显存优化，需要配合启动参数“--lowvram”。Guess Mode表示无提示词模式，需要在设置中启用基于CFG的引导。Model中请选择想要使用解析模型，应该与输入的图像或者预处理器对应。请注意，预处理器可以为空，但模型不能为空。