controlnet

作者：白马少年介绍：SD实践派，出品精细教程发布时间：2023-05-10 20:00原文网址：https://mp.weixin.qq.com/s/6ZKnYF0x6pHo-fWMQ66kiQStable Diffusion一直在致力于更精确地控制出图结果，而在这众多的功能中，最突出的要属ControlNet了。无论是文生图还是图生图，我们更多的是对内容的一个描述，但是如果我们想要更细化一些，比如构图、轮廓、形象姿态、色彩风格等等，单靠文生图或者图生图就不够用了，我们需要一个更强大的控制模块，这时ControlNet也就应运而生。它带来的最大的改变，就是让输出结果能更好的被我们控制了。关于ControlNet插件的安装，如果是用的秋叶大佬的整合包，就会自带这个插件。如果没有，可以去扩展中搜索ControlNet进行安装。安装完成之后，就可以看到ControlNet的使用界面了。ControlNet的使用逻辑是通过预处理器将我们的图片提取特征，并转换为AI可识别的形式，再通过模型将预处理器的结果进行图像生成。说得再直白一点，预处理器就是我们和ControlNet之间的一款翻译软件。比如，我想绘制一张女孩打篮球的图片，并且想让她模仿库里的这个动作。接下来，输入关键词：(最好的质量，杰作)，女孩，打篮球，篮球场，认真，球衣，看着观众，受伤，绷带。大模型选择Toonyou的二次元卡通风格，在ControlNet中导入库里的照片，预处理器选择openpose，点击预处理器右侧的爆炸标志，就可以看到提炼出来的骨骼结构。接下来，使用同样名为openpose的模型，调试参数，点击生成。

ControlNet是一种神经网络模型，由斯坦福大学张吕敏发布，它与预训练的图像扩散模型（例如Stable Diffusion）结合使用，通过引入额外的条件输入来控制AI绘画的生成过程。ControlNet模型通过在Stable Diffusion模型中添加辅助模块，实现对生成图像的精细控制。这些条件输入可以是多种类型的图像，例如涂鸦、边缘图、姿势关键点、深度图、分割图、法线图等，它们作为条件输入来指导生成图像的内容。ControlNet的工作原理涉及将Stable Diffusion模型的权重复制到ControlNet的可训练副本中，并使用外部条件向量来训练这个副本。这样做的好处是，可以在不破坏Stable Diffusion模型原本能力的前提下，通过小批量数据集对ControlNet进行训练，从而实现对特定条件的学习。ControlNet的设计思想提供了训练过程中的鲁棒性，避免了模型过度拟合，并允许在小规模甚至个人设备上进行训练。此外，ControlNet的架构具有强大的兼容性与迁移能力，可以用于其他扩散模型中，增强了图像生成的多样性和可控性。ControlNet的应用不仅限于AI绘画，它还可以用于图像编辑、风格迁移、图像超分辨率等多种计算机视觉任务，展现了在AI生成内容（AIGC）领域的广泛应用潜力。内容由AI大模型生成，请仔细甄别类似问题：Transformer是什么？

现在我们已经能够生成美女的照片了可以定制出独一无二的脸，换上更好看的衣服但是我们怎么才能让照片的小姐姐摆出指定的姿势呢？通过关键词去描绘动作，可是出来的照片又不太准确通过图生图去生成，可是人脸又变了那我们就可以用到这个“ControlNet”功能，翻译成中文就是控制网络简单来说就是可以用它控制照片的线条，比如人物的动作、建筑物的线条等比如，我现在想让左边照片的小姐姐摆出右边小姐姐的姿势,得到最右边的一张照片首先，大模型和关键词我们还是正常的填写生成一张我们我们想要的小姐姐的照片接着鼠标滑到最下面，点击“ControlNet”①点击空白的地方，上传我们需要指定的姿势的照片②点击“启用”③在“预处理器”和“模型”里选择“openpose”，这就是用来让计算机识别人物姿势的下一步就点击这个“预览预处理结果”接着原来照片的右边就会出现人物姿势的线条，最后点击生成照片这样我们一张指定姿势的美女小姐姐就生成啦！