ControlNet是一种神经网络模型，由斯坦福大学张吕敏发布，它与预训练的图像扩散模型（例如Stable Diffusion）结合使用，通过引入额外的条件输入来控制AI绘画的生成过程。ControlNet模型通过在Stable Diffusion模型中添加辅助模块，实现对生成图像的精细控制。这些条件输入可以是多种类型的图像，例如涂鸦、边缘图、姿势关键点、深度图、分割图、法线图等，它们作为条件输入来指导生成图像的内容。
ControlNet的工作原理涉及将Stable Diffusion模型的权重复制到ControlNet的可训练副本中，并使用外部条件向量来训练这个副本。这样做的好处是，可以在不破坏Stable Diffusion模型原本能力的前提下，通过小批量数据集对ControlNet进行训练，从而实现对特定条件的学习。
ControlNet的设计思想提供了训练过程中的鲁棒性，避免了模型过度拟合，并允许在小规模甚至个人设备上进行训练。此外，ControlNet的架构具有强大的兼容性与迁移能力，可以用于其他扩散模型中，增强了图像生成的多样性和可控性。
ControlNet的应用不仅限于AI绘画，它还可以用于图像编辑、风格迁移、图像超分辨率等多种计算机视觉任务，展现了在AI生成内容（AIGC）领域的广泛应用潜力。