Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

stable difussion controlnet

Answer

Stable Diffusion 相关信息：

  • Stable Diffusion 3.5 已发布，我们对安全高度重视并采取措施防止不良行为者滥用。10 月 29 日将公开发布 Stable Diffusion 3.5 Medium，ControlNets 也将推出，为各种专业用例提供先进的控制功能。
  • ControlNet 允许通过线稿、动作识别、深度信息等对生成的图像进行控制。使用前需确保 ControlNet 设置下的路径与本地 Stable Diffusion 的路径同步。基本流程包括点击 Enable 启用该项 ControlNet，选择合适的 Preprocessor、调整 Weight 和 Guidance strength 等，还有一些特殊设置如 Invert Input Color、RGB to BGR、Low VRAM、Guess Mode 等。
  • 用 Stable Diffusion 装饰二维码的方法：首先使用 img2img 生成类似于 QR 码的图像，在采样步骤中打开 ControlNet 以将 QR 码压印到图像上，在采样步骤接近尾声时关闭 ControlNet 以提高图像的一致性。具体步骤包括选择检查点模型、输入提示和否定提示、上传二维码到 img2img 画布、设置图像到图像的相关参数、将二维码上传到 ControlNet 的图像画布并设置 ControlNet 的相关参数，最后按生成并用手机查看二维码。
Content generated by AI large model, please carefully verify (powered by aily)

References

Stable Diffusion 3.5发布了

Our commitment to safety我们对安全的承诺我们相信安全、负责任的人工智能实践，并采取审慎措施确保诚信从开发的早期阶段开始。这意味着我们已经并将继续采取合理的措施来防止不良行为者滥用Stable Diffusion 3.5。有关我们安全方法的更多信息，请访问我们的[稳定安全](https://stability.ai/safety)页面。Coming soon即将推出10月29日，我们将公开发布Stable Diffusion 3.5 Medium。不久之后，ControlNets也将推出，为各种专业用例提供先进的控制功能。我们期待听到您对稳定扩散3.5的反馈，并了解您使用模型创建的内容。您可以通过此[表格](https://docs.google.com/forms/d/e/1FAIpQLSeJwXFCuAHD7Vc576m9fUuJ7jMIE3spjDMGwrOG06OksLt7GA/viewform?usp=sf_link)直接与我们分享想法。要了解我们的最新进展，请在[X](https://twitter.com/stabilityai)、[LinkedIn](https://www.linkedin.com/company/stability-ai)、[Instagram](https://www.instagram.com/stability.ai/)上关注我们，并加入我们的[Discord社区](https://discord.gg/stablediffusion)。

SD新手：入门图文教程

Controlnet允许通过线稿、动作识别、深度信息等对生成的图像进行控制。请注意，在使用前请确保ControlNet设置下的路径与本地Stable Diffusion的路径同步[heading3]基本流程[content]点击Enable启用该项ControlNetPreprocessor指预处理器，它将对输入的图像进行预处理。如果图像已经符合预处理后的结果，请选择None。譬如，图中导入的图像已经是OpenPose需要的骨架图，那么preprocessor选择none即可。在Weight下，可以调整该项ControlNet的在合成中的影响权重，与在prompt中调整的权重类似。Guidance strength用来控制图像生成的前百分之多少步由Controlnet主导生成，这点与[:]语法类似。Invert Input Color表示启动反色模式，如果输入的图片是白色背景，开启它。RGB to BGR表示将输入的色彩通道信息反转，即RGB信息当做BGR信息解析，只是因为OpenCV中使用的是BGR格式。如果输入的图是法线贴图，开启它。Low VRAM表示开启低显存优化，需要配合启动参数“--lowvram”。Guess Mode表示无提示词模式，需要在设置中启用基于CFG的引导。Model中请选择想要使用解析模型，应该与输入的图像或者预处理器对应。请注意，预处理器可以为空，但模型不能为空。

教程：SD 做二维码

此方法首先使用img2img生成类似于QR码的图像。但这还不足以生成有效的二维码。ControlNet在采样步骤中打开，以将QR码压印到图像上。在采样步骤接近尾声时，ControlNet被关闭以提高图像的一致性。[heading3]分步指南[content]在AUTOMATIC1111 WebUI中，导航到Img2img页面。第1步：选择检查点模型。我们将使用[GhostMix](https://civitai.com/models/36520/ghostmix)。第2步：输入提示和否定提示。提示对您的成功非常重要。一些提示与您的二维码自然融合。我们将使用以下提示词。a cubism painting of a town with a lot of houses in the snow with a sky background,Andreas Rocha,matte painting concept art,a detailed matte painting以及下面的否定提示。ugly,disfigured,low quality,blurry,nsfw第3步：上传二维码到img2img画布。第4步：输入以下图像到图像设置。Resize mode:Just resizeSampling method:DPM++2M KarrasSampling step:50Width:768Height:768CFG Scale:7Denoising strength:0.75第5步：将二维码上传到ControlNet的图像画布。第6步：输入以下ControlNet设置。Enable:YesControl Type:TilePreprocessor:tile_resampleModel:control_xxx_tileControl Weight:0.87Starting Control Step:0.23Ending Control Step:0.9第7步：按生成。第8步：用手机查看二维码。确保检查屏幕上的不同尺寸。当它们很大时，有些往往会出现问题。您不会获得包含每张图片的功能性QR码。成功率大约是四分之一。

Others are asking
controlnet
ControlNet 是一种在 AI 绘画领域具有重要作用的神经网络模型，由斯坦福大学张吕敏发布。它与预训练的图像扩散模型（如 Stable Diffusion）结合使用，通过引入额外的条件输入来实现对 AI 绘画生成过程的精细控制。 其最大的特点和优势在于： 1. 无论是文生图还是图生图，当需要更细化地控制构图、轮廓、形象姿态、色彩风格等方面时，ControlNet 发挥了强大的作用，让输出结果能更好地被控制。 2. 工作逻辑是通过预处理器将图片提取特征，并转换为 AI 可识别的形式，再通过模型将预处理器的结果进行图像生成。预处理器就如同人和 ControlNet 之间的翻译软件。 3. 其应用广泛，不仅限于 AI 绘画，还可用于图像编辑、风格迁移、图像超分辨率等多种计算机视觉任务，展现了在 AIGC 领域的广泛应用潜力。 关于 ControlNet 插件的安装，如果使用秋叶大佬的整合包，会自带这个插件。如果没有，可以去扩展中搜索 ControlNet 进行安装。安装完成后，即可看到其使用界面。 例如，想绘制一张女孩打篮球并模仿库里动作的图片，输入相关关键词，大模型选择 Toonyou 的二次元卡通风格，在 ControlNet 中导入库里的照片，预处理器选择 openpose，点击预处理器右侧的爆炸标志，可看到提炼出来的骨骼结构。使用同样名为 openpose 的模型，调试参数，点击生成。 在让照片中的小姐姐摆出指定姿势的操作中，首先正常填写大模型和关键词生成照片，接着鼠标滑到最下面点击“ControlNet”，然后上传指定姿势的照片并点击“启用”，在“预处理器”和“模型”里选择“openpose”，点击“预览预处理结果”，最后点击生成照片即可。
2025-03-25
用一句话解释什么是controlnet
ControlNet 是一种由斯坦福大学张吕敏发布的神经网络模型，常与预训练的图像扩散模型（如 Stable Diffusion）结合，通过引入如涂鸦、边缘图等多种类型的额外条件输入来控制 AI 绘画生成过程，其工作原理是在 Stable Diffusion 模型中添加辅助模块，实现对生成图像的精细控制，还具有训练鲁棒性、兼容性与迁移能力，不仅用于 AI 绘画，还可用于图像编辑等多种计算机视觉任务。使用时需注意相关设置和安装，如确保路径同步、选择合适的预处理器和模型等。
2024-12-23
什么是Controlnet
ControlNet 是一种由斯坦福大学张吕敏发布的神经网络模型，常与预训练的图像扩散模型如 Stable Diffusion 结合使用，用于控制 AI 绘画的生成过程。 其工作原理是将 Stable Diffusion 模型的权重复制到 ControlNet 的可训练副本中，并利用外部条件向量训练副本。条件输入类型多样，如涂鸦、边缘图、姿势关键点、深度图、分割图、法线图等，以此指导生成图像的内容。 ControlNet 具有以下特点和优势： 1. 设计思想提供了训练过程中的鲁棒性，避免过度拟合，允许在小规模甚至个人设备上训练。 2. 架构具有强大的兼容性与迁移能力，可用于其他扩散模型，增强图像生成的多样性和可控性。 其应用不仅限于 AI 绘画，还可用于图像编辑、风格迁移、图像超分辨率等多种计算机视觉任务，展现出在 AIGC 领域的广泛应用潜力。 在使用方面，如在 Stable Diffusion 中，无论是文生图还是图生图，ControlNet 能实现更细化的控制，如构图、轮廓、形象姿态、色彩风格等。使用逻辑是通过预处理器将图片提取特征并转换为 AI 可识别的形式，再通过模型进行图像生成。预处理器如同“翻译软件”。例如绘制女孩模仿库里打篮球的图片，输入关键词和选择相应预处理器、模型等操作后即可生成。 在 Stable Diffusion 中使用 ControlNet 时，要注意一些设置，如确保 ControlNet 设置下的路径与本地 Stable Diffusion 的路径同步。基本流程包括点击 Enable 启用，选择预处理器，调整权重、控制生成步骤、反色模式等，还需根据情况选择合适的模型。
2024-11-24
controlnet教程
以下是关于 ControlNet 的教程： ControlNet 是 Stable Diffusion 中的一个功能，能够让用户更精确地控制出图结果。比如可以控制人物的动作、建筑物的线条等。 在使用时，大模型和关键词正常填写生成所需照片。然后鼠标滑到最下面点击“ControlNet”： 1. 点击空白处上传指定姿势的照片。 2. 点击“启用”。 3. 在“预处理器”和“模型”里选择“openpose”，这用于让计算机识别人物姿势。 接着点击“预览预处理结果”，原照片右边会出现人物姿势的线条，最后点击生成照片即可得到指定姿势的图片。 另外，如果是用秋叶大佬的整合包，会自带 ControlNet 插件。若没有，可去扩展中搜索安装。 其使用逻辑是通过预处理器将图片提取特征并转换为 AI 可识别的形式，再通过模型进行图像生成。例如绘制女孩打篮球模仿库里动作的图片，输入相关关键词，选择大模型，在 ControlNet 中导入库里照片，选择合适的预处理器和模型，调试参数后生成。 在 ControlNet 中还可以尝试不同的预处理器，如 softedge_pidinet、depth、canny、tile 等，可能会得到不错的效果。同时要注意电脑配置，避免出现显存不足等问题。
2024-10-18
什么是controlnet? controlnet有什么重要作用
ControlNet 是一种由斯坦福大学张吕敏发布的神经网络模型，常与预训练的图像扩散模型（如 Stable Diffusion）结合使用。 其重要作用包括： 1. 实现对 AI 绘画生成过程的精细控制，通过引入如涂鸦、边缘图、姿势关键点、深度图、分割图、法线图等多种类型的额外条件输入来指导生成图像的内容。 2. 工作原理是将 Stable Diffusion 模型的权重复制到 ControlNet 的可训练副本中，并使用外部条件向量训练副本，在不破坏原模型能力的前提下，通过小批量数据集训练实现对特定条件的学习。 3. 设计思想提供了训练过程的鲁棒性，避免过度拟合，允许在小规模甚至个人设备上训练，架构具有强大的兼容性与迁移能力，可用于其他扩散模型，增强图像生成的多样性和可控性。 4. 应用不限于 AI 绘画，还可用于图像编辑、风格迁移、图像超分辨率等多种计算机视觉任务，展现了在 AIGC 领域的广泛应用潜力。 在 Stable Diffusion 中，ControlNet 带来的最大改变是让输出结果能更好地被控制。其使用逻辑是通过预处理器将图片提取特征并转换为 AI 可识别的形式，再通过模型进行图像生成。在使用时，如启用 ControlNet 需点击 Enable，Preprocessor 指预处理器，Weight 可调整其在合成中的影响权重，Guidance strength 控制图像生成的前百分之多少步由 ControlNet 主导生成，Invert Input Color 可启动反色模式，RGB to BGR 可反转输入色彩通道信息，Low VRAM 为低显存优化，Guess Mode 为无提示词模式。同时，Model 中选择的解析模型应与输入图像或预处理器对应。
2024-09-13
controlnet一直加载怎么办
ControlNet 一直加载可能由以下原因导致及对应的解决方法： 1. 模型版本问题：确保 checkpoint、ContalNet 等所有需要加载模型的版本均基于 SD1.5，否则可能会报“超出索引”的错误。 2. 节点未安装完全：载入工作流后若出现爆红部分，可能是节点没下好、没下全。此时可以先全部更新，让所缺节点“显露出来”，然后安装好缺失的节点。 3. 参数设置问题：假如右下角的区域报红，那么就得根据报错信息相应调整一下左上角蓝色区域的 h、w 参数。 此外，ControlNet 还有一些新的功能和应用，例如： 1. 1.1 版本新出的 lineart 线稿提取功能，可先通过 invert 预处理将白底黑线处理成黑底白线，然后切换到 lineart 预处理器和模型进行生成。 2. mlsd 直线线条检测功能，一般用在建筑或者室内设计上，预处理器可提炼出室内的结构线。 ComfyUI 中的 ControlNet 高级控件： 在时间步和批处理潜变量之间调度 ControlNet 强度的节点，以及应用自定义权重和注意力掩码。这里的 ControlNet 节点完全支持滑动上下文采样。输入包括 positive（提示词（正面））、negative（提示词（负面））、control_net（加载了控制网络）、image（用于指导控制网络的图像）、mask_optional（应用于控制网络的注意力掩码）、timestep_kf（时间步关键帧）、latent_kf_override（潜在关键帧的覆盖）。
2024-08-29
stable difussion 可以生成视频吗
Stable Diffusion 中的 Stable Video Diffusion 可以生成视频。 Stable Video Diffusion 是 Stability AI 于 2023 年 11 月 21 日发布的视频生成式大模型，它是一种用于高分辨率、先进的文本到视频和图像到视频生成的潜在视频扩散模型。该模型不仅支持文本、图像生成视频，还支持多视角渲染和帧插入提升视频帧率。用户可以调整模型选择、视频尺寸、帧率及镜头移动距离等参数。 当时，Stable Video Diffusion 开源了两种图生视频的模型，一种是能够生成 14 帧的 SVD，另一种则是可以生成 25 帧的 SVDXL。在以基础形式发布时，通过外部评估，发现这些模型超越了人类偏好研究中领先的封闭模型。 其主要贡献包括：提出一个系统的数据管理工作流程，将大量未经管理的视频集合转变为用于生成视频建模的高质量数据集；使用此工作流程，训练最先进的文本到视频和图像到视频模型，其性能优于所有现有模型；通过进行特定领域的实验来探索 SVD 模型中运动和 3D 理解的强先验。具体来说，预训练的视频扩散模型可以转变为强大的多视图生成器，这可能有助于克服 3D 领域中的数据稀缺问题。 Stability AI 还推出了基于 Discord 的媒体生成和编辑工具，其中的视频功能基于初始图像使用 Stable Video Diffusion 生成短视频。 在云部署实战方面，关于上面的两个模型依赖权重可在百度网盘获取，关注公众号「魔方 AI 空间」，回复【SVD】即可。手动下载下来后，分别放到指定路径。在准备工作做好后，再次运行，复制 url 到浏览器中打开。点击下拉箭头，可以选择不同模型版本，再勾选 load Model。SVD 本地部署目前仅支持图生视频，图片来源可以选择 AI 绘画工具如 Midjourney、Stable Diffusion 等生成图片，然后再上传到 SVD 进行视频的生成，同时可以调左侧的一些参数，控制视频的生成效果。视频生成的保存路径在 outputs 下。 但需要注意的是，SVD 模型对硬件要求较高，对于缺乏硬件资源的普通用户有一定限制，同时其支持的图片尺寸较小，限制了它的应用场景。尽管 SVD 与其他商用产品在帧率、分辨率、内容控制、风格选择和视频生成时长等方面存在差距，但其开源属性和对大规模数据的有效利用构成了其独特优势。
2025-02-25
AI中什么是difussion?
在AI图像生成中，"diffusion"（扩散）通常指的是一类生成模型，称为扩散模型（Diffusion Models）。这类模型通过逐步引入噪声到数据中，并训练网络学习逆向过程来生成数据。扩散模型在图像生成领域中应用广泛，特别是在文本到图像的生成任务中表现出色。 扩散模型的工作原理可以概括为以下几个步骤： 1. 正向扩散过程：向图像逐渐添加高斯噪声，直到图像完全无法识别，这个过程可以被形式化为顺序扩散马尔可夫链。 2. 潜空间表示：将图像压缩到低维的潜在空间（Latent Space）中，以减少计算量和提高生成速度。 3. 学习逆向过程：训练一个神经网络来预测每一步中噪声的分布，并逐步去除噪声，从而恢复出清晰的图像。 4. 文本到图像的生成：结合文本编码器和图像解码器，根据文本描述生成相应的图像。 扩散模型的关键优势在于其生成高质量的图像的能力，以及相比其他生成模型（如GANs）在计算效率和稳定性上的优势。Stable Diffusion等模型就是基于扩散模型的文本到图像生成工具，它们能够根据文本提示生成逼真的图像。 扩散模型的逆向过程，即从噪声中恢复图像的过程，可以类比为雕刻，AI逐步去除不必要的部分，最终得到清晰的图像。这个过程可以逐步进行，也可以一次性完成，取决于模型的具体实现和采样算法。 总的来说，扩散模型为AI图像生成提供了一种强大的技术手段，能够在多种场景下生成高质量的图像。
2024-06-11
stable diffusion底层技术
Stable Diffusion 的底层技术主要来源于 AI 视频剪辑技术创业公司 Runway 的 Patrick Esser 以及慕尼黑大学机器视觉学习组的 Robin Romabach 之前在计算机视觉大会 CVPR22 上合作发表的潜扩散模型（Latent Diffusion Model）研究。 Stable Diffusion 是一种基于潜在扩散模型的文本到图像生成模型，其原理包括以下几个步骤： 1. 使用新颖的文本编码器（OpenCLIP），由 LAION 开发并得到 Stability AI 的支持，将文本输入转换为向量表示，以捕捉文本语义信息并与图像空间对齐。 2. 采用扩散模型，将随机噪声图像逐渐变换为目标图像。扩散模型是一种生成模型，能从训练数据中学习概率分布并采样新数据。 3. 在扩散过程中，利用文本向量和噪声图像作为条件输入，给出每一步变换的概率分布，根据文本指导噪声图像向目标图像收敛，并保持图像的清晰度和连贯性。 4. 使用超分辨率放大器（Upscaler Diffusion Model），将生成的低分辨率图像放大到更高分辨率，从低分辨率图像中恢复细节信息并增强图像质量。 此外，ComfyUI 的底层依赖 Stable Diffusion，去噪过程由 UNet 网络完成。UNet 是一种编码器解码器结构，能处理多尺度特征表示。在 ComfyUI 中，去噪的每个步骤通过模型推理模块实现，调用训练好的 UNet 模型逐步将噪声图像还原成有意义的图像。交叉注意力机制在 Stable Diffusion 中很重要，允许模型在生成过程中融入文本提示、图像、语义信息等条件，在 ComfyUI 中通过“文本提示”和“条件输入”节点实现。跳跃连接是 UNet 的核心部分，能在不同尺度之间共享特征，在 ComfyUI 的节点网络中表现为中间过程数据的流转。切换器代表在去噪过程中的不同阶段对特征流的控制，在 ComfyUI 中可通过修改模型参数节点或自定义网络结构节点对不同阶段的噪声去除策略进行微调。 Stable Diffusion 还具有以下优点： 1. 可以处理任意领域和主题的文本输入，并生成与之相符合的多样化和富有创意的图像。 2. 可以生成高达 2048x2048 或更高分辨率的图像，且保持良好的视觉效果和真实感。 它还可以进行深度引导和结构保留的图像转换和合成，例如根据输入图片推断出深度信息，并利用深度信息和文本条件生成新图片。
2025-04-15
stable video diffusion开发
以下是关于 Stable Video Diffusion 开发的相关信息： SVD 介绍： 简介：Stable Video Diffusion 是 Stability AI 于 2023 年 11 月 21 日发布的视频生成式大模型，用于高分辨率、先进的文本到视频和图像到视频生成的潜在视频扩散模型。它支持多种功能，用户可调整多种参数，但对硬件要求较高，支持的图片尺寸较小，应用场景受限。 模型版本：开源了两种图生视频的模型，一种能生成 14 帧的 SVD，另一种是可以生成 25 帧的 SVDXL，发布时通过外部评估超越了人类偏好研究中领先的封闭模型。 主要贡献：提出系统的数据管理工作流程，将大量未经管理的视频集合转变为高质量数据集；训练出性能优于现有模型的文本到视频和图像到视频模型；通过特定领域实验探索模型中运动和 3D 理解的强先验，预训练的视频扩散模型可转变为强大的多视图生成器，有助于克服 3D 领域数据稀缺问题。 部署实战避坑指南： 直接使用百度网盘里准备好的资源，可规避 90%的坑。 若一直报显存溢出问题，可调低帧数或增加 novram 启动参数。 云部署实战中，基础依赖模型权重有两个 models–laion–CLIPViTH14laion2Bs32Bb79K 和 ViTL14.pt，需放到指定路径下。 总结： Sora 发布后，此前的视频生成模型相形见绌，但 Stable Video Diffusion 作为开源项目可在自己机器上自由创作无需充值。SVD 生成的视频画质清晰，帧与帧过渡自然，能解决背景闪烁和人物一致性问题，虽目前最多生成 4 秒视频，与 Sora 的 60 秒差距大，但在不断迭代。我们会持续关注其技术及前沿视频生成技术，尝试不同部署微调方式，介绍更多技术模型，更多精彩内容后续放出。 同时，您还可以加入「AIGCmagic 社区」群聊交流讨论，涉及 AI 视频、AI 绘画、Sora 技术拆解、数字人、多模态、大模型、传统深度学习、自动驾驶等多个方向，可私信或添加微信号：【m_aigc2022】，备注不同方向邀请入群。
2025-04-15
stable diffusion是runway和goole联合开的吗
Stable Diffusion（简称 SD）不是由 Runway 和 Google 联合开发的，而是由初创公司 StabilityAI、CompVis 与 Runway 合作开发的。 Stable Diffusion 是 2022 年发布的深度学习文本到图像生成模型，其核心技术来源于 AI 视频剪辑技术创业公司 Runway 的 Patrick Esser 以及慕尼黑大学机器视觉学习组的 Robin Romabach。该项目的技术基础主要来自于这两位开发者之前在计算机视觉大会 CVPR22 上合作发表的潜扩散模型（Latent Diffusion Model）研究。 Stable diffusion 是一种基于潜在扩散模型（Latent Diffusion Models）的文本到图像生成模型，能够根据任意文本输入生成高质量、高分辨率、高逼真的图像。其原理包括使用新颖的文本编码器将文本输入转换为向量表示，利用扩散模型将随机噪声图像逐渐变换为目标图像，在扩散过程中根据文本向量和噪声图像作为条件输入给出变换的概率分布，最后使用超分辨率放大器将生成的低分辨率图像放大到更高的分辨率。 围绕 Stable Diffusion 等基础模型的兴奋和关注正在产生惊人的估值，但新研究的不断涌现确保新模型将随着新技术的完善而更替。目前，这些模型在法律方面也面临挑战，例如其训练所使用的大量内容数据集通常是通过爬取互联网本身获得的，这可能会引发法律问题。
2025-04-15
stable diffusion开发公司
Stable Diffusion 是由初创公司 StabilityAI、CompVis 与 Runway 合作开发的。其核心技术来源于 AI 视频剪辑技术创业公司 Runway 的 Patrick Esser 以及慕尼黑大学机器视觉学习组的 Robin Romabach。该项目的技术基础主要来自于他们之前在计算机视觉大会 CVPR22 上合作发表的潜扩散模型（Latent Diffusion Model）研究。 Stable Diffusion 是一种基于潜在扩散模型（Latent Diffusion Models）的文本到图像生成模型，能够根据任意文本输入生成高质量、高分辨率、高逼真的图像。其原理包括使用新颖的文本编码器（OpenCLIP）将文本输入转换为向量表示，利用扩散模型将随机噪声图像逐渐变换为目标图像，在扩散过程中以文本向量和噪声图像作为条件输入给出变换的概率分布，最后使用超分辨率放大器将生成的低分辨率图像放大到更高分辨率。 Stable Diffusion 总共有 1B 左右的参数量，可以用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等丰富的任务。在文生图任务中，将一段文本输入到模型中，经过一定迭代次数输出符合文本描述的图片；图生图任务则在输入文本基础上再输入一张图片，模型根据文本提示对输入图片进行重绘。输入的文本信息通过 CLIP Text Encoder 模型编码生成与文本信息对应的 Text Embeddings 特征矩阵，用于控制图像生成。源代码库为 github.com/StabilityAI/stablediffusion ，当前版本为 2.1 稳定版（2022.12.7），其代码模型权重已公开发布，可以在大多数配备有适度 GPU 的电脑硬件上运行。
2025-04-15
stable diffusion开发公司
Stable Diffusion 是由初创公司 Stability AI、CompVis 与 Runway 合作开发的。其核心技术来源于 AI 视频剪辑技术创业公司 Runway 的 Patrick Esser 以及慕尼黑大学机器视觉学习组的 Robin Romabach。该项目的技术基础主要来自于他们之前在计算机视觉大会 CVPR22 上合作发表的潜扩散模型（Latent Diffusion Model）研究。 Stable Diffusion 是一种基于潜在扩散模型（Latent Diffusion Models）的文本到图像生成模型，能够根据任意文本输入生成高质量、高分辨率、高逼真的图像。其原理包括使用新颖的文本编码器（OpenCLIP）将文本输入转换为向量表示，利用扩散模型将随机噪声图像逐渐变换为目标图像，在扩散过程中以文本向量和噪声图像作为条件输入给出变换概率分布，最后使用超分辨率放大器将生成的低分辨率图像放大到更高分辨率。 Stable Diffusion 总共有 1B 左右的参数量，可以用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等丰富的任务。其代码模型权重已公开发布，可以在大多数配备有适度 GPU 的电脑硬件上运行，当前版本为 2.1 稳定版（2022.12.7），源代码库为 github.com/StabilityAI/stablediffusion 。
2025-04-15
有stable diffusion的学习教程吗
以下为您提供一些 Stable Diffusion 的学习教程： 1. 超详细的 Stable Diffusion 教程： 介绍了为什么要学习 Stable Diffusion 及其强大之处。 指出 Stable Diffusion 是能根据输入文字生成图片的软件。 强调学习目的是快速入门，而非深入研究原理，通过案例和实际操作帮助上手。 2. 深入浅出完整解析 Stable Diffusion（SD）核心基础知识 知乎： 包含 Stable Diffusion 系列资源。 零基础深入浅出理解 Stable Diffusion 核心基础原理，如模型工作流程、核心基础原理、训练全过程等。 解析 Stable Diffusion 核心网络结构，包括 SD 模型整体架构、VAE 模型、UNet 模型等。 介绍从 0 到 1 搭建使用 Stable Diffusion 模型进行 AI 绘画的流程。 列举 Stable Diffusion 经典应用场景。 讲解从 0 到 1 上手使用 Stable Diffusion 训练自己的 AI 绘画模型。 3. 视频教程： 「AI 绘画」软件比较与 stable diffusion 的优势： 「AI 绘画」零基础学会 Stable Diffusion： 「AI 绘画」革命性技术突破： 「AI 绘画」从零开始的 AI 绘画入门教程——魔法导论： 「入门 1」5 分钟搞定 Stable Diffusion 环境配置，消灭奇怪的报错： 「入门 2」stable diffusion 安装教程，有手就会不折腾： 「入门 3」你的电脑是否跑得动 stable diffusion？： 「入门 4」stable diffusion 插件如何下载和安装？：
2025-03-28