直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

controlnet教程

回答

以下是关于 ControlNet 的教程：

ControlNet 是 Stable Diffusion 中的一个功能，能够让用户更精确地控制出图结果。比如可以控制人物的动作、建筑物的线条等。

在使用时，大模型和关键词正常填写生成所需照片。然后鼠标滑到最下面点击“ControlNet”：

  1. 点击空白处上传指定姿势的照片。
  2. 点击“启用”。
  3. 在“预处理器”和“模型”里选择“openpose”，这用于让计算机识别人物姿势。

接着点击“预览预处理结果”，原照片右边会出现人物姿势的线条，最后点击生成照片即可得到指定姿势的图片。

另外，如果是用秋叶大佬的整合包，会自带 ControlNet 插件。若没有，可去扩展中搜索安装。

其使用逻辑是通过预处理器将图片提取特征并转换为 AI 可识别的形式，再通过模型进行图像生成。例如绘制女孩打篮球模仿库里动作的图片，输入相关关键词，选择大模型，在 ControlNet 中导入库里照片，选择合适的预处理器和模型，调试参数后生成。

在 ControlNet 中还可以尝试不同的预处理器，如 softedge_pidinet、depth、canny、tile 等，可能会得到不错的效果。同时要注意电脑配置，避免出现显存不足等问题。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

教程：超详细的Stable Diffusion教程

现在我们已经能够生成美女的照片了可以定制出独一无二的脸，换上更好看的衣服但是我们怎么才能让照片的小姐姐摆出指定的姿势呢？通过关键词去描绘动作，可是出来的照片又不太准确通过图生图去生成，可是人脸又变了那我们就可以用到这个“ControlNet”功能，翻译成中文就是控制网络简单来说就是可以用它控制照片的线条，比如人物的动作、建筑物的线条等比如，我现在想让左边照片的小姐姐摆出右边小姐姐的姿势,得到最右边的一张照片首先，大模型和关键词我们还是正常的填写生成一张我们我们想要的小姐姐的照片接着鼠标滑到最下面，点击“ControlNet”①点击空白的地方，上传我们需要指定的姿势的照片②点击“启用”③在“预处理器”和“模型”里选择“openpose”，这就是用来让计算机识别人物姿势的下一步就点击这个“预览预处理结果”接着原来照片的右边就会出现人物姿势的线条，最后点击生成照片这样我们一张指定姿势的美女小姐姐就生成啦！

【SD】最强控制插件ControlNet（1）附模型下载

[title]【SD】最强控制插件ControlNet（1）附模型下载作者：白马少年介绍：SD实践派，出品精细教程发布时间：2023-05-10 20:00原文网址：https://mp.weixin.qq.com/s/6ZKnYF0x6pHo-fWMQ66kiQStable Diffusion一直在致力于更精确地控制出图结果，而在这众多的功能中，最突出的要属ControlNet了。无论是文生图还是图生图，我们更多的是对内容的一个描述，但是如果我们想要更细化一些，比如构图、轮廓、形象姿态、色彩风格等等，单靠文生图或者图生图就不够用了，我们需要一个更强大的控制模块，这时ControlNet也就应运而生。它带来的最大的改变，就是让输出结果能更好的被我们控制了。关于ControlNet插件的安装，如果是用的秋叶大佬的整合包，就会自带这个插件。如果没有，可以去扩展中搜索ControlNet进行安装。安装完成之后，就可以看到ControlNet的使用界面了。ControlNet的使用逻辑是通过预处理器将我们的图片提取特征，并转换为AI可识别的形式，再通过模型将预处理器的结果进行图像生成。说得再直白一点，预处理器就是我们和ControlNet之间的一款翻译软件。比如，我想绘制一张女孩打篮球的图片，并且想让她模仿库里的这个动作。接下来，输入关键词：(最好的质量，杰作)，女孩，打篮球，篮球场，认真，球衣，看着观众，受伤，绷带。大模型选择Toonyou的二次元卡通风格，在ControlNet中导入库里的照片，预处理器选择openpose，点击预处理器右侧的爆炸标志，就可以看到提炼出来的骨骼结构。接下来，使用同样名为openpose的模型，调试参数，点击生成。可以看到，这张AI绘图就采用我们提供给它的动作参考画了出来，效果相当不错。

教程：01_立春

[title]教程：01_立春[heading3]1、关键词（稳定）总批次数我这里是跑了4张，有2张都不错。电脑配置不太好的可以先跑一张看看，要不等太久了，多抽几张，选一张喜欢的。在ControlNet上传前面做的白底黑字图512x768，勾选（启用、完美像素、允许预览）预处理器选择softedge_pidinet，权重0.85。当然你也可以试试depth，canny，tile等也可以得到不错的效果。记得点击💥图标才会起作用哦。选择你想要的图片，按♻️键锁定种子，选择放大算法R-ESRGAN 4x+，放大2倍，重绘幅度0.35，（如果配置不够，这里可能会爆显存出不来，需要是图生图放大）如果想要变化更大可以给到0.35-0.5。黑白字体设计（字体设计来源于：ཉི叶承欢

其他人在问
什么是controlnet? controlnet有什么重要作用
ControlNet 是一种由斯坦福大学张吕敏发布的神经网络模型，常与预训练的图像扩散模型（如 Stable Diffusion）结合使用。 其重要作用包括： 1. 实现对 AI 绘画生成过程的精细控制，通过引入如涂鸦、边缘图、姿势关键点、深度图、分割图、法线图等多种类型的额外条件输入来指导生成图像的内容。 2. 工作原理是将 Stable Diffusion 模型的权重复制到 ControlNet 的可训练副本中，并使用外部条件向量训练副本，在不破坏原模型能力的前提下，通过小批量数据集训练实现对特定条件的学习。 3. 设计思想提供了训练过程的鲁棒性，避免过度拟合，允许在小规模甚至个人设备上训练，架构具有强大的兼容性与迁移能力，可用于其他扩散模型，增强图像生成的多样性和可控性。 4. 应用不限于 AI 绘画，还可用于图像编辑、风格迁移、图像超分辨率等多种计算机视觉任务，展现了在 AIGC 领域的广泛应用潜力。 在 Stable Diffusion 中，ControlNet 带来的最大改变是让输出结果能更好地被控制。其使用逻辑是通过预处理器将图片提取特征并转换为 AI 可识别的形式，再通过模型进行图像生成。在使用时，如启用 ControlNet 需点击 Enable，Preprocessor 指预处理器，Weight 可调整其在合成中的影响权重，Guidance strength 控制图像生成的前百分之多少步由 ControlNet 主导生成，Invert Input Color 可启动反色模式，RGB to BGR 可反转输入色彩通道信息，Low VRAM 为低显存优化，Guess Mode 为无提示词模式。同时，Model 中选择的解析模型应与输入图像或预处理器对应。
2024-09-13
controlnet一直加载怎么办
ControlNet 一直加载可能由以下原因导致及对应的解决方法： 1. 模型版本问题：确保 checkpoint、ContalNet 等所有需要加载模型的版本均基于 SD1.5，否则可能会报“超出索引”的错误。 2. 节点未安装完全：载入工作流后若出现爆红部分，可能是节点没下好、没下全。此时可以先全部更新，让所缺节点“显露出来”，然后安装好缺失的节点。 3. 参数设置问题：假如右下角的区域报红，那么就得根据报错信息相应调整一下左上角蓝色区域的 h、w 参数。 此外，ControlNet 还有一些新的功能和应用，例如： 1. 1.1 版本新出的 lineart 线稿提取功能，可先通过 invert 预处理将白底黑线处理成黑底白线，然后切换到 lineart 预处理器和模型进行生成。 2. mlsd 直线线条检测功能，一般用在建筑或者室内设计上，预处理器可提炼出室内的结构线。 ComfyUI 中的 ControlNet 高级控件： 在时间步和批处理潜变量之间调度 ControlNet 强度的节点，以及应用自定义权重和注意力掩码。这里的 ControlNet 节点完全支持滑动上下文采样。输入包括 positive（提示词（正面））、negative（提示词（负面））、control_net（加载了控制网络）、image（用于指导控制网络的图像）、mask_optional（应用于控制网络的注意力掩码）、timestep_kf（时间步关键帧）、latent_kf_override（潜在关键帧的覆盖）。
2024-08-29
ControlNet是什么？
ControlNet是一种神经网络模型，由斯坦福大学张吕敏发布，它与预训练的图像扩散模型（例如Stable Diffusion）结合使用，通过引入额外的条件输入来控制AI绘画的生成过程。ControlNet模型通过在Stable Diffusion模型中添加辅助模块，实现对生成图像的精细控制。这些条件输入可以是多种类型的图像，例如涂鸦、边缘图、姿势关键点、深度图、分割图、法线图等，它们作为条件输入来指导生成图像的内容。 ControlNet的工作原理涉及将Stable Diffusion模型的权重复制到ControlNet的可训练副本中，并使用外部条件向量来训练这个副本。这样做的好处是，可以在不破坏Stable Diffusion模型原本能力的前提下，通过小批量数据集对ControlNet进行训练，从而实现对特定条件的学习。 ControlNet的设计思想提供了训练过程中的鲁棒性，避免了模型过度拟合，并允许在小规模甚至个人设备上进行训练。此外，ControlNet的架构具有强大的兼容性与迁移能力，可以用于其他扩散模型中，增强了图像生成的多样性和可控性。 ControlNet的应用不仅限于AI绘画，它还可以用于图像编辑、风格迁移、图像超分辨率等多种计算机视觉任务，展现了在AI生成内容（AIGC）领域的广泛应用潜力。
2024-04-28
suno教程
以下是关于 Suno 的教程信息： Suno 是一家研究驱动型的人工智能公司，其专门研发的生成式 AI 模型为创意工作者提供强大的创作工具。公司推出的 Chirp 模型，通过文字描述就能实现逼真的音乐和声音效果，包括配乐、人声、音效等，可广泛用于游戏、短视频、播客等领域。 目前，Chirp V2 版本模型的最大生成时长为 1 分 20 秒，延续的最大生成时长为 60 秒。 去年制作过一期 Discord 版本的 Suno 操作教程。 在自定义模式（Custom Mode）下，有两个主要的输入窗口：音乐风格（Style of Music）与歌词（Lyrics）。音乐风格（Style of Music）需要填写一些 tag 来描述整首音乐的风格和感觉，多个 tag 之间用“,”进行分隔。根据 Suno 的官方文档和测试，可以识别的 tag 包括音乐类型/流派、人声/乐器、情绪/氛围、节奏、场景、混响、其他和声/音效等。 音乐生成使用 Suno 时，和大语言模型一样具有很强的随机性，并且输入（prompt/tag）质量往往决定了输出（生成音乐）质量，想要避免无谓的抽卡，让生成结果无限地靠近自己的想法，就需要使用一些提示词技巧。 您可以通过以下链接获取更多相关内容： PS：使用以下内容需要科学上网，请自行解决。此外，还建立了一个微信群【通往 AI 音乐之路】，可以填写问卷：https://waytoagi.feishu.cn/share/base/form/shrcnuLtIpBNzE5bcQtZbS8UEjh 或添加 AJ（微信号 AAAAAAAJ）备注您的音乐成就，拉您进群。右侧可以扫码关注公众号“智音 Brook”，方便更充分的探讨交流。
2024-10-16
comfyui 教程
以下是一些关于 ComfyUI 的学习教程资源： 1. ComfyUI 官方文档：提供使用手册和安装指南，适合初学者和有经验的用户。网址：https://www.comfyuidoc.com/zh/ 2. 优设网：有详细的 ComfyUI 入门教程，适合初学者，介绍了特点、安装方法及生成图像等内容。网址：https://www.uisdc.com/comfyui3 3. 知乎：有用户分享了部署教程和使用说明，适合有一定基础并希望进一步了解的用户。网址：https://zhuanlan.zhihu.com/p/662041596 4. Bilibili：提供了从新手入门到精通各个阶段的系列视频教程。网址：https://www.bilibili.com/video/BV14r4y1d7r8/ 此外，还有以下教程： 1. 一个全面的 ComfyUI 教程：https://www.comflowy.com/zhCN 2. 超有意思的 ComfyUI 教程：https://comfyanonymous.github.io/ComfyUI_tutorial_vn/ ComfyUI 的基础界面和操作方面： 1. 熟悉 ComfyUI 的基本界面和操作。 2. Comfyui 工作区介绍。 3. 基础节点介绍。 4. KSampler： seed：随机种子，用于控制潜空间的初始噪声，若要重复生成相同图片，需种子和 Prompt 相同。 control_after_generate：设置每次生成完图片后 seed 数字的变化规则，有 randomize（随机）、increment（递增 1）、decrement（递减 1）、fixed（固定）。 step：采样的步数，一般步数越大效果越好，但与使用的模型和采样器有关。 cfg：一般设置为 6 8 之间较好。 sampler_name：可设置采样器算法。 scheduler：控制每个步骤中去噪的过程，可选择不同调度算法。 denoise：表示要增加的初始噪声，文生图一般默认设置成 1。 内容由 AI 大模型生成，请仔细甄别。
2024-10-15
话说你知不知道有没有靠谱的promot engineer教程适合小学生和中学学习的？
以下是一些适合小学生和中学生学习的 prompt engineer 教程： 1. 李继刚的结构化 prompt 方法论：最早接触 Prompt engineering 时的常见技巧有所提升，可通过原文链接查看。其学到的第一个 Prompt engineering 技巧是结构化 Prompt。 2. 小七姐的 Prompt 喂饭级系列教程小白学习指南（二）：可以结合自己的生活或工作场景想一个能简单自动化的场景，比如自动给班级孩子起昵称等。选一个好上手的提示词框架，如情境。 3. 吴恩达讲 Prompt：谷歌/百度 AI 部门负责人吴恩达和 OpenAI 合作推出了免费的 Prompt Engineering 课程。原版网址： 。
2024-10-15
comfyui使用教程
以下是 ComfyUI 的使用教程： 1. 学习资料获取： ComfyUI 官方文档：提供使用手册和安装指南，适合初学者和有经验用户，网址：https://www.comfyuidoc.com/zh/ 。 优设网：有详细的入门教程，适合初学者，介绍了特点、安装方法及生成图像等内容，网址：https://www.uisdc.com/comfyui3 。 知乎：有用户分享部署教程和使用说明，适合有一定基础并希望进一步了解的用户，网址：https://zhuanlan.zhihu.com/p/662041596 。 Bilibili：提供了从新手入门到精通的系列视频教程，网址：https://www.bilibili.com/video/BV14r4y1d7r8/ 。 2. 安装部署： 电脑硬件要求： 系统：Windows7 以上。 显卡要求：NVDIA 独立显卡且显存至少 4G 起步。 硬盘留有足够空间，最低 100G 起步（包括模型）。 注：mac 系统、AMD 显卡、低显卡的情况也可安装使用，但功能不全，出错率偏高，建议升级设备或采用云服务器。 下载并更新 Nvidia 显卡驱动，下载地址：https://www.nvidia.cn/ geforce/drivers/ 。 下载并安装所需环境： 依次下载并安装 python、Git、VSCode，安装过程中一直点击勾选对应选项，一直下一步。 安装 Python：https://www.python.org/downloads/release/python3119/ ，安装时选中“将 Python 添加到系统变量”。 安装 VSCode：https://code.visualstudio.com/Download 。 安装 Git：https://gitscm.com/download/win 。 安装 CUDA：https://developer.nvidia.com/cuda1220downloadarchive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_network 。 3. 直接在 Comfy UI 中训练 LoRA 模型： 按 Enter 键安装所有所需依赖项，使其与 ComfyUI 兼容。若使用虚拟环境，需先激活。 注意事项： 图像必须放在以“”命名的文件夹中，数字应较小，如 5，且下划线必须有，其余部分不重要。 对于 data_path，必须写入包含数据库文件夹的文件夹路径。 参数： 第一行可从 checkpoint 文件夹中选择任何模型，但据说进行 LoRA 训练需选择一个基本模型。 选择一个名字为您的 LoRA，可更改默认值（epochs 数应接近 40），然后启动工作流程。 点击 Queue Prompt 后，所有事情会在命令提示符中发生，可查看训练进度。
2024-10-13
AI艺术照视频教程
以下为您提供一些 AI 艺术照相关的视频教程： 「AI 绘画」软件比较与 stable diffusion 的优势： 「AI 绘画」零基础学会 Stable Diffusion： 「AI 绘画」革命性技术突破： 「AI 绘画」从零开始的 AI 绘画入门教程——魔法导论： 「入门 1」5 分钟搞定 Stable Diffusion 环境配置，消灭奇怪的报错： 「入门 2」stable diffusion 安装教程，有手就会不折腾： 「入门 3」你的电脑是否跑得动 stable diffusion？： 「入门 4」stable diffusion 插件如何下载和安装？： SD 新手从 0 入门 AI 绘画教程： 神级教程： 第一节课：AI 绘画原理与基础界面 第二节课：20 分钟搞懂 Prompt 与参数设置，你的 AI 绘画“咒语”学明白了吗？ 第三节课：打破次元壁！用 AI“重绘”照片和 CG 第四节课：AI 绘画模型，“画风”自由切换 第五节课：提高 AI 绘画分辨率的方式 第六节课：LoRa | Hypernetwork 概念简析 第七节课：定向修手修脸，手把手教你玩转局部重绘！ 第八节课：提示词补全翻译反推，“终极”放大脚本与细节优化插件 第九节课：LoRA 从原理到实践 第十节课：零基础掌握 ControlNet！ 教程：SD 做中文文字 持续更新中 制作思路： 【“牛逼”的教程来了！一次学会 AI 二维码+艺术字+光影光效+创意 Logo 生成，绝对是 B 站最详细的 Stable Diffusion 特效设计流程教学！AI 绘画进阶应用哔哩哔哩】https://b23.tv/c33gTIQ 1.将中文字做成白底黑字，存成图片样式 2.使用文生图的方式，使用大模型真实系，作者用的 realisticVisionV20_v20.safetensorsControlNet 预设置 3.输入关键词，如奶油的英文单词，Cream + Cake（加强质感），反关键词：Easynegative（负能量），反复刷机，得到满意的效果即可。 4.同理可输出 C4D 模型，可自由贴图材质效果，3d,blender,oc rendering 5.如果希望有景深效果，也可以打开 depth（增加阴影和质感） 6.打开高清修复，分辨率联系 1024 以上，步数：29 60
2024-10-13
chat gpt教程
以下是关于 ChatGPT 的使用教程： 安卓系统安装、订阅 GPT4 教程 示例机型：红米 K60（因 K60 自带谷歌框架，可省去安装框架的流程），其他机型可自行查看，如果没有自带服务框架，可参考这篇文章进行下载：https://zhuanlan.zhihu.com/p/683383981 一、打开系统自带的谷歌服务框架 1. 打开系统设置 2. 拉到最底下，点击更多设置 3. 点击账号与同步 4. 点击谷歌基础服务 5. 打开基础服务按钮 二、安装 google play 1. 到小米自带的应用商店搜索 google play 进行安装 2. 安装好后打开谷歌商店，点击右上角登录谷歌账号即可 三、安装 ChatGPT 到谷歌商店搜索 ChatGPT 进行下载安装，建议把谷歌邮箱也安装上，平时接收验证码那些比较方便。 到这里如果您只想体验 ChatGPT 3.5 版本，不升级 GPT4，可跳转到第 4 步第 6 小步进行登录使用，如果想直接订阅 GPT4 Plus 版本，请接着往下看。 苹果系统安装、订阅 GPT4 教程 1. 在 AppleStore 下载 chatgpt 中国区正常下载不了，需要切换到美区才可以下载，美区 AppleID 注册教程参考如下知乎链接（我亲自写文章会太长啦，写不动啦，大家看知乎就行，流程我亲测有效。注：礼品卡可以支付宝购买，不用去加 V 或淘宝，礼品卡购买方法见后文）。 最终在 AppleStore 搜到 chatgpt 结果如下，下载安装即可，注意别下错啦。 2. 支付宝 购买苹果礼品卡 充值 订阅付费 App 打开支付，地区切换到【美区任意区】，往下滑，找到【品牌精选 折扣礼品卡】，点击进去，可以看到【大牌礼品卡】，往下滑找到【App Store & iTunes US】礼品卡，按需要的金额购买即可，建议先买 20 刀就行。 1）支付宝购买礼品卡 2）在 apple store 中兑换礼品卡 3）在 chatgpt 中购买订阅 gpt plus，如果中途不想继续订阅了，可到订阅列表中取消订阅即可。 使用 ChatGPT 4o 1. 开启对话 打开 ChatGPT 应用或网页，点击开始对话。会员不管是在苹果还是安卓手机上购买的，电脑上都能登录。 2. 体验最新语音对话功能 版本切到 ChatGPT 4o，点击右下角“耳机🎧”图标，选择一个声音，就可以体验流畅的语音对话啦！
2024-10-11