SD 模型

ComfyUI 与 SD 在功能上主要有以下区别： 1. 工作原理：ComfyUI 更接近 SD 的底层工作原理。 2. 自动化工作流：ComfyUI 具有更出色的自动化工作流，能够消灭重复性工作。 3. 后端工具：ComfyUI 作为强大的可视化后端工具，可实现 SD 之外的功能，如调用 API 等。 4. 定制开发：可根据定制需求开发节点或模块。 5. 应用场景：例如在抠图素材方面，ComfyUI 能根据需求自动生成定制的抠图素材。 6. 与其他软件的结合：如与 Blender 整合，从工作流程上天然适配。 7. 工作流搭建：ComfyUI 以连线方式搭建工作流，可通过改变节点实现不同功能，具有更高的自由和拓展性，能根据自身需求搭建和改造工作流。

以下是为您制定的学习 SD AI 绘图的详细计划及相关学习资源： 学习计划： 1. 首先，深入学习 Stable Diffusion 的核心基础原理，包括模型工作流程、核心基础原理、训练全过程以及其他主流生成式模型介绍。 2. 接着，掌握 Stable Diffusion 的核心网络结构，如 SD 模型整体架构、VAE 模型、UNet 模型、CLIP Text Encoder 模型等。 3. 学习从 0 到 1 搭建使用 Stable Diffusion 模型进行 AI 绘画的不同方式，如使用 ComfyUI、SD.Next、Stable Diffusion WebUI、diffusers 搭建推理流程，并查看生成示例。 4. 了解 Stable Diffusion 的经典应用场景，如文本生成图像、图片生成图片、图像 inpainting、使用 controlnet 辅助生成图片、超分辨率重建等。 5. 最后，尝试从 0 到 1 上手使用 Stable Diffusion 训练自己的 AI 绘画模型，包括配置训练环境与训练文件，以及基于 Stable Diffusion 训练 LoRA 模型。 学习资源： 1. 教程：深入浅出完整解析 Stable Diffusion（SD）核心基础知识 知乎。 目录涵盖了 Stable Diffusion 系列的各个方面，包括核心基础知识、网络结构解析、搭建推理流程、应用场景和模型训练等。 2. SD 模型权重百度云网盘： 关注 Rocky 的公众号 WeThinkIn，后台回复：SD 模型，即可获得资源链接，包含多种模型权重。 3. SD 保姆级训练资源百度云网盘： 关注 Rocky 的公众号 WeThinkIn，后台回复：SDTrain，即可获得资源链接，包含数据处理、模型微调训练以及基于 SD 的 LoRA 模型训练代码全套资源。 4. Stable Diffusion 中 VAE，UNet 和 CLIP 三大模型的可视化网络结构图下载： 关注 Rocky 的公众号 WeThinkIn，后台回复：SD 网络结构，即可获得网络结构图资源链接。

SD 的部署方式如下： 1. 本地部署（Win 系统）： 系统要求：Win10 或 Win11。 查看配置： 查看电脑系统：在桌面上找到“我的电脑”，鼠标右键点击，点击“属性”，查看 Windows 规格。 查看电脑配置：需要满足 3 个要求（推荐），电脑运行内存 8GB 以上，是英伟达（NVIDA）的显卡，显卡内存 4GB 以上。打开任务管理器（同时按下 ctrl+shift+esc），可查看电脑运行内存，8GB 运行内存可以勉强运行 SD，推荐 16GB 以上运行内存；查看电脑显卡内存（显存），4GB 显存可运行 SD，推荐 8GB 以上显存。 配置达标跳转至对应安装教程页：。 一键式安装： 电脑配置能支持 SD 运行的朋友们，可使用 B 站秋叶分享的整合包。 具体安装方法： 打开链接 https://pan.baidu.com/s/1hY8CKbYRAj9RrFGmswdNiA?pwd=caru ，下载《1.整合包安装》，存放到电脑本地。 打开保存到电脑里的文件夹。 打开文件夹《1.秋叶整合包主包》，鼠标右击文件，点击“解压文件”。 选择解压到 D 盘或者 E 盘，小心 C 盘被占满，点击确定。 解压完成后，来到第二个文件夹，双击里面的文件，点击安装。 打开刚刚解压保存的 SD 的根目录，找到启动器，鼠标右击启动器，点击“发送到”，桌面快捷方式。 双击启动器，等待更新，接着点击左边第二个“高级选项”，在显存优化里，根据自己电脑的显存选择（就是上面查看的专用 GPU 内存），自己电脑是多少就选多少。 回到第一个一键启动，点击右下角的一键启动。出现代码页面不用管，等一下就行了，SD 的主界面会自动在网页上弹出来。如果出现报错，可以回到最开始的界面，在左边点击“疑难解答”，再点击右边的“开始扫描”，最后点击“修复”按钮。 2. 云端部署： 部署流程： 安装和配置基础环境：浏览器上按照腾讯云>控制台>云服务器的路径找到你刚才购买的实例，点击启动，就会新开一个远程访问的窗口，输入你购买时设置的密码，进入，这样你就有了一个远程的 Windows 系统环境，接下来安装显卡驱动、配置环境变量即可。 安装显卡驱动：用内置的 IE（也可下载 Chrome），打开英伟达的网站，找到驱动下载，选择购买机器时选定的显卡型号、Windows 版本号，下载对应的驱动，然后安装上。 配置环境变量：驱动安全完成后，开始配置环境变量。首先先找到你安装后驱动所在的目录，如果没有特殊设定的话，一般是在「C:\\Program Files\\NCIDIA Corporation」这里，复制这个路径，找到环境变量配置入口（控制面板>系统和安全>系统），选择「高级系统设置」，弹窗设置环境变量，找到「系统变量」里的 Path 环境变量，点击「编辑...」，然后「新建」，帮刚才复制的 nvidia 驱动安装地址粘贴进去，保存即可。 备选：SD 好难，先试试简单的无界 AI：

以下是关于 SD 反推模型的相关内容： Fooocus 模型： LoRA 模型默认放在：Fooocus_win64_1110\\Fooocus\\models\\loras 程序默认用到 3 个 SDXL 的模型，包括一个 base、一个 Refiner 和一个 LoRA。单独安装需下载三个模型： SDXL 基础模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors refiner 模型：https://huggingface.co/stabilityai/stablediffusionxlrefiner1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors LoRA 模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_offset_examplelora_1.0.safetensors 若部署了 SD 秋叶包，可共用模型（大模型和 LoRA），通过修改 Fooocus_win64_1110\\Fooocus\\modules\\path.py 文件中的路径来配置，修改为秋叶包模型对应的路径，如： 大模型路径：sdwebui\\models\\Stablediffusion\\SDXL LoRA 模型路径：sdwebui\\models\\lora 配置好后点击 run.bat 文件启动。 Comfyui SD 学社做黏土头像的相关插件： 提示词反推 WD14Tagger：https://github.com/pythongosss/ComfyUlWD14Tagger，首次使用会自动下载模型（需要网络环境） 处理人物一致性： IPAdapter：https://github.com/cubiq/ComfyUI_IPAdapter_plus 也可以用 instantID，这里使用的是 IPadpter，后续很多地方也会用到，建议先使用起来。关于 IPAdapter 的使用，之前有文章介绍。 ControlNet： 预处理的插件：comfyui_controlnet_aux https://github.com/Fannovel16/comfyui_controlnet_aux ControlNet 模型： XLCN 模型下载：https://huggingface.co/lllyasviel/sd_control_collection/tree/main 1.5 理模型下载：https://huggingface.co/lllyasviel/ControlNetv11/tree/main ControlNet 的 tile 模型： 随着 ControlNet1.1 的更新，tile 模型横空出世，其强大的功能让之前的一些模型变得有点黯然失色。 可用于高清修复小图，比如将分辨率不高的食物图片拖进“WD 1.4 标签器”反推关键词，然后发送到图生图。使用大模型“dreamshaper”调整参数尺寸，放大为 2K，提示词引导系数官方推荐在 15 以上，重绘幅度在 0.5 以上。 可用于修复和增加细节，如处理一张细节不足且结构错误的小屋图。tile 的预处理器用来降低原图的分辨率，为新图添加像素和细节提供空间。若图片本身像素很低，可以不使用预处理器，直接使用 tile 模型。

ComfyUI 和 SD（Stable Diffusion）主要有以下区别： 1. UI 界面：SD WebUI 的 UI 更接近传统产品，有很多输入框和按钮；ComfyUI 的 UI 界面复杂，除输入框外，还有很多块状元素和复杂的连线。 2. 学习成本：ComfyUI 的学习成本比 SD WebUI 高。 3. 工作流方式：ComfyUI 主要通过连线搭建自动化工作流，从左到右依次运行；SD WebUI 则通过输入框和按钮配置参数。 4. 灵活性和拓展性：ComfyUI 具有更高的自由和拓展性，可以根据自身需求搭建、调整甚至改造工作流，无需依赖开发者，还能开发并改造节点；SD WebUI 在这方面相对较弱。 5. 功能实现：从功能角度看，两者提供的功能本质相同，但 ComfyUI 通过改变节点方式能实现不同功能，如一个节点是直接加载图片，另一个是通过画板绘制图片，从而实现导入图片生图和绘图生图等不同功能。

以下是关于 SD 的一些教程： 1. 用 SD 做二维码： 方法原文地址：https://stablediffusionart.com/qrcode/ 相关帖子：模型，也有在无自定义模型情况下的制作方法。 微信的二维码需要转一下：https://cli.im/weixin 2. 用 SD 做中文文字（持续更新中）： 制作思路： 将中文字做成白底黑字，存成图片样式。 使用文生图的方式，使用大模型真实系，作者用的 realisticVisionV20_v20.safetensorsControlNet 预设置。 输入关键词，如奶油的英文单词，Cream+Cake（加强质感），反关键词：Easynegative（负能量），反复刷机，得到满意的效果即可。 同理可输出 C4D 模型，可自由贴图材质效果，3d,blender,oc rendering。 如果希望有景深效果，也可以打开 depth（增加阴影和质感）。 打开高清修复，分辨率联系 1024 以上，步数：2960。 3. SD 的其他实践教程： 线稿上色 Midjourney+Stable Diffusion：https://waytoagi.feishu.cn/wiki/AsbYwmfS6ikhr3kNsCocdPMEnUd 猫咪狗狗 lora：https://waytoagi.feishu.cn/wiki/JiQewVbOHi7tzakS23ecprxsnfg 字体设计机甲战士：https://waytoagi.feishu.cn/wiki/GUQ3w52elisr9ukIgkBc42UmnWd 做盲盒平面变 3D：https://waytoagi.feishu.cn/wiki/SCK8wV4PTiHQVKkvGRUcx0fcnTe MJ 出图 SD 放大：https://waytoagi.feishu.cn/wiki/E88nwOtk9ilRQskg3Qlc6ZHpnTf 七夕字体和图：https://waytoagi.feishu.cn/wiki/BjQ1wLRv0ivCLtk136VchSCqnpU 可爱毛粘字体：https://waytoagi.feishu.cn/wiki/NjhbwF1cTiQ5Xjkd3tNc1OWynZd

大模型的系统提示词主要包括以下方面： 1. 在“五津：一键生成‘摸鱼打工猫’视频”中，针对用户选择的主题和回答，总结用户的创作意图，如“打工猫摸鱼的 2 小时，在巴厘岛能看一场日落”，并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词，以数组形式输出到“tishici”，将用户意图输出到“biaoti”。 2. 在“云中江树：智能对决：提示词攻防中的 AI 安全博弈”中，系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意；模型侧对于有能力的厂商应增强安全性并平衡性能，开发者则要在开发中带着安全意识优化系统提示词，加入安全引导和禁止内容等；输出侧可使用传统防御和内容过滤手段，并针对大模型特点进行私有数据泄露等检查。此外，还提到间接注入和提示词泄露的情况，间接注入常发生在应用获取依赖外部数据资源时，攻击者通过隐藏恶意指令完成攻击；提示词泄露指试图操纵模型输出获取部分或全部系统提示词，大模型输出内容可分为系统提示词、用户提示和助手提示词三段，通过攻击手段可获取系统提示词。

以下是对通义千问 Qwen2.5VL 模型的介绍： 版本：有 3B、7B 和 72B 三个尺寸版本。 主要优势： 视觉理解能力：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。 视频理解能力：支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。 万物识别：擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位：采用矩形框和点的多样化方式对通用物体定位，支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解：提升 OCR 识别能力，增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析：设计了更全面的文档解析格式，称为 QwenVL HTML 格式，能够精准还原文档中的版面布局。 增强的视频理解：引入动态帧率（FPS）训练和绝对时间编码技术，支持小时级别的超长视频理解，具备秒级的事件定位能力。 开源平台： Huggingface：https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope：https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat：https://chat.qwenlm.ai 然而，对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型，目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容，因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看，其在视觉理解方面具有较强的能力和优势。

目前在视频视觉理解能力方面表现出色的大模型有： 1. 昆仑万维的 SkyReelsV1：它不仅支持文生视频、图生视频，还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。擅长万物识别，能分析图像中的文本、图表、图标、图形和布局等。

目前全世界较为厉害的视频视觉理解大模型有以下几个： 1. 昆仑万维的 SkyReelsV1：不仅支持文生视频、图生视频，是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元：语义理解能力出色，能精准还原复杂的场景和动作，如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5：全球最快的 AI 视频生成模型，Turbo 模式下可在 10 秒内生成视频，最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能，具备顶尖动漫生成能力。

目前在视觉理解大模型方面，较为突出的有 DeepSeek 的 JanusPro 模型，它将图像理解和生成统一在一个模型中；还有通义千问的视觉理解模型，其价格有较大降幅。此外，Pixverse V3.5 是全球最快的 AI 视频生成模型，在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型，因为这取决于不同的评估标准和应用场景。

大模型对话产品具有以下优点： 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验，具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接，产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务，适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景，如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点： 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情，全靠用户脑补，导致用户上头期短，疲劳度高，长期留存低。 3. 无法回答私有领域问题（如公司制度、人员信息等）。 4. 无法及时获取最新信息（如实时天气、比赛结果等）。 5. 无法准确回答专业问题（如复杂数学计算、图像生成等）。