直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

sd中的采样是什么意思

回答

在 Stable Diffusion 中,采样(Sampling)指的是去噪过程。稳定扩散从随机高斯噪声起步,通过一步步降噪逐渐接近符合提示的图像。每一步都会产生一个新的样本图像,这种方法被称为采样器(Sampler)或采样(Sampling)。

不同的采样器具有不同的特点和效果,例如:

  • Euler a 可以以较少的步数产生很大的多样性,不同的步数可能有不同的结果。
  • Euler 是最简单、最快的。
  • DDIM 收敛快,但效率相对较低,需要很多 step 才能获得好的结果,适合在重绘时候使用。
  • LMS 是 Euler 的衍生,使用一种相关但稍有不同的方法,大概 30 step 可以得到稳定结果。
  • PLMS 是 Euler 的衍生,可以更好地处理神经网络结构中的奇异性。
  • DPM2 旨在改进 DDIM,减少步骤以获得良好的结果,但速度较慢。
  • UniPC 效果较好且速度非常快,对平面、卡通的表现较好,推荐使用。

采样步数(Sampling Steps)也很重要,随着步数增多,可以得到对目标更小、更精确的图像,但增加步数会增加生成图像所需的时间,且增加步数的边际收益递减,一般开到 20 - 30 步。在实际应用中,如何选择采样器和设置采样步数可以按照模型作者的推荐进行。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

SD新手:入门图文教程

Sampler(采样器/采样方法)选择使用哪种采样器。Euler a(Eular ancestral)可以以较少的步数产生很大的多样性,不同的步数可能有不同的结果。而非ancestral采样器都会产生基本相同的图像。DPM相关的采样器通常具有不错的效果,但耗时也会相应增加。Euler是最简单、最快的Euler a更多样,不同步数可以生产出不同的图片。但是太高步数(>30)效果不会更好。DDIM收敛快,但效率相对较低,因为需要很多step才能获得好的结果,适合在重绘时候使用。LMS是Euler的衍生,它们使用一种相关但稍有不同的方法(平均过去的几个步骤以提高准确性)。大概30 step可以得到稳定结果PLMS是Euler的衍生,可以更好地处理神经网络结构中的奇异性。DPM2是一种神奇的方法,它旨在改进DDIM,减少步骤以获得良好的结果。它需要每一步运行两次去噪,它的速度大约是DDIM的两倍,生图效果也非常好。但是如果你在进行调试提示词的实验,这个采样器可能会有点慢了。UniPC效果较好且速度非常快,对平面、卡通的表现较好,推荐使用。Sampling Steps(采样步数)Stable Diffusion的工作方式是从以随机高斯噪声起步,向符合提示的图像一步步降噪接近。随着步数增多,可以得到对目标更小、更精确的图像。但增加步数也会增加生成图像所需的时间。增加步数的边际收益递减,取决于采样器。一般开到20~30。不同采样步数与采样器之间的关系:

第二课 《ComfyUI基础知识》 By 郭佑萌 @ 🌈WaytoAGI 2024.8.15 .pdf

CLIP还可以用于评估和优化生成的图像。通过对比生成的图像和文本描述之间的相似度,模型可以迭代调整生成过程,使图像更符合输入描述。CLIP Text EncoderSDXL Base模型由U-Net、VAE以及CLIP Text Encoder(两个)三个模块组成,在FP16精度下Base模型大小6.94G(FP32:13.88G),其中U-Net占5.14G、VAE模型占167M以及两个CLIP Text Encoder一大一小(OpenCLIP ViT-bigG和OpenAI CLIP ViT-L)分别是1.39G和246M。VaeSDXLSD1.5Baked in VAECLIP skip in ComfyUI常用值为-1和-2Clip skip in SD1.5(-1 VS -2)如何设置按照模型作者推荐个人喜好SDXL官方默认Clip为-2Clip skip in SDXL(-1 VS -2)去噪过程被称为采样,因为稳定扩散在每一步产生一个新的样本图像。这种方法称为采样器(sampler)或采样(sampling)(source:stable-diffusion-art.com/samplers/#What_is_Sampling)采样器对比(source:stable-diffusion-art.com/samplers/#What_is_Sampling)如何选择Sampler(采样器)&调度器(scheduler)按推荐设置模型作者调度器(scheduler)Sampler(采样器)控制每一步如何采样控制每一步的噪声水平变化Unet结构

【SD】文生图怎么写提示词

作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-05-01 20:00原文网址:https://mp.weixin.qq.com/s/kwNfc9NCaKJRy30wHI95UgStable Diffusion的生成方式主要分为文生图和图生图两种:文生图是仅通过正反向词汇描述来发送指令;图生图除了可以添加文字以外,还可以给AI参考图进行模仿,也就是我们常说的“垫图”。接下去就是对你想要的图形进行文本描述,文本描述上又分为两类:内容型提示词和标准化提示词。内容型提示词主要用于描述你想要的画面,我们选择anythingV5这个专门用于二次元绘画的大模型,然后输入以下提示词:1个女孩,黑发,长发,校服,向上看,短袖,粉红色的花,户外,白天,蓝色的天空,云,阳光,上身,侧面。(使用翻译软件翻译成英文)采样迭代步数是指AI绘画去噪的次数,步数越高绘画越清晰,但是绘画速度也会越慢,通常数值控制在20-40之间最好。采样方法是指AI生成图像时候的某种特定算法,我们不用全部了解,一般常用的为:Euler a;DPM++2S a Karras;DPM++2M Karras;DPM++ SDE Karras;DDIM。有的模型会有指定的算法,搭配起来更好用。将比例设置为800:400,注意这里的尺寸并不是越大越好,因为模型的练图基本上都是按照512x512的框架去画,所以我们的高宽比尽量都在这个数值附近。太大的数值比如1920x1080,会使AI做出很奇怪的构图。那你就会说,我就想要很高清的图怎么办,其实Stable Diffusion也提供了图片放大的功能,我们可以同时点选这个高清修复来放大图像倍率,而高宽比我们只要记住这里主要是控制一个画面比例就可以了。

其他人在问
SD 在线上哪里可以使用?
以下是一些可以在线使用 SD 的地方: 1. 哩布哩布 AI:其在线 SD 界面与本地部署的界面区别不大,每天有一百次的生成次数,且已集成最新的 SDXL 模型。 2. stability AI 公司推出的 Clipdrop(https://clipdrop.co/stablediffusion):和 midjourney 的使用方法相似,输入提示词即可直接生成,每天免费 400 张图片,但需要排队,出四张图大概需要二三十秒的时间。
2024-11-22
SD 安装包
以下是关于 SD 安装包的相关内容: 一、Roop 插件安装 1. 安装时间较长,需耐心等待。安装好后,打开 SD 文件目录下的特定文件夹,在地址栏输入“cmd”并回车。 2. 在打开的 dos 界面中,粘贴“python m pip install insightface==0.7.3 user”代码,自动安装 insightface。若此阶段出错,建议下载最新的秋叶 4.2 整合包(6 月 23 号更新),后台回复【SD】可在云盘下载。 3. 安装完成后,重新打开启动器,后台会继续下载模型,全程需科学上网。 4. 选用真实系模型“realisticVisionV20”,启用 ROOP 插件,选择要替换的人物照片,面部修复选择“GFPGAN”,根据需求设置右边参数和放大算法,点击生成。若人脸像素偏低,可发送到“图生图”并使用 controlnet 中的 tile 模型重绘。 5. 想要插件可添加公众号【白马与少年】回复【SD】。 二、SD 云端部署 1. 部署流程 浏览器上按照腾讯云>控制台>云服务器的路径找到购买的实例,点击启动,输入购买时设置的密码进入远程的 Windows 系统环境,安装显卡驱动、配置环境变量。 2. 安装显卡驱动 用内置的 IE 或下载 Chrome,打开英伟达网站,根据购买机器时选定的显卡型号、Windows 版本号下载对应的驱动并安装。 3. 配置环境变量 驱动安装完成后,复制驱动所在目录(一般是在「C:\\Program Files\\NCIDIA Corporation」),找到环境变量配置入口(控制面板>系统和安全>系统),选择「高级系统设置」,在「系统变量」里的 Path 环境变量中新建并粘贴驱动安装地址保存。 4. 下载安装 SD 整合包 以秋叶的 SD 整合包为例,下载地址为:https://pan.baidu.com/s/1uavAJJdYYWhpnfjwQQDviQ?pwd=a123 ,提取码:a123。建议在服务器上安装提高下载速度的工具或有百度会员。安装后打开安装包一级目录,双击启动器运行依赖,安装完成后即可启动 SD。 三、Roop 换脸插件安装的其他步骤 1. 将 inswapper_128.onnx 文件移动到“sdwebuiakiv4\\models\\roop ”目录下(若没有该目录则创建)。 2. 将.ifnude 和.insightface 目录移动到 C:\\Users\\您的用户名目录下(用户名因人而异)。 3. 启动 webui,它会同步内部组件,可能需 5 30 分钟,耐心等待。加载完成后在浏览器打开,可在图生图、文生图中下面列表标签看到 roop V0.0.2。 特别提醒:此插件谨慎使用,切勿触犯法律。
2024-11-22
sd 人物的模样及服装等统一
以下是关于人物模样及服装的 SD 关键词描述: 人物类型:肌肉公主、舞者、啦啦队等。 性别:单人,包括女人和男人。 身体特征:有光泽的皮肤、苍白皮肤、白皙皮肤等。 头发样式:直发、卷发、波浪卷等。 头发颜色:挑染、内层挑染、头发内变色等。 头发长度:长发、很短的头发、短发等。 具体人物:初音未来、绫波(碧蓝航线)、比那名居天子、蛮啾(碧蓝航线)、爱宕、时崎狂三、洛琪希、西住美穗、星街彗星、时雨、蒂法·洛克哈特、中野一花、南达科他州(碧蓝航线)、白上吹雪、白井黑子、岛风等。 发型特点:身前,单侧编发,人妻发型;挑染,条纹发色;短碎发等。 面部特征:死鱼眼、晒痕、眼睛发光、垂耳(狗)等。
2024-11-20
SD 下载
以下是关于 SD 下载的相关内容: 1. 模型下载与安装: 二维码做好后,进入 SD 版块,需下载两个 SD 的 ControlNET 模型和一个预处理器。您可以添加公众号【白马与少年】,回复【SD】获取。 在【QR ControlNET】的文件夹中,后缀为【.yaml】的放在“……\\sdwebuiakiv4.2\\extensions\\sdwebuicontrolnet\\models”路径下,后缀为【.safetensors】的放在“……\\sdwebuiakiv4.2\\models\\ControlNet”路径下。 系统要求为 Win10 或 Win11。Win 系统查看配置:在桌面上找到“我的电脑”,鼠标右键点击,点击“属性”,查看 Windows 规格;查看电脑配置时,需满足 3 个要求(推荐):电脑运行内存 8GB 以上,是英伟达的显卡,显卡内存 4GB 以上。 配置达标可跳转至对应安装教程页。 如果不会科学上网,也可去启动器的界面直接下载模型。将下载的大模型放在根目录的【……\\models\\Stablediffusion】文件夹下,在左上角的模型列表中选择(看不到就点旁边的蓝色按钮刷新)。 2. 其他相关文件下载与放置: VAE 可直接在启动器里面下载,下载的 VAE 放在根目录的【……\\models\\VAE】文件夹。 Embedding 可在 C 站通过右上角的筛选 Textual Inversion 找到,放在根目录下的 embeddings 文件夹里。
2024-11-18
sd 下载
以下是关于 SD 下载的相关内容: 1. 模型安装设置: 二维码做好后,进入 SD 版块,需下载两个 SD 的 ControlNET 模型和一个预处理器。可添加公众号【白马与少年】,回复【SD】获取。 在【QR ControlNET】的文件夹中,后缀为【.yaml】的放在“……\\sdwebuiakiv4.2\\extensions\\sdwebuicontrolnet\\models”路径下,后缀为【.safetensors】的放在“……\\sdwebuiakiv4.2\\models\\ControlNet”路径下。 选择模型,填入关键词,设置迭代步数为 15,采样选择 DPM++ 2M Karras,图像大小设置为 768768。 2. SD 的安装: 系统需为 Win10 或 Win11。 Win 系统查看配置: 查看电脑系统:在桌面上找到“我的电脑”,鼠标右键点击,点击“属性”,查看 Windows 规格。 查看电脑配置:检查电脑能否带动 SD,需满足 3 个要求(推荐):电脑运行内存 8GB 以上,是英伟达的显卡,显卡内存 4GB 以上。打开任务管理器(同时按下 ctrl+shift+esc),查看电脑运行内存和显卡内存(显存)。8GB 运行内存可勉强运行 SD,推荐 16GB 以上运行内存;4GB 显存可运行 SD,推荐 8GB 以上显存。 配置达标可跳转至对应安装教程页: 。 配置不够可选择云端部署(Mac 也推荐云端部署): 。 备选:SD 难的话,可先试试简单的无界 AI: 。 3. 软件原理傻瓜级理解: 不会科学上网,可在启动器界面直接下载模型,下载的大模型放在根目录的【……\\models\\Stablediffusion】文件夹下,在左上角模型列表中选择,看不到就点旁边蓝色按钮刷新。 VAE 相当于给模型增加提高饱和度的滤镜和局部细节微调,有的大模型自带 VAE,可不用再加。VAE 可在启动器里下载,放在根目录的【……\\models\\VAE】文件夹下。 Embedding 是提示词打包功能,可在 C 站通过右上角筛选 Textual Inversion 找到,放在根目录下的 embeddings 文件夹里。 LORA 功能强大,可将人物或物品接近完美复刻进图像中,使用时需注意版权和法律问题。
2024-11-18
SD好的模型分享
以下是为您分享的关于 SD 模型的相关内容: 对于 SDXL 的 ControlNet 模型中的 Canny 硬边缘模型,有不同型号,如 4080ti 笔记本测试中,12G 显存下,sdxl base+refiner 模型,使用 diffusers 的 2.5Gfull 模型绘制 10241024 尺寸图片需 2 分 57 秒,320Mb 的 small 模型用时 34s,质量差距不大但时间优势明显。其他作者如 kohya 的用时 33 秒,更接近真实质感。sai 的 128lora 和 256lora 分别用时 39 秒和 1 分 08 秒,偏绘画感觉。t2i 的用时 34s,偏插画。关闭 refiner 能节省一半左右时间,平均 17 秒左右。 在 Depth 深度模型测试中,图形尺寸 6641024,diffusers 的 full 模型用时 2 分 48 秒,small 模型用时 23s,kohya 模型用时 42 秒,sai 模型用时 1 分 12 秒,sargezt 模型用时 1 分 52 秒。 用 Stable Diffusion 时,要先确定照片风格,如生成真人 AI 小姐姐可选用 chilloutmix 的大模型。部分常用大模型可在分享的链接中根据文件夹名称找到。文章第三部分会详细介绍模型下载位置和存放位置。 对于 ControlNet 中线条约束类的预处理器和模型,作者已整理好,如需获取可添加公众号【白马与少年】回复【SD】。同时作者还附上一张图帮助理解 ControlNet 模型的命名规则。
2024-11-17
在comfyui中执行k值采样器报错是什么原因 ror occurred when executing KSamplerAdvanced:
在 ComfyUI 中执行 K 值采样器报错,可能由多种原因导致。但仅根据您提供的“”内容,难以确切判断具体原因。常见的可能因素包括: 1. 模型配置问题:模型的参数设置不正确,或者与 K 值采样器的要求不匹配。 2. 输入数据格式错误:输入给采样器的数据格式不符合要求,例如数据类型、维度等。 3. 软件版本不兼容:ComfyUI 本身的版本与 K 值采样器存在兼容性问题。 4. 计算资源不足:系统的内存、GPU 等计算资源不足以支持 K 值采样器的运行。 要准确诊断问题,还需要更多的错误提示信息、相关配置和操作的详细描述。
2024-08-14
在comfyui中执行k值采样器报错是什么原因
在 ComfyUI 中执行 K 值采样器报错可能有多种原因。以下是一些常见的情况及相关设置步骤: 1. 首先,在“K 采样器”处,可通过点击“右键”“新建节点”“采样器”,选择“K 采样器(高级)”,其会有更多调整参数。 2. 对于 SDXL,由于需要用到 base 和 refiner 两套模型,所以要将模型节点和采样器节点分别复制一份。 对于第一个 base 模型的采样器,参数设置如下: 添加噪波:enable,确保打开以添加噪声。 步数:30,即迭代的总步数。 结束降噪步数:20,代表前面 20 步采用 base 模型进行运算。 返回噪波:enable,以便将剩下的噪声传递给下一个 refiner 模型。 3. 建立第一个工作流时,可按以下步骤操作: 清空所有节点,从零开始。先加载一个模型选择器的节点,右键点击空白处,选择【add node】——【loaders】——【load checkpoint】,生成节点后可选择安装好的大模型,且后面有三个连接点可指向下一个模块。 按住 clip 后面的点进行拖拽,点击【CLIPTextEncode】,得到提示词输入框。同理可再加一个提示词框,形成正向和负向提示架构。 为方便管理,可添加组,将相关节点放在组里一起移动。 从提示词节点后面再次拉出一根线,选择【KSampler】,其中有熟悉的参数如种子数、迭代步数、CFG、采样器等。 最后,设置输出图片尺寸,从【latent image】中拉出一个节点,选择【EmptyLatentImage】。 如果您能提供更具体的报错信息,将更有助于准确判断报错原因。
2024-08-14
sd采样器推荐
在稳定扩散模型中,采样器扮演着重要的角色,它决定了生成图像的质量和多样性。以下是一些常用和推荐的采样器: 1. DDIM 这是稳定扩散模型默认使用的采样器 能生成较高质量和细节的图像 但计算开销较大,生成速度较慢 2. PLMS 一种新型的采样器,相比DDIM,计算效率更高 能生成清晰细节的图像,同时保持良好的多样性 常用于一些需要较高采样步数的任务,如超分辨率 3. Euler a 一种较为经典的采样器 计算开销小,生成速度快 但图像质量相对稍差,细节较少 4. Euler 附属扩散 在 Euler 采样器的基础上进行改进 能生成更好的质量和细节,同时保持较快的速度 5. DPM 采样器 一种质量和样本多样性之间权衡较好的采样器 在采样步数较大时,生成质量可与DDIM媲美 6. DPM++ 对DPM采样器的改进版 进一步提升了生成质量和效率 除了上述采样器,还有一些新兴或实验性的采样器,如DDPM等。 不同的采样器在生成质量、速度、样本多样性等方面有不同的取舍。选择合适的采样器需要根据具体任务需求,在质量、速度和多样性之间进行权衡。同时,不同采样器的参数设置也会影响最终效果,需要进行调试和优化。
2024-04-23
sft是什么意思
“SFT”可能有多种含义。在音乐领域,它可能指某种特定的音乐风格,如“Swift”指快速和敏捷的音乐风格,常用于表现快速和敏捷的情感,如 Taylor Swift 的《Shake It Off》;“Swirling”指旋转和流动的音乐风格;“Swooning”指陶醉和倾倒的音乐风格;“Syllabic”指音节和节奏的音乐风格;“Symbiotic”指共生和互助的音乐风格。 在语音处理方面,“SFT”可能指短时傅里叶变换(Shorttime Fourier Transform,STFT)。语音通常是短时平稳信号,在进行傅里叶变换前一般要进行分帧,取音频的小片段进行短时傅里叶变换。其结果是一个复数,包括幅度和相位信息。能量频谱是振幅频谱的平方,通过对频域信号进行逆傅里叶变换可恢复时域信号。离散傅里叶变换计算复杂度高,可采用快速傅里叶变换简化。在实际应用中,对语音信号分帧加窗处理,视为短时傅里叶变换。
2024-11-17
WAY TO AGI中AGI是什么意思?
AGI 指通用人工智能,也叫强人工智能。通常在其出现时会是奇点科技大爆炸的时刻,科技将推动文明呈指数级增长。虽然通往通用人工智能的道路可能还漫长,但它已如海风般逐渐临近。例如科幻作家刘慈欣所说“未来已来,像盛夏的大雨,在我们还不及撑开伞时就扑面而来”(很多人早就失业了)。
2024-11-15
AGI是什么意思?
AGI 即通用人工智能(Artificial General Intelligence),指能够像人类一样思考、学习和执行多种任务的人工智能系统。它可以做任何人类可以做的事。 Deepmind 的研究团队在去年十一月发表的论文《Levels of AGI》中,给 AGI 的定义提出了六个原则,其中最重要的一点是“关注能力,而非过程”,即应关注 AGI 能完成什么,而非它如何完成任务。AGI 的定义应包括多个级别,每个级别都有明确的度量标准和基准。 还有一个常见且较合理和可验证的定义:AGI 是一种自主系统,在大多数具有经济价值的工作中超越了人类的能力。例如 Sam Altman 常说的,用自动化来贡献 GDP。Andrej Karpathy 今年初在其博客上发表的《Selfdriving as a case study for AGI》(虽很快删除),全文用自动化的交通服务来类比 AGI 和它的经济价值。
2024-11-13
AGI是什么意思
AGI 指的是通用人工智能(Artificial General Intelligence),它是一种能够像人类一样思考、学习和执行多种任务的人工智能系统。做任何人类可以做的事,涵盖了广泛的认知技能和能力,包括推理、规划、解决问题、抽象思维、理解复杂思想、快速学习和从经验中学习等。在 2000 年代初,“通用人工智能”这一名词开始流行,以强调从“狭义 AI”到更广泛的智能概念的追求。但目前 AGI 还未取得巨大进展。
2024-11-02
boosting 模型是什么意思
Boosting 模型是一种集成学习方法,主要包括以下两种常见类型: 1. Bagging(Bootstrap Aggregating):通过多次有放回抽样生成多个数据集,训练多个相同类型的模型(如决策树、多项式等),对于回归任务将多个模型的预测结果取平均,对于分类任务通过多数投票来决定最终的分类结果,以减少机器学习模型的方差,提高泛化能力。其核心步骤包括从原始数据集中有放回地抽取多个子集,每个子集用于训练一个独立的模型,最后集成这些模型的结果。 2. AdaBoost(Adaptive Boosting):主要用于分类问题,也可用于回归问题。它通过组合多个弱学习器(通常是决策树桩)来构建一个强学习器,以提高模型的预测性能。弱学习器的准确率仅略高于随机猜测,例如在二分类问题中可能略高于 50%。在 AdaBoost 中,强学习器通常是具有高准确率、能很好泛化到新数据的复杂模型,如深度神经网络或支持向量机,能够捕捉数据中的复杂模式。 此外,在 Coze 上,GLM 模型和 MoonShot 模型因对结构化提示词的良好理解适合处理精确输入和输出任务,豆包系列模型在角色扮演和工具调用方面表现出色,将这三种模型结合在工作流或多 Agent 中可实现优势互补。
2024-10-21
国内有适合做新媒体平台创意思路的ai软件,例如抖音、小红书等,
目前对于适合国内新媒体平台(如抖音、小红书等)创意思路的 AI 软件,还没有明确的定论。但我们可以先从内容创作的角度来思考。之前汉青老师分享时提到,生成式 AI 的内容与传统社交媒体内容共存,如小红书、抖音、微信等。短期内,大家可能因新鲜感获得流量红利,但最终人们在意的仍是高质量的内容。 我们虽掌握了各种先进工具,如在 MJ 里用关键词出图、用 SD 做复杂工作流、制作炫酷宣传片等,但在此我们先不讨论工具,而是专注于内容。让节奏慢下来,认真感受真实世界,关注身边通常被一扫而过的普通人。 比如偶然在朋友朋友圈刷到的题材:“这两张照片其实是在同一条街道上拍下的,只不过年轻的女孩在街上,孤独的老人在围墙里。”“这张照片传递两种关系、一种爱意,年轻人手牵着怀孕的爱人,老母亲扶着女儿坐上电动车,这应该是这个世界最稳固的两种关系,而现在他们相遇在一张照片当中。”“很多人把生活当中的便利,比如电商快递外卖速度快便宜看着是我们的移动互联网优势,其实唯一的优势是我们的劳动力,无数个在深夜独自啃着馒头的年轻人支撑着美团阿里的市值...放大镜头看你会发现这其实是一个非常年轻的女孩子,她瘦小,即使戴了头盔也比后面的箱子高不了多少,她进食的时候甚至都没玩手机——我骑车路上看到过很多快递小哥都是边骑车边刷短视频,这至少说明他们对生活中的乐子还充满期待,而图中的女孩看着让人垂头丧气,不仅是她,也包括我。” 关于如何与 AI 结合来为新媒体平台创作优质内容,目前还没想好,也没完全想明白,需要慢慢思考和探索。
2024-10-18