直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

怎样用SD生成分镜图?

回答

以下是使用 SD 生成分镜图的步骤:

  1. 选择模型(底模):这对生成结果影响最大,主要体现在画面风格上。
  2. 填写提示词:在第一个框中填入对想要生成的东西的文字描述。
  3. 填写负面提示词:在第二个框中填入不想要生成的东西的文字描述。
  4. 选择采样方法:如 Euler a 能以较少步数产生多样性;Euler 简单快速;DPM 效果不错但耗时增加;DDIM 适合重绘;LMS 和 PLMS 是 Euler 的衍生。
  5. 设置采样次数:不同采样方法可能有不同的最佳步数。
  6. 选择图片尺寸:注意尺寸太宽可能出现多个主体,1024 之上尺寸可能效果不理想,推荐小尺寸分辨率结合高清修复。
  7. 设定每批数量:若显存不足 12G,保持为 1。
  8. 利用种子:相同参数下理论上能生成相同图片。
  9. 高清修复:勾选“Highres.fix”,先按指定尺寸生成再放大。放大算法中,Latent 在某些情况下效果好,ESRGAN_4x、SwinR 4x 对低重绘幅度支持较好。
  10. 局部重绘:蒙版白色区域默认重绘,若只想改变背景可切换“重绘非蒙版区域”,调整提示词和重绘幅度,最后使用放大功能进行高清重绘。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

SD新手:入门图文教程

选择需要使用的模型(底模),这是对生成结果影响最大的因素,主要体现在画面风格上。在第一个框中填入提示词(Prompt),对想要生成的东西进行文字描述在第二个框中填入负面提示词(Negative prompt),你不想要生成的东西进行文字描述选择采样方法、采样次数、图片尺寸等参数。Sampler(采样器/采样方法)选择使用哪种采样器。Euler a(Eular ancestral)可以以较少的步数产生很大的多样性,不同的步数可能有不同的结果。而非ancestral采样器都会产生基本相同的图像。DPM相关的采样器通常具有不错的效果,但耗时也会相应增加。Euler是最简单、最快的Euler a更多样,不同步数可以生产出不同的图片。但是太高步数(>30)效果不会更好。DDIM收敛快,但效率相对较低,因为需要很多step才能获得好的结果,适合在重绘时候使用。LMS是Euler的衍生,它们使用一种相关但稍有不同的方法(平均过去的几个步骤以提高准确性)。大概30 step可以得到稳定结果PLMS是Euler的衍生,可以更好地处理神经网络结构中的奇异性。

SD新手:入门图文教程

每批数量同时生成多少个图像。增加这个值可以提高性能,但也需要更多的显存。大的Batch Size需要消耗巨量显存。若没有超过12G的显存,请保持为1。尺寸指定图像的长宽。出图尺寸太宽时,图中可能会出现多个主体。1024之上的尺寸可能会出现不理想的结果,推荐使用小尺寸分辨率+高清修复(Hires fix)。种子种子决定模型在生成图片时涉及的所有随机性,它初始化了Diffusion算法起点的初始值。理论上,在应用完全相同参数(如Step、CFG、Seed、prompts)的情况下,生产的图片应当完全相同。高清修复通过勾选"Highres.fix"来启用。默认情况下,文生图在高分辨率下会生成非常混沌的图像。如果使用高清修复,会型首先按照指定的尺寸生成一张图片,然后通过放大算法将图片分辨率扩大,以实现高清大图效果。最终尺寸为(原分辨率*缩放系数Upscale by)。放大算法中,Latent在许多情况下效果不错,但重绘幅度小于0.5后就不甚理想。ESRGAN_4x、SwinR 4x对0.5以下的重绘幅度有较好支持。Hires step表示在进行这一步时计算的步数。

【SD】玩转局部重绘,哪里不行点哪里

在Stable Diffusion中,蒙版的白色区域是默认重绘的区域,如果只想改变背景的话,可以切换到“重绘非蒙版区域”。将提示词调整为铺满了鲜花的场景:detailed background filled with(many:1.1)(colorful:1.1)(flowers):1.1,(quality:1.1),(photorealistic:1.1),(resolution:1.1),(sharpness:1.1),(cinematic lighting),depth of field,Canan EOS R6,135mm,1/1250s,f/2.8,ISO 400。重绘幅度拉高到0.9,点击生成。可以看到,人物原封不动,而场景产生了大变化,成为了一片花海。最后,再使用之前讲过的SD放大功能——[【Stable Diffusion】如何画出商用级别的高清大图](http://mp.weixin.qq.com/s?__biz=MzA3ODY0OTc1NQ==&mid=2247486230&idx=1&sn=dde16ebbd5078661c21835c94db554dc&chksm=9fbecbe2a8c942f48cfe40eaea15ff963db9b4fe1c9a8aed330ee718bcf6720e491fc9237a7e&scene=21#wechat_redirect)。对图片进行一次高清重绘,一张唯美的绘图就出炉了。

其他人在问
蛟龙16pro配置(处理器R7-7745HX,显卡RTX4060 8G,硬盘512GPCIE4.0SSD)可以用于审计人员本地化部署大模型用于数据分析工作吗
蛟龙 16pro 的配置(处理器 R77745HX,显卡 RTX4060 8G,硬盘 512G PCIE4.0 SSD)对于审计人员本地化部署大模型用于数据分析工作来说,可能存在一定的局限性。 处理器 R77745HX 具有一定的计算能力,但在处理大规模数据和复杂的模型运算时,其性能可能不够强劲。 显卡 RTX4060 8G 对于一些较为复杂的图形处理和计算任务能够提供一定的支持,但对于大规模的深度学习模型训练和数据分析,可能会显得不足。 512G 的 PCIE4.0 SSD 硬盘容量相对较小,在存储大量数据时可能会很快耗尽空间。 综上所述,该配置在一定程度上可以用于简单的数据分析任务,但对于较为复杂和大规模的大模型本地化部署及数据分析工作,可能需要更强大的硬件配置,例如更高性能的处理器、更大容量和更高性能的显卡,以及更大的存储空间。
2024-09-14
sd和comfy的详细学习教程推荐
以下是关于系统学习 SD 和 Comfy 的详细教程推荐: 学习 SD 提示词的步骤: 1. 学习基本概念:了解 Stable Diffusion 的工作原理和模型架构,理解提示词如何影响生成结果,掌握提示词的组成部分(主题词、修饰词、反面词等)。 2. 研究官方文档和教程:通读 Stable Diffusion 官方文档,研究来自开发团队和专家的教程和技巧分享。 3. 学习常见术语和范例:熟悉 UI、艺术、摄影等相关领域的专业术语和概念,研究优秀的图像标题和描述作为提示词范例。 4. 掌握关键技巧:学习如何组合多个词条来精确描述想要的效果,掌握使用“()”、“”等符号来控制生成权重的技巧,了解如何处理抽象概念、情感等无形事物的描述。 5. 实践和反馈:使用不同的提示词尝试生成各种风格和主题的图像,对比提示词和实际结果,分析原因,总结经验教训,在社区内分享结果,请教高手,获取反馈和建议。 6. 创建提示词库:根据主题、风格等维度,建立自己的高质量提示词库,将成功案例和总结记录在案,方便后续参考和复用。 7. 持续跟进前沿:关注 Stable Diffusion 的最新更新和社区分享,及时掌握提示词的新技术、新范式、新趋势。 相关入门教程链接: 1. 2. 3. 4. 5. 6. 7. 8. 9. 关于 Comfy 的学习,您可以参考以下知乎教程中的相关部分:,其中包含零基础使用 ComfyUI 搭建 Stable Diffusion 推理流程的内容。
2024-09-11
SD 模型
以下是关于 SD 模型的相关信息: 模型安装设置: 二维码做好后进入 SD 版块,需下载两个 SD 的 ControlNET 模型和一个预处理器。可添加公众号【白马与少年】,回复【SD】获取。在【QR ControlNET】文件夹中,后缀为【.yaml】的放在“……\\sdwebuiakiv4.2\\extensions\\sdwebuicontrolnet\\models”路径下,后缀为【.safetensors】的放在“……\\sdwebuiakiv4.2\\models\\ControlNet”路径下。选择“cheeseDaddys ”模型,填入描绘梦幻森林的关键词,同时将迭代步数设置到 15,采样选择 DPM++ 2M Karras,图像大小设置到 768768。 核心基础原理: 1. SD 模型是生成式模型,输入可以是图片、文本以及两者的结合,输出是生成的图片。 2. 属于扩散模型,其整体逻辑特点是过程分步化与可迭代,为生成过程引入更多约束与优化提供可能。 3. 是基于 Latent 的扩散模型,将输入数据压缩到 Latent 隐空间中,大幅提高计算效率并降低显存占用,是破圈关键。 4. 从 CTO 视角看,是一个优化噪声的 AI 艺术工具。 工作流程: Stable Diffusion(SD)模型由 Stability AI 和 LAION 等公司共同开发,参数量约 1B,可用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等任务。以文生图(txt2img)和图生图(img2img)任务为例,文生图任务是将一段文本输入到 SD 模型中,经过一定迭代次数,输出符合文本描述的图片;图生图任务在输入文本基础上再输入一张图片,SD 模型根据文本提示将输入图片重绘以更符合文本描述。输入的文本信息需转化为 SD 模型能理解的机器数学信息。
2024-09-11
SD大模型下载网站
以下是一些 SD 大模型的下载网站和相关信息: Civitai(https://civitai.com/):这是一个常用的网站,有各种风格的大模型,如真实系、二次元、游戏 CG 风等,但需要科学上网。如果不会科学上网,也可以去启动器的界面直接下载模型,但这里看不见预览图。下载的大模型应放在根目录的【……\\models\\Stablediffusion】文件夹下。 对于 Fooocus,大模型(base 和 Refiner)默认放在这里:\\ Fooocus_win64_1110\\ Fooocus\\models\\checkpoints;LoRA 模型默认放在这里:\\ Fooocus_win64_1110\\ Fooocus\\models\\loras。如果单独安装,需要下载的模型链接如下: SDXL 基础模型:https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors refiner 模型:https://huggingface.co/stabilityai/stablediffusionxlrefiner1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors LoRA 模型:https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_offset_examplelora_1.0.safetensors 在 Civitai 网站的使用方法: 1. 科学上网(无法教授具体方法,需自行解决)。 2. 点击右上角的筛选按钮,在框框里面找到自己需要的模型类型,如 Checkpoint=大模型,LoRA=Lora。 3. 看照片,感兴趣的点进去,点击右边的“Download”下载,保存到电脑本地,文件保存位置在前面提到的相关文件夹。另外,还可以点击左上角的“Images”,看到喜欢的图片点进去,点进去后的页面可看到图片的全部信息,直接点击 Lora 和大模型,可直接跳转到下载页面。点击最下面的“Copy...Data”可复制图片的所有信息,回到 SD 粘贴到关键词的文本框,点击右边的按钮,这些信息就会自动分配。需要注意的是,大模型需要手动更换。
2024-09-06
sd3大模型的教程
以下是关于 SD3 大模型的一些教程资源: 【AI 艺境】ComfyUI 快手 Kolors 模型基础使用工作流全套模型网盘分享: 作者:极点 AI 类型:教学视频 链接: 备注:商用工作流请自行辨别 拳打 SD3 脚踢 MidjourneyV6?某手开源的可图 Kolors 到底是不是真的强,内附 Comfyu 部署教程: 作者:淼淼爸的 AI 笔记 类型:评测视频 链接: 国产超牛的开源大模型可图 kolors: 作者:大桶子 AI 类型:评测视频 链接:(https://www.bilibili.com/video/BV1MZ421T79S/? 另外,关于 SD3 的一些说明: SD3 已开放下载(并非开源,是收费的)。 基础模型包括:主模型“sd3_medium”,文本编码器“clip_g”“clip_l”“t5xxl_fp16/t5xxl_fp8_e4m3fn”。在 ComfyUI 中使用时需分别通过模型加载器和 CLIP 加载器加载,“t5xxl”是非必要项。 融合了文本编码器的模型有 2 个:无 T5 的“sd3_medium_incl_clips = sd3_medium + clip_g + clip_l”,有 T5 的“sd3_medium_incl_clips_t5xxlfp8 = sd3_medium + clip_g + clip_l + t5xxl_fp16/t5xxl_fp8_e4m3fn”。在 ComfyUI 中使用时直接用模型加载器加载主模型即可,无需 CLIP 加载器(如同之前的 SD1.5 或 SDXL 的基础工作流)。下载地址(huggingface 比较慢,多放几个百度云盘)。
2024-09-02
sd课程
以下是为您提供的关于 Stable Diffusion(SD)课程的相关信息: 1. 有作者“白马少年”出品的“爆肝制作!Stable Diffusion 零基础入门宝典”课程。作者从事平面设计行业,因对 SD 的学习和研究,在公众号分享了五十几篇使用心得的原创文章,并录制了一套近 80 个课时的零基础入门课程。课程链接:https://www.cctalk.com/m/group/90942118?promoteId=84811D61000B39B9263146248464A904 2. 推荐学习 Nenly 同学在 B 站的“第一套 Stable Diffusion 系统课程”合集。在安装完 SD 后,强烈推荐跟着此合集走一遍,可快速掌握 SD 的基础技能,完整走一遍基础教程大概需要 4 小时左右。合集链接: ,SD 安装教程:https://qa3dhma45mc.feishu.cn/wiki/Ouiyw6v04iTJlmklDCcc50Jenzh
2024-09-01