以下是关于 img2img 的相关内容:
用 Stable Diffusion 装饰二维码: 首先使用 img2img 生成类似于 QR 码的图像,但不足以生成有效二维码。在采样步骤中打开 ControlNet 将 QR 码压印到图像上,接近尾声时关闭以提高图像一致性。 分步指南:
Stable Diffusion 核心基础原理: Stable Diffusion 模型可用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等任务。以文生图和图生图任务为例讲解工作流程,图生图任务在输入文本基础上再输入一张图片,模型根据文本提示重绘图片使其更符合描述。输入的文本信息需通过 CLIP Text Encoder 模型编码成机器数学信息,生成 Text Embeddings 特征矩阵用于控制图像生成。
Mazz 的 SD 进阶分享: 初始屏幕由手绘图使用 img2img 创建,人物姿势用 ControlNet Openpose 控制,大量使用 Inpaint 和 Inpaint Sketch 处理沙子、烟雾和龙,整个过程还涉及大量 Photoshop 处理和 img2img 迭代,耗时约 6 小时。
此方法首先使用img2img生成类似于QR码的图像。但这还不足以生成有效的二维码。ControlNet在采样步骤中打开,以将QR码压印到图像上。在采样步骤接近尾声时,ControlNet被关闭以提高图像的一致性。[heading3]分步指南[content]在AUTOMATIC1111 WebUI中,导航到Img2img页面。第1步:选择检查点模型。我们将使用[GhostMix](https://civitai.com/models/36520/ghostmix)。第2步:输入提示和否定提示。提示对您的成功非常重要。一些提示与您的二维码自然融合。我们将使用以下提示词。a cubism painting of a town with a lot of houses in the snow with a sky background,Andreas Rocha,matte painting concept art,a detailed matte painting以及下面的否定提示。ugly,disfigured,low quality,blurry,nsfw第3步:上传二维码到img2img画布。第4步:输入以下图像到图像设置。Resize mode:Just resizeSampling method:DPM++2M KarrasSampling step:50Width:768Height:768CFG Scale:7Denoising strength:0.75第5步:将二维码上传到ControlNet的图像画布。第6步:输入以下ControlNet设置。Enable:YesControl Type:TilePreprocessor:tile_resampleModel:control_xxx_tileControl Weight:0.87Starting Control Step:0.23Ending Control Step:0.9第7步:按生成。第8步:用手机查看二维码。确保检查屏幕上的不同尺寸。当它们很大时,有些往往会出现问题。您不会获得包含每张图片的功能性QR码。成功率大约是四分之一。
Stable Diffusion(SD)模型是由Stability AI和LAION等公司共同开发的生成式模型,总共有1B左右的参数量,可以用于文生图,图生图,图像inpainting,ControlNet控制生成,图像超分等丰富的任务,本节中我们以文生图(txt2img)和图生图(img2img)任务展开对Stable Diffusion模型的工作流程进行通俗的讲解。文生图任务是指将一段文本输入到SD模型中,经过一定的迭代次数,SD模型输出一张符合输入文本描述的图片。比如下图中输入了“天堂,巨大的,海滩”,于是SD模型生成了一个美丽沙滩的图片。SD模型的文生图(txt2img)过程而图生图任务在输入本文的基础上,再输入一张图片,SD模型将根据文本的提示,将输入图片进行重绘以更加符合文本的描述。比如下图中,SD模型将“海盗船”添加在之前生成的那个美丽的沙滩图片上。SD模型的图生图(img2img)过程那么输入的文本信息如何成为SD模型能够理解的机器数学信息呢?很简单,我们需要给SD模型一个文本信息与机器数据信息之间互相转换的“桥梁”——CLIP Text Encoder模型。如下图所示,我们使用CLIP Text Encoder模型作为SD模型中的前置模块,将输入的文本信息进行编码,生成与文本信息对应的Text Embeddings特征矩阵,再将Text Embeddings用于SD模型中来控制图像的生成:蓝色框就是CLIP Text Encoder模型,能够将输入文本信息进行编码,输出SD能够理解的特征矩阵
|多行文本|备注|标签|附件||-|-|-|-||[多图Malenia from Elden Ring](https://civitai.com/posts/196136)|The base prompt is:<br>epic realistic,(dark shot:1),1girl,ninja floating,textured clothing,dragon_head,smoke,(((sandstorm))),(flying stone),(((dust explosion:1))),wind,(motion blur),realistic,solo_focus,(dark_background),3d Model<br>The main model is:<br>[Niji3dstyle](https://civitai.com/models/46898/niji3dstyle)/[Lyriel](https://civitai.com/models/22922/lyriel)/[Dreamshaper](https://civitai.com/models/4384/dreamshaper)<br>I also used:[Nijiexpress Lora](https://civitai.com/models/44023/nijiexpressivev1).<br>The initial screen was created using img2img from a hand-drawn sketch,the characters'poses were controlled using ControlNet Openpose,and a lot of Inpaint and Inpaint Sketch was used for sand and smoke,and for the dragon,Inpaint Sketch was used.I recommend using the"[Canvas-Zoom](https://github.com/richrobber2/canvas-zoom)"extension for Inpaint.Of course,a lot of Photoshop processing and img2img iterations were also involved in the entire process.<br>The entire job took about 6 hours.|||[heading1]教程开始: