Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

img2img

Answer

以下是关于 img2img 的相关内容:

用 Stable Diffusion 装饰二维码: 首先使用 img2img 生成类似于 QR 码的图像,但不足以生成有效二维码。在采样步骤中打开 ControlNet 将 QR 码压印到图像上,接近尾声时关闭以提高图像一致性。 分步指南:

  1. 在 AUTOMATIC1111 WebUI 中,导航到 Img2img 页面。
  2. 选择检查点模型,如GhostMix
  3. 输入提示和否定提示,提示词如“a cubism painting of a town with a lot of houses in the snow with a sky background,Andreas Rocha,matte painting concept art,a detailed matte painting”,否定提示如“ugly,disfigured,low quality,blurry,nsfw”。
  4. 上传二维码到 img2img 画布。
  5. 输入以下图像到图像设置:Resize mode:Just resize;Sampling method:DPM++2M Karras;Sampling step:50;Width:768;Height:768;CFG Scale:7;Denoising strength:0.75。
  6. 将二维码上传到 ControlNet 的图像画布。
  7. 输入以下 ControlNet 设置:Enable:Yes;Control Type:Tile;Preprocessor:tile_resample;Model:control_xxx_tile;Control Weight:0.87;Starting Control Step:0.23;Ending Control Step:0.9。
  8. 按生成,用手机查看二维码,确保检查不同尺寸,成功率约四分之一。

Stable Diffusion 核心基础原理: Stable Diffusion 模型可用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等任务。以文生图和图生图任务为例讲解工作流程,图生图任务在输入文本基础上再输入一张图片,模型根据文本提示重绘图片使其更符合描述。输入的文本信息需通过 CLIP Text Encoder 模型编码成机器数学信息,生成 Text Embeddings 特征矩阵用于控制图像生成。

Mazz 的 SD 进阶分享: 初始屏幕由手绘图使用 img2img 创建,人物姿势用 ControlNet Openpose 控制,大量使用 Inpaint 和 Inpaint Sketch 处理沙子、烟雾和龙,整个过程还涉及大量 Photoshop 处理和 img2img 迭代,耗时约 6 小时。

Content generated by AI large model, please carefully verify (powered by aily)

References

教程:SD 做二维码

此方法首先使用img2img生成类似于QR码的图像。但这还不足以生成有效的二维码。ControlNet在采样步骤中打开,以将QR码压印到图像上。在采样步骤接近尾声时,ControlNet被关闭以提高图像的一致性。[heading3]分步指南[content]在AUTOMATIC1111 WebUI中,导航到Img2img页面。第1步:选择检查点模型。我们将使用[GhostMix](https://civitai.com/models/36520/ghostmix)。第2步:输入提示和否定提示。提示对您的成功非常重要。一些提示与您的二维码自然融合。我们将使用以下提示词。a cubism painting of a town with a lot of houses in the snow with a sky background,Andreas Rocha,matte painting concept art,a detailed matte painting以及下面的否定提示。ugly,disfigured,low quality,blurry,nsfw第3步:上传二维码到img2img画布。第4步:输入以下图像到图像设置。Resize mode:Just resizeSampling method:DPM++2M KarrasSampling step:50Width:768Height:768CFG Scale:7Denoising strength:0.75第5步:将二维码上传到ControlNet的图像画布。第6步:输入以下ControlNet设置。Enable:YesControl Type:TilePreprocessor:tile_resampleModel:control_xxx_tileControl Weight:0.87Starting Control Step:0.23Ending Control Step:0.9第7步:按生成。第8步:用手机查看二维码。确保检查屏幕上的不同尺寸。当它们很大时,有些往往会出现问题。您不会获得包含每张图片的功能性QR码。成功率大约是四分之一。

教程:深入浅出完整解析Stable Diffusion(SD)核心基础知识 - 知乎

Stable Diffusion(SD)模型是由Stability AI和LAION等公司共同开发的生成式模型,总共有1B左右的参数量,可以用于文生图,图生图,图像inpainting,ControlNet控制生成,图像超分等丰富的任务,本节中我们以文生图(txt2img)和图生图(img2img)任务展开对Stable Diffusion模型的工作流程进行通俗的讲解。文生图任务是指将一段文本输入到SD模型中,经过一定的迭代次数,SD模型输出一张符合输入文本描述的图片。比如下图中输入了“天堂,巨大的,海滩”,于是SD模型生成了一个美丽沙滩的图片。SD模型的文生图(txt2img)过程而图生图任务在输入本文的基础上,再输入一张图片,SD模型将根据文本的提示,将输入图片进行重绘以更加符合文本的描述。比如下图中,SD模型将“海盗船”添加在之前生成的那个美丽的沙滩图片上。SD模型的图生图(img2img)过程那么输入的文本信息如何成为SD模型能够理解的机器数学信息呢?很简单,我们需要给SD模型一个文本信息与机器数据信息之间互相转换的“桥梁”——CLIP Text Encoder模型。如下图所示,我们使用CLIP Text Encoder模型作为SD模型中的前置模块,将输入的文本信息进行编码,生成与文本信息对应的Text Embeddings特征矩阵,再将Text Embeddings用于SD模型中来控制图像的生成:蓝色框就是CLIP Text Encoder模型,能够将输入文本信息进行编码,输出SD能够理解的特征矩阵

进阶:Mazz的SD进阶分享

|多行文本|备注|标签|附件||-|-|-|-||[多图Malenia from Elden Ring](https://civitai.com/posts/196136)|The base prompt is:<br>epic realistic,(dark shot:1),1girl,ninja floating,textured clothing,dragon_head,smoke,(((sandstorm))),(flying stone),(((dust explosion:1))),wind,(motion blur),realistic,solo_focus,(dark_background),3d Model<br>The main model is:<br>[Niji3dstyle](https://civitai.com/models/46898/niji3dstyle)/[Lyriel](https://civitai.com/models/22922/lyriel)/[Dreamshaper](https://civitai.com/models/4384/dreamshaper)<br>I also used:[Nijiexpress Lora](https://civitai.com/models/44023/nijiexpressivev1).<br>The initial screen was created using img2img from a hand-drawn sketch,the characters'poses were controlled using ControlNet Openpose,and a lot of Inpaint and Inpaint Sketch was used for sand and smoke,and for the dragon,Inpaint Sketch was used.I recommend using the"[Canvas-Zoom](https://github.com/richrobber2/canvas-zoom)"extension for Inpaint.Of course,a lot of Photoshop processing and img2img iterations were also involved in the entire process.<br>The entire job took about 6 hours.|||[heading1]教程开始:

Others are asking
图生图 / img2img:上传一张图片,然后系统会在这个图片的基础上生成一张新图片,修改一些提示词(Prompt)来改变新图片的效果 , 给我推荐这类大模型
以下为您推荐可用于图生图(img2img)的大模型: 1. Stable Diffusion(SD)模型:由 Stability AI 和 LAION 等公司共同开发,参数量约 1B,可用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等任务。在图生图任务中,SD 模型会根据输入的文本提示,对输入图片进行重绘以更符合文本描述。输入的文本信息通过 CLIP Text Encoder 模型编码成机器能理解的数学信息,用于控制图像生成。 2. Adobe Firefly image 2 模型:上周发布了 Beta 测试版本,增加了众多功能,模型质量提升。默认图片分辨率为 20482048,对图片的控制能力增强,具有更高质量的图像和插图生成、自定义选项和改进的动态范围。支持生成匹配(img2img),应用预先选择的图像集中的风格或上传自己的风格参考图像以创建相似图像,还有照片设置、提示建议、提示链接共享、反向提示词等功能。
2025-02-12