以下是关于修复图片的相关知识:
使用 ControlNet 的 tile 模型修复图片:
图像高清修复、无损放大 N 倍的流程:
作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-05-19 20:01原文网址:https://mp.weixin.qq.com/s/HtSbc1l5BpOgl_dIoH0T7w随着ControlNet1.1的更新,tile模型横空出世,其强大的功能让之前的一些模型变得有点黯然失色。今天我们就来盘点一下,这个神奇的Tile模型都有哪些用法。高清修复小图在我们做设计的时候,经常会遇到一些分辨率不高的素材图片,我们需要将它进行高清化处理。比如这张食物的图片,先把它拖进“WD 1.4标签器”,可以进行反推关键词,然后发送到图生图。我们可以通过翻译软件检查一下提示词有没有问题,这边通过反推得到的提示词是——“没有人,食物,食物焦点,现实,水果,静物,草莓,模糊,蛋糕,糕点,景深,甜点,模糊背景,奶油”。基本上与原图相符,可以先不调整。接下来,我们使用大模型“dreamshaper”。调整参数尺寸,放大为2K,提示词引导系数(CFG Scale)官方推荐在15以上,重绘幅度在0.5以上。打开ControlNet,导入图片。tile的预处理器是用来降低原图的分辨率的,为的是给新图有足够的空间来添加像素和细节。如果你的图片本身像素就很低,可以不使用预处理器,直接使用tile模型。可以看到放大后的图片,清晰度和细节都有了很好的提升。对比一下使用tile模型处理前后的区别。修复和增加细节我们先随便绘制一张小屋的图,可以看出,这张图中的细节不足,而且有些地方的结构也是错误的。
由于这张图是采用高分辨率文生图绘制的,分辨率是1800x1200,所以我们在ControlNet中启用了tile预处理器,让图片先缩小,给AI足够的空间去绘制细节。修复图中,增加了很多的细节。我们在提示词中增加“秋天”这个关键词,就得到了秋天的景色。再试试,冬天的效果,选择更注重提示词的模式。修改添加细节这里我们先绘制一个女孩的图片,使用的“meinapastel_V4”大模型。关键词信息:(杰作,最好的质量,高分辨率:1.4),1女孩,女人,星蝴蝶,绿色鱿鱼装,角发带,微笑,看着观众。使用tile模型,添加新的提示词:红眼睛、蓝头带。得到结果,成功调整了图片的细节。但是tile模型的原理实际上是对图像进行重绘,并不是像ps那样可以只改局部,所以整个图像上还是会有些微的变化。分区放大
整个图像修复放大的流程分为三部分:输入原始图像、修复图像、放大并重绘图像。下面将详细拆解每一部分的生成原理。[heading3]一、图像输入[content]第一部分添加Load Image节点加载图像,只需上传需要处理的图片即可。不建议上传大分辨率的图片,图片分辨率越大,处理的时间就越长。[heading3]二、图像高清修复[content]第二部分进行高清修复,把原本模糊的图片修复,并进行2倍放大。Checkpoint大模型使用Iceclear/StableSR,这是一种新颖的方法来利用封装在预先训练的文本到图像扩散模型中的先验知识来实现盲超分辨率(SR)。具体来说,就是通过时间感知编码器,在不改变预先训练的合成模型的情况下实现有希望的恢复结果,从而保留生成先验并最小化训练成本。并且需要搭配Stable SR Upscaler模型才能在最大程度上修复图像,推理图片每个噪点,以还原图像。提示词部分应包含我们想要达到的目的内容,在此场景中如正向:(masterpiece),(best quality),(realistic),(very clear),反向:3d,cartoon,anime,sketches,(worst quality),(low quality)(杰作),(最高品质),(逼真的),(非常清晰);3D,卡通,动漫,素描,(最差质量),(低质量)全程采取两次高清修复,这一次修复原始图像分辨率并且放大,已经很完美还原,但是分辨率并不够,继续进行下一步。[heading3]三、图像高清放大[content]这一步主要针对第一次放大修复后的图像,进行二次修复。这里用realisticVision底膜最合适,这个模型在重绘扩图放大等领域效果非常好。使用提示词反推node对图像进行画面提示词提取,搭配tile ControlNet提升画面细节感,然后需用合适的高清放大模型,对图像进行二次放大。