以下为一些对监控图像清晰度处理较好的模型及相关方法:
[title]【SD】超清无损放大器StableSR这个修复必须要使用StabilityAI官方的Stable Diffusion V2.1 512 EMA模型,放入stable-diffusion-webui/models/Stable-Diffusion/文件夹中。然后是StableSR模块(约400M大小)放入stable-diffusion-webui/extensions/sd-webui-stablesr/models/文件夹中。还有一个VQVAE(约750MB大小)放在你的stable-diffusion-webui/models/VAE中。这三个文件我会放在百度云盘的链接中。安装好之后,我们用一张从网上找的神仙姐姐的照片来做一个测试,这张图片的分辨率为512x768。放大之后看是比较模糊的,脸上有很多噪点,头发丝也糊在一起了。我们先使用“Ultimate SD upscale”脚本放大看一下,哪怕是重绘幅度只开到0.1,也可以看到人物细节的变化,比如嘴角、眼睛等部位,而且整个人磨皮很严重,失去了真实感。重绘幅度开到0.4之后,基本上就变了一个人了。所以,想要还原一些老照片,追求最大保真度的话,用重绘的方法是不太好的。接下来,我们再试验一下“后期处理”的放大方法,缩放3倍。眼神变得更锐利了一些,但是头发还是模糊的,因为原图就很模糊。最后,我们再测试一下StableSR的放大,先将大模型和VAE分别调整为我们刚才下载安装的“Stable Diffusion V2.1 512 EMA ”和“VQGAN vae”。打开脚本下拉,选择“StableSR”,模型选择和大模型对应的这个,放大倍数为3,下面勾选“pure noise”。
[title]【SD】最强控制插件ControlNet(4)细节狂魔tile作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-05-19 20:01原文网址:https://mp.weixin.qq.com/s/HtSbc1l5BpOgl_dIoH0T7w随着ControlNet1.1的更新,tile模型横空出世,其强大的功能让之前的一些模型变得有点黯然失色。今天我们就来盘点一下,这个神奇的Tile模型都有哪些用法。高清修复小图在我们做设计的时候,经常会遇到一些分辨率不高的素材图片,我们需要将它进行高清化处理。比如这张食物的图片,先把它拖进“WD 1.4标签器”,可以进行反推关键词,然后发送到图生图。我们可以通过翻译软件检查一下提示词有没有问题,这边通过反推得到的提示词是——“没有人,食物,食物焦点,现实,水果,静物,草莓,模糊,蛋糕,糕点,景深,甜点,模糊背景,奶油”。基本上与原图相符,可以先不调整。接下来,我们使用大模型“dreamshaper”。调整参数尺寸,放大为2K,提示词引导系数(CFG Scale)官方推荐在15以上,重绘幅度在0.5以上。打开ControlNet,导入图片。tile的预处理器是用来降低原图的分辨率的,为的是给新图有足够的空间来添加像素和细节。如果你的图片本身像素就很低,可以不使用预处理器,直接使用tile模型。可以看到放大后的图片,清晰度和细节都有了很好的提升。对比一下使用tile模型处理前后的区别。修复和增加细节我们先随便绘制一张小屋的图,可以看出,这张图中的细节不足,而且有些地方的结构也是错误的。
整个图像修复放大的流程分为三部分:输入原始图像、修复图像、放大并重绘图像。下面将详细拆解每一部分的生成原理。[heading3]一、图像输入[content]第一部分添加Load Image节点加载图像,只需上传需要处理的图片即可。不建议上传大分辨率的图片,图片分辨率越大,处理的时间就越长。[heading3]二、图像高清修复[content]第二部分进行高清修复,把原本模糊的图片修复,并进行2倍放大。Checkpoint大模型使用Iceclear/StableSR,这是一种新颖的方法来利用封装在预先训练的文本到图像扩散模型中的先验知识来实现盲超分辨率(SR)。具体来说,就是通过时间感知编码器,在不改变预先训练的合成模型的情况下实现有希望的恢复结果,从而保留生成先验并最小化训练成本。并且需要搭配Stable SR Upscaler模型才能在最大程度上修复图像,推理图片每个噪点,以还原图像。提示词部分应包含我们想要达到的目的内容,在此场景中如正向:(masterpiece),(best quality),(realistic),(very clear),反向:3d,cartoon,anime,sketches,(worst quality),(low quality)(杰作),(最高品质),(逼真的),(非常清晰);3D,卡通,动漫,素描,(最差质量),(低质量)全程采取两次高清修复,这一次修复原始图像分辨率并且放大,已经很完美还原,但是分辨率并不够,继续进行下一步。[heading3]三、图像高清放大[content]这一步主要针对第一次放大修复后的图像,进行二次修复。这里用realisticVision底膜最合适,这个模型在重绘扩图放大等领域效果非常好。使用提示词反推node对图像进行画面提示词提取,搭配tile ControlNet提升画面细节感,然后需用合适的高清放大模型,对图像进行二次放大。