以下是关于照片修复的相关知识:
整个图像修复放大的流程分为三部分:输入原始图像、修复图像、放大并重绘图像。下面将详细拆解每一部分的生成原理。[heading3]一、图像输入[content]第一部分添加Load Image节点加载图像,只需上传需要处理的图片即可。不建议上传大分辨率的图片,图片分辨率越大,处理的时间就越长。[heading3]二、图像高清修复[content]第二部分进行高清修复,把原本模糊的图片修复,并进行2倍放大。Checkpoint大模型使用Iceclear/StableSR,这是一种新颖的方法来利用封装在预先训练的文本到图像扩散模型中的先验知识来实现盲超分辨率(SR)。具体来说,就是通过时间感知编码器,在不改变预先训练的合成模型的情况下实现有希望的恢复结果,从而保留生成先验并最小化训练成本。并且需要搭配Stable SR Upscaler模型才能在最大程度上修复图像,推理图片每个噪点,以还原图像。提示词部分应包含我们想要达到的目的内容,在此场景中如正向:(masterpiece),(best quality),(realistic),(very clear),反向:3d,cartoon,anime,sketches,(worst quality),(low quality)(杰作),(最高品质),(逼真的),(非常清晰);3D,卡通,动漫,素描,(最差质量),(低质量)全程采取两次高清修复,这一次修复原始图像分辨率并且放大,已经很完美还原,但是分辨率并不够,继续进行下一步。[heading3]三、图像高清放大[content]这一步主要针对第一次放大修复后的图像,进行二次修复。这里用realisticVision底膜最合适,这个模型在重绘扩图放大等领域效果非常好。使用提示词反推node对图像进行画面提示词提取,搭配tile ControlNet提升画面细节感,然后需用合适的高清放大模型,对图像进行二次放大。
启用MutiDiffusion插件,不开放大倍数,仅使用分块渲染的功能,能帮助我们在显存不够的情况下,将图片放大到足够的倍数。好了,经过一顿操作,我们就将这张图片处理完成了。对比一下看看,之前的黑白照片和经过上色高清化完成之后效果。同样的步骤,又还原了一张我妈妈的照片。在问到她当时穿的什么颜色衣服的时候,她记得可清楚了,想都没想就告诉我说是绿色的。这两张还算容易的,接下来就遇到比较棘手的照片了。比如这一张,是我外公外婆带着我妈和我舅舅。外公走得更早,我甚至都没见过一面,只有这些照片还记录着他存在的痕迹。而这张照片也有些年头了,一直被外婆好好保存着。人物多、场景复杂,像素非常的低,使得这张照片处理起来难度很大。我首先在ps里面进行了一下角度的调整和照片的裁切,然后使用刚才的步骤进行上色,但是直接上色的结果有点像是加了一层黄色滤镜,有颜色但是年代感还是太强了。而太具体的颜色指定,又容易让画面污染严重,因为内容实在太多了,光是指定衣服就得十来个颜色提示词,AI能分辨得清才怪。所以我决定放弃人物服装的颜色指定,只给一个场景方向,剩下的交给AI去自行决定。于是,我从网上找到了一张仙人洞的照片,让AI去帮我匹配色调。加入第二个controlnet来控制颜色,使用的是t2ia_color的模型。关键词只给了:蓝天、绿树、灰石砖这么简单的几个词。颜色终于正常了,最后经过脸部的修复和放大,得到了最终的效果。对比一下前后的效果,那个流逝的时光仿佛又回来了,外婆看到后也非常高兴,在微信上连连夸赞。
将照片放入到后期处理中,使用GFPGAN算法将人脸变清晰,不知道这个功能的可以参考我这篇文章——[【Stable Diffusion】图片高清化+面部修复+一键抠图,一些你不知道的事儿](http://mp.weixin.qq.com/s?__biz=MzkzMzIwMDgxMQ==&mid=2247487422&idx=1&sn=9cdf7ef37c2acb3c0fc3328d0ba8af74&chksm=c251597af526d06c921ea6728cb2a32bdf1d5f699e19d6ba13b849994e4d01af8a5144132aad&scene=21#wechat_redirect)。这个步骤,可以将我们的五官进行重绘,但是却没有办法将照片中的头发、衣服等其他元素变清晰。所以,接下来我将图片再发送到图生图当中,打开stableSR脚本,放大两倍。这个放大插件是所有插件中对原图还原最精准的,也是重绘效果最好的,不知道的朋友可以参考我的这篇文章——[【Stable Diffusion】超清无损放大器StableSR](http://mp.weixin.qq.com/s?__biz=MzkzMzIwMDgxMQ==&mid=2247487403&idx=1&sn=cbb96534fa6f58c37cf9fc64bc7ade0c&chksm=c251596ff526d0792b4bba0e21b69427b23e780824bdc75b22f1073e8bad6f61f30199fc8344&scene=21#wechat_redirect)。切换到sd2.1的模型进行修复,vae选择vqgan,提示词可以什么都不写,以免对原图产生干扰。