以下是关于修复旧照片的相关内容:
使用 StableSR 修复旧照片:
测试结果:
ComfyUI 老照片修复 Flux Controlnet Upscale:
用 AI 给老照片上色: 在新上线的 controlnet 模型中,新增 Recolor 模型可给黑白图片重新上色。可选择 realisian 的写实大模型,提示词直接描述颜色和对应内容,ControlNet 选择 Recolor,预处理器选择“recolor_luminance”效果更好。
这个修复必须要使用StabilityAI官方的Stable Diffusion V2.1 512 EMA模型,放入stable-diffusion-webui/models/Stable-Diffusion/文件夹中。然后是StableSR模块(约400M大小)放入stable-diffusion-webui/extensions/sd-webui-stablesr/models/文件夹中。还有一个VQVAE(约750MB大小)放在你的stable-diffusion-webui/models/VAE中。这三个文件我会放在百度云盘的链接中。安装好之后,我们用一张从网上找的神仙姐姐的照片来做一个测试,这张图片的分辨率为512x768。放大之后看是比较模糊的,脸上有很多噪点,头发丝也糊在一起了。我们先使用“Ultimate SD upscale”脚本放大看一下,哪怕是重绘幅度只开到0.1,也可以看到人物细节的变化,比如嘴角、眼睛等部位,而且整个人磨皮很严重,失去了真实感。重绘幅度开到0.4之后,基本上就变了一个人了。所以,想要还原一些老照片,追求最大保真度的话,用重绘的方法是不太好的。接下来,我们再试验一下“后期处理”的放大方法,缩放3倍。眼神变得更锐利了一些,但是头发还是模糊的,因为原图就很模糊。最后,我们再测试一下StableSR的放大,先将大模型和VAE分别调整为我们刚才下载安装的“Stable Diffusion V2.1 512 EMA”和“VQGAN vae”。
以前做了一个高清放大的工作流,被很多小伙伴用在淘宝上做老照片修复。之前的工作流比较复杂,现在,这个模型出来,结合这个工作流,只要十几个基础的节点就能实现同样的效果,甚至可能更好。[heading3]参数的调节[content]一般做法是先确认放大的倍数,然后根据出来的图片来调整controlNet的强度。[heading3]Controlnet-Upscaler放大模型[content]模型介绍:Flux.1-dev ControlNet是Jasper研究团队为低分辨率图像开发的模型。使用方法:可直接与diffusers库一起使用,通过特定代码加载管道,加载控制图像并进行图像处理。训练方式:采用合成复杂数据退化方案,结合图像噪声、模糊和JPEG压缩等多种方式对真实图像进行人工退化。目的:这种训练方法的目的是让模型学会处理各种真实世界中可能遇到的图像退化情况,从而在实际应用中表现更好。引用文献:训练方式类似Wang,Xintao等人在2021年发表的“Real-esrgan:Training real-world blind super-resolution with pure synthetic data.”中的方法。许可证:该模型属于Flux.1-dev模型许可证范畴[heading3]Flux Ultimator细节增强[content]细节:能增加小细节,让图像尽可能逼真。鲜艳色彩增强:可放大色调的丰富性和深度。使用:在0.1的强度设置下也能有显著增强效果。集成:能顺利集成到工作流程中,与其他LORA结合使用效果好,结合时需将强度降低小于0.5。[heading3]T5 Clip[content]如果你发现出来的图片质量细节不够,选择fp16的版本。[heading3]图像的传递[content]controlNet这里传递的应该是上传的原始图片,因为这个是controlNet而不是潜空间图像。
作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-09-10 19:00原文网址:https://mp.weixin.qq.com/s/-hlnSTpGMozJ_hfQuABgLw在最近新上线的controlnet模型中,除了我们之前测试过的一众适配sdxl的模型以外,还增加了一款名为Recolor的新模型,它的作用是可以将黑白的图片进行重新上色。看到这个功能,我首先想到的就是可以用它来修复那些已经年代久远的老照片。毕竟在以前那个年代,没有现在这种可以永远保存的数码拍照技术,很多洗出来的照片也都随着岁月的流逝而褪去了色彩。如果能用AI技术恢复这些往日的时光,也许能唤醒我们心底的一些温暖。于是,我联系爸妈帮我找来了一些他们珍存的照片。他们也很热心于这件事情,立马给我发来了一大堆照片,其中有很多我也没见过的他们年轻的时候的样子,还包括我爷爷奶奶外公外婆那一辈的回忆。虽然很多照片都是黑白的,但是仍然能感受到那个时候的阳光和清风。这是我的奶奶,她离开已经有十几年了,年轻时候留下的照片不多,这一张算是保存得很好的了,那个年代的人物照片总能让人感受到一种独特的气质。既然是人物照片的还原,我这里就选择了realisian的写实大模型。提示词直接描述颜色和对应的内容。比如黑色的头发、黄色的皮肤、深蓝色的衣服、浅蓝色的背景。因为黑白照片,颜色无从判断,所以有些只能靠猜测了。ControlNet这里选择Recolor,预处理器有两个,经过我的测试,选择“recolor_luminance”的效果会更好一些。