以下是关于图片无损高清放大的相关内容:
图像修复放大的流程分为三部分:
【SD】超清无损放大器 StableSR:
测试:用一张网上找的分辨率为 512x768 的神仙姐姐照片,“Ultimate SD upscale”脚本放大哪怕重绘幅度只开到 0.1,人物细节有变化但磨皮严重,重绘幅度开到 0.4 则变化很大;“后期处理”放大 3 倍,眼神变锐利但头发仍模糊;StableSR 放大时,先调整大模型和 VAE,打开脚本下拉选择“StableSR”,模型选择对应模型,放大倍数为 3,勾选“pure noise”。
整个图像修复放大的流程分为三部分:输入原始图像、修复图像、放大并重绘图像。下面将详细拆解每一部分的生成原理。[heading3]一、图像输入[content]第一部分添加Load Image节点加载图像,只需上传需要处理的图片即可。不建议上传大分辨率的图片,图片分辨率越大,处理的时间就越长。[heading3]二、图像高清修复[content]第二部分进行高清修复,把原本模糊的图片修复,并进行2倍放大。Checkpoint大模型使用Iceclear/StableSR,这是一种新颖的方法来利用封装在预先训练的文本到图像扩散模型中的先验知识来实现盲超分辨率(SR)。具体来说,就是通过时间感知编码器,在不改变预先训练的合成模型的情况下实现有希望的恢复结果,从而保留生成先验并最小化训练成本。并且需要搭配Stable SR Upscaler模型才能在最大程度上修复图像,推理图片每个噪点,以还原图像。提示词部分应包含我们想要达到的目的内容,在此场景中如正向:(masterpiece),(best quality),(realistic),(very clear),反向:3d,cartoon,anime,sketches,(worst quality),(low quality)(杰作),(最高品质),(逼真的),(非常清晰);3D,卡通,动漫,素描,(最差质量),(低质量)全程采取两次高清修复,这一次修复原始图像分辨率并且放大,已经很完美还原,但是分辨率并不够,继续进行下一步。[heading3]三、图像高清放大[content]这一步主要针对第一次放大修复后的图像,进行二次修复。这里用realisticVision底膜最合适,这个模型在重绘扩图放大等领域效果非常好。使用提示词反推node对图像进行画面提示词提取,搭配tile ControlNet提升画面细节感,然后需用合适的高清放大模型,对图像进行二次放大。
作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-06-10 20:01原文网址:https://mp.weixin.qq.com/s/J0HIF2U1siAen6FW-NA67A之前,我们讲到过一期如何在Stable Diffusion中绘制高清大图——[【Stable Diffusion】如何画出商用级别的高清大图](http://mp.weixin.qq.com/s?__biz=MzA3ODY0OTc1NQ==&mid=2247486230&idx=1&sn=dde16ebbd5078661c21835c94db554dc&chksm=9fbecbe2a8c942f48cfe40eaea15ff963db9b4fe1c9a8aed330ee718bcf6720e491fc9237a7e&scene=21#wechat_redirect)。主要用到了“脚本”和“后期处理”这两种类型的方式,其中脚本以“Ultimate SD upscale”为主,这种方式主要是通过大模型重绘来实现高清化的,所以生成的图像会改变原图的一些细节;“后期处理”的方式是Stable Diffusion自带的扩图功能,适用于所有图片包括野图,它的特点就是可以完全按照原图的内容进行扩图,当然缺点是原图不清晰的地方也没有办法还原。今天要讲的放大器可以算作是“后期处理”的上位替代品,它是可以在尽可能保留原图的情况下,更精致的还原原图,这个脚本就是——StableSR。安装方式就是在扩展面板中搜索StableSR,可以直接安装。或者是将下载好的插件,放在这个路径文件夹下“……\sd-webui-aki-v4\extensions”。安装完成后,重启webUI,就可以在这个脚本里面找到这个放大器了。
这个修复必须要使用StabilityAI官方的Stable Diffusion V2.1 512 EMA模型,放入stable-diffusion-webui/models/Stable-Diffusion/文件夹中。然后是StableSR模块(约400M大小)放入stable-diffusion-webui/extensions/sd-webui-stablesr/models/文件夹中。还有一个VQVAE(约750MB大小)放在你的stable-diffusion-webui/models/VAE中。这三个文件我会放在百度云盘的链接中。安装好之后,我们用一张从网上找的神仙姐姐的照片来做一个测试,这张图片的分辨率为512x768。放大之后看是比较模糊的,脸上有很多噪点,头发丝也糊在一起了。我们先使用“Ultimate SD upscale”脚本放大看一下,哪怕是重绘幅度只开到0.1,也可以看到人物细节的变化,比如嘴角、眼睛等部位,而且整个人磨皮很严重,失去了真实感。重绘幅度开到0.4之后,基本上就变了一个人了。所以,想要还原一些老照片,追求最大保真度的话,用重绘的方法是不太好的。接下来,我们再试验一下“后期处理”的放大方法,缩放3倍。眼神变得更锐利了一些,但是头发还是模糊的,因为原图就很模糊。最后,我们再测试一下StableSR的放大,先将大模型和VAE分别调整为我们刚才下载安装的“Stable Diffusion V2.1 512 EMA ”和“VQGAN vae”。打开脚本下拉,选择“StableSR”,模型选择和大模型对应的这个,放大倍数为3,下面勾选“pure noise”。