以下为一些常用于图生图的大模型:
我们将这幅图再次放入以图生图中,通过DeepBooru反推关键词,并使用一个新的大模型“AbyssOrangeMix2”和LORA“blindbox”进行重新生成,便将图片改成了这种2.5D的人物风格。当然,目前的图还有不少细节上的瑕疵,我们需要不断地调整参数去让绘图更接近我们想要的状态,包括后期借助PS来进行修补也是非常必要的。但是,我们也能看到图生图功能又拥有的巨大潜力,AI绘图的可操作性方面拥有了更多的想象空间。-END-白马与少年Stable Diffusion、Blender等学习心得分享139篇原创内容(持续更新中)公众号微信扫一扫关注该公众号
作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-06-17 20:14原文网址:https://mp.weixin.qq.com/s/PXvOwYOKuNDUt6j3Xc_otA今天来玩玩“图生图”里面的“涂鸦”功能,任何绘画新人都可以轻松上手。先在ps里面画一张灵魂草图,尺寸不要太大,确定好自己的主题、元素的位置,画面的大致颜色就可以了。发送到“图生图”中的“涂鸦”界面,参数基本不用动,改一下尺寸就好了。大模型我选择了“majicmixRealistic”,这是一款追求真实性的模型。关键词主要描述画面里的内容就可以,比如“草原、山、蓝天、河流、白云”,再加一些标准提示词“高质量、极致的细节”等。点击批量生成,选择一张比较好的,再次发送到“图生图”。使用tile模型进行细化和放大,新版本的controlnet可以不用放图了,它能直接调用“图生图”里的图。生成!来一张对比图看看,神笔马良的感觉有没有。再来一张!参数不变,只改提示词“日出、海面、船”。生成,放入图生图,细化,放大。对比图。最后再画一张,超有意思,感觉停不下来。提示词“蓝天、麦田、稻草人”。生成、细化、放大。当当,对比图~好了,就画到这里吧,涂鸦功能,你学会了吗?大家可以自己尝试一下,不同的模型也会有不同的风格哦。-END-白马与少年Stable Diffusion、Blender等学习心得分享
我们用这张图作为例子来讲解一下,首先将它导入到图生图界面。根据情况选择大模型,一般卡通类的选择“revAnimated”,真实类的选择“Realistic Vision”,但是也不一定,如果效果不好,可以尝试一下其他的模型。图生图中比较重要的参数,一个是“缩放模式”,选择“缩放后填充空白”;然后是尺寸,如果是横向扩充就增加宽度,如果是纵向扩充就增加高度;单批数量可以根据需求填写,增加抽卡概率;最后尽量将“重绘幅度”加大到“0.8”以上,让AI充分发挥想象。接下来是controlnet的设置,升级到最新的controlnet版本,将图片导入进来。启用插件,“控制类型”选择“局部重绘”,也就是我们之前讲到过的inpaint预处理器,然后在预处理器的下拉菜单中选择“inpaint_only+lama”,这是一个新增的预处理器,专门用于扩图。另外,控制模式选择“更倾向Controlnet”,缩放模式选择“缩放后填充空白”。为了让出图更加统一,甚至还可以再增加一个reference_only的通道,来进一步巩固扩图的风格。设置好之后,点击生成,等待结果,选择一张满意的即可。我们再试验一张图,将这张图放进图生图中。有时为了更好地控制出图,我们还可以通过反推提示词的方式,增加一些文本进行控制。这样生成的图也会受到提示词的影响,可以看出图形部分的衔接还是很自然的,但是不是每一次效果都能非常好,新生成的部分和原图可能会存在色差,需要通过调整各项参数来修正。从网上找一张建筑图,使用真实系模型来扩展一下,其他参数不变,仅需要调整尺寸,并将图片分别放入“图生图”和“controlnet”中。点击生成图片就扩展好了,只要记住这个工作流,扩图还是很快的,只要替换图片改尺寸就可以了。