以下是关于 AI 画图局部修改的相关内容:
在 Stable Diffusion 中,局部重绘功能具有很大的实用性和可操作性。
每次绘图生成都会重新调整整个画面,但局部重绘可以只改变涂抹的部分。例如,将人物头部涂抹掉,修改文字提示为“一个粉色头发的女孩的脸”并点击生成,就可以换掉头部。使用局部重绘(手涂蒙版)修改帽子部分,增加提示词“猫耳”再点击生成。还可以将图片再次放入以图生图中,通过 DeepBooru 反推关键词,并使用新的大模型和 LORA 进行重新生成,改变图片风格。不过,目前的图可能存在细节瑕疵,需要不断调整参数,后期借助 PS 修补。
在 Tusiart 中,文生图的操作流程包括:定主题,确定生成图片的主题、风格和表达信息;选择基础模型 Checkpoint,找内容贴近的模型,如麦橘、墨幽的系列模型;选择 lora,寻找内容重叠的 lora 控制图片效果及质量;ControlNet 用于控制图片中特定图像,如人物姿态、生成特定文字等,属于高阶技能;设置 VAE 可无脑选择 840000;Prompt 提示词用英文写需求,用单词和短语组合,无需管语法和长句。
对比 Midjourney 和 Stable Diffusion,Stable Diffusion 在根据意愿调整方面拥有更大自由度和更稳定的可控性。例如,使用“lofi”大模型绘制人物形象,加入特定提示词和负面 Embedding 来优化效果。然后将图发送到图生图,点击“局部重绘”,用画笔涂抹需要调整的部分(蒙版),在正向提示词里添加相应内容增加权重,如(closed eyes:1.2),适当增加重绘幅度点击生成,即可完成修改。
再生成时就没有图案了。绘图功能的话,每次生成都会重新调整整个画面,但是局部重绘的话可以只改变我们涂抹的部分,现在我们将人物的头部涂抹掉,文字提示改为“一个粉色头发的女孩的脸”,点击生成,就可以将头部换掉了。我们再使用局部重绘(手涂蒙版),修改一下帽子的部分,增加提示词“猫耳”,点击生成。我们将这幅图再次放入以图生图中,通过DeepBooru反推关键词,并使用一个新的大模型“AbyssOrangeMix2”和LORA“blindbox”进行重新生成,便将图片改成了这种2.5D的人物风格。当然,目前的图还有不少细节上的瑕疵,我们需要不断地调整参数去让绘图更接近我们想要的状态,包括后期借助PS来进行修补也是非常必要的。但是,我们也能看到图生图功能又拥有的巨大潜力,AI绘图的可操作性方面拥有了更多的想象空间。-END-白马与少年Stable Diffusion、Blender等学习心得分享139篇原创内容(持续更新中)公众号微信扫一扫关注该公众号
1.定主题:你需要生成一张什么主题、什么风格、表达什么信息的图。2.选择基础模型Checkpoint:按照你需要的主题,找内容贴近的checkpoint。一般我喜欢用模型大佬麦橘、墨幽的系列模型,比如说麦橘写实、麦橘男团、墨幽人造人等等,效果拔群。3.选择lora:在你想要生成的内容基础上,寻找内容重叠的lora,帮助你控制图片效果及质量。可以多看看广场上做得好看的帖子里面,他们都在用什么lora。4.ControlNet:控制图片中一些特定的图像,可以用于控制人物姿态,或者是生成特定文字、艺术化二维码等等。也是高阶技能,后面再学不迟。5.局部重绘:下篇再教,这里不急。6.设置VAE:无脑选择前面提到的840000这个即可。7.Prompt提示词:用英文写你想要AI生成的内容,不用管语法也不要写长句,仅使用单词和短语的组合去表达你的需求。单词、短语之间用英文半角逗号隔开即可。
如果说对比目前的Midjourney和Stable Diffusion,能否让AI能根据我们的意愿进行调整就是一个很大的区别。就这一点来看,Stable Diffusion拥有了更大的自由度和更稳定的可控性。今天,我们再更深入地了解一下图生图中的“局部重绘”。首先,使用大模型“lofi”绘制一个人物形象。前几期我们都是使用的卡通模型,这一次使用的这款是一个写实类模型,可以看到人物非常逼真,丝毫不亚于相机所拍的照片。在提示词中加入了关于相机的一些标准化提示词——佳能EOS R6拍摄,135mm,1/1250,f/2.8,ISO 400。然后还使用了一个负面Embedding——NG_DeepNegative_V1_75T,这个Embedding是专门用来修复写实人物的手部、姿态等细节问题的。接下来,我们把这张图发送到图生图,点击“局部重绘”。比如,我们可以试着让人物闭上眼睛。可以先用画笔将人物需要调整的部分涂上,这个区域又可以称为蒙版。接下来,在正向提示词里面添加(closed eyes:1.2),括号和数字都是增加权重用的,告诉AI我们需要一双闭上的眼睛。可以适当增加一些重绘幅度,点击生成,闭上眼睛的样子就改好了。