在 Stable Diffusion(SD)中,通过图反向退出提示词有以下几种情况:
作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-05-02 20:00原文网址:https://mp.weixin.qq.com/s/l-O9vT9-_xzy0uvxnkjV-w相比于文生图,图生图功能除了文本提词框以外还多了一个图片框的输入口,因此,我们还可以通过图片来给与AI创作的灵感。我们随便照一张照片,直接拖入进来。然后可以看到,在文本输入框的旁边有两个反推提示词的按钮:CLIP是可以通过图片反推出完整含义的句子;DeepBooru是可以反推出关键词组。上面的那一张图,我们通过两种反推方式得到的提示词分别为:CLIP——a young boy sitting on a bench with a toy train and a lego train set on the floor next to him,Adam Rex,detailed product photo,a stock photo,lyco art。(一个小男孩坐在长凳上,旁边的地板上放着一辆玩具火车和一辆乐高火车,亚当·雷克斯,详细的产品照片,一张库存照片,莱科艺术,)DeepBooru——shoes,solo,hat,orange_background,yellow_background,smile,socks,black_hair,sitting,sneakers。(鞋子,独奏,帽子,橙色背景,黄色背景,微笑,袜子,黑发,坐着,运动鞋)可以看到两种方式生成的提示词都有些瑕疵,比如第一组里面没有描述小孩的穿着,第二组里面没有描述小孩的性别和周围的物品,所以我们需要手动来补充提示词的信息。写好提示词之后,我们再调整一下宽度和高度,让这个红框刚好匹配我们的图片即可。接下来,最重要的是这两个参数:提示词相关性和重绘幅度。
有时候,我们需要去掉画面中的主体形象,填补上相对复杂的背景,这个需求可以使用inpaint重绘功能来实现。我们首先将这张图放入WD 1.4标签器(Tagger)中,对图像进行裁剪,只保留背景的部分,然后进行反推提示词。这张图片的反推提示词如下:outdoors,no humans,tree,scenery,grass,sky,cloud,day,blue sky,mountain,road,house,path,building,nature,cloudy sky。检查一下,如果问题不大就可以发送到文生图中。开启ControlNet,使用inpaint模型,涂抹人物的部分,点击生成。修补完之后,人物的部分确实已经去掉了,草地、桥梁、山也填补得比较完美,但是画面风格好像有点不太一样。我尝试将控制权重提高到2,来尽可能保留原图的风格,控制模式改为更注重提示词。这样,除了颜色饱和度比较明亮以外,整体修补得还是不错的,颜色方面可以通过后期的PS去调整。我们再试试图生图中的“局部重绘”功能,同样的方法,涂抹掉人物的部分。可以看到,虽然风格保持了一致,但是填补得并不好看,在原本人物的部位,生成了一些奇怪的东西。
设置文生图提示词:大模型:majicmixRealistic_v6.safetensors正向提示词:(a character sheet of a woman from different angles with a grey background:1.4),auburn hair,eyes open,cinematic lighting,Hyperrealism,depth of field,photography,ultra highres,photorealistic,8k,hyperrealism,studio lighting,photography,负向提示词:EasyNegative,canvasframe,canvas frame,eyes shut,wink,blurry,hands,closed eyes,(easynegative),((((ugly)))),(((duplicate))),((morbid)),((mutilated)),out of frame,extra fingers,mutated hands,((poorly drawn hands)),((poorly drawn face)),((bad art)),blurry,(((mutation))),(((deformed))),blurry,((bad anatomy)),(((bad proportions))),((extra limbs)),cloned face,(((disfigured))),gross proportions,(malformed limbs),((missing arms)),((missing legs)),((floating limbs)),((disconnected limbs)),((malformed hands)),((missing fingers)),worst quality,((disappearing arms)),((disappearing legs)),(((extra arms))),(((extra legs))),(fused fingers),(too many fingers),(((long neck))),canvas frame,((worst quality)),((low quality)),lowres,sig,signature,watermark,username,bad,immature,cartoon,anime,3d,painting,b&w,设置一下参数:迭代步数:50采样方法:DPM++ 2M Karras尺寸:1328×800px出图!15个不同角度的人物图片,大概看下来基本就是同一个人,没毛病。