图片反推关键词 -WayToAGI

回答

在图片反推关键词方面：

对于图生图功能，除文本提词框外还有图片输入口，可通过图片给 AI 创作灵感。随便一张照片拖入后，文本输入框旁有两个反推提示词的按钮，CLIP 能反推出完整含义的句子，DeepBooru 能反推出关键词组。例如一张小男孩的图片，CLIP 反推的提示词为“a young boy sitting on a bench with a toy train and a lego train set on the floor next to him,Adam Rex,detailed product photo,a stock photo,lyco art”，DeepBooru 反推的提示词为“shoes,solo,hat,orange_background,yellow_background,smile,socks,black_hair,sitting,sneakers”。但两种方式生成的提示词可能有瑕疵，需要手动补充信息，调整宽度和高度，以及注意提示词相关性和重绘幅度等参数。
第二十一期港风胶片活动中，有利用上一期活动图片反推工作流，使用唯美港风图片进行反推提示词，在大模型后接一个墨悠_胶片 lo 的方法 1，上一期活动链接为第二十期图片提示词反推提示词生成；还有利用抱脸的 joy-caption 图片反推提示词，然后在哩布上跑 flux 文生图工作流的方法 2。
在【SD】最强控制插件 ControlNet（6）全局重绘 inpaint 中，有时需要去掉画面中的主体形象，填补复杂背景，可使用 inpaint 重绘功能。先将图放入 WD 1.4 标签器（Tagger）中裁剪保留背景部分，然后反推提示词，如“outdoors,no humans,tree,scenery,grass,sky,cloud,day,blue sky,mountain,road,house,path,building,nature,cloudy sky”，检查无误后发送到文生图中。开启 ControlNet，使用 inpaint 模型涂抹人物部分生成，可调整控制权重和模式。也可尝试图生图中的“局部重绘”功能，但可能效果不佳。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

作者：白马少年介绍：SD实践派，出品精细教程发布时间：2023-05-02 20:00原文网址：https://mp.weixin.qq.com/s/l-O9vT9-_xzy0uvxnkjV-w相比于文生图，图生图功能除了文本提词框以外还多了一个图片框的输入口，因此，我们还可以通过图片来给与AI创作的灵感。我们随便照一张照片，直接拖入进来。然后可以看到，在文本输入框的旁边有两个反推提示词的按钮：CLIP是可以通过图片反推出完整含义的句子；DeepBooru是可以反推出关键词组。上面的那一张图，我们通过两种反推方式得到的提示词分别为：CLIP——a young boy sitting on a bench with a toy train and a lego train set on the floor next to him,Adam Rex,detailed product photo,a stock photo,lyco art。（一个小男孩坐在长凳上，旁边的地板上放着一辆玩具火车和一辆乐高火车，亚当·雷克斯，详细的产品照片，一张库存照片，莱科艺术，）DeepBooru——shoes,solo,hat,orange_background,yellow_background,smile,socks,black_hair,sitting,sneakers。（鞋子，独奏，帽子，橙色背景，黄色背景，微笑，袜子，黑发，坐着，运动鞋）可以看到两种方式生成的提示词都有些瑕疵，比如第一组里面没有描述小孩的穿着，第二组里面没有描述小孩的性别和周围的物品，所以我们需要手动来补充提示词的信息。写好提示词之后，我们再调整一下宽度和高度，让这个红框刚好匹配我们的图片即可。接下来，最重要的是这两个参数：提示词相关性和重绘幅度。

第二十一期港风胶片

墨悠大佬的胶片lora模型搭配flux1 dev大模型文艺复兴，唯美胶片复古lora模型链接：https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page[heading2]示例图片[heading1]二、教程[heading2]方法1、利用上一期活动图片反推工作流，使用唯美港风图片进行反推提示词，在大模型后接一个墨悠_胶片lo[content]上一期活动链接：[第二十期图片提示词反推提示词生成](https://waytoagi.feishu.cn/wiki/JYMiwUJ03iYZDzkkW3tcAdFMn4f)胶片lora链接：https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page[heading2]方法2：利用抱脸的joy-caption图片反推提示词，然后在哩布上跑flux文生图工作流[content]1、joy-caption链接（需要魔法）：https://huggingface.co/spaces/fancyfeast/joy-caption-pre-alpha2、文生图工作流：[flux文生图.json](https://bytedance.feishu.cn/space/api/box/stream/download/all/XwEhbF9GBoGxJDxuDaIcqeFpnUb?allow_redirect=1)3、在哩布上跑文生图：https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page

【SD】最强控制插件ControlNet（6）全局重绘inpaint

有时候，我们需要去掉画面中的主体形象，填补上相对复杂的背景，这个需求可以使用inpaint重绘功能来实现。我们首先将这张图放入WD 1.4标签器（Tagger）中，对图像进行裁剪，只保留背景的部分，然后进行反推提示词。这张图片的反推提示词如下：outdoors,no humans,tree,scenery,grass,sky,cloud,day,blue sky,mountain,road,house,path,building,nature,cloudy sky。检查一下，如果问题不大就可以发送到文生图中。开启ControlNet，使用inpaint模型，涂抹人物的部分，点击生成。修补完之后，人物的部分确实已经去掉了，草地、桥梁、山也填补得比较完美，但是画面风格好像有点不太一样。我尝试将控制权重提高到2，来尽可能保留原图的风格，控制模式改为更注重提示词。这样，除了颜色饱和度比较明亮以外，整体修补得还是不错的，颜色方面可以通过后期的PS去调整。我们再试试图生图中的“局部重绘”功能，同样的方法，涂抹掉人物的部分。可以看到，虽然风格保持了一致，但是填补得并不好看，在原本人物的部位，生成了一些奇怪的东西。