以下为您介绍两种转换图片风格的方法:
方法一:使用 SDXL Prompt Styler 插件
SDXL Prompt Styler 是一个集成近百种风格的 ComfyUI 插件。其核心节点是 SDXL Prompt Styler 插件+ControlNet,以达到风格转化的结果。插件的 style 中有近百种风格预设可供选择,例如 sai-3dmodel(3D 模型)、sai-analog film(胶片电影)、sai-lowpoly(低面)、game-zelda(塞尔达)、game-mario(马里奥)、artstyle-impressionist(印象派)等。
插件的原理是在 prompt 中加入各风格预设好的关键词组合。通过在 SDXL Prompt Styler 节点后增加一个 Show Text 的节点,运行后可看到具体工作方式。
对于不同对象进行风格转绘时,需要合理平衡 controlnet 的组合和参数。例如转绘成折纸风时,最好不要加入线稿边缘(canny)的 controlnet 控制,或者需把 canny 的控制强度(strength)调到较小。若想转成漫画风格并较好保留人物外轮廓,则加入 canny 控制。
有时直接用插件内置预设的提示词组合不一定能达到想要的效果,此时需要在 prompt 中添加更多相关风格的关键词。
此外,该工作流结合 Vid2Vid Style Transfer with IPA & Hotshot XL 工作流,可较好实现视频不同风格的稳定转绘。
方法二:大模型和 lora 的组合运用
使用大模型“Flat-2D Animerge”和两个 lora,即“Chinese painting style”和“Crayon drawing”的组合,可以生成简笔水彩风格的插画。
首先将图片丢到标签器中反推出关键词,然后发送到“文生图”。在正向提示词的末尾添加这两个 lora,“Chinese painting style”权重设置为 0.4,“Crayon drawing”权重设置为 0.8。尺寸按照参考图设置好,重绘幅度开 0.5 可让 AI 更自由发挥,若想和原图更接近,可降低数值。将图放入 controlnet 中,选择 tile 模型,权重为 0.5,控制模式选择“更注重提示词”。这里的权重主要影响画面复杂度,数值越高,细节越多,数值太低会和图像差得较远。点击生成即可完成简笔水彩风格的插画。
[title]工作流分享01 | SDXL Prompt Styler,可以把图片转化成近百种风格的插件SDXL Prompt Styler工作流SDXL Prompt Styler是一个集成近百种风格的ComfyUI插件。(文末附工作流下载链接)一、工作流介绍先来看看效果。给它喂一只驴。把驴变成各种风格。剪纸风线条风粘土风我的世界风格GTA风格漫画风这条工作流的核心节点是SDXL Prompt Styler插件+ControlNet,以达到风格转化的结果。SDXL Prompt Styler的style中有近百种风格预设可供选择。我自己试过的其中比较好玩的风格,列举一些:sai-3dmodel(3d模型)、sai-analog film(胶片电影)、sai-lowpoly(低面)game-zelda(塞尔达)、game-mario(马里奥):比较适合人物artstyle-impressionist(印象派):比较适合风景二、插件原理这个插件的原理是在prompt中加入了各风格预设好的关键词组合。我们在SDXL Prompt Styler节点后增加一个Show Text的节点,运行一下,就可以看到这个插件具体是如何工作的。如上图所示,比如选择折纸风(origami)。运行后,发现提示词中增加了很多关于折纸风格的关键词。三、Tips对于不同的对象,进行风格转绘,需要合理的平衡controlnet的组合和参数。比如给这个工作流一个初始的手绘风格小恶魔头像。
[title]工作流分享01 | SDXL Prompt Styler,可以把图片转化成近百种风格的插件想要转绘成折纸风,最好不要加入线稿边缘(canny)的controlnet控制,或者需要把canny的控制强度(strength)调到比较小。因为这张原始的图像是手绘风格,手绘线条和折纸风格,两种风格本身是互斥的。下面分别是包含canny控制和跳过canny控制的风格转化效果。可以看出canny(线稿边缘)的控制因素太强,结果就会和折纸风偏差较大。当然,如果你想把它转成漫画的风格,想比较好的保留人物的外轮廓。加入canny的控制,才能更好的还原人物原本的造型。另外,有时候直接用SDXL Prompt Styler插件内置预设的提示词组合不一定能达到想要的效果。例如开局的驴,直接style选择转成artstyle-impressionist(印象派)的风格,结果如下,还是非常写实:我们看一下插件内置对印象派风格预设的关键词,画红线的这些关键词,看起来还不太够表达印象派的风格。这个时候,需要在prompt中再加一些印象派风格的关键词比如impressionism,monet,oil painting,得到的结果就会更接近印象派的风格了。四、工作流拓展最后,这条工作流结合Vid2Vid Style Transfer with IPA & Hotshot XL工作流,可以比较好的实现视频不同风格的稳定转绘。效果如下:关闭观看更多更多退出全屏切换到横屏模式
[title]【SD】简笔水彩风格插画作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-06-20 20:04原文网址:https://mp.weixin.qq.com/s/TPSturdv9fdGRLAxEG2rKg今天给大家推荐一个大模型和lora的组合运用,可以生成一些类似简笔水彩风格的插画。首先是这个大模型“Flat-2D Animerge”,适合生成一些卡通动漫的图片。官方建议CFG值在5或6比较好。(如果使用动态阈值修复的话,可以拉到11)还有两个lora,一个是“Chinese painting style”,这个可以增加一些中国画水彩风格的效果。还有一个lora是“Crayon drawing”,它可以给画面添加一些简单的线条和小孩子的笔触。接下来,我们使用这三者的组合,将下面这张图片转换为简笔水彩风格吧。将图片丢到标签器中,反推出关键词,然后发送到“文生图”。在正向提示词的末尾,添加上这两个lora,“Chinese painting style”权重设置为0.4,“Crayon drawing”权重设置为0.8。尺寸按照参考图设置好,重绘幅度开0.5可以让AI更自由发挥一点,如果想和原图更接近,可以降低数值。将图放入controlnet中,选择tile模型,权重为0.5,控制模式选择“更注重提示词”。这里的权重主要会影响画面的复杂度,数值越高,细节越多,数值太低的话,会和图像差得比较远。点击生成,这样一幅简笔水彩风格的插画就完成了,是不是很治愈呢?