以下是关于图像转线稿的相关内容:
在图像转线稿方面,有以下几种方法和流程:
基于真实线稿的背景风格重绘:
星流一站式 AI 设计工具中的相关功能:
基于 ipadapter 最新工作流“ipadapter_advanced.json”的方法:
相关资源:作者为 b 站 up 坏心眼猫特效,工作流和模型可参考:https://pan.quark.cn/s/2d0c9a5a9d34
由于该部分的生成效果一般,便不予以展开讲述,下面会介绍一些流程:将图像用蓝色的线连接到cn应用如图所示,由于是线稿模型,对于的cn模型可以采用深度学习的模型(个人感觉效果更佳),也可以采用“adapter-xl-lineart-fp16.safetensors”线稿模型。对应的生成图片即可。
1.使用图像控制功能,如空间关系、线稿、人物长相、姿势等,来精准控制生成图像的内容和风格。2.入门模式只能使用以下四种参考功能1.全部图片参考功能|原图|景深|线稿轮廓|姿势|Lineart线稿|Scribble线稿|光影|Segmant构图分割||-|-|-|-|-|-|-|-|||将参考图像转化为深度图,控制人物与背景的纵深关系|将参考图像转化为线稿,控制后续图像生成的轮廓|根据参考的图像生成骨骼图,控制后续图像的姿势。|与线稿轮廓相比更加专业,多可用于漫画领域|将输入图像转换为涂鸦或草图风格,以涂鸦/草图为引导生成新的图像。|根据参考图像光影信息,生成类似的光影效果的图像|对图像进行语义分割,将图像中的不同物体或区域进行分类标记,有助于有针对性地对特定区域进行编辑或生成|||||||||||原图|SoftEdge线稿|配色参考|配色打乱|法线贴图|MLSD线稿||-|-|-|-|-|-|||与线稿轮廓相比,产生较为柔和的边缘效果,使图像的过渡更加自然。|实现图像的颜色迁移,将参考图像的颜色风格应用到新生成的图像上|打乱图像的色彩方案,对图像进行重新上色|表现物体表面的细节和光照效果,可增强图像的真实感|检测图像中的直线,可用于强调图像中的线性结构或进行基于直线的图像编辑||||||||
我将基于ipadapter(简称“ipa”)最新工作流“ipadapter_advanced.json”工作流给大家进行展示。工作流中controlnet模型(简称“cn”)用来控制ipa生成的图片。作者:b站up坏心眼猫特效,工作流和模型:[https://pan.quark.cn/s/2d0c9a5a9d34](https://pan.quark.cn/s/2d0c9a5a9d34)预处理器网络模型的总览如下图:ipa+cn的总实现框架如下图:[heading2]1.1基于深度学习的重绘[content]1.1.1将一张黑白素材图片和一张彩色风格图片进行风格迁移完成转绘。黑色图片如上,彩色片如下。最终生成的图片如下图,可以很清楚的看到,原来的黑白素材图片得到了风格上赋能。也可以生成的四张图片如下图:补充:可以生成四张(选择下图右边进行与K采样器的latent连接),也可以生成一张(选择左边)[heading3]1.1.2步骤及解析[content](1)首先先创建节点加载图片:(2)其次读取一张所需风格的图片作为参考图。(3)将图像用蓝色的线连接到cn应用如图所示,即通过cn的深度学习模型(SDxl版本,因为checkpoint大模型用的是SDxl版本)。因为采用的是Zoe深度预处理器。(4)对要生成的图片进行填写提示词。正向提示词:illustration of clouds and meadows and mountains and trees,calm,executable,high quality(5)生成(添加到提示词队列)