以下是关于 flux lora 调参数以获得一致性、还原性和泛化性较好的人物模型的指导:
打标环节:
参数调整环节:
炼丹环节:
此外,在 Lora 串联方面,多个 Lora 串联时左右顺序不影响结果,可复制并点对点连接。CLIP 层 -1 和 -2 的效果不同,加 Lora 时某些 Lora 可能更适合 -2。Lora 可用于生成底模无法画出的内容。在运行中点击取消可打断正在渲染跑的图。图像放大可通过 up scale image using model 节点,选择放大模型,用 resize 节点调整尺寸,再用编码器和采样器处理。放大模型直接放大的图像效果不佳,需再次采样增加细节。添加飞桨缺失节点可通过拖入工作流查看标红节点,从管理器安装或从 GitHub 获取节点包放入文件管理系统。采样器和调度器参数设置建议参考模型作者推荐,并结合自己调试。Web UI 中 Lora 库有刷新按钮,将 Lora 丢到文件夹后多点几次刷新即可。
选一个基础大模型,我使用的是“麦橘写实”,然后填一个lora的名字。准备好之后,将照片导入到丹炉,选择适合的分辨率,可以勾选“脸部加强训练”,然后点击“预处理”。其实这里有一个自动的裁剪模式,但是我试过觉得自动的不太靠谱,所以还是手动裁吧。预处理之后,就会出现一个脸部的文件夹,和一个整体的文件夹,并且每一张照片都已经自动打好了tag标签。我们可以给整体添加统一的标签,也可以单独给每一张修改标签。这个标签的作用主要是帮助AI去理解我们的图片,告诉它画面里面有什么。这里要注意的是,如果你想让这个特征成为人物的固定的效果,你就不要填写这个关键词。比如我不描写他的发型,只描写他的头发颜色,那么后期出图的时候,他的发型就不能被改变,但是头发颜色却可以被改变。这个过程挺漫长的,每一张图片都要仔细检查,打标的好坏会影响到后面人物lora是否有比较好的泛化性。所以如果你想让你的人物能多一些变化,就尽量描述的详细一些吧。[heading1]#03[heading1]参数调整[content]前面两个环节比较重要,这个参数调节其实就可以佛系一点了。大部分参数是固定的,主要的几个按照我之前讲解过的人物参数配置一遍就可以了,后期再根据生成的结果来调整。设置好之后就可以开始训练了。[heading1]#04[heading1]炼丹[content]18张脸部图片,20张整体图片,各训练50步,循环训练10次,并行步数为1,所以训练总步数为19000,训练时长为45分钟,loss值为0.0769。从数值上来看是个不错的丹,但具体好坏还是要我们自己通过测试来判断,毕竟像不像只有我们自己知道。[heading1]#05
模型:majicmixRealistic_v7生成的尺寸和你的草稿图保持一致(cn垫图512x768,高清修复2倍,重绘幅度0.35)关键词和ControlNet参数每张不一样都进行了调整。以第一张为例正关键词:(masterpiece,highres,high quality,high resolution),(ice:1.1),snow,cold,bare branches hung with red berries covered in snow,the vista is the snowy mountains,cool,no humans,outdoors,simple_background,photography,authentic photos,blurry,<lora:ice cake_20231126200433:0.2>,<lora:Ice and Snow World_20231223195220:0.5>,ice steps,负面关键词(NSFW:1.1),(worst quality:2),(low quality:2),(normal quality:2),watermark,easynegative,ng_deepnegative_v1_75t,fuzzy,gaussian blur,中文关键词:(杰作、高分辨率、高品质、高分辨率)、冰:1.1,雪,寒冷,光秃秃的树枝上挂满了雪覆盖的红色浆果,远景是雪山,凉爽,没有人类,户外,简单的背景,摄影,真实照片,模糊,ControlNet设置:预处理器:invert(from white bg&black line)模型:control_v11f1p_sd15_depth[cfd03158]权重:0.85黑白字体设计(字体设计来源于:ཉི叶承欢Lorahttps://www.liblib.art/modelinfo/258a9520d8764157b3cbe0e1e3cbf30chttps://www.liblib.art/modelinfo/8d683e30f82e4fb386648661b0a05b97
[heading2]总结关于Lora串联和图像放大模型的讨论Lora串联:多个Lora串联时左右顺序不影响结果,可复制并点对点连接。CLIP层调整:CLIP层-1和-2的效果不同,加Lora时某些Lora可能更适合-2。Lora作用:Lora可用于生成底模无法画出的内容,是一种经济实用的模型微调方式。打断渲染跑图:在运行中点击取消可打断正在渲染跑的图。图像放大模型:通过up scale image using model节点放大图像,可选择放大模型,用resize节点调整尺寸,再用编码器和采样器处理。采样原因:放大模型直接放大的图像效果不佳,需再次采样增加细节。关于飞桨使用中节点添加及相关问题的讨论添加飞桨缺失节点的方法:可以将工作流拖入查看标红节点,通过管理器安装缺失节点,也可从GitHub获取节点包放入文件管理系统。图像放大方式的效果差异:通过专门训练的放大模型放大图像效果更好,直接像素放大效果不佳。采样器和调度器参数设置:建议参考模型作者推荐的参数,并结合自己的调试来寻找最佳参数,推荐了o2a、DMP佳佳2M采样器和normal、cars调度器。Web UI模型管理的备注问题:目前未找到较好的给模型加备注的节点,靠改模型文件夹名字备注。人物一致性控制:控制人物在多场景、多个姿势下的一致性有很多方法,课程后期会介绍。多张图输出的显示问题:一次产出多张图在预览窗口目前不能并排显示。Lora的刷新:将Lora丢到文件夹后,多点几次刷新即可,Web UI中Lora库有刷新按钮。进阶学习途径:提到一些全球交流频道,如Confii生态大会相关频道。