炼丹是指在 Lora 模型训练中的一系列过程,主要包括以下步骤:
接下来就可以看到训练过程了,每训练50步,右下角就会生成一张图,方便查看目前的效果。这个图会随着训练的进行越来越像,静下心慢慢等待吧。训练完毕之后,这里会有一个loss值,这代表着一个深度学习的效果,数值在0.07-0.09之间是最优的,如果数值太大说明学习效果不好。我们这个丹是0.0734,所以目前来看还是不错的。然后我们点击这个模型文件夹,就可以看到我们的炼丹成果了。一共有10枚丹,我们改一下名字,将第一枚丹的后缀改为“……000010”。至此,我们的训练过程就全部结束。[heading1]#跑图测试[content]炼丹完成并不意味着结束,这些丹到底成不成功呢?我们还需要将这些丹放入SD当中,进行跑图测试。不然的话,万一……
选一个基础大模型,我使用的是“麦橘写实”,然后填一个lora的名字。准备好之后,将照片导入到丹炉,选择适合的分辨率,可以勾选“脸部加强训练”,然后点击“预处理”。其实这里有一个自动的裁剪模式,但是我试过觉得自动的不太靠谱,所以还是手动裁吧。预处理之后,就会出现一个脸部的文件夹,和一个整体的文件夹,并且每一张照片都已经自动打好了tag标签。我们可以给整体添加统一的标签,也可以单独给每一张修改标签。这个标签的作用主要是帮助AI去理解我们的图片,告诉它画面里面有什么。这里要注意的是,如果你想让这个特征成为人物的固定的效果,你就不要填写这个关键词。比如我不描写他的发型,只描写他的头发颜色,那么后期出图的时候,他的发型就不能被改变,但是头发颜色却可以被改变。这个过程挺漫长的,每一张图片都要仔细检查,打标的好坏会影响到后面人物lora是否有比较好的泛化性。所以如果你想让你的人物能多一些变化,就尽量描述的详细一些吧。[heading1]#03[heading1]参数调整[content]前面两个环节比较重要,这个参数调节其实就可以佛系一点了。大部分参数是固定的,主要的几个按照我之前讲解过的人物参数配置一遍就可以了,后期再根据生成的结果来调整。设置好之后就可以开始训练了。[heading1]#04[heading1]炼丹[content]18张脸部图片,20张整体图片,各训练50步,循环训练10次,并行步数为1,所以训练总步数为19000,训练时长为45分钟,loss值为0.0769。从数值上来看是个不错的丹,但具体好坏还是要我们自己通过测试来判断,毕竟像不像只有我们自己知道。[heading1]#05
我们进入SD的lora文件夹中——E:\sd-webui-aki-v4.2\models\Lora,新建一个文件夹,命一个名字“tifa”。将这十枚丹全部放入其中,然后启动SD。打开lora选项卡,刷新一下,就可以看到这十个lora了。我们将一张tifa的图片放入WD 1.4标签器中,反推关键词,然后发送到文生图。在正向提示词的结尾加上第一个lora。更改一下代表单词,将编号“00001”改为“NUM”,将权重“1”改为“STRENGTH”。使用XYZ脚本,提示词替换,x轴设置为“NUM,000001,000002,000003,000004,000005,000006,000007,000008,000009,000010”;y轴设置为“STRENGTH,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1”。这样就可以测试出不同的lora,在不同的权重之下的效果。点击生成,经过一段时间的渲染,我们就得到了一张lora的测试图。接下来,我们就要在茫茫多的tifa当中,用肉眼来寻找里面觉得最像的一张,这个过程是艰辛的,大家要坚持住,我们就快成功了。经过对比,我觉得编号00003在权重为1时是最像的,那就决定是你了!接下来,我们就换一换提示词,使用选定的这个3号lora在不同提示词下生成一些图片,看看效果如何。效果看起来还是不错的,这样我们的第一枚丹就算是炼好了,虽然不能说是一模一样,但还是有几分神似的,毕竟我们的训练图只有5张。分享到这里告一段落,对丹炉感兴趣的朋友,可以添加我的公众号【白马与少年】,回复【炼丹】即可。-END-