Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

炼丹

Answer

炼丹是指在 Lora 模型训练中的一系列过程,主要包括以下步骤:

  1. 训练过程:每训练 50 步,右下角会生成一张图查看效果,训练完毕后会有一个 loss 值,数值在 0.07 - 0.09 之间为最优。
  2. 模型查看:训练完成后点击模型文件夹查看炼丹成果,可修改丹的后缀名。
  3. 跑图测试:炼丹完成后需放入 SD 中进行跑图测试。
  4. 打标:选择基础大模型,如“麦橘写实”,填写 lora 名字,将照片导入丹炉,选择分辨率,可勾选“脸部加强训练”并点击“预处理”,手动裁剪,为脸部和整体文件夹中的照片打好 tag 标签,注意描述的详细程度会影响人物 lora 的泛化性。
  5. 参数调整:大部分参数固定,主要参数按人物参数配置,后期根据生成结果调整。
  6. 炼丹:如 18 张脸部图片、20 张整体图片,各训练 50 步,循环训练 10 次,并行步数为 1 。
  7. 测试:将丹放入 SD 的 lora 文件夹,启动 SD 后在 lora 选项卡中刷新查看,通过 XYZ 脚本测试不同 lora 在不同权重下的效果,用肉眼对比寻找最像的,再更换提示词查看效果。
Content generated by AI large model, please carefully verify (powered by aily)

References

【Lora炼丹术】从零开始,炼制你的第一个LoRA(1)

接下来就可以看到训练过程了,每训练50步,右下角就会生成一张图,方便查看目前的效果。这个图会随着训练的进行越来越像,静下心慢慢等待吧。训练完毕之后,这里会有一个loss值,这代表着一个深度学习的效果,数值在0.07-0.09之间是最优的,如果数值太大说明学习效果不好。我们这个丹是0.0734,所以目前来看还是不错的。然后我们点击这个模型文件夹,就可以看到我们的炼丹成果了。一共有10枚丹,我们改一下名字,将第一枚丹的后缀改为“……000010”。至此,我们的训练过程就全部结束。[heading1]#跑图测试[content]炼丹完成并不意味着结束,这些丹到底成不成功呢?我们还需要将这些丹放入SD当中,进行跑图测试。不然的话,万一……

【Lora炼丹术】国庆节去哪玩?炼个丹儿玩!人像lora炼制(2)

选一个基础大模型,我使用的是“麦橘写实”,然后填一个lora的名字。准备好之后,将照片导入到丹炉,选择适合的分辨率,可以勾选“脸部加强训练”,然后点击“预处理”。其实这里有一个自动的裁剪模式,但是我试过觉得自动的不太靠谱,所以还是手动裁吧。预处理之后,就会出现一个脸部的文件夹,和一个整体的文件夹,并且每一张照片都已经自动打好了tag标签。我们可以给整体添加统一的标签,也可以单独给每一张修改标签。这个标签的作用主要是帮助AI去理解我们的图片,告诉它画面里面有什么。这里要注意的是,如果你想让这个特征成为人物的固定的效果,你就不要填写这个关键词。比如我不描写他的发型,只描写他的头发颜色,那么后期出图的时候,他的发型就不能被改变,但是头发颜色却可以被改变。这个过程挺漫长的,每一张图片都要仔细检查,打标的好坏会影响到后面人物lora是否有比较好的泛化性。所以如果你想让你的人物能多一些变化,就尽量描述的详细一些吧。[heading1]#03[heading1]参数调整[content]前面两个环节比较重要,这个参数调节其实就可以佛系一点了。大部分参数是固定的,主要的几个按照我之前讲解过的人物参数配置一遍就可以了,后期再根据生成的结果来调整。设置好之后就可以开始训练了。[heading1]#04[heading1]炼丹[content]18张脸部图片,20张整体图片,各训练50步,循环训练10次,并行步数为1,所以训练总步数为19000,训练时长为45分钟,loss值为0.0769。从数值上来看是个不错的丹,但具体好坏还是要我们自己通过测试来判断,毕竟像不像只有我们自己知道。[heading1]#05

【Lora炼丹术】从零开始,炼制你的第一个LoRA(1)

我们进入SD的lora文件夹中——E:\sd-webui-aki-v4.2\models\Lora,新建一个文件夹,命一个名字“tifa”。将这十枚丹全部放入其中,然后启动SD。打开lora选项卡,刷新一下,就可以看到这十个lora了。我们将一张tifa的图片放入WD 1.4标签器中,反推关键词,然后发送到文生图。在正向提示词的结尾加上第一个lora。更改一下代表单词,将编号“00001”改为“NUM”,将权重“1”改为“STRENGTH”。使用XYZ脚本,提示词替换,x轴设置为“NUM,000001,000002,000003,000004,000005,000006,000007,000008,000009,000010”;y轴设置为“STRENGTH,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1”。这样就可以测试出不同的lora,在不同的权重之下的效果。点击生成,经过一段时间的渲染,我们就得到了一张lora的测试图。接下来,我们就要在茫茫多的tifa当中,用肉眼来寻找里面觉得最像的一张,这个过程是艰辛的,大家要坚持住,我们就快成功了。经过对比,我觉得编号00003在权重为1时是最像的,那就决定是你了!接下来,我们就换一换提示词,使用选定的这个3号lora在不同提示词下生成一些图片,看看效果如何。效果看起来还是不错的,这样我们的第一枚丹就算是炼好了,虽然不能说是一模一样,但还是有几分神似的,毕竟我们的训练图只有5张。分享到这里告一段落,对丹炉感兴趣的朋友,可以添加我的公众号【白马与少年】,回复【炼丹】即可。-END-

Others are asking
Flux炼丹,炼丹物品如何打标
在 Flux 炼丹中,炼丹物品的打标步骤如下: 1. 选择一个基础大模型,如“麦橘写实”,并填写一个 lora 的名字。 2. 将照片导入到丹炉,选择适合的分辨率,可勾选“脸部加强训练”,然后点击“预处理”。手动裁剪照片,预处理后会出现脸部和整体的文件夹,且每张照片会自动打好 tag 标签。 3. 可以给整体添加统一的标签,也可单独给每一张修改标签。标签的作用是帮助 AI 理解图片内容,若想让某些特征成为人物的固定效果,则不填写相关关键词。打标过程需仔细检查每张图片,打标的好坏会影响人物 lora 的泛化性,若想让人物有更多变化,应尽量描述详细。 在打标过程中还需注意以下几点: 1. 注册为开发者,按照流程填写信息,获取 AppID 和密钥,并填入相关位置,开启双语 TAG,检查每幅图的 tag,删除不正确的,新增需要的。 2. 打标要用自然语言,语句精简,选好触发词和打标模型,推荐短标并检查。
2025-02-12
lora炼丹活动
以下是关于 Lora 炼丹活动的相关信息: 魔多·LoRA 模型创作大赛正在进行中。基于 SD1.5、SDXL、FLUX.1 底模创作 LoRA 模型,有中国神话、武侠风云、写实人像、灵动萌兽、银幕穿梭机、盲盒幻想六个赛题方向可供选择。 10 月 17 日晚 8 点有免费的 0 基础炼丹课程,由忠忠(设计类模型 Top1,Canva、平安科技、华为、腾讯等领先互联网公司培训讲师)授课。会议主题为教你 0 基础炼丹,会议时间为 20:00 22:00,会议 ID 为 370 697 604,会议链接为 https://vc.feishu.cn/j/370697604 。 此外,还有关于人像 lora 炼制的详细步骤: 1. 打标:选一个基础大模型,如“麦橘写实”,填一个 lora 的名字。将照片导入丹炉,选择适合的分辨率,可勾选“脸部加强训练”,然后点击“预处理”。手动裁剪照片,预处理后会出现脸部和整体的文件夹,且每张照片自动打好 tag 标签。可给整体添加统一标签或单独修改每张的标签,注意描述的详细程度会影响人物 lora 的泛化性。 2. 参数调整:前面环节重要,此环节可佛系,大部分参数固定,主要参数按人物参数配置,后期根据生成结果调整。 3. 炼丹:18 张脸部图片,20 张整体图片,各训练 50 步,循环训练 10 次,并行步数为 1,训练总步数为 19000,训练时长为 45 分钟,loss 值为 0.0769。但具体好坏需通过测试判断。 活动详情地址:
2025-02-07
什么是炼丹
在AI图像设计领域,"炼丹"这个术语被用来形象地描述一些复杂且需要大量实验的模型训练和优化过程。具体来说,它可能涉及以下几个方面: 1. 模型训练:在图像识别、分类、生成等任务中,需要训练深度学习模型以从大量图像数据中学习特征和模式。 2. 参数调整:调整模型的超参数(如学习率、网络层数、神经元数量等)以优化性能,这个过程可能需要大量的实验和试错。 3. 数据增强:为了提高模型的泛化能力,需要通过数据增强技术(如旋转、缩放、裁剪等)来增加训练数据的多样性。 4. 特征工程:在图像处理中,选择合适的特征是关键。这可能涉及到复杂的特征提取和选择过程。 5. 风格迁移:在图像风格迁移任务中,需要训练模型将一种图像的风格应用到另一种图像上,这通常需要精细的参数调整和多次迭代。 6. 图像生成:在生成对抗网络(GAN)等生成模型中,训练过程需要精心设计网络结构和损失函数,以达到逼真的图像生成效果。 7. 损失函数设计:设计合适的损失函数以指导模型训练,使其能够更好地学习图像的特征和结构。 8. 网络架构设计:尝试不同的网络架构(如卷积神经网络、循环神经网络等)来解决特定的图像处理任务。 9. 实验迭代:在图像设计中,通常需要多次实验和迭代来优化模型,这个过程可能非常耗时且需要耐心。 10. 结果验证:验证模型在不同数据集上的性能,确保其泛化能力和鲁棒性。 11. 自动化工具:使用自动化机器学习(AutoML)工具来辅助模型选择和参数调整,减少"炼丹"的工作量。 在AI图像设计领域,"炼丹"强调的是模型训练和优化过程中的复杂性和不确定性,以及需要投入大量时间和精力来达到理想的效果。随着技术的进步,研究人员正在探索更高效的方法来简化这一过程。
2024-07-16