如果您的 Lora 训练数据集没有跳绳动作,但希望生成跳绳的图并保持人脸和服装与训练人物一致,可以参考以下步骤:
另外,训练 Lora 时需要注意:
[title]吉川老师:2024全球AI电影马拉松大赛最佳美术奖《新哪吒闹海》全案拆解[heading1]一. 人物设计[heading2] 角色重绘 [heading3]图生3D辅助姿势 [content]另外一边,利用lora和重绘工作流进行作业时,角色的年龄、身形比例,还有服装配饰仍然受mj底图较大的影响,衣服方面的一致性仅靠lora和提示词抽卡重绘,成功率不是很稳定。以下是具体步骤:1)首先,在哪吒的角色lora训练集里选一两张合适的形象图片,用ps把哪吒肢解处理一下,然后得到各部位的图片。2)在Tripo中逐个上传图片转换成3D模型(逐个分部转换是因为全身图单次转换3d目前的效果太差)。3)利用3d软件将模型整合,绑定骨架。4)最后在对照MJ出的分镜图凹好造型,再重绘。重绘流程跑通后,MJ出的分镜图对于角色而言只要景别和动作到位即可。(可以使用--cref --cw0来保证基础面部)
如何让我们在SD中绘制的角色保持一致,这是人们长久以来在探索AI绘画的领域当中一直寻求解决的问题。目前来看,实现这个目标最好的方法就是使用LoRA。但是要训练一个LoRA,我们首先要至少有一个15到20张图片的训练集。在一个固定的形象中,最重要的是面部五官,其次是体型、服装、配饰之类的。所以,我们在收集训练集的过程当中,收集形象的头部图片是很重要的。现实中的人物我们可以通过照片来进行训练,但如果是我们在AI中生成的虚构角色呢?我们就要让这个虚构角色能稳定输出多张不同角度的图片才能达到训练集的要求。今天,我们就来学习一下,如何创建一个虚构人物的多视图角色表。#01#02#03#04
选一个基础大模型,我使用的是“麦橘写实”,然后填一个lora的名字。准备好之后,将照片导入到丹炉,选择适合的分辨率,可以勾选“脸部加强训练”,然后点击“预处理”。其实这里有一个自动的裁剪模式,但是我试过觉得自动的不太靠谱,所以还是手动裁吧。预处理之后,就会出现一个脸部的文件夹,和一个整体的文件夹,并且每一张照片都已经自动打好了tag标签。我们可以给整体添加统一的标签,也可以单独给每一张修改标签。这个标签的作用主要是帮助AI去理解我们的图片,告诉它画面里面有什么。这里要注意的是,如果你想让这个特征成为人物的固定的效果,你就不要填写这个关键词。比如我不描写他的发型,只描写他的头发颜色,那么后期出图的时候,他的发型就不能被改变,但是头发颜色却可以被改变。这个过程挺漫长的,每一张图片都要仔细检查,打标的好坏会影响到后面人物lora是否有比较好的泛化性。所以如果你想让你的人物能多一些变化,就尽量描述的详细一些吧。