直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

lora训练的数据集没有跳绳动作,后期如何使用lora生成跳绳的图,需求要保持人脸和服装跟训练人物一致

回答

如果您的 Lora 训练数据集没有跳绳动作,但希望生成跳绳的图并保持人脸和服装与训练人物一致,可以参考以下步骤:

  1. 首先,在已有训练集中选择一两张合适的形象图片,用 PS 把人物肢解处理一下,得到各部位的图片。
  2. 在 Tripo 中逐个上传图片转换成 3D 模型(由于全身图单次转换 3D 目前效果较差,所以需逐个分部转换)。
  3. 利用 3D 软件将模型整合,绑定骨架。
  4. 最后对照所需的分镜图凹好造型,再进行重绘。重绘时可以使用 --cref --cw0 来保证基础面部。

另外,训练 Lora 时需要注意:

  1. 对于一个固定的形象,面部五官最重要,其次是体型、服装、配饰等。收集训练集时,收集形象的头部图片很重要。
  2. 给图片打标时,要仔细检查每一张图片,打标的好坏会影响到后面人物 Lora 的泛化性。若想让人物有更多变化,描述应尽量详细。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

吉川老师:2024全球AI电影马拉松大赛最佳美术奖《新哪吒闹海》全案拆解

[title]吉川老师:2024全球AI电影马拉松大赛最佳美术奖《新哪吒闹海》全案拆解[heading1]一. 人物设计[heading2] 角色重绘 [heading3]图生3D辅助姿势 [content]另外一边,利用lora和重绘工作流进行作业时,角色的年龄、身形比例,还有服装配饰仍然受mj底图较大的影响,衣服方面的一致性仅靠lora和提示词抽卡重绘,成功率不是很稳定。以下是具体步骤:1)首先,在哪吒的角色lora训练集里选一两张合适的形象图片,用ps把哪吒肢解处理一下,然后得到各部位的图片。2)在Tripo中逐个上传图片转换成3D模型(逐个分部转换是因为全身图单次转换3d目前的效果太差)。3)利用3d软件将模型整合,绑定骨架。4)最后在对照MJ出的分镜图凹好造型,再重绘。重绘流程跑通后,MJ出的分镜图对于角色而言只要景别和动作到位即可。(可以使用--cref --cw0来保证基础面部)

【SD】角色设计的福音!绘制一致性多角度头像

如何让我们在SD中绘制的角色保持一致,这是人们长久以来在探索AI绘画的领域当中一直寻求解决的问题。目前来看,实现这个目标最好的方法就是使用LoRA。但是要训练一个LoRA,我们首先要至少有一个15到20张图片的训练集。在一个固定的形象中,最重要的是面部五官,其次是体型、服装、配饰之类的。所以,我们在收集训练集的过程当中,收集形象的头部图片是很重要的。现实中的人物我们可以通过照片来进行训练,但如果是我们在AI中生成的虚构角色呢?我们就要让这个虚构角色能稳定输出多张不同角度的图片才能达到训练集的要求。今天,我们就来学习一下,如何创建一个虚构人物的多视图角色表。#01#02#03#04

【Lora炼丹术】国庆节去哪玩?炼个丹儿玩!人像lora炼制(2)

选一个基础大模型,我使用的是“麦橘写实”,然后填一个lora的名字。准备好之后,将照片导入到丹炉,选择适合的分辨率,可以勾选“脸部加强训练”,然后点击“预处理”。其实这里有一个自动的裁剪模式,但是我试过觉得自动的不太靠谱,所以还是手动裁吧。预处理之后,就会出现一个脸部的文件夹,和一个整体的文件夹,并且每一张照片都已经自动打好了tag标签。我们可以给整体添加统一的标签,也可以单独给每一张修改标签。这个标签的作用主要是帮助AI去理解我们的图片,告诉它画面里面有什么。这里要注意的是,如果你想让这个特征成为人物的固定的效果,你就不要填写这个关键词。比如我不描写他的发型,只描写他的头发颜色,那么后期出图的时候,他的发型就不能被改变,但是头发颜色却可以被改变。这个过程挺漫长的,每一张图片都要仔细检查,打标的好坏会影响到后面人物lora是否有比较好的泛化性。所以如果你想让你的人物能多一些变化,就尽量描述的详细一些吧。

其他人在问
AI 增量训练 Lora
以下是关于 AI 增量训练 Lora 的相关知识: 参数理解: 1. 学习步数:指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15,写实人物图片的 repeat 一般在 30 50,真实世界的景观场景可能要达到 100。理论上讲,图片精细度越高,学习步数越高。 2. 循环次数:AI 将所有图片按照学习步数学习一轮为一次循环,循环次数一般在 10 20 之间。次数并非越多越好,过多会导致过拟合,即画什么都和样图一样。 3. 效率设置:主要控制电脑的训练速度。可保持默认值,也可根据电脑显存微调,但要避免显存过载。 总的训练步数为:图片张数×学习步数×循环次数。 此外,沃尔夫勒姆提到人工智能是基于机器学习(通常通过神经网络实现),根据给出的示例进行增量训练,且这些示例包括大量人类生成的科学文本等,或者关于世界上发生的事情的实际经验。
2024-09-13
Lora简单介绍
Lora 全称 LowRank Adaptation Models,即低阶自适应模型,其作用在于影响和微调画面,能够再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高,而 LoRA 采用在原模型中插入新的数据处理层的方式,避免了修改原有模型参数。LORA 模型训练是用特定特征替换大模型中的对应元素,从而生成不同于底模的图片,比如固定的人物相貌、特定的服装或者特定的风格。Lora 训练较为轻量化,所需显存较少,硬件门槛显存达到 6G 即可开启训练。 同时,模型微调方面,提供了 LoRA 微调和全量参数微调代码,关于 LoRA 的详细介绍可参考论文“。 此外,还有利用新版 SDXL 生成的如针线娃娃这样的 lora,它可以把一些常见形象制作成毛线编制的样子,需要使用 SDXL1.0 的模型,触发词是 BJ_Sewing_doll。
2024-09-09
Lora训练
以下是关于用 SD 训练一套贴纸 LoRA 模型的方法: 1. 打 tag(给图片写关键词):这是 SD 中的一个重要步骤。 2. LoRA 训练器:可用于训练。 3. SD 训练 UIWeb 启动成功:滚动至最下点击【LoRA 训练】,或者直接点击左侧菜单【LoRA 训练】。 4. 最后总结下 LoRA 模型训练的要点: 训练数据集准备:包括训练素材处理、图像预处理、打标优化。 训练环境参数配置:选择本地或云端训练环境,进行训练环境配置和训练参数配置。 模型训练:基于 kohyass 训练模型。 模型测试:通过 XYZ plot 测试模型。 5. 工作流: 原始形象:MJ 初步产出符合设计想法的贴纸原始形象。 二次加工:完成贴纸的白色边线等细节加工。 处理素材:给训练集图片打 tag,修改 tag。 训练模型:将上述处理好的数据集做成训练集,进行训练。
2024-09-06
LoRA (low rank adapter) 有哪些应用
LoRA(LowRank Adaptation Models,低阶自适应模型)具有以下应用: 1. 在图像生成方面,如 Stable Diffusion 中,通过影响和微调画面,再现人物或物品的特征。可以用特定特征替换大模型中的对应元素,生成不同于底模的图片。 2. 在语言模型中,如 Alpaca 对 LLaMA6B 的微调,在主路参数固定的基础上,在旁路加一个低秩的 shortcut,训练阶段主路固定,只训练旁路,极大降低参数量。初始化时 B 矩阵为 0,达到 zeroconvolution 的效果,推理时把旁路折叠到主路。 3. 个人可以通过 LoRA 炼制属于自己的模型,例如在 SD 中炼制人物、建筑、画风等方面的 lora 模型。LoRA 训练较为轻量化,硬件门槛显存达到 6G 即可开启训练。
2024-09-05
lora有哪些应用
LoRa(Sora)具有以下应用: 1. 增强视觉领域的可访问性:将文本描述转换为视觉内容,使包括视觉障碍者在内的所有人都能参与内容创作和互动,为每个人提供通过视频表达想法的机会,创造更具包容性的环境。 2. 营销领域:营销人员可利用其创建针对特定受众描述的动态广告。 3. 游戏开发:游戏开发者能借助它从玩家叙述中生成定制化的视觉效果甚至角色动作。 4. 电影制作:为电影制作提供创新的视觉生成方式。 5. 教育领域:在教育中发挥作用,例如生成特定的教学视频内容。 6. 自动化内容生成:加速内容生成的自动化进程。 7. 复杂决策支持:为复杂决策过程提供帮助和支持。
2024-09-05
Flux 的lora模型训练教程,我想用用diffuser代码训练,而不是webui或comfyui
以下是关于 Flux 的 lora 模型训练的相关信息: Flux GGUF 模型:https://huggingface.co/city96/FLUX.1devgguf/tree/main GGUF 配套节点插件:https://github.com/city96/ComfyUIGGUF 在最新版本的 ComfyUI 中,GGUF 的节点插件可在 Manager 管理器中搜到下载安装,但 NF4 的配套节点插件搜不到。 注意使用精度优化的低配模型时,工作流和原版不同。把官方的 fp8 工作流中底模的节点换成 NF4 或者 GUFF 即可。 相关生态发展迅速,有 Lora、Controlnet、IPadpter 相关生态建设,字节最近发布的 Flux Hyper lora 可用于 8 步快速生图。下节将先讲讲 Flux 的 lora 训练。
2024-09-05
如何训练chatgpt
ChatGPT 的训练过程较为复杂,主要包括以下方面: 1. 数据获取:从网络、书籍等来源获取大量人类创作的文本样本,数量达数百万亿字。 2. 硬件支持:使用现代 GPU 硬件,以并行计算数千个示例的结果。 3. 训练方式: 基本概念:训练神经网络生成“类似”的文本,能够从“提示”开始,然后继续生成“类似于训练内容”的文本。 操作过程:神经网络由简单元素组成,基本操作是为每个新单词(或单词部分)生成“输入”,然后将其“通过其元素”。 4. 训练目的:不是记忆,而是学习“提问和回答的通用规律”,以实现举一反三。但可能存在混淆记忆、无法直接查看和更新所学、高度依赖学习材料等缺点,导致缺乏及时性和准确性。 5. 规模与效果:在训练中,一些文本会被重复使用多次,而其他文本只会使用一次。尽管没有根本的理论确定所需的训练数据量和网络规模,但实践中,ChatGPT 成功地从大量文本中进行了训练,其成功表明神经网络在实现基于人类语言算法内容的模型时相当有效。
2024-09-17
AI 增量训练和模型微调的区别
AI 增量训练和模型微调存在以下区别: 目的:增量训练通常是为了持续更新模型以适应新的数据和任务,而模型微调主要是为了使模型在特定的小领域数据集上针对特定任务达到更好的性能。 范围:增量训练可能涉及对模型的较大范围的更新,而微调往往集中在较小范围的参数调整。 方式:增量训练可能会对全量的模型参数进行训练,而微调存在全量微调(FFT)和参数高效微调(PEFT)两种技术路线,PEFT 只对部分模型参数进行训练,且目前在业界较为流行。 成本和效果:从成本和效果综合考虑,PEFT 是较好的微调方案。微调可以大幅提高模型在特定任务中的性能,但可能会使模型失去一些通用性。 数据使用:增量训练可能需要更多新的数据,而微调是在较小的、特定领域的数据集上进行。 如需了解更多关于微调的内容,可参考 OpenAI 官方微调教程:https://github.com/openai/openaicookbook/blob/main/examples/How_to_finetune_chat_models.ipynb
2024-09-13
大模型训练的数据形式
大模型训练的数据形式主要包括以下方面: 1. 数据来源广泛:往往来自于互联网,涵盖论文、代码以及可爬取的公开网页等。 2. 数据类型多样:包括文本、图像、音频等多模态数据。 3. 数据规模庞大:一般使用 TB 级别的数据进行预训练。 例如,对于大语言模型(LLM),通常使用 Transformer 算法,以大量的文本数据进行训练。而多模态模型,如文生图、图生图等模型,则使用图文或声音等多模态的数据集进行训练。
2024-09-13
我想训练一个个人日程提醒工具,需要输入哪些信息,什么格式?
训练一个个人日程提醒工具通常需要输入以下几类信息: 1. 日程的具体内容:包括活动的名称、描述等。 2. 时间信息:明确日程开始和结束的具体时间。 3. 重复模式:例如是否每天、每周、每月重复等。 4. 提醒方式:如短信、邮件、应用内推送等,以及提前提醒的时间间隔。 输入格式可以是结构化的数据格式,如 JSON 格式,包含上述各个字段的键值对;也可以是表格形式,将不同的信息列在不同的列中;或者是文本形式,但需要有明确的分隔和标识,以便程序能够准确解析。
2024-09-11
我想训练一个智能时间提醒工具,应该用什么样的流程?
训练一个智能时间提醒工具可以遵循以下流程: 1. 明确需求:确定提醒工具的具体功能和使用场景,例如是针对个人日程、工作任务还是特定活动的提醒。 2. 数据收集:收集与时间和提醒相关的数据,包括常见的时间模式、任务类型、重要程度等。 3. 选择技术框架:根据需求和自身技术能力,选择适合的人工智能框架和工具,如 TensorFlow、PyTorch 等。 4. 模型设计:设计合适的模型结构,例如可以使用循环神经网络(RNN)或长短时记忆网络(LSTM)来处理时间序列数据。 5. 数据预处理:对收集到的数据进行清洗、预处理和标注,使其适合模型训练。 6. 训练模型:使用预处理后的数据进行训练,调整参数以优化模型性能。 7. 评估模型:使用测试集对训练好的模型进行评估,查看准确率、召回率等指标。 8. 优化调整:根据评估结果对模型进行优化,如调整网络结构、增加训练数据量等。 9. 部署应用:将训练好的模型部署到实际应用环境中,如移动应用、桌面软件等。 10. 持续改进:根据用户反馈和实际使用情况,不断改进和优化提醒工具的性能和功能。
2024-09-11
人脸识别
以下是关于人脸识别的相关信息: 视频模型“可灵”的测试内容包括场景识别(室内和室外)、物体识别(静态和动态)、人物识别(面部、姿态)、动作识别(基本动作)等方面。例如,测试了模型在不同室内环境(办公室、厨房、卧室等)和室外环境(街道、公园、商场等)中的表现,对不同面部特征(不同年龄、性别、种族等)、人物姿态(站立、坐下、躺卧等)和基本动作(走路、跑步、跳跃等)的识别能力。 11 月 24 日的 XiaoHu.AI 日报中提到: DeepFace 是面部识别和分析工具,功能包括面部验证、识别和属性分析,整合多个先进模型,准确率超越人类,支持实时视频分析和外部系统调用。 Comfyui 进行了 SVD Image 2 Video 优化,优化内存占用至 8GB,并提供 workflow 以供在不同显卡上运行。 有泄露的 GPTs 提示大集合,涵盖学术、占卜、医疗咨询等多个应用领域。 PixelDance 是高动态视频生成模型,能通过文本和图片生成复杂场景视频,在连贯性和视频质量方面表现卓越。
2024-09-06
视频中如何检测人脸目光是否注视镜头
要在视频中检测人脸目光是否注视镜头,通常需要使用计算机视觉技术,特别是人脸检测和面部特征点跟踪。以下是一些可能的方法和工具: 1. 使用OpenCV库:OpenCV是一个开源的计算机视觉和机器学习软件库,它提供了多种人脸检测方法,包括使用Haar特征分类器或深度学习方法。你可以使用OpenCV的`CascadeClassifier`进行人脸检测,并通过检测到的人脸区域进一步分析目光方向 。 2. 面部标记和特征点跟踪:更高级的方法是使用面部标记检测,这通常涉及到定位面部的特定特征点,如眼角、瞳孔等。然后,通过分析这些点的位置和相互之间的关系来推断目光方向。dlib库结合OpenCV可以用于这种类型的分析 。 3. 眨眼检测:作为面部特征点跟踪的一部分,眨眼检测也可以提供有关目光注视方向的线索。例如,如果一个人在视频中眨眼,他们的眼皮运动会暂时遮挡视线,这可以作为目光不在镜头上的一个信号 。 4. 眼睛纵横比(EAR):这是一种评估眼睛开放程度的指标,可以用来检测眨眼或闭眼的状态。EAR是通过计算眼睛特征点之间的距离比值来计算的。如果EAR值低于某个阈值,可以认为眼睛是闭上的,从而推断目光不在镜头上 。 5. 深度学习方法:使用预训练的深度神经网络模型,如基于CNN的架构,可以更准确地检测和分析面部特征,包括目光方向。这些模型可以从大量的图像数据中学习到复杂的表情和视线模式。 6. 集成解决方案:一些商业软件或服务可能提供集成的解决方案,包括人脸检测、面部特征点跟踪和目光检测等功能。 请注意,实际实现时可能需要考虑多种因素,如视频质量、光照条件、人的头部姿态等,这些都可能影响检测的准确性。
2024-08-01