直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

lora是什么

回答

Lora 全称 Low-Rank Adaptation Models，即低阶自适应模型。它的作用在于影响和微调画面，能够再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高，而 LoRA 采用在原模型中插入新的数据处理层的方式，避免了修改原有模型参数。LORA 模型训练是用特定特征替换大模型中的对应元素，从而生成不同于底模的图片。Lora 训练较为轻量化，所需显存较少，硬件门槛显存达到 6G 即可开启训练。例如，有利用新版 SDXL 生成的如针线娃娃的 lora，还有如“KIDS ILLUSTRATION”这样用于生成儿童绘本风格插画的 lora 等。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

【Lora炼丹术】从零开始，炼制你的第一个LoRA（1）

[title]【Lora炼丹术】从零开始，炼制你的第一个LoRA（1）作者：白马少年｜公众号：【白马与少年】介绍：SD实践派，出品精细教程发布时间：2023-08-15 20:01原文网址：https://mp.weixin.qq.com/s/NUvEBvdGTQNCfxSKCwV_gw从接触SD到现在，相信大家一定使用过各种各样的lora，包括人物的、建筑的、画风的等等，那么你有没有想过炼制一款属于自己的lora模型呢。我们先来了解一下炼丹的基础概念，它的关键原理就是——等价交换法则！不好意思，说错了。重新来，Lora全称Low-Rank Adaptation Models，中文翻译为低阶自适应模型。它的作用在于影响和微调画面。通过lora的帮助，可以再现人物或物品的特征。大模型的训练通常是非常复杂且需要很高的电脑配置的，LoRA采用的方式就是在原有的模型中插入新的数据处理层，这样就避免了修改原有模型的参数。LORA模型训练，其实就是用一些特定特征来替换大模型中的对应元素，比如一个固定的人物相貌、特定的服装或者是特定的风格，这样就可以生成不同于底模的图片。所以，lora训练是比较轻量化的，需要的显存也少了很多，硬件门槛显存达到6G就可以开启训练了。我们今天要使用的是B站UP主“朱尼酱”的赛博丹炉，他的这款丹炉，界面更加友好、美观，适合新手入门。废话不多说，我们就正式开始吧。

【SD】萌到出血，SDXL针线娃娃模型

[title]【SD】萌到出血，SDXL针线娃娃模型作者：白马少年介绍：SD实践派，出品精细教程发布时间：2023-09-07 20:00原文网址：https://mp.weixin.qq.com/s/ssP5W_FWZ_VmYeG-6z9bVQ可爱就是正义，今天给大家介绍一个利用新版SDXL生成的lora——针线娃娃。它可以把一些常见的形象制作成毛线编制的样子。这个lora需要使用SDXL1.0的模型才可以运行，触发词是BJ_Sewing_doll。做了一些小动物的图片，很治愈的感觉，一起来看看吧。当然不仅仅是动物，很多小场景也很有爱。有个小彩蛋在里面，看谁能发现，嘿嘿~~想体验这款lora的话，可以添加我的公众号【白马与少年】，回复【SDXL】即可。-END-白马与少年Stable Diffusion、Blender等学习心得分享139篇原创内容（持续更新中）公众号微信扫一扫关注该公众号

【SD】儿童绘本风格插画

[title]【SD】儿童绘本风格插画作者：白马少年介绍：SD实践派，出品精细教程发布时间：2023-07-02 20:00原文网址：https://mp.weixin.qq.com/s/yf30ZBJPWG1Zzla9M1PnFw今天给大家推荐一个大模型和lora的组合运用，可以生成一些儿童绘本风格的插画。起作用的主要是这个风格lora——“KIDS ILLUSTRATION”，画风非常可爱治愈，可以搭配不同的大模型使用。官方案例使用的是超拟真大模型“Realistic Vision”。我们来测试一下吧，既然是儿童绘本，我们就选择一个大家都熟悉的《小王子》的故事吧。关键词描述：在一个荒凉的星球上，一个小男孩和一只狐狸，玫瑰花，星空。使用latent couple插件（[【Stable Diffusion】手涂蒙版定位插件Latent Couple](http://mp.weixin.qq.com/s?__biz=MzA3ODY0OTc1NQ==&mid=2247486812&idx=1&sn=cbfff40072e25d54605f686c7733b8c0&chksm=9fbecda8a8c944be887648e28695df76810d7bf15a83588aa85ede35232c105c5d727c272ca6&scene=21#wechat_redirect)）来确定小王子和狐狸的位置关系，并对小王子的服装做一个细致的描述——“黄头发，绿衣服，红围巾”。多刷一些图，最终筛选出来一张，动物的部分总是画得不太好，不过画风还是蛮喜欢的。同样的参考词，我们再换几个大模型看看。比如我们常用的2.5D模型“ReV Animated”，直接生成。

其他人在问
flux lora 训练
以下是关于 Flux 的 Lora 模型训练的详细步骤： 准备工作： 下载所需模型：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意：不使用时模型放置位置不限，只要知道“路径”，后续会引用到“路径”。 训练建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载训练脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 数据集准备： 进入厚德云模型训练数据集：https://portal.houdeyun.cn/sd/dataset 步骤一：创建数据集 在数据集一栏中，点击右上角创建数据集。 输入数据集名称。 可以上传包含图片+标签 txt 的 zip 文件，也可以上传只有图片的文件（之后可在 c 站使用自动打标功能），或者一张一张单独上传照片，但建议提前将图片和标签打包成 zip 上传。 Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。 步骤二：Lora 训练 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 触发词可有可无，取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 等待训练，会显示预览时间和进度条，训练完成会显示每一轮的预览图。 鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集放置位置：.Flux_train_20.4\\train\\qinglong\\train 运行训练：约 1 2 小时即可训练完成。 验证和 lora 跑图：有 ComfyUI 基础的话，直接原版工作流的模型后面，多加一个 LoraloaderModelOnly 的节点就可以，自行选择您的 Lora 和调节参数。
2024-11-20
Lora模型训练数据集
以下是关于 Lora 模型训练数据集的相关内容： 创建数据集： 1. 进入厚德云模型训练数据集（https://portal.houdeyun.cn/sd/dataset）。 2. 在数据集一栏中，点击右上角创建数据集，输入数据集名称。 3. 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片（之后可在 c 站使用自动打标功能），还可以一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。 4. Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 5. 上传 zip 以后等待一段时间，确认创建数据集。返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，能预览到数据集的图片以及对应的标签。 Lora 训练： 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。然后等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 用 SD 训练一套贴纸 LoRA 模型的工作流： 1. 原始形象：MJ 初步产出符合设计想法的贴纸原始形象。 2. 二次加工：完成贴纸的白色边线等细节加工。 3. 处理素材：给训练集图片打 tag，修改 tag。 4. 训练模型：将上述处理好的数据集做成训练集，进行训练。 用 SD 训练一套贴纸 LoRA 模型的原始形象：MJ 关键词： A drawing for a rabbit stickers,in the style of hallyu,screenshot,mori kei,duckcore plush doll art exaggerated poses,cry/happy/sad/...ar 3:4 niji 5 style cute s 180 。会得到不同风格的贴图，我们可以先看看自己喜欢哪一种。出图过程可以有意识地总结这一类贴图的特征，比如都是可爱的兔子，有不同的衣服和头饰，都有一双大大的卡通眼睛，会有不同的面部表情。 注意事项： 1. 关键词中限制了颜色，因此 MJ 生成的图片会一种情绪对应一种颜色，所以同一种情绪最好多生成几张不同色系的，可以减少后续训练中模型把情绪和颜色做挂钩（如果需要这样的话，也可以反其道而行之）。 2. 数据集中正面情绪与负面情绪最好比例差不多，如果都是正面积极的，在出一些负面情时（sad，cry）的时候，可能会出现奇怪的问题（如我们训练的是兔子形象，但 ai 认知的 sad 可能是人的形象，可能会出现人物特征）。 3. 如果训练 256266 大小的表情包，这样的素材就已经够用了。如果要训练更高像素的图片，则需要进一步使用 MJ 垫图和高清扩展功能。 高清化： 左（256）→右（1024），输入左图，加入内容描述，加入风格描述，挑选合适的，选出新 30 张图片（卡通二次元类型的 lora 训练集 30 张差不多，真人 60100 张）。
2024-10-22
Lora模型训练
以下是关于 Lora 模型训练的相关内容： 一、用 SD 训练一套贴纸 LoRA 模型的要点 1. 训练数据集准备：包括训练素材处理、图像预处理、打标优化。 2. 训练环境参数配置：选择本地或云端训练环境，进行训练环境配置和训练参数配置。 3. 模型训练：基于 kohyass 训练模型。 4. 模型测试：通过 XYZ plot 测试模型。 二、郑敏轩：Flux 的 Lora 模型训练 1. 所需模型下载：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意事项： 不使用时，模型放置位置不限，只要知道路径即可。 训练时，建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 三、100 基础训练大模型 1. 步骤一·创建数据集 进入厚德云模型训练数据集：https://portal.houdeyun.cn/sd/dataset 在数据集一栏中，点击右上角创建数据集，输入数据集名称。 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片（之后可在 c 站使用自动打标功能），或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配，例如：图片名"1.png"，对应的达标文件就叫"1.txt"。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。 2. 步骤二·Lora 训练 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 选择数据集，点击右侧箭头，选择上传过的数据集。 触发词可有可无，取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数可调节重复次数与训练轮数，厚德云会自动计算训练步数，若不知如何设置，可默认 20 重复次数和 10 轮训练轮数。 可按需求选择是否加速，点击开始训练，会显示所需要消耗的算力，然后等待训练，会显示预览时间和进度条。 训练完成后会显示每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。
2024-10-22
文生图lora微调
以下是关于文生图 lora 微调的详细内容： 定主题：明确您需要生成的图片的主题、风格和要表达的信息。 选择基础模型 Checkpoint：根据主题选择内容贴近的 checkpoint，如麦橘、墨幽的系列模型，如麦橘写实、麦橘男团、墨幽人造人等。 选择 lora：基于生成内容寻找重叠的 lora，以控制图片效果和质量，可参考广场上优秀帖子中使用的 lora。 ControlNet：可控制图片中特定图像，如人物姿态、生成特定文字或艺术化二维码等，属于高阶技能。 局部重绘：下篇再教。 设置 VAE：无脑选择 840000 即可。 Prompt 提示词：用英文写需求，使用单词和短语组合，不用管语法，单词、短语间用英文半角逗号隔开。 负向提示词 Negative Prompt：同样用英文写要避免的内容，单词和短语组合，用英文半角逗号隔开。 采样算法：一般选 DPM++ 2M Karras 较多，也可参考 checkpoint 详情页上模型作者推荐的采样器。 采样次数：选 DPM++ 2M Karras 时，采样次数通常在 30 40 之间。 尺寸：根据个人喜好和需求选择。 以下是一个简笔水彩风格插画的示例： 使用大模型“Flat 2D Animerge”，适合生成卡通动漫图片，官方建议 CFG 值在 5 或 6（使用动态阈值修复可拉到 11）。搭配两个 lora，“Chinese painting style”可增加中国画水彩风格效果，权重设为 0.4；“Crayon drawing”可添加简单线条和小孩子笔触，权重设为 0.8。将图片丢到标签器中反推关键词，发送到“文生图”。在正向提示词末尾添加这两个 lora，尺寸按参考图设置，重绘幅度开 0.5 让 AI 更自由发挥，若想更接近原图可降低数值。将图放入 ControlNet 中，选择 tile 模型，权重为 0.5，控制模式选择“更注重提示词”。
2024-10-05
使用人物Lora生成的图片中有多个人物时，怎么让人物的形象各不相同？
在 Stable Diffusion 中，若使用人物 Lora 生成的图片中有多个人物并想让人物形象各不相同，可参考以下方法： 1. 在提示词中输入数量词（如 2girls 或 3boys 等），再加上各自的描述提示词。若刷图成功率不高，可配合 openpose 控制，做一个多人骨架，以生成多人物构图。 2. 需使用不同的 Lora 来区分人物，但单纯靠提示词可能行不通。 3. 分区控制思路： Multidiffusion 的做法：启用 Tiled Diifusion，打开分区提示词控制，创建文生图画布。启用不同区域，分别填写背景、不同人物的描述词和 Lora。增加 controlnet 的 openpose 控制来稳定人物，但可能存在分区生成的人物连续性低、lora 控制不强等问题。 Latent Couple 的做法（文中未提及，需进一步探索）。 此外，关于 Lora 模型： 1. Lora 可以固定照片的特征，如人物特征、动作特征和照片风格。 2. 点击“生成”下面的第三个按钮，找到 Lora 选项，可添加下载保存到电脑的 Lora 模型，Lora 可叠加使用，但新手不建议使用太多，且 Lora 之间用英文逗号隔开，每个 Lora 后面的数字用于调整权重，一般只会降低权重。选择 Lora 应根据最初想要生成的照片类型决定。
2024-09-27
AI 增量训练 Lora
以下是关于 AI 增量训练 Lora 的相关知识： 参数理解： 1. 学习步数：指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15，写实人物图片的 repeat 一般在 30 50，真实世界的景观场景可能要达到 100。理论上讲，图片精细度越高，学习步数越高。 2. 循环次数：AI 将所有图片按照学习步数学习一轮为一次循环，循环次数一般在 10 20 之间。次数并非越多越好，过多会导致过拟合，即画什么都和样图一样。 3. 效率设置：主要控制电脑的训练速度。可保持默认值，也可根据电脑显存微调，但要避免显存过载。 总的训练步数为：图片张数×学习步数×循环次数。 此外，沃尔夫勒姆提到人工智能是基于机器学习（通常通过神经网络实现），根据给出的示例进行增量训练，且这些示例包括大量人类生成的科学文本等，或者关于世界上发生的事情的实际经验。
2024-09-13