Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

lora是什么

Answer

Lora 全称 Low-Rank Adaptation Models,中文翻译为低阶自适应模型。它的作用在于影响和微调画面,通过其帮助,可以再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高,而 LoRA 采用在原有的模型中插入新的数据处理层的方式,避免了修改原有模型的参数。LORA 模型训练是用一些特定特征来替换大模型中的对应元素,比如固定的人物相貌、特定的服装或者特定的风格,这样就可以生成不同于底模的图片。所以,lora 训练比较轻量化,需要的显存较少,硬件门槛显存达到 6G 就可以开启训练。例如,有利用新版 SDXL 生成的 lora——针线娃娃,它可以把一些常见的形象制作成毛线编制的样子,需要使用 SDXL1.0 的模型,触发词是 BJ_Sewing_doll。还有如“KIDS ILLUSTRATION”这样的风格 lora ,可以搭配不同的大模型生成儿童绘本风格的插画。

Content generated by AI large model, please carefully verify (powered by aily)

References

【Lora炼丹术】从零开始,炼制你的第一个LoRA(1)

作者:白马少年|公众号:【白马与少年】介绍:SD实践派,出品精细教程发布时间:2023-08-15 20:01原文网址:https://mp.weixin.qq.com/s/NUvEBvdGTQNCfxSKCwV_gw从接触SD到现在,相信大家一定使用过各种各样的lora,包括人物的、建筑的、画风的等等,那么你有没有想过炼制一款属于自己的lora模型呢。我们先来了解一下炼丹的基础概念,它的关键原理就是——等价交换法则!不好意思,说错了。重新来,Lora全称Low-Rank Adaptation Models,中文翻译为低阶自适应模型。它的作用在于影响和微调画面。通过lora的帮助,可以再现人物或物品的特征。大模型的训练通常是非常复杂且需要很高的电脑配置的,LoRA采用的方式就是在原有的模型中插入新的数据处理层,这样就避免了修改原有模型的参数。LORA模型训练,其实就是用一些特定特征来替换大模型中的对应元素,比如一个固定的人物相貌、特定的服装或者是特定的风格,这样就可以生成不同于底模的图片。所以,lora训练是比较轻量化的,需要的显存也少了很多,硬件门槛显存达到6G就可以开启训练了。我们今天要使用的是B站UP主“朱尼酱”的赛博丹炉,他的这款丹炉,界面更加友好、美观,适合新手入门。废话不多说,我们就正式开始吧。

【SD】萌到出血,SDXL针线娃娃模型

作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-09-07 20:00原文网址:https://mp.weixin.qq.com/s/ssP5W_FWZ_VmYeG-6z9bVQ可爱就是正义,今天给大家介绍一个利用新版SDXL生成的lora——针线娃娃。它可以把一些常见的形象制作成毛线编制的样子。这个lora需要使用SDXL1.0的模型才可以运行,触发词是BJ_Sewing_doll。做了一些小动物的图片,很治愈的感觉,一起来看看吧。当然不仅仅是动物,很多小场景也很有爱。有个小彩蛋在里面,看谁能发现,嘿嘿~~想体验这款lora的话,可以添加我的公众号【白马与少年】,回复【SDXL】即可。-END-白马与少年Stable Diffusion、Blender等学习心得分享139篇原创内容(持续更新中)公众号微信扫一扫关注该公众号

【SD】儿童绘本风格插画

作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-07-02 20:00原文网址:https://mp.weixin.qq.com/s/yf30ZBJPWG1Zzla9M1PnFw今天给大家推荐一个大模型和lora的组合运用,可以生成一些儿童绘本风格的插画。起作用的主要是这个风格lora——“KIDS ILLUSTRATION”,画风非常可爱治愈,可以搭配不同的大模型使用。官方案例使用的是超拟真大模型“Realistic Vision”。我们来测试一下吧,既然是儿童绘本,我们就选择一个大家都熟悉的《小王子》的故事吧。关键词描述:在一个荒凉的星球上,一个小男孩和一只狐狸,玫瑰花,星空。使用latent couple插件([【Stable Diffusion】手涂蒙版定位插件Latent Couple](http://mp.weixin.qq.com/s?__biz=MzA3ODY0OTc1NQ==&mid=2247486812&idx=1&sn=cbfff40072e25d54605f686c7733b8c0&chksm=9fbecda8a8c944be887648e28695df76810d7bf15a83588aa85ede35232c105c5d727c272ca6&scene=21#wechat_redirect))来确定小王子和狐狸的位置关系,并对小王子的服装做一个细致的描述——“黄头发,绿衣服,红围巾”。多刷一些图,最终筛选出来一张,动物的部分总是画得不太好,不过画风还是蛮喜欢的。同样的参考词,我们再换几个大模型看看。比如我们常用的2.5D模型“ReV Animated”,直接生成。

Others are asking
主流的LORA 训练工具是什么?
主流的 LORA 训练工具包括: 1. B 站 UP 主“朱尼酱”的赛博丹炉,其界面友好、美观,适合新手入门。 2. 训练器,支持 Kolors 开源模型。 3. Kolors+Refiner,由 AIKSK 开发的工作流应用。 4. Kolors可图大模型XL 精修工作流,由@AiARTiST 非人类开发。 5. kolors+SDXL 细节修复+instant+ipa,由@谷尘 DesignDog 开发。 6. kolors 一键设计中文海报,由亦诚视觉开发。 7. ,魔搭社区官方模型。 8. InstantIDKolors 专属模型,由 InstantX 开发。
2025-02-18
LORA是什么
LoRA 全称 LowRank Adaptation Models,中文翻译为低阶自适应模型。它的作用在于影响和微调画面,通过其帮助,可以再现人物或物品的特征。 大模型的训练通常复杂且对电脑配置要求高,而 LoRA 采用在原有的模型中插入新的数据处理层的方式,避免了修改原有模型的参数。LORA 模型训练是用一些特定特征来替换大模型中的对应元素,比如一个固定的人物相貌、特定的服装或者是特定的风格,这样就可以生成不同于底模的图片。 所以,lora 训练比较轻量化,需要的显存较少,硬件门槛显存达到 6G 就可以开启训练。
2025-02-17
有没有lora怎么使用的教程
以下是关于 Lora 使用的教程: 1. 港风胶片 Lora 模型使用方法: 方法 1:利用上一期活动图片反推工作流,使用唯美港风图片进行反推提示词,在大模型后接一个墨悠_胶片 Lora。上一期活动链接:。胶片 Lora 链接:https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page 方法 2:利用抱脸的 joycaption 图片反推提示词,然后在哩布上跑 flux 文生图工作流。 joycaption 链接(需要魔法):https://huggingface.co/spaces/fancyfeast/joycaptionprealpha 文生图工作流: 在哩布上跑文生图:https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page 2. Comfyui SDXLLightning 中 Lora 的使用: SDXLLightning 是字节跳动推出的高速文本生成图像模型,包含完整的 UNet 和 LoRA 检查点。用户可以使用 Diffusers 和 ComfyUI 等框架进行配置。模型地址:https://huggingface.co/ByteDance/SDXLLightning/tree/main 。 实际使用时,拿 Lora 的使用来做介绍,使用方法和平常的 Lora 用法一样,但需要注意 CFG 值需要调小,一般设置为 1,另外步数设置根据使用的 Lora 步数为准。 3. Stable Diffusion 中 Lora 的使用: 当想要生成多张同一张脸的照片时,需要用到 Lora 模型。Lora 可以固定照片的特征,如人物特征、动作特征、照片风格。 点击“生成”下面的第三个按钮,弹出新的选项框,找到 Lora,就会出现下载保存到电脑的 Lora 模型。 点击要用的 Lora,会自动添加到关键词的文本框里面。Lora 可以叠加使用,但建议新手不要使用太多 Lora,每个 Lora 后面的数字用于调整权重,一般只会降低权重。 选择 Lora 时,要根据最开始想要生成的照片类型来选择,比如想生成真人模特,对应的 Lora 也要选用真人模特。
2025-02-17
flux lora训练
以下是关于 Flux 的 Lora 模型训练的详细步骤: 模型准备: 1. 下载所需模型:t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意:不使用时存放位置不限,只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本: 1. 网盘链接: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 安装虚拟环境: 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件,右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”,然后等待 1 2 小时的下载过程。下载完成后会提示是否下载 hunyuan 模型,选择“n”不用下载。 数据集准备: 1. 进入厚德云 模型训练 数据集:https://portal.houdeyun.cn/sd/dataset 2. 创建数据集:在数据集一栏中,点击右上角创建数据集,输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件,也可以上传只有图片的文件(之后可在 c 站使用自动打标功能),或者一张一张单独上传照片。建议提前将图片和标签打包成 zip 上传,Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间,确认创建数据集。返回到上一个页面,等待一段时间后上传成功,可以点击详情检查,可预览到数据集的图片以及对应的标签。 Lora 训练: 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 6. 等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置:.Flux_train_20.4\\train\\qinglong\\train 运行训练:约 1 2 小时即可训练完成。 验证和 lora 跑图:有 ComfyUI 基础的话,直接在原版工作流的模型后面,多加一个 LoraloaderModelOnly 的节点就可以,自行选择您的 Lora 和调节参数。
2025-02-17
lora是什么
Lora 全称 LowRank Adaptation Models,中文翻译为低阶自适应模型。它的作用在于影响和微调画面,通过其帮助,可以再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高,而 LoRA 采用在原有的模型中插入新的数据处理层的方式,避免了修改原有模型的参数。LORA 模型训练是用一些特定特征来替换大模型中的对应元素,比如固定的人物相貌、特定的服装或者特定的风格,这样就可以生成不同于底模的图片。所以,lora 训练比较轻量化,需要的显存较少,硬件门槛显存达到 6G 就可以开启训练。例如,有利用新版 SDXL 生成的 lora——针线娃娃,它可以把一些常见的形象制作成毛线编制的样子,这个 lora 需要使用 SDXL1.0 的模型才可以运行,触发词是 BJ_Sewing_doll。还有如“KIDS ILLUSTRATION”这样的风格 lora ,可以搭配不同的大模型生成儿童绘本风格的插画。
2025-02-10
我想用自己训练的卡通形象lora生成一张元宵节放孔明灯的海报,应该怎么制作
以下是用自己训练的卡通形象 lora 生成元宵节放孔明灯海报的制作方法: 1. 关键词: 模型:dreamshaper_8 正关键词:,white,white_background,CGposterrender bsw <lora:电商新年海报 2024_v1.0:0.4>,gold,<lora:新年红包封面_v1.0:0.6>,new year,<lora:gcbottle:0.3> 中文的关键词:(杰作,高分辨率,高品质,高分辨率)中国建筑,红色主题,剪纸,中国结,纸灯笼,中国图案,金色,中国元素,红色背景 2. ControlNet 设置: 预处理器:depth_leres 模型:control_v11f1p_sd15_depth 权重:0.75 预处理器:softedge_pidinet 模型:control_v11p_sd15_softedge 权重:0.3 3. lora 资源: https://www.liblib.ai/modelinfo/bddf824e232f4124991c05a26027504d https://www.liblib.ai/modelinfo/983703dd48134e43983b84abfcb44308 第三个东方瓷器 lora 已经下架(请至 AGI 之路百度云下载) 链接:https://pan.baidu.com/s/10hYM8i2y2Li9OlT2oD1qOQ 密码:asub 您可以参考以上步骤进行制作,同时您还可以访问以下链接获取更多相关信息: 作者小红书:https://www.xiaohongshu.com/user/profile/5cfd0e600000000016029764?wechatWid=803c253b00ed4224d3a2adcd80b46ed7&wechatOrigin=menu 通往 AGI 之路小红书教程:http://xhslink.com/OOeHsy AI 春晚阶段性纪实:https://waytoagi.feishu.cn/wiki/MI0UwhfXJiRH9ak4dwxcwqPVnIh
2025-02-08