Lora 全称 Low-Rank Adaptation Models,即低阶自适应模型。它的作用在于影响和微调画面,能够再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高,而 LoRA 采用在原模型中插入新的数据处理层的方式,避免了修改原有模型参数。LORA 模型训练是用特定特征替换大模型中的对应元素,从而生成不同于底模的图片。Lora 训练较为轻量化,所需显存较少,硬件门槛显存达到 6G 即可开启训练。例如,有利用新版 SDXL 生成的如针线娃娃的 lora,还有如“KIDS ILLUSTRATION”这样用于生成儿童绘本风格插画的 lora 等。
[title]【Lora炼丹术】从零开始,炼制你的第一个LoRA(1)作者:白马少年|公众号:【白马与少年】介绍:SD实践派,出品精细教程发布时间:2023-08-15 20:01原文网址:https://mp.weixin.qq.com/s/NUvEBvdGTQNCfxSKCwV_gw从接触SD到现在,相信大家一定使用过各种各样的lora,包括人物的、建筑的、画风的等等,那么你有没有想过炼制一款属于自己的lora模型呢。我们先来了解一下炼丹的基础概念,它的关键原理就是——等价交换法则!不好意思,说错了。重新来,Lora全称Low-Rank Adaptation Models,中文翻译为低阶自适应模型。它的作用在于影响和微调画面。通过lora的帮助,可以再现人物或物品的特征。大模型的训练通常是非常复杂且需要很高的电脑配置的,LoRA采用的方式就是在原有的模型中插入新的数据处理层,这样就避免了修改原有模型的参数。LORA模型训练,其实就是用一些特定特征来替换大模型中的对应元素,比如一个固定的人物相貌、特定的服装或者是特定的风格,这样就可以生成不同于底模的图片。所以,lora训练是比较轻量化的,需要的显存也少了很多,硬件门槛显存达到6G就可以开启训练了。我们今天要使用的是B站UP主“朱尼酱”的赛博丹炉,他的这款丹炉,界面更加友好、美观,适合新手入门。废话不多说,我们就正式开始吧。
[title]【SD】萌到出血,SDXL针线娃娃模型作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-09-07 20:00原文网址:https://mp.weixin.qq.com/s/ssP5W_FWZ_VmYeG-6z9bVQ可爱就是正义,今天给大家介绍一个利用新版SDXL生成的lora——针线娃娃。它可以把一些常见的形象制作成毛线编制的样子。这个lora需要使用SDXL1.0的模型才可以运行,触发词是BJ_Sewing_doll。做了一些小动物的图片,很治愈的感觉,一起来看看吧。当然不仅仅是动物,很多小场景也很有爱。有个小彩蛋在里面,看谁能发现,嘿嘿~~想体验这款lora的话,可以添加我的公众号【白马与少年】,回复【SDXL】即可。-END-白马与少年Stable Diffusion、Blender等学习心得分享139篇原创内容(持续更新中)公众号微信扫一扫关注该公众号
[title]【SD】儿童绘本风格插画作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-07-02 20:00原文网址:https://mp.weixin.qq.com/s/yf30ZBJPWG1Zzla9M1PnFw今天给大家推荐一个大模型和lora的组合运用,可以生成一些儿童绘本风格的插画。起作用的主要是这个风格lora——“KIDS ILLUSTRATION”,画风非常可爱治愈,可以搭配不同的大模型使用。官方案例使用的是超拟真大模型“Realistic Vision”。我们来测试一下吧,既然是儿童绘本,我们就选择一个大家都熟悉的《小王子》的故事吧。关键词描述:在一个荒凉的星球上,一个小男孩和一只狐狸,玫瑰花,星空。使用latent couple插件([【Stable Diffusion】手涂蒙版定位插件Latent Couple](http://mp.weixin.qq.com/s?__biz=MzA3ODY0OTc1NQ==&mid=2247486812&idx=1&sn=cbfff40072e25d54605f686c7733b8c0&chksm=9fbecda8a8c944be887648e28695df76810d7bf15a83588aa85ede35232c105c5d727c272ca6&scene=21#wechat_redirect))来确定小王子和狐狸的位置关系,并对小王子的服装做一个细致的描述——“黄头发,绿衣服,红围巾”。多刷一些图,最终筛选出来一张,动物的部分总是画得不太好,不过画风还是蛮喜欢的。同样的参考词,我们再换几个大模型看看。比如我们常用的2.5D模型“ReV Animated”,直接生成。