LoRA 是一种在图像生成领域具有重要作用的技术。以下是关于 LoRA 的详细介绍和使用方法:
LoRA 可以固定图像的特征,包括人物特征、动作特征和照片风格等。在使用非 SDXL 基础模型时会用到 LoRA,使用方法和平常类似,但需要注意将 cfg 值调小,一般设置为 1,步数设置根据所使用的 LoRA 步数为准。
在实际使用中,以 Stable Diffusion 为例,点击“生成”下面的第三个按钮,会弹出新的选项框,找到 Lora 选项,就会出现下载保存到电脑的 Lora 模型。点击要用的 Lora ,会自动添加到关键词的文本框里面,Lora 可以叠加使用,但新手不建议使用太多,每个 Lora 后面的数字用于调整权重,一般只会降低权重。选择 Lora 时要根据最初想要生成的照片类型来选择相应风格的 Lora 。
此外,LoRA 具有极大的商用价值,比如“墨心”的 LoRA 可以把图片变成水墨风格,盲盒 LoRA 可以生成 2.5D 的卡通小人角色,还有一些明星或知名动漫角色的 LoRA 可以直接生成相应形象。但在使用时需要有很强的版权和法律意识。
SDXL-Lightning是字节跳动推出的高速文本生成图像模型,它可以在几步内生成高质量的1024像素图像。提供1步、2步、4步和8步文本生成图像的不同版本。该模型基于StabilityAI的stable-diffusion-xl-base,包含完整的UNet和LoRA检查点。用户可以使用Diffusers和ComfyUI等框架进行配置.模型地址https://huggingface.co/ByteDance/SDXL-Lightning/tree/mainsdxl_lightning_Nstep.safetensors:一体化检查点,适用于ComfyUI。sdxl_lightning_Nstep_unet.safetensors:仅限UNet检查点,适用于Diffusers。sdxl_lightning_Nstep_lora.safetensors:用于Diffusers和ComfyUI的LoRA检查点。[heading3]2步,4步,8步LoRA[content]仅在使用非SDXL基础模型时使用LoRA。否则,请使用我们的UNet检查点以获得更好的质量。[heading3]一步UNet[content]一步模型只是实验性的,质量不太稳定。建议使用两步模型以获得更好的质量。1步模型使用“样本”预测而不是“epsilon”预测!调度程序需要正确配置。[heading3]实际使用[content]这里拿lora的使用来做介绍,使用的方法和平常的lora用法是一样的,但是需要注意的是cfg值需要调小,一般设置为1,另外步数设置根据你使用的lora步数为准.CFG值用于控制生成图像的保真度和创意程度。较高的CFG值会使生成的图像更符合输入的条件,较低的CFG值则允许更多的创意自由。
通过输入关键词,我们已经能够生成一张稍微好看一点的小姐姐的照片了,但是现在我想要生成5678张照片,而且我要出来的照片都是同一张脸,这怎么办呢?这时候我们就要用到Lora模型简单来说,Lora可以固定我们照片的特征:人物特征、动作特征、还有照片风格点击“生成”下面的的第三个按钮,就会弹出新的选项框找到Lora,就会出现我们下载保存到电脑的Lora模型点击我们要用的Lora,就会自动添加到关键词的文本框里面前面那四张照片用到的就是这三个Lora,由此可见,我们的Lora是可以叠加使用的但是建议新手不要使用太多lora,因为这样照片出问题了,你也不知道是哪个Lora有问题另外,Lora之间一样用英文逗号隔开每个Lora后面都有数字,这是用来调整这个Lora的权重的,正常情况下是1,我们一般只会去降低权重,因为增加权重照片可能就会变得奇奇怪怪每个Lora设置的权重不一样,出来的照片就会不一样想要生成一个好看的小姐姐,就要多去尝试不同的权重组合现在问题又来了,我们怎么选择Lora呢?这个问题就要回归到你最开始想要生成什么样的照片你想生成真人模特,你在最开始用了真人的大模型对应的我们的Lora也要选用真人模特这样出来的照片效果才更好!一些比较好看的Lora已经打包好了放在文章的末尾后续挖掘到更好看的Lora也会分享给大家!大家可以通过添加不同的Lora,调整权重,生成你独一无二的小姐姐!
如果不会科学上网,也可以去启动器的界面直接下载模型,当然这里是看不见预览图的,但从名字你可能看不出这个模型是什么风格。将下载的大模型放在根目录的这个文件夹下【……\models\Stable-diffusion】,我们就可以在左上角的模型列表中进行选择了。(看不到就点旁边的蓝色按钮刷新一下)。旁边这个VAE,相当于是给模型增加一个提高饱和度的滤镜和一些局部上的细节微调。当然有的大模型本身就自带VAE,所以就不用再加了。VAE可以直接在启动器里面下载,下载的VAE放在根目录的这个文件夹下【……\models\VAE】。接下来要理解的一个概念是Embedding,这个功能相当于是一个提示词打包的功能。比如你想画一个娜美的人物形象,但是想要固定一个人物形象往往要几十条什么上百条提示词,比如性别、头发、脸型、眼睛、身材等等一大堆精确指向的词汇。那这个时候,就有人将这些提示词整合到一起做成了一个Embedding文件,你只需要使用一个提示词,就可以直接引入这个人物形象进行创作了。下载Embedding的地方同样是在C站,通过右上角的筛选Textual Inversion就可以找到,放在根目录下的embeddings文件夹里即可。接下来,讲一讲最重要的这个LORA,有了LORA就可以将人物或者物品接近完美地复刻进图像中,这就有了极大的商用价值。比如这个“墨心”的LORA,就可以把你的图片变成水墨风格。这个盲盒LORA可以生成这种2.5D的卡通小人角色。或者是一些明星角色的LORA,直接生成真人形象。还有知名的动漫角色,由于LORA其极其强大的功能,所以在使用上,大家需要有很强的版权和法律意识,所谓能力越大、责任越大,玩得太花,小心律师函到你家。