LORA 文件的后缀通常有.pt、.safetensors、.ckpt 等。LORA 是一种除主模型外常用的微调模型,常用于控制画风、人物、姿势等,其文件体量通常有几十上百兆,一般在 4M - 300M 之间。下载的 LORA 放在根目录的【……\models\Lora】文件夹下,使用时点击红色小书,找到 LORA 的选项卡加载,可能还需要加入特定触发词。此外,safetensors 是一种由 huggingface 研发的开源模型格式,具有安全、加载迅速、支持懒加载、通用性强等优势,现在大部分开源模型都会提供这种格式。LoRA 和 LyCORIS 的后缀均为.safetensors。Textual Inversion 后缀为.pt 或者.safetensors,体积很小,一般只有几 kb,所在目录在 WebUI 中的 embeddings 目录下。当无法通过后缀名区分文件类型时,可以去到秋叶大佬整理的网站 https://spell.novelai.dev/,把文件拖进去查看类型。
总结一下,LORA的强大,无论是画风,还是人物、物品,或者是动作姿态,都是可以固定下来,它所做的就是提炼图片特征。LORA和Embedding的区别一是在于体量上,Embedding的文件只有几十kb,而LORA的文件通常有几十上百兆,所以LORA的文件所承载的信息量是要远大于Embedding,尤其是在还原真人物品时,LORA的细节精度是Embedding无法比拟的。下载的LORA放在根目录的这个文件夹下【……\models\Lora】,使用的时候点击这个红色的小书,找到LORA的选项卡,任意点击一个想要的LORA就可以加载进去了。使用LORA的时候要注意看作者使用的大模型,一般情况下只有配套使用才能达到LORA最好的效果,当然也不排除有一些LORA和其他的大模型会产生一些奇妙的碰撞。除了加载lora以外,还需要加入一些特定的触发词,才能保证lora的正常使用。比如这个盲盒的lora,作者提示需要加入full body,chibi这些提示词才行。Hypernetworks主要是针对画风训练的一种模型,可以像lora一样加载进来。比如这种卡通Q版头像蒸汽波风格油画风格下载的文件放在根目录的这个文件夹下【…\models\hypernetworks】,使用的时候点击这个红色的小书,找到Hypernetworks的选项卡,任意点击一个想要的Hypernetworks就可以加载进去了。当我们下载了很多的模型、Embedding、Hypernetworks和LORA之后,我们会发现这些文件的后缀名几乎是一样,包括.pt/.safetensors/.ckpt等等,所以这些文件是无法通过后缀名进行区分的,那我们怎么判断这个文件到底是什么?该放到什么文件夹里呢?这里我们可以去到秋叶大佬整理的这个网站里面https://spell.novelai.dev/,把文件拖进去就可以看到是什么类型的文件。
DIM为64时,输出的文件一般为70MB+;DIM为128时,输出的文件一般为140MB+;|场景|DIM|备注||-|-|-||二次元<br>|32|画风越复杂,dim越高<br>||人物<br>|32-128<br>|常见主流lora大部分使用128<br>||实物、风景|≥128<br>|根据训练对象复杂度提升dim<br>|4样图设置主要是用来控制在训练过程中的样图显示,这样我们能实时观测到训练过程中的效果。sample every n steps为50,就代表着每50步生成一张样图。prompts提示词可以预设一些效果,让样图进行显示,也可以自定义。#素材处理设置好参数之后,我们来训练集当中,正常情况下,我们要炼制lora的话,大概需要20-30张质量比较高的图片。这边虽然只有5张,不过我们可以先用起来。先设置分辨率,常见的就是512*512,或者512*768。这里有一些裁剪模式,可以帮我们自动处理图片。设置好之后,我们点击预处理。等待预处理完成,就可以看到图片被处理成了脸部和上半身的聚焦图片。进入TAG编辑当中,可以看到每张图片都被自动加上了标签,可以说是非常方便了。纯英文的tag看起来还是有点费劲的,我们可以打开这个翻译设置来开启双语tag。我们进入百度翻译开放平台,注册一个账号,点击“通用文本翻译”、点击“免费体验通用文本翻译API”。
safetensors支持各种AI模型,而在safetensors出现前,各种AI模型都有着自己独特的后缀。这就导致每种模型既可以使用safetensors又可以使用自己原有的后缀,所以入门的时候就会让人有点分不清。其实safetensors是由huggingface研发的一种开源的模型格式,它有几种优势:足够安全,可以防止DOS攻击加载迅速支持懒加载通用性强所以现在大部分的开源模型都会提供safetensors格式。开源地址:https://github.com/huggingface/safetensorsLoRA和LyCORIS LoRA是除了主模型外最常用的模型。LoRA和LyCORIS都属于微调模型,一般用于控制画风、控制生成的角色、控制角色的姿势等等。LoRA和LyCORIS的后缀均为.safetensors,体积较主模型要小得多,一般在4M-300M之间。一般使用LoRA模型较多,而LyCORIS与LoRA相比可调节范围更大,以前需要额外的扩展才可使用,现在sd已经内置了。需要管理模型时我们可以进入WebUI目录下的models/LoRA目录下。在WebUl中使用时,可在LoRA菜单中点击使用。也可以直接使用Prompt调用。[heading2]YOUR LOGO[content]Textual Inversion Textual Inversion是文本编码器模型,用于改变文字向量。可以将其理解为一组Prompt。Textual Inversion后缀为.pt或者.safetensors,体积非常小,一般只有几kb。模型所在的目录不在models下,而是在WebUI中的embeddings目录下。在使用时同样可以在Textual Inversion菜单中点击使用,也可以使用Prompt调用。