大模型不能和 Lora 一起用可能有以下原因:
同时,模型的类型和安装位置也很重要:
使用 Lora 时要注意作者使用的大模型,也不排除一些 Lora 和其他大模型会产生奇妙的效果。此外,文件后缀名相似,难以通过后缀名区分文件类型,可通过特定网站检测。
模型能够有效地控制生成的画风和内容。常用的模型网站有:[Civitai|Stable Diffusion models,embeddings,hypernetworks and more](https://link.zhihu.com/?target=https%3A//civitai.com/)>[Models-Hugging Face](https://link.zhihu.com/?target=https%3A//huggingface.co/models)>[SD-WebUI资源站](https://link.zhihu.com/?target=https%3A//www.123114514.xyz/models/ckpt)>[元素法典AI模型收集站-AI绘图指南wiki(aiguidebook.top)](https://link.zhihu.com/?target=https%3A//aiguidebook.top/index.php/model/)>[AI绘画模型博物馆(subrecovery.top)](https://link.zhihu.com/?target=https%3A//aimodel.subrecovery.top/)[heading3]模型安装[content]下载模型后需要将之放置在指定的目录下,请注意,不同类型的模型应该拖放到不同的目录下。模型的类型可以通过[Stable Diffusion法术解析](https://link.zhihu.com/?target=https%3A//spell.novelai.dev/)检测。大模型(Ckpt):放入models\Stable-diffusionVAE模型:一些大模型需要配合vae使用,对应的vae同样放置在models\Stable-diffusion或models\VAE目录,然后在webui的设置栏目选择。Lora/LoHA/LoCon模型:放入extensions\sd-webui-additional-networks\models\lora,也可以在models/Lora目录Embedding模型:放入embeddings目录
总结一下,LORA的强大,无论是画风,还是人物、物品,或者是动作姿态,都是可以固定下来,它所做的就是提炼图片特征。LORA和Embedding的区别一是在于体量上,Embedding的文件只有几十kb,而LORA的文件通常有几十上百兆,所以LORA的文件所承载的信息量是要远大于Embedding,尤其是在还原真人物品时,LORA的细节精度是Embedding无法比拟的。下载的LORA放在根目录的这个文件夹下【……\models\Lora】,使用的时候点击这个红色的小书,找到LORA的选项卡,任意点击一个想要的LORA就可以加载进去了。使用LORA的时候要注意看作者使用的大模型,一般情况下只有配套使用才能达到LORA最好的效果,当然也不排除有一些LORA和其他的大模型会产生一些奇妙的碰撞。除了加载lora以外,还需要加入一些特定的触发词,才能保证lora的正常使用。比如这个盲盒的lora,作者提示需要加入full body,chibi这些提示词才行。Hypernetworks主要是针对画风训练的一种模型,可以像lora一样加载进来。比如这种卡通Q版头像蒸汽波风格油画风格下载的文件放在根目录的这个文件夹下【…\models\hypernetworks】,使用的时候点击这个红色的小书,找到Hypernetworks的选项卡,任意点击一个想要的Hypernetworks就可以加载进去了。当我们下载了很多的模型、Embedding、Hypernetworks和LORA之后,我们会发现这些文件的后缀名几乎是一样,包括.pt/.safetensors/.ckpt等等,所以这些文件是无法通过后缀名进行区分的,那我们怎么判断这个文件到底是什么?该放到什么文件夹里呢?这里我们可以去到秋叶大佬整理的这个网站里面https://spell.novelai.dev/,把文件拖进去就可以看到是什么类型的文件。
可以多个lora组合使用,但是需要以一个为主,其他的强度在0.5或者以下,防止冲突CLAYMATE黏土lora(SDXL1.0)https://civitai.com/models/208168?modelVersionId=236248lora触发词claymation迪福森博士的黏土动画风格(SDXL1.0)lora触发词made-of-clayhttps://civitai.com/models/181962/doctor-diffusions-claymation-style-loraClay style(SD1.5)https://civitai.com/models/121119/clay-styleClay worldhttps://liblibai-online.vibrou.com/web/model/b8053c33f4834062808a0f4504a112b8/20240507-1715095286083-0009.safetensors?attname=%E7%B2%98%E5%9C%9F%E4%B8%96%E7%95%8CSD1.5_v1.5.safetensors提示词写Clay world,lora权重0.5-0.8,重绘幅度0.3-0.5,大模型自己挑一个。[heading5]大模型下载地址迪士尼真实卡通混合(SDXL1.0)[content]DisneyRealCartoonMixhttps://civitai.com/models/212426/disneyrealcartoonmix这个模型与黏土配合测试下来还不错,可能是因为迪士尼的浓眉大眼风格和黏土比较搭吧.模型触发词:modisn disney,modisn disney style大家也可以选择不同的模型测试比如:Playground AI's Playground v2.5 1024pxhttps://civitai.com/models/325263/playground-ais-playground-v25-1024px模型可以自由选择