LoRA（Low-Rank Adaptation Models，低阶自适应模型）具有以下应用：
从接触SD到现在，相信大家一定使用过各种各样的lora，包括人物的、建筑的、画风的等等，那么你有没有想过炼制一款属于自己的lora模型呢。我们先来了解一下炼丹的基础概念，它的关键原理就是——等价交换法则！不好意思，说错了。重新来，Lora全称Low-Rank Adaptation Models，中文翻译为低阶自适应模型。它的作用在于影响和微调画面。通过lora的帮助，可以再现人物或物品的特征。大模型的训练通常是非常复杂且需要很高的电脑配置的，LoRA采用的方式就是在原有的模型中插入新的数据处理层，这样就避免了修改原有模型的参数。LORA模型训练，其实就是用一些特定特征来替换大模型中的对应元素，比如一个固定的人物相貌、特定的服装或者是特定的风格，这样就可以生成不同于底模的图片。所以，lora训练是比较轻量化的，需要的显存也少了很多，硬件门槛显存达到6G就可以开启训练了。我们今天要使用的是B站UP主“朱尼酱”的赛博丹炉，他的这款丹炉，界面更加友好、美观，适合新手入门。废话不多说，我们就正式开始吧。
在许多方面，这对任何人来说都不应该是一个惊喜。开源LLM的当前复兴紧随图像生成的复兴之后。社区没有忽视这些相似之处，许多人称这是LLM的“稳定扩散时刻”。在这两种情况下，低成本的公众参与都得益于一种名为低秩适应（LoRA）的微调机制，以及在规模上取得的重大突破（图像合成的潜在扩散，LLM的Chinchilla）。在这两种情况下，获得足够高质量的模型引发了全球个人和机构的一系列想法和迭代。在这两种情况下，这很快超越了大型参与者。这些贡献对于图像生成领域至关重要，使得Stable Diffusion走上了与Dall-E不同的道路。拥有一个开放的模型导致了产品集成、市场、用户界面和创新，这些在Dall-E上没有发生。效果是明显的：在文化影响方面，快速占主导地位，而OpenAI的解决方案变得越来越无关紧要。LLMs是否会发生同样的事情还有待观察，但广泛的结构元素是相同的。
Alpaca还需要对LLaMA-6B所有权重做完整的SFT，为了进一步降低微调成本，LoRA(Low-Rank Adaptation)使用如下方法主路参数固定的基础上，在旁路加一个低秩的shortcut，训练阶段主路固定，只训练旁路，极大降低参数量初始化的时候B矩阵为0，达到zero-convolution的效果推理的时候把旁路折叠到主路，类似重参数化思路