以下是一些关于大模型 LoRA 技术的书籍或文章推荐：
[Retrieval-augmented generation for knowledge-intensive NLP tasks](https://arxiv.org/abs/2005.11401)（2020）：由Facebook开发，RAG是通过信息检索提高LLM准确性的两个主要研究路径之一。（[博客文章](https://ai.facebook.com/blog/retrieval-augmented-generation-streamlining-the-creation-of-intelligent-natural-language-processing-models/)）[Improving language models by retrieving from trillions of tokens](https://arxiv.org/abs/2112.04426)（2021年）：RETRO，即“检索增强型TRansfOrmers”，这是另一种由DeepMind提出的通过访问训练数据中未包含的信息来提高LLM准确性的方法。（[博客文章](https://www.deepmind.com/blog/improving-language-models-by-retrieving-from-trillions-of-tokens)）[LoRA：Low-rank adaptation of large language models](https://arxiv.org/abs/2106.09685)（2021）：这项来自Microsoft的研究为在新数据上训练LLM提供了一种比微调更有效的替代方案。它现在已经成为社区微调的标准，特别是对于图像模型。
同时提供了LoRA微调和全量参数微调代码，关于LoRA的详细介绍可以参考论文“[LoRA:Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685)”以及微软Github仓库[LoRA](https://github.com/microsoft/LoRA)。
累积了足够的“专业”数据以后，我们就不满足于只采用prompt方式来提取信息，进而可以打造自己的虚拟助手了。目前有两种主流的实现方案，用向量数据库作为仓库，大模型整合信息输出；另一种直接微调训练自己的模型。（不过微调的算力要求比prompt要高很多）除了传统的全量训练和freeze冻结某些层方式以外，最近发展出了很多种高效的微调方法：1.LoRA:LORA:LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS2.Prefix Tuning:Prefix-Tuning:Optimizing Continuous Prompts for Generation,P-Tuning v2:Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks3.P-Tuning:GPT Understands,Too4.Prompt Tuning:The Power of Scale for Parameter-Efficient Prompt Tuning5.AdaLoRA:Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning6.(IA)3:Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning7.MultiTask Prompt Tuning:Multitask Prompt Tuning Enables Parameter-Efficient Transfer Learning本篇主要采用LoRA方式，主要思路就是训练一个参数量较小的分支，然后再与底模合并，从而在模型中注入新的知识。