大模型是指输入大量语料，使计算机获得类似人类的“思考”能力，能够理解自然语言，并进行文本生成、推理问答、对话、文档摘要等工作。
大模型的训练和使用过程可以用“上学参加工作”来类比：
在大模型中，Token 被视为模型处理和生成的文本单位，它们可以代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token 是原始文本数据与大模型可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表（Vocabulary）。
为了让计算机理解 Token 之间的联系，还需要把 Token 表示成稠密矩阵向量，这个过程称之为 embedding，常见的算法有：
以 Transform 为代表的大模型采用自注意力（Self-attention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。大模型的“大”，指的是用于表达 token 之间关系的参数多，主要是指模型中的权重（weight）与偏置（bias），例如 GPT-3 拥有 1750 亿参数，其中权重数量达到了这一量级，而词汇表 token 数只有 5 万左右。
此外，如果您想获取更多模型，大多数模型可以在 Civitai（C 站）https://civitai.com/ 下载。下载模型时的注意事项包括：
模型下载保存地址：
如果不知道下载的模型类型及应存放的文件夹，可以使用秋叶的模型解析工具 https://spell.novelai.dev/，将模型拖动到空白处，自动弹出模型信息，查看模型种类。
通俗来讲，大模型就是输入大量语料，来让计算机获得类似人类的“思考”能力，使之能够理解自然语言，能够进行『文本生成』、『推理问答』、『对话』、『文档摘要』等工作。既然是学习，那我们就可以用『上学参加工作』这件事来类比大模型的训练、使用过程：1.找学校::训练LLM需要大量的计算，因此GPU更合适，因此只有购买得起大量GPU的贵族学校才有资本训练自己的大模型2.确定教材::大模型顾名思义就是大，需要的数据量特别多，几千亿序列（Token）的输入基本是标配3.找老师::即用什么样的算法讲述“书本”中的内容，让大模型能够更好理解Token之间的关系4.就业指导::学完书本中的知识后，为了让大模型能够更好胜任某一行业，需要进行微调（fine tuning）指导5.搬砖::就业指导完成后，下面就要正式干活了，比如进行一次翻译、问答等，在大模型里称之为推导（infer）在LLM中，Token([2])被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token是原始文本数据与LLM可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表（Vocabulary），比如：The cat sat on the mat，会被分割成“The”、“cat”、“sat”等的同时，会生成下面的词汇表：|Token|ID||-|-||The|345||cat|1256||sat|1726||…|…|
数字化的好处是便于计算机处理。但为了让计算机理解Token之间的联系，还需要把Token表示成稠密矩阵向量，这个过程称之为embedding([3])，常见的算法有：基于统计Word2Vec，通过上下文统计信息学习词向量GloVe，基于词共现统计信息学习词向量基于深度网络CNN，使用卷积网络获得图像或文本向量RNN/LSTM，利用序列模型获得文本向量基于神经网络BERT，基于Transformer和掩码语言建模（Masked LM）进行词向量预训练Doc2Vec，使用神经网络获得文本序列的向量以Transform为代表的大模型采用自注意力（Self-attention）机制来学习不同token之间的依赖关系，生成高质量embedding。大模型的“大”，指的是用于表达token之间关系的参数多，主要是指模型中的权重（weight）与偏置（bias），例如GPT-3拥有1750亿参数，其中权重数量达到了这一量级，而词汇表token数只有5万左右。参考：[How does an LLM"parameter"relate to a"weight"in a neural network?](https://datascience.stackexchange.com/questions/120764/how-does-an-llm-parameter-relate-to-a-weight-in-a-neural-network"How does an LLM"parameter"relate to a"weight"in a neural network?")
除了链接里面给大家分享的模型，大家肯定还想去找更多更好看的模型而大多数的模型都是在Civitai（C站）这个网站里面https://civitai.com/现在就给大家说一下C站的使用方法：01.科学上网这个没法教，大家只能自己想办法了02.点击右上角的筛选按钮，在框框里面找到自己需要的模型类型Checkpoint=大模型LoRA=Lora常用的就是这两个03.看照片，看到感兴趣的就点进去点击右边的“Download”，也就是下载，保存到电脑本地，文件保存到哪里在这一节的第二部分另外，我们还可以点击左上角的“Images”这里就是看别人已经做好的图片，找到喜欢的点进去点进去之后的页面我们就可以看到这张图的全部信息，直接点击Lora和大模型，可以直接跳转到下载页面下面的就是照片关键词和其他信息点击最下面的“Copy...Data”就可以复制图片的所有信息回到SD，粘贴到关键词的文本框，点击右边的按钮这些信息就会自动分配要注意的就是，大模型是需要我们手动去换的！这样我们就可以生成出跟大神几乎一样的照片了！（电脑网络配置的不同，出来的照片有细微差别）[heading2]2.模型下载到哪里[content]这里大家就直接看我文件的保存地址，找到自己电脑里的01.大模型这里的SD根目录就是大家在下载时，存放SD的那个文件夹02.Lora03.VAE[heading2]3.如何分辨模型[content]如果我们下载了一个模型，但不知道它是哪个类型的，不知道要放到哪个文件夹我们就可以用到这个秋叶的模型解析工具https://spell.novelai.dev/把模型拖动到空白处接着就会自动弹出模型的信息在模型种类里面就可以看到是什么模型啦！