OCR 大模型的原理如下:
总结一下,以上这段讨论,你要重点记住这句话:模仿人类大脑结构的AI,也自然而然的表现出人的特征,很多我们应对大模型回答不及预期的解决之道,也和人与人交流沟通的技巧如出一辙,息息相关。关于这一点,我们会在后续各种真实案例的分析拆解中再来讨论。GPT的全称是生成式预训练转换器模型(Generative Pre-trained Transformer),他的名字里就蕴含了大量重要的信息,接下来我们来聊聊GPT这三个字母的分别含义:图14 Generative Pre-trained Transformer生成式(Generative):所谓生成式,说的是大模型是根据已有的输入为基础,不断计算生成下一个字词(token),从而逐字完成回答的过程。这一过程,像极了一个单字接龙的游戏,图15中给出了一个简单的例子做为说明:1.一开始我们给了大模型一些提示词Prompt,为了简化,在图中这个提示词只有一个单词:How;2.接下来,大模型会结合自己“大脑中存储的知识”进行计算推理,算出how后面接are这个单词的概率最大,于是输出are接在how后面;3.在已知how are的情况下,大模型再次推理计算,算出how are后面接you这个单词概率最大,于是输出you接在how are后面;4.不断重复上面步骤,每次大模型会多输出一个词(token),新的输出会和过去的输入一并成为新的输入,用来计算下一个词;5.直到计算出下一个词是[end of text]的概率最大,于是结束输出,回答结束([end of text]是一个特殊的token,用来终止对话输出)
没错,这就是大语言模型真实工作的样子,平时使用大模型看到他逐字输出的样子,并不是程序员做的酷炫“打字机”效果,而是大模型就是如此这般工作的。按照我们的常识认知,这种依靠概率计算逐字接龙的方法,恐怕连生成一个通顺的句子都难,更别提生成高质量有意义的回答了,为什么这种方法会有效呢?答案就是大,GPT-1的参数规模是1.5亿,GPT-2 Medium的参数规模是3.5亿,到GPT-3.5时,他的参数规模来到了惊人的1750亿,我们常说大力出奇迹,参数规模的增加,使得大模型实现了量变到质变的突破,最终“涌现”出了这种惊人的“智能”。反观人类自身,无论是长周期看物种的进化,还是短周期看一个个体的学习成长历程,都有这样“涌现”的结构,就像当我打下这些文字的时候,我的大脑也在神奇的进行着快速的语言组织,这个边打字边思考边输出的过程,又何尝不是一场接龙游戏呢?图15文字接龙游戏预训练(Pre-trained):正如我们前面五点朴素洞察提到的,人类是不知道自己没见过/学过的知识的,大模型也是如此,大模型“脑袋”里存储的知识,都是预先学习好的,这个预先学习并把对知识理解存储记忆在“脑袋”里的过程,就称为预训练。预训练是需要花费相当多的时间和算力资源的,当你了解并意识到预训练机制的时候,你就会明白,在没有其他外部帮助(例如使用浏览器插件,RAG等)的情况下,大模型所知道的知识信息总是不完备的,滞后的(非实时)。
如果不会科学上网,也可以去启动器的界面直接下载模型,当然这里是看不见预览图的,但从名字你可能看不出这个模型是什么风格。将下载的大模型放在根目录的这个文件夹下【……\models\Stable-diffusion】,我们就可以在左上角的模型列表中进行选择了。(看不到就点旁边的蓝色按钮刷新一下)。旁边这个VAE,相当于是给模型增加一个提高饱和度的滤镜和一些局部上的细节微调。当然有的大模型本身就自带VAE,所以就不用再加了。VAE可以直接在启动器里面下载,下载的VAE放在根目录的这个文件夹下【……\models\VAE】。接下来要理解的一个概念是Embedding,这个功能相当于是一个提示词打包的功能。比如你想画一个娜美的人物形象,但是想要固定一个人物形象往往要几十条什么上百条提示词,比如性别、头发、脸型、眼睛、身材等等一大堆精确指向的词汇。那这个时候,就有人将这些提示词整合到一起做成了一个Embedding文件,你只需要使用一个提示词,就可以直接引入这个人物形象进行创作了。下载Embedding的地方同样是在C站,通过右上角的筛选Textual Inversion就可以找到,放在根目录下的embeddings文件夹里即可。接下来,讲一讲最重要的这个LORA,有了LORA就可以将人物或者物品接近完美地复刻进图像中,这就有了极大的商用价值。比如这个“墨心”的LORA,就可以把你的图片变成水墨风格。这个盲盒LORA可以生成这种2.5D的卡通小人角色。或者是一些明星角色的LORA,直接生成真人形象。还有知名的动漫角色,由于LORA其极其强大的功能,所以在使用上,大家需要有很强的版权和法律意识,所谓能力越大、责任越大,玩得太花,小心律师函到你家。