目前能够读取文本数字较多的大模型有以下几种：
需要注意的是，token 限制会同时对一次性输入和一次对话的总体上下文长度生效。例如，一次性输入的文本长度以及一次对话中累计的上下文长度都受到相应的限制。当达到上限时，并非停止对话，而是会遗忘最前面的对话内容。
从官方文档可以看到我们目前使用的模型有哪些，以及每个模型的token限制。除此之外，最直观能感受到各类模型token限制的其实是poe:在这里我们看到的16K、32K、100K就是指token上限。Claude-2-100 k模型的上下文上限是100k Tokens，也就是100000个tokenChatGPT-16 k模型的上下文上限是16k Tokens，也就是16000个tokenChatGPT-4-32 k模型的上下文上限是32k Tokens，也就是32000个token但似乎很多小伙伴不理解这个限制具体影响在哪些方面。所以我替你们问了一下GPT（真不懂你们为什么不自己问/手动狗头）从回答可以看出，这个token限制是同时对下述两者生效的：1、一次性输入2、一次对话的总体上下文长度，值得注意的是这个长度不是达到上限就停止对话，而是遗忘最前面的对话，你可以理解为鱼的记忆只有7秒，第8秒的时候他会忘记第1秒的事，第9秒的时候……（某些同学是不是恍然大悟了）
那么预训练阶段大模型就行学了些什么，又学了多少内容呢？以GPT-3为例，训练他一共用了4990亿token的数据集（约570GB文本），这其中绝大多数都是来源于高质量的网页、书籍数据库、维基百科等的内容，可能你对4990亿token这个数字没有直观的体感，那么我们不妨做个换算，它大概相当于86万本《西游记》，人生不过3万天，也就是说，即使你不吃不喝不睡，以每天读完一本《西游戏》的阅读速度去看这些资料，也大概要28.6辈子才能读完。转换器模型（Transformer）：Transformer这个单词你可能很陌生，但它的另一个中文翻译“变形金刚”你一定不陌生，Transformer是一种处理文本内容的经典模型架构，图16中左半部分就是GPT-1所使用的Transformer架构图（右边则是经典的Diffusion模型架构图，用于图像生成）。图16 Transformer和Diffusion关于Transformer的具体细节，即使不清楚，也并不太会影响你用好大模型，因此我们不做更多展开讨论了，感兴趣的朋友可以移步这里：[【官方双语】GPT是什么？直观解释Transformer |深度学习第5章_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV13z421U7cs/?vd_source=951ca0c0cac945e03634d853abc79977)[Transformer Explainer:LLM Transformer Model Visually Explained](https://poloclub.github.io/transformer-explainer/)
数字化的好处是便于计算机处理。但为了让计算机理解Token之间的联系，还需要把Token表示成稠密矩阵向量，这个过程称之为embedding([3])，常见的算法有：基于统计Word2Vec，通过上下文统计信息学习词向量GloVe，基于词共现统计信息学习词向量基于深度网络CNN，使用卷积网络获得图像或文本向量RNN/LSTM，利用序列模型获得文本向量基于神经网络BERT，基于Transformer和掩码语言建模（Masked LM）进行词向量预训练Doc2Vec，使用神经网络获得文本序列的向量以Transform为代表的大模型采用自注意力（Self-attention）机制来学习不同token之间的依赖关系，生成高质量embedding。大模型的“大”，指的是用于表达token之间关系的参数多，主要是指模型中的权重（weight）与偏置（bias），例如GPT-3拥有1750亿参数，其中权重数量达到了这一量级，而词汇表token数只有5万左右。参考：[How does an LLM"parameter"relate to a"weight"in a neural network?](https://datascience.stackexchange.com/questions/120764/how-does-an-llm-parameter-relate-to-a-weight-in-a-neural-network"How does an LLM"parameter"relate to a"weight"in a neural network?")