transformer原理

Transformer 是一种注意力模型，也被称为变形金刚模型。它源于 Google 团队在 2017 年发布的一篇名为《Attention Is All You Need》的论文。 语言建模多年来不断发展，在 2015 年注意力机制兴起，Transformers 模型就是基于此。 Transformer 具有以下特点： 基于注意力机制，能更好地捕捉序列中的长程依赖关系。 是一种使用注意力机制的编码器解码器模型，可以利用多元化的优势，同时处理大量数据。 其架构由编码器和解码器组成，编码器对输入序列进行编码并传递给解码器，解码器解码相关任务的表示。 尽管 Transformers 之前的模型能将单词表示为向量，但这些向量不包含上下文，而 Transformer 能解决此问题。 生成式人工智能的力量来自于使用了 Transformers，其核心思想是“自注意力机制”，能让模型在处理一个词或短语时，同时考虑到与它相关的其他词或短语的信息，从而更好地理解语言的上下文，更准确地进行翻译或生成文本。但 Transformers 也可能产生幻觉，即模型生成无意义或语法错误的单词或短语。 通过海量的训练学习，大型的神经网络模型（如 Transformer ）中存储了大量知识，可通过文字生成展现。像 ChatGPT 这样基于 Transformer 的模型在闲聊中能表现出更多世界知识和一定推理能力，能更好地理解人类语言含义和上下文，生成更自然流畅的语言表达。Character.ai 也在研发自己类似于 ChatGPT 的预训练大型语言模型。

Transformer 模型的原理主要包括以下几个方面： 1. 自注意力机制（SelfAttention Mechanism）：能够同时考虑输入序列中所有位置的信息，而非像循环神经网络或卷积神经网络那样逐个位置处理。通过该机制，模型可根据输入序列中不同位置的重要程度，动态分配注意力权重，从而更好地捕捉序列中的关系和依赖。 2. 位置编码（Positional Encoding）：由于自注意力机制不考虑输入序列的位置信息，为使模型能够区分不同位置的词语，引入位置编码。位置编码是一种特殊向量，与输入词向量相加，用于表示词语在序列中的位置信息，通常基于正弦和余弦函数计算得到固定向量，帮助模型学习位置信息的表示。 3. 多头注意力机制（MultiHead Attention）：通过引入该机制，可以并行地学习多个注意力表示，从不同的子空间中学习不同的特征表示。每个注意力头都是通过将输入序列线性变换成查询、键和值向量，并计算注意力分数，然后将多个头的输出拼接在一起得到最终的注意力表示。 4. 残差连接（Residual Connection）和层归一化（Layer Normalization）：在每个子层（SelfAttention 层和前馈神经网络层）的输入和输出之间引入残差连接，并对输出进行层归一化。残差连接可缓解梯度消失和梯度爆炸问题，使模型更易训练和优化；层归一化能加速训练过程，并提高模型的泛化能力。 5. 位置感知前馈网络（Positionwise FeedForward Networks）：在每个注意力子层之后，包含位置感知前馈网络，它是一个两层的全连接前馈神经网络，用于对注意力表示进行非线性转换和映射。位置感知前馈网络在每个位置独立计算，提高了模型的并行性和计算效率。 此外，用一个简单的例子解释其工作流程：假设要将英文句子“I am a student”翻译成中文。 1. 输入嵌入（Input Embeddings）：首先将每个单词映射为一个向量，即单词嵌入。 2. 位置编码（Positional Encodings）：给每个词位置加上位置编码，使模型知道词语的相对位置。 3. 编码器（Encoder）：输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分，即多头注意力机制捕捉单词间的依赖关系，前馈神经网络对 attention 的结果进行进一步编码。 4. 解码器（Decoder）：编码器的输出被送入解码器层。解码器也由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。 5. 输出嵌入（Output Embeddings）：解码器最后一层的输出被映射为输出单词概率分布。 6. 生成（Generation）：基于概率分布，以贪婪或 beam search 等解码策略生成完整的输出序列。

Transformer 的工作流程如下： 1. 输入嵌入（Input Embeddings）：将每个单词映射为一个向量，例如将“I”映射为一个 512 维的向量。 2. 位置编码（Positional Encodings）：由于 Transformer 没有捕获序列顺序的结构，需给每个词位置加上位置编码，让模型知晓词语的相对位置。 3. 编码器（Encoder）：输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分，即多头注意力机制（MultiHead Attention）捕捉单词间的依赖关系，以及前馈神经网络（FeedForward NN）对 attention 的结果进行进一步编码。 4. 解码器（Decoder）：编码器的输出被送入解码器层。解码器也是由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。 5. 输出嵌入（Output Embeddings）：解码器最后一层的输出被映射为输出单词概率分布，例如生成单词“我”“是”等的概率。 6. 生成（Generation）：基于概率分布，以贪婪或 beam search 等解码策略生成完整的输出序列。 Transformer 具有诸多优势，例如可以非常有效地并行化，这意味着只要有合适的硬件，就能训练出非常大的模型。像 GPT3 这样令人印象深刻的文本生成模型，其写作能力几乎与人类相当，就是在 45TB 的文本数据上训练而成的。Transformer 使神经网络能够更高效地理解和生成语言，通过并行分析散文块，找出值得关注的元素，极大地优化了生成连贯文本以响应提示的过程。最终，同样的技术还可以生成图像甚至视频。

Transformer 的工作流程如下： 1. 输入嵌入（Input Embeddings）：将每个单词映射为一个向量，例如将“ I ”映射为一个 512 维的向量。 2. 位置编码（Positional Encodings）：由于 Transformer 没有能捕获序列顺序的结构，如递归或卷积，所以给每个词位置加上位置编码，让模型知晓词语的相对位置。 3. 编码器（Encoder）：输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分，一是多头注意力机制（MultiHead Attention），用于捕捉单词间的依赖关系；二是前馈神经网络（FeedForward NN），对 attention 的结果进行进一步编码。 4. 解码器（Decoder）：编码器的输出被送入解码器层。解码器同样由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。 5. 输出嵌入（Output Embeddings）：解码器最后一层的输出被映射为输出单词概率分布，例如生成“我”“是”等单词的概率。 6. 生成（Generation）：基于概率分布，以贪婪或 beam search 等解码策略生成完整的输出序列。 注意力机制是 Transformer 最关键的创新，允许模型捕获长距离依赖关系。多头注意力可并行计算，因此高效。残差连接和层归一化有助于优化网络。整体上，Transformer 无递归和卷积结构，计算并行化程度高，更适合并行加速。 Transformer 是一个大参数（千亿级别）的回归方程，其底层是 function loss 损失函数。它是在一定 prompt condition 情况下，repeat 曾经出现过的数据内容，实现“生成”能力。回归方程的 Function loss 拟合 A to B mapping 关系，实现数据集的压缩与还原。 在公众传播层面，AIGC 指用 Stable Diffusion 或 Midjourney 生成图像内容，后来泛指用 AI 生成音乐、图像、视频等内容；LLM 指 NLP 领域的大语言模型，如 ChatGPT；GenAI 是生成式人工智能模型，国内官方政策文件使用这个词相对科学，涵盖了 LLM 和 AIGC；AGI 指通用人工智能。公众传播一般会混用上述名词，但底层是 Transformer 结构。 大语言模型是一个 perfect memory，repeat 曾经出现的内容。它与 Alpha Go 有差异，Alpha Go 是一个增强学习模型，学习结果会调整模型自身参数，有推理能力，但大语言模型在推理这块很弱。Transformer 决定 LLM 是一个生成式模型。

Transformer 模型的原理主要包括以下几个方面： 1. 自注意力机制：能够同时考虑输入序列中所有位置的信息，根据输入序列中不同位置的重要程度，动态地分配注意力权重，从而更好地捕捉序列中的关系和依赖。 2. 位置编码：由于自注意力机制不考虑输入序列的位置信息，为了使模型能够区分不同位置的词语，引入了位置编码。位置编码是一种特殊的向量，与输入词向量相加，用于表示词语在序列中的位置信息，通常基于正弦和余弦函数计算得到。 3. 多头注意力机制：通过引入多头注意力机制，可以并行地学习多个注意力表示，从不同的子空间中学习不同的特征表示。每个注意力头都是通过将输入序列线性变换成查询、键和值向量，并计算注意力分数，然后将多个头的输出拼接在一起得到最终的注意力表示。 4. 残差连接和层归一化：在每个子层（SelfAttention 层和前馈神经网络层）的输入和输出之间都引入了残差连接，并对输出进行层归一化。残差连接可以缓解梯度消失和梯度爆炸问题，层归一化可以加速训练过程，并提高模型的泛化能力。 5. 位置感知前馈网络：在每个注意力子层之后，包含了位置感知前馈网络，它是一个两层的全连接前馈神经网络，用于对注意力表示进行非线性转换和映射。位置感知前馈网络在每个位置独立地进行计算，提高了模型的并行性和计算效率。 通过以上关键点，Transformer 模型能够有效地捕捉输入序列中的长距离依赖关系，并在各种序列到序列的任务中取得了优异的性能。

为了方便理解，我会尽量使用非技术术语进行解释，并配上一些图表。 Transformer 是 Google Research 于 2017 年提出的一种神经网络架构，它已经被证明了在自然语言处理 任务中的有效性，并被广泛应用于机器翻译、文本摘要、问答等领域。 Transformer 的基本原理是通过 注意力机制 来学习词与词之间的依赖关系，从而更好地理解句子的语义。 以下是一张简化的 Transformer 架构图： ! 图中主要包含以下几个部分： 编码器 ： 编码器由多个相同的编码器层组成，每个编码器层又由两个子层组成： 自注意力层 ： 自注意力层负责学习词与词之间的依赖关系。 前馈神经网络层 ： 前馈神经网络层负责对每个词进行非线性变换。 解码器 ： 解码器由多个相同的解码器层组成，每个解码器层又由三个子层组成： 自注意力层 ： 解码器的自注意力层负责学习词与词之间的依赖关系，以及词与编码器输出之间的依赖关系。 编码器解码器注意力层 ： 编码器解码器注意力层负责将编码器输出的信息传递给解码器。 前馈神经网络层 ： 解码器的前馈神经网络层负责对每个词进行非线性变换。 位置编码 ，因此需要显式地将位置信息编码到输入序列中。 Transformer 的工作流程如下： 1. 将输入序列转换为词嵌入表示。 2. 编码器对输入序列进行编码，并输出编码器输出序列。 3. 解码器以自注意力机制为基础，根据编码器输出序列和之前生成的输出词，预测下一个词。 4. 重复步骤 3，直到生成完整的输出序列。 Transformer 的注意力机制是其核心思想，它使 Transformer 能够捕获长距离依赖关系，从而更好地理解句子的语义。 以下是一张简化的注意力机制示意图： ! 图中主要包含以下几个部分： 查询 ： 查询代表要计算注意力的词。 键 ： 键代表所有候选词。 值 ： 值代表所有候选词的语义信息。 注意力分数 ： 注意力分数代表查询词与每个候选词之间的相关程度。 加权值 ： 加权值代表每个候选词对查询词的贡献程度。 注意力机制的计算过程如下： 1. 对查询、键和值进行缩放变换。 2. 计算查询与每个键的点积。 3. 对点积进行 softmax 运算，得到注意力分数。 4. 将注意力分数与值相乘，得到加权值。 5. 将所有加权值求和，得到最终的输出。 Transformer 模型的出现是 NLP 领域的一个重大突破，它使 NLP 任务的性能得到了大幅提升。Transformer 模型及其衍生模型已经被广泛应用于各种 NLP 任务，并取得了 stateoftheart 的结果。 希望以上解释能够帮助您理解 Transformer 的基本原理。

ChatGPT 的基本原理如下： 1. 数据获取：从网络、书籍等来源获取大量人类创作的文本样本。 2. 训练神经网络：通过训练神经网络生成“类似”的文本。神经网络由简单元素组成，操作基本是为每个新单词（或单词部分）生成“输入”，然后将其“通过其元素”。 3. 生成文本：能够从“提示”开始，然后继续生成“类似于训练内容”的文本。具体方式是把自己生成的下一个词，和之前的上文组合成新的上文，再生成下一个词，不断重复以生成任意长的下文，此过程称为自回归生成。 4. 训练目的：训练的主要目的不是记忆，而是学习以单字接龙的方式来训练模型，学习提问和回答的通用规律，以便在遇到没记忆过的提问时，能利用所学规律生成用户想要的回答，这种能力也叫做泛化。 5. 模型特点：ChatGPT 被称为生成模型，与搜索引擎不同，它可以创造不存在的文本。但它也存在缺点，可能混淆记忆，无法直接查看和更新所学，且高度依赖学习材料，导致缺乏及时性和准确性。 ChatGPT 中的 GPT 是 Generative PreTraining Transformer，即生成式预训练转换器。其本质功能是“单字接龙”，长文由单字接龙的回归所生成。 ChatGPT 的成功表明人类语言（以及背后的思维模式）的结构比我们想象的要简单和更具有“法律属性”。但它并不总是说出“全局意义上的话”或对应于正确的计算，只是根据训练材料中的“声音类似”的东西“说出”“听起来正确”的东西。 当我们人类生成语言时，许多方面的工作与 ChatGPT 似乎相当相似。但 ChatGPT 最终（至少在它可以使用外部工具之前），仅仅从它积累的“传统智慧统计数据”中提取了一些“连贯的文本线索”。

知识库可以用比较通俗的方式来理解： 想象一个大语言模型就像一个非常聪明、读过无数书的人，但对于一些特定的工作场景中的细节，比如见到老板娘过来吃饭要打三折，张梦飞过去吃饭要打骨折，它可能并不清楚。这时候，知识库就像是给这个聪明的人发的一本工作手册。 从更专业的角度来说，知识库的运作原理通常包括以下几个步骤： 1. 文档加载：从各种不同的来源，比如 PDF、SQL 数据、代码等加载相关的文档。 2. 文本分割：把加载的文档分割成指定大小的块，称为“文档块”或“文档片”。 3. 存储：这包括两个环节，一是将分割好的文档块进行嵌入，转换成向量的形式；二是将这些向量数据存储到向量数据库中。 4. 检索：当需要使用数据时，通过某种检索算法从向量数据库中找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给大语言模型，大语言模型会根据问题和检索出来的提示一起生成更合理的答案。 以车型数据为例，每个知识库的分段中保存了一种车型的基础数据。当用户问宝马 X3 的售价是多少时，就能匹配到对应车型的分段，然后从其中获取到售价信息。 海外官方文档：https://www.coze.com/docs/zh_cn/knowledge.html 国内官方文档：https://www.coze.cn/docs/guides/use_knowledge

消费者均衡条件是指在既定收入和价格下，消费者购买各种商品的数量组合使其获得最大效用。边际效用递减原理指在一定时间内，在其他商品的消费数量保持不变的条件下，随着消费者对某种商品消费量的增加，消费者从该商品连续增加的每一消费单位中所得到的效用增量即边际效用是递减的。 当消费者在消费过程中遵循消费者均衡条件时，由于边际效用递减，消费者为了获得相同的总效用，会在商品价格下降时增加对该商品的购买量，在商品价格上升时减少对该商品的购买量。 假设商品 X 的价格下降，根据边际效用递减原理，消费者在消费商品 X 时，每增加一单位商品 X 所带来的边际效用是递减的。但由于价格下降，使得每一单位货币能购买到更多的商品 X，从而使得消费者在购买商品 X 上获得的边际效用增加。为了达到新的消费者均衡，消费者会增加对商品 X 的购买量。 反之，当商品 X 的价格上升时，每一单位货币能购买到的商品 X 减少，消费者在购买商品 X 上获得的边际效用减少，为了达到新的消费者均衡，消费者会减少对商品 X 的购买量。 综上所述，随着商品价格的变化，消费者对商品的购买量呈现出反向变动的关系，从而推导出需求曲线向右下方倾斜。

AIGC 的底层科学原理包含神经网络。 神经网络是一种模仿生物神经网络的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。它由大量的人工神经元联结进行计算，是一种自适应系统，具备学习功能。 在 AI 领域，神经网络是一种重要的技术。深度学习就是一种参照人脑结构，包含神经网络和神经元的方法（因层数较多而称为深度）。神经网络可以用于监督学习、无监督学习、强化学习等多种学习方式。 同时，Transformer 模型的出现也对 AIGC 产生了重要影响，它完全基于自注意力机制处理序列数据，比循环神经网络更适合处理文本的长距离依赖性。

LLM（大语言模型）的工作原理如下： 大模型在回复时是一个字一个字地推理生成内容，就像输入法的输入联想逻辑，会根据输入的字推测下一个字。但仅算字的概率存在问题，且全量数据计算算力吃不消。 为解决这些问题，出现了词向量机制和 transformer 模型中的 attention 自注意力机制。 以“我今天吃了狮子头和蔬菜”这句话为例，在 transformer 中，attention 层会对其加入更多信息补充，如“狮子头是一道菜”“今天是星期六”等，层与层之间由模型自主学习哪些信息补充、保留和传递，最终把海量数据以关系网形式“消化”并保留重要相关性。 这些层就像人阅读文章时的连贯性注意力过程，记忆的不是点状知识而是网状经验。 大模型以词向量和 transformer 的模型学习海量知识，把知识作为向量空间中的关系网存储，接受输入时通过向量空间中的匹配进行输出。 就像人脑阅读学习，记忆不是逐字逐句，而是按相关性、重要程度结合历史经验，比如记忆“红色”时会带有很多“feature”信息。 常见缩写和专业词汇解释： LLM：Large language model 的缩写，即大语言模型。 Prompt：中文译作提示词，是输入给大模型的文本内容，其质量会影响回答质量。 Token：大模型语言体系中的最小单元，不同厂商对中文的切分方法不同，1Token 约等于 1 2 个汉字，收费和输入输出长度限制以 token 为单位。 上下文：英文为 context，指对话聊天内容前、后的信息，其长度和窗口会影响回答质量。

Kimi 探索版的技术原理如下： 工作流方面：通过工作流输出的卡片绑定和多轮输出推动剧情发展，其中相对复杂的技术实现是工作流中嵌套的图像流。但此 bot 未涉及自有 plugin、数据库、用户状态、外部系统交互等技术组件。 模型选择：选用 kimi 的 32k 模型，可选模型有 GLM4、Moonshot、MinMax 和百川，不确定作者选定此模型的具体理由，个人倾向于通义，底模决定了 bot 的能力。 历史更新：2024 年 10 月 11 日，Kimi 和智谱同时发布了深度推理的功能。相关共学课程的课件和回放已发布。此外，还有关于转变对 AI 态度的相关论述，强调将 AI 作为协作伙伴，通过对话式编程提升工作效率，解锁其创造力。