Transformer 是一种深度学习模型，其核心思想是“Attention is all you need”。以下为您详细介绍其工作流程：
假设我们有一个英文句子“I am a student”需要翻译成中文。
Transformer 主要用于处理序列数据，包括现在最火的 NLP 任务。与之前的模型不同，Transformer 完全基于注意力机制，不使用传统的循环神经网络（RNN）或卷积神经网络（CNN）的计算架构。它可以用来翻译文本、写诗、写文章，甚至生成计算机代码。像 GPT-3、BERT、T5 等功能强大的自然语言处理（NLP）模型都是基于 Transformer 模型构建的。
当然可以，让我用一个简单的例子来解释一下Transformer的工作流程：假设我们有一个英文句子"I am a student"需要翻译成中文。Transformer的工作方式如下：1.输入嵌入（Input Embeddings）首先，将每个单词映射为一个向量，即单词嵌入（word embeddings）。例如"I"映射为一个512维的向量。2.位置编码（Positional Encodings）因为Transformer没有递归或卷积等捕获序列顺序的结构，所以需要给每个词位置加上位置编码，使模型知道词语的相对位置。3.编码器（Encoder）输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分：a）多头注意力机制（Multi-Head Attention）捕捉单词间的依赖关系。b）前馈神经网络（Feed-Forward NN）对attention的结果进行进一步编码。4.解码器（Decoder）编码器的输出被送入解码器层。解码器也是由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。5.输出嵌入（Output Embeddings）解码器最后一层的输出被映射为输出单词概率分布。例如生成单词"我"、"是"等概率。6.生成（Generation）基于概率分布，以贪婪或beam search等解码策略生成完整的输出序列。
Transformer是一种深度学习模型，核心思想是"Attention is all you need"，这句话来源于2017年由Google Brain团队发布的同名论文。Transformer主要用于处理序列数据，包括现在最火的NLP任务。与之前的模型不同，Transformer完全基于注意力机制，不使用传统的循环神经网络（RNN）或卷积神经网络（CNN）的计算架构。
原文链接：https://daleonai.com/transformers-explained作者：Dale Markowitz（@Google Labs，领导生成式AI的宣传和教育）发表时间：2021年5月6日翻译：数据派THU（译者：王可汗，校对：和中华），略有修改中文翻译原地址：https://mp.weixin.qq.com/s/kfsW7ccYUAGp1AHWWF6c1w《[A16Z整理的AI典藏](https://ywh1bkansf.feishu.cn/wiki/F8OMwrI3TisTPokQAJHcMG2knBh)》入门第四篇你知道这句话吗，当你有一把锤子的时候，所有东西看起来都像钉子？在机器学习中，我们似乎真的发现了一种神奇的锤子。实际上，在这个模型面前所有东西都是钉子，这就是Transformer模型。Transformer模型可以用来翻译文本、写诗、写文章，甚至生成计算机代码。事实上，我在daleonai.com上写的很多惊人的研究都是建立在Transformer基础之上，比如AlphaFold 2，它是一种从基因序列中预测蛋白质结构的模型，以及GPT-3、BERT、T5、Switch、Meena等功能强大的自然语言处理（NLP）模型。你可能会说，他们不仅仅是遇到了……呃，先往下说吧。如果你想在机器学习，特别是自然语言处理方面与时俱进，你至少要对Transformer有一点了解。所以在这篇文章中，我们将讨论它们是什么，它们是如何工作的以及为什么它们如此有影响力。