Transformer 是一种基于注意力机制的编码器解码器模型，其工作流程如下：
最流行的基于 Transformer 的模型之一 BERT，是“来自 Transformer 的双向编码器表示”的缩写。它被谷歌的研究人员引入，很快就进入了几乎所有的 NLP 项目，包括谷歌搜索。BERT 不仅指模型体系结构，还指经过训练的模型本身，您可以在这里免费下载和使用。谷歌的研究人员在一个庞大的文本语料库上对它进行了训练，它已经成为一种用于自然语言处理的通用模型，可以扩展来解决一系列不同的任务，比如：
Transformer 基于 2017 年发表的一篇名为《Attention Is All You Need》的论文。尽管 Transformers 之前的所有模型都能够将单词表示为向量，但这些向量并不包含上下文。单词的用法会根据上下文而变化。Transformer 模型由编码器和解码器组成。编码器对输入序列进行编码并将其传递给解码器，解码器解码相关任务的表示。编码组件是一堆相同数量的编码器。介绍 Transformers 的研究论文将六个编码器堆叠在一起。六不是一个神奇的数字，它只是一个超参数。编码器在结构上都是相同的，但具有不同的权重。
Transformer 不仅在自然语言处理领域表现出色，如 BERT、GPT-3、Meena 等模型，还在自然语言处理之外掀起了一股浪潮，例如作曲、根据文本描述生成图像以及预测蛋白质结构。
当然可以，让我用一个简单的例子来解释一下Transformer的工作流程：假设我们有一个英文句子"I am a student"需要翻译成中文。Transformer的工作方式如下：1.输入嵌入（Input Embeddings）首先，将每个单词映射为一个向量，即单词嵌入（word embeddings）。例如"I"映射为一个512维的向量。2.位置编码（Positional Encodings）因为Transformer没有递归或卷积等捕获序列顺序的结构，所以需要给每个词位置加上位置编码，使模型知道词语的相对位置。3.编码器（Encoder）输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分：a）多头注意力机制（Multi-Head Attention）捕捉单词间的依赖关系。b）前馈神经网络（Feed-Forward NN）对attention的结果进行进一步编码。4.解码器（Decoder）编码器的输出被送入解码器层。解码器也是由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。5.输出嵌入（Output Embeddings）解码器最后一层的输出被映射为输出单词概率分布。例如生成单词"我"、"是"等概率。6.生成（Generation）基于概率分布，以贪婪或beam search等解码策略生成完整的输出序列。
最流行的基于Transformer的模型之一BERT，它是“来自Transformer的双向编码器表示”（“Bidirectional Encoder Representations from Transformers”）的缩写。它是谷歌的研究人员在我2018年加入公司前后引入的，很快就进入了几乎所有的NLP项目，包括谷歌搜索。BERT不仅指模型体系结构，还指经过训练的模型本身，您可以[在这里免费下载和使用](https://github.com/google-research/bert)。谷歌的研究人员在一个庞大的文本语料库上对它进行了训练，它已经成为一种用于自然语言处理的通用模型。它可以扩展来解决一系列不同的任务，比如：文本摘要问答分类命名实体识别文本相似度攻击性信息/脏话检测理解用户的查询等等BERT证明，您可以在未标记的数据上建立非常好的语言模型，比如从Wikipedia和Reddit中提取的文本，并且这些大型的“基础”模型可以与特定领域的数据相适应，适用于许多不同的用例。最近，OpenAI创建的模型GPT-3生成真实文本的能力让人们大吃一惊。谷歌搜索去年推出的Meena是一个基于transformer的聊天机器人（akhem，对话代理），几乎可以就任何话题进行引人入胜的对话（其作者曾花了20分钟与Meena争论作为人类意味着什么）。Tansformer也在自然语言处理之外掀起了一股浪潮，例如作曲、根据文本描述生成图像以及预测蛋白质结构。
你好。我是Sanjana Reddy，是Google高级解决方案实验室的机器学习工程师。生成式AI和所有新的进步，包括即将出现的新顶点AI功能，令人兴奋不已。例如Gen AI Studio、Model Garden、Gen AI API。我们在这个简短的会议中的目标是让您在一些基本概念上打下坚实的基础。[heading2]语言建模的进展[content]语言建模已经发展了多年。过去十年的最新突破包括使用神经网络用于表示文本的方法，例如2013年的Word2Vec和N-grams。2014年，序列到序列模型（例如RNN和LSTM）的开发帮助提高了ML模型在NLP任务上的性能，比如翻译和文本分类。[heading2]注意力机制的兴起[content]2015年，注意力机制和基于它构建的模型令人兴奋，例如Transformers和Bert模型。今天要讲的是Transformer模型。[heading2]Transformer模型的特点[content]Transformer基于2017年发表的一篇名为《Attention Is All You Need》的论文。尽管Transformers之前的所有模型都能够将单词表示为向量，但这些向量并不包含上下文。单词的用法会根据上下文而变化。例如，在注意力机制出现之前，"bank"和"river bank"与"bank robber"中的"bank"可能具有相同的向量表示。[heading2]Transformer的架构[content]Transformer是一种使用注意力机制的编码器解码器模型。它可以利用多元化的优势，也可以同时处理大量数据。由于其模型架构，注意力机制有助于提高机器翻译应用程序的性能。Transformer模型由编码器和解码器组成。编码器对输入序列进行编码并将其传递给解码器，解码器解码相关任务的表示。编码组件是一堆相同数量的编码器。介绍Transformers的研究论文将六个编码器堆叠在一起。六不是一个神奇的数字。它只是一个超参数。编码器在结构上都是相同的，但具有不同的权重。