Transformer 是一种注意力模型，也被称为变形金刚模型。它源于 Google 团队在 2017 年发布的一篇名为《Attention Is All You Need》的论文。
语言建模多年来不断发展，在 2015 年注意力机制兴起，Transformers 模型就是基于此。
Transformer 具有以下特点：
尽管 Transformers 之前的模型能将单词表示为向量，但这些向量不包含上下文，而 Transformer 能解决此问题。
生成式人工智能的力量来自于使用了 Transformers，其核心思想是“自注意力机制”，能让模型在处理一个词或短语时，同时考虑到与它相关的其他词或短语的信息，从而更好地理解语言的上下文，更准确地进行翻译或生成文本。但 Transformers 也可能产生幻觉，即模型生成无意义或语法错误的单词或短语。
通过海量的训练学习，大型的神经网络模型（如 Transformer ）中存储了大量知识，可通过文字生成展现。像 ChatGPT 这样基于 Transformer 的模型在闲聊中能表现出更多世界知识和一定推理能力，能更好地理解人类语言含义和上下文，生成更自然流畅的语言表达。Character.ai 也在研发自己类似于 ChatGPT 的预训练大型语言模型。
你好。我是Sanjana Reddy，是Google高级解决方案实验室的机器学习工程师。生成式AI和所有新的进步，包括即将出现的新顶点AI功能，令人兴奋不已。例如Gen AI Studio、Model Garden、Gen AI API。我们在这个简短的会议中的目标是让您在一些基本概念上打下坚实的基础。[heading2]语言建模的进展[content]语言建模已经发展了多年。过去十年的最新突破包括使用神经网络用于表示文本的方法，例如2013年的Word2Vec和N-grams。2014年，序列到序列模型（例如RNN和LSTM）的开发帮助提高了ML模型在NLP任务上的性能，比如翻译和文本分类。[heading2]注意力机制的兴起[content]2015年，注意力机制和基于它构建的模型令人兴奋，例如Transformers和Bert模型。今天要讲的是Transformer模型。[heading2]Transformer模型的特点[content]Transformer基于2017年发表的一篇名为《Attention Is All You Need》的论文。尽管Transformers之前的所有模型都能够将单词表示为向量，但这些向量并不包含上下文。单词的用法会根据上下文而变化。例如，在注意力机制出现之前，"bank"和"river bank"与"bank robber"中的"bank"可能具有相同的向量表示。[heading2]Transformer的架构[content]Transformer是一种使用注意力机制的编码器解码器模型。它可以利用多元化的优势，也可以同时处理大量数据。由于其模型架构，注意力机制有助于提高机器翻译应用程序的性能。Transformer模型由编码器和解码器组成。编码器对输入序列进行编码并将其传递给解码器，解码器解码相关任务的表示。编码组件是一堆相同数量的编码器。介绍Transformers的研究论文将六个编码器堆叠在一起。六不是一个神奇的数字。它只是一个超参数。编码器在结构上都是相同的，但具有不同的权重。
[title]1.生成式人工智能简介视频学习地址：https://youtu.be/G2fqAlgmoPo中文版本推荐[宝玉XP翻译版本](https://www.bilibili.com/video/BV15a4y1u77v/)和超正经学术君（以下是两个版本）：这个名为"生成式人工智能简介"的视频是由Gwendolyn Stripling博士主讲的。她介绍了生成式人工智能的概念，这是一种可以产生各种类型内容的人工智能，包括文本、图像、音频和合成数据。她解释了人工智能和机器学习的区别，机器学习是人工智能的一个子领域，它通过输入数据训练模型，使计算机能够在没有明确编程的情况下学习。机器学习模型可以是监督的，也可以是无监督的，监督模型使用标记的数据从过去的例子中学习并预测未来的值，而无监督模型则专注于发现原始数据中的模式。深度学习是机器学习的一个子集，它使用人工神经网络处理比传统机器学习模型更复杂的模式。这些神经网络可以使用标记和未标记的数据，从而允许半监督学习。生成式人工智能是适用于这个学科的人工智能的一个子集。它试图学习数据和标签之间的关系，以生成新的内容。生成式人工智能输出自然语言、图像或音频，而非生成式人工智能输出数字或类别。生成式人工智能模型使用统计模型预测预期的响应，并根据它们接受训练的数据的基础结构生成新的内容。他们可以根据接收到的输入生成文本、图像、音频和决策的新颖组合。生成式人工智能的力量来自于使用了Transformers，这种技术在2018年彻底改变了自然语言处理(Transformer模型的核心思想是“自注意力机制”/Self-Attention Mechanism，也被称为“自我注意力”或“注意力”。这种机制允许模型在处理一个词或短语时，同时考虑到与它相关的其他词或短语的信息。这种方式使得模型能够更好地理解语言的上下文，从而更准确地进行翻译或生成文本)。然而，Transformers也可能产生幻觉，这些是模型生成的无意义或语法错误的单词或短语。
[title]Character.ai：每个人都可定制自己的个性化AI[heading2]不再是“人工智障”了“Transformer”是一种注意力模型，也被称为变形金刚模型。该模型源于Google团队在2017年发布的一篇论文《Attention is All Your Needs》。相比于传统的序列模型，Transformer采用了完全并行的计算方式，借助GPU加速训练速度。此外，Transformer还引入了自注意力机制，能够直接对输入序列中的每个位置进行编码和解码，从而更好地捕捉序列中的长程依赖关系。通过海量的训练学习，大型的神经网络模型中存储了大量的知识，这些知识可以通过文字生成的方式进行展现。即使是在闲聊中，像ChatGPT这样的模型也能够表现出拥有更多的世界知识和某种程度的推理能力，这正是使它与众不同的原因。这种能力使得ChatGPT能够更好地理解人类语言的含义和上下文，并能够生成更加自然和流畅的语言表达。[Character.ai](http://Character.ai)也在研发自己的预训练大型语言模型，类似于ChatGPT。因此，在这个平台上与聊天机器人互动，也会感觉像是与真人对话一样。