Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何深入浅出的讲解Transformer

Answer

Transformer 的工作流程可以通过一个简单的例子来解释，比如将英文句子“I am a student”翻译成中文：

  1. 输入嵌入（Input Embeddings）：将每个单词映射为一个向量，如将“I”映射为一个 512 维的向量。
  2. 位置编码（Positional Encodings）：由于 Transformer 没有递归或卷积等捕获序列顺序的结构，所以需要给每个词位置加上位置编码，让模型知道词语的相对位置。
  3. 编码器（Encoder）：输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分，一是多头注意力机制（Multi-Head Attention）用于捕捉单词间的依赖关系，二是前馈神经网络（Feed-Forward NN）对 attention 的结果进行进一步编码。
  4. 解码器（Decoder）：编码器的输出被送入解码器层。解码器也是由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。
  5. 输出嵌入（Output Embeddings）：解码器最后一层的输出被映射为输出单词概率分布，例如生成单词“我”“是”等的概率。
  6. 生成（Generation）：基于概率分布，以贪婪或 beam search 等解码策略生成完整的输出序列。

此外，aaronxic 从自己实际入坑的经验出发，总结梳理了新手友好的 transformer 入坑指南，计划从以下五个方面进行介绍：

  1. 算法 1：NLP 中的 transformer 网络结构。
  2. 算法 2：CV 中的 transformer 网络结构。
  3. 算法 3：多模态下的 transformer 网络结构。
  4. 训练：transformer 的分布式训练。
  5. 部署：transformer 的 tvm 量化与推理。

同时，aaronxic 还针对 perplexity 指标进行了介绍，会先从大家熟悉的 entropy 指标开始，逐步介绍针对自然语言的改进版 N-gram Entropy 指标，最后介绍基于此改进的 perplexity 指标。

Content generated by AI large model, please carefully verify (powered by aily)

References

问：能通过简单易懂的方法跟我讲一下 transform 的工作流程吗？

当然可以，让我用一个简单的例子来解释一下Transformer的工作流程：假设我们有一个英文句子"I am a student"需要翻译成中文。Transformer的工作方式如下：1.输入嵌入（Input Embeddings）首先，将每个单词映射为一个向量，即单词嵌入（word embeddings）。例如"I"映射为一个512维的向量。2.位置编码（Positional Encodings）因为Transformer没有递归或卷积等捕获序列顺序的结构，所以需要给每个词位置加上位置编码，使模型知道词语的相对位置。3.编码器（Encoder）输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分：a）多头注意力机制（Multi-Head Attention）捕捉单词间的依赖关系。b）前馈神经网络（Feed-Forward NN）对attention的结果进行进一步编码。4.解码器（Decoder）编码器的输出被送入解码器层。解码器也是由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。5.输出嵌入（Output Embeddings）解码器最后一层的输出被映射为输出单词概率分布。例如生成单词"我"、"是"等概率。6.生成（Generation）基于概率分布，以贪婪或beam search等解码策略生成完整的输出序列。

（1）Perplexity指标究竟是什么?

大家好，我是aaronxic，大家可以叫我小A。最近由于项目需要开始关注transformer相关的进展，结果眼花缭乱的工作让大脑计算存储都严重溢出。围绕transformer相关的进展日新月异，难怪陆奇都说都有点赶不上大模型时代的狂飙速度。网上不乏大量优秀文章介绍transformer的方方面面，观点非常有insight，分析也极尽的详实。但是从新手角度看仍然希望有这样的transformer上手资料内容覆盖相对较全。能把transformer相关的算法、训练和部署方法一齐串讲，让新手快速建立该领域的know-how详略得当，兼顾bottom-up和top-down。对容易被大部分文章忽略的细节bottom-up详细理清逻辑链，对大量看似独立但又相互关联的知识进行top-down梳理。笔者小A从自己实际入坑的经验出发，尝试总结梳理出新手友好的transformer入坑指南。一方面能倒逼自己理清知识脉络，另一方面希望能让后面的新同学少走弯路，更快拿到自己想要的知识。本系列计划从以下五个方面对transformer进行介绍算法1:NLP中的transformer网络结构算法2:CV中的transformer网络结构算法3:多模态下的transformer网络结构训练:transformer的分布式训练部署:transformer的tvm量化与推理由于笔者小A并没有亲手撸过上述内容的所有细节，大部分是通过研究代码和精读优秀文章的方式总结而来，本质上是个拾人牙慧的知识搬运工，所以终究是纸上谈兵。因此希望各方有实际经验的大佬猛锤，思维碰撞才生火花，真理越辩越明。每个方面可能由若干篇文章组成，如果对某些部分感兴趣可以关注小A，后续会逐步更新相应章节。接下来是本系列的第一篇，侧重介绍NLP中最常用的perplexity指标究竟是什么含义本文会先从大家熟悉的entropy指标开始，逐步介绍针对自然语言的改进版N-gram Entropy指标，最后介绍基于此改进的perplexity指标。

aaronxic的Transformer 101系列

|标题|备注|作者|链接|发布日期|附件(1)|单选||-|-|-|-|-|-|-||Perplexity指标究竟是什么?|笔者小A从自己实际入坑的经验出发，尝试总结梳理出新手友好的transformer入坑指南。一方面能倒逼自己理清知识脉络，另一方面希望能让后面的新同学少走弯路，更快拿到自己想要的知识。<br>本系列计划从以下五个方面对transformer进行介绍<br>算法1:NLP中的transformer网络结构<br>算法2:CV中的transformer网络结构<br>算法3:多模态下的transformer网络结构<br>训练:transformer的分布式训练<br>部署:transformer的tvm量化与推理|[aaronxic](https://www.zhihu.com/people/aaronxic)|[（1）Perplexity指标究竟是什么?](https://ywh1bkansf.feishu.cn/wiki/E1pjwy9OMirKTdkFQDEcDDlfnTh)|2023/07/05||||初探LLM基座模型|本篇内容主要介绍LLM基座模型里常见的3种transformer架构，encoder-only，encoder-decoder和decoder-only|[aaronxic](https://www.zhihu.com/people/aaronxic)|[（2）初探LLM基座模型](https://ywh1bkansf.feishu.cn/wiki/UU9pwtOFtiKIqAkQiSVc3Zdun7e)|2023/07/06||||ChatBot是怎么炼成的?|本文介绍了LLM基座大模型下游应用ChatBot的研发过程。在介绍ChatBot之前，作者先介绍了LLM在辅助编程方面的应用，主要包括Codex和AlphaCode两个奠基性工作。Codex提出了编程数据集和pass@k指标，并采用了2阶段训练方式。文章还介绍了Codex的局限性和辅助编程问题定义。|[aaronxic](https://www.zhihu.com/people/aaronxic)|[（3）ChatBot是怎么炼成的?](https://ywh1bkansf.feishu.cn/wiki/HRnLw588DiTDLPkSTXCcKit8nbD)|2023/07/08|||[heading1]子页面目录

Others are asking
Transformer是什么？
Transformer 是一种注意力模型，也被称为变形金刚模型。它源于 Google 团队在 2017 年发布的论文《Attention is All Your Needs》。 Transformer 是一种深度学习模型，核心思想是“Attention is all you need”。其主要用于处理序列数据，包括当下热门的自然语言处理（NLP）任务。与传统模型不同，Transformer 完全基于注意力机制，不依赖传统的循环神经网络（RNN）或卷积神经网络（CNN）的计算架构。 基于 Transformer 的模型众多，例如最流行的 BERT，它是“来自 Transformer 的双向编码器表示”的缩写。BERT 经过在庞大文本语料库上的训练，已成为自然语言处理的通用模型，可用于文本摘要、问答、分类、命名实体识别、文本相似度、攻击性信息/脏话检测、理解用户查询等一系列任务。 此外，Transformer 不仅在自然语言处理领域表现出色，还在自然语言处理之外的领域掀起浪潮，如作曲、根据文本描述生成图像以及预测蛋白质结构。像 ChatGPT 这样的模型在闲聊中也能展现出更多的世界知识和某种程度的推理能力，能够更好地理解人类语言的含义和上下文，并生成更自然流畅的语言表达。
2025-03-06
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
transformer
Transformer 是一种深度学习模型，其核心思想是“Attention is all you need”。以下为您详细介绍其工作流程： 假设我们有一个英文句子“I am a student”需要翻译成中文。 1. 输入嵌入（Input Embeddings）：首先，将每个单词映射为一个向量，即单词嵌入（word embeddings）。例如“I”映射为一个 512 维的向量。 2. 位置编码（Positional Encodings）：由于 Transformer 没有递归或卷积等捕获序列顺序的结构，所以需要给每个词位置加上位置编码，使模型知道词语的相对位置。 3. 编码器（Encoder）：输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分： 多头注意力机制（MultiHead Attention）：捕捉单词间的依赖关系。 前馈神经网络（FeedForward NN）：对 attention 的结果进行进一步编码。 4. 解码器（Decoder）：编码器的输出被送入解码器层。解码器也是由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。 5. 输出嵌入（Output Embeddings）：解码器最后一层的输出被映射为输出单词概率分布。例如生成单词“我”“是”等概率。 6. 生成（Generation）：基于概率分布，以贪婪或 beam search 等解码策略生成完整的输出序列。 Transformer 主要用于处理序列数据，包括现在最火的 NLP 任务。与之前的模型不同，Transformer 完全基于注意力机制，不使用传统的循环神经网络（RNN）或卷积神经网络（CNN）的计算架构。它可以用来翻译文本、写诗、写文章，甚至生成计算机代码。像 GPT3、BERT、T5 等功能强大的自然语言处理（NLP）模型都是基于 Transformer 模型构建的。
2025-02-17
什么是transformer
Transformer 是一种深度学习模型，其核心思想是“Attention is all you need”，来源于 2017 年 Google Brain 团队发布的同名论文。它主要用于处理序列数据，包括热门的 NLP 任务。与传统模型不同，Transformer 完全基于注意力机制，不使用传统的循环神经网络（RNN）或卷积神经网络（CNN）的计算架构。 Transformer 采用完全并行的计算方式，借助 GPU 加速训练速度，并引入自注意力机制，能够直接对输入序列中的每个位置进行编码和解码，从而更好地捕捉序列中的长程依赖关系。 最流行的基于 Transformer 的模型之一是 BERT，它是“来自 Transformer 的双向编码器表示”（“Bidirectional Encoder Representations from Transformers”）的缩写。BERT 已进入几乎所有的 NLP 项目，包括谷歌搜索。它可以扩展来解决一系列不同的任务，如文本摘要、问答、分类、命名实体识别、文本相似度、攻击性信息/脏话检测、理解用户的查询等。 此外，Transformer 不仅在自然语言处理领域发挥重要作用，如谷歌搜索去年推出的基于 Transformer 的聊天机器人 Meena，还在自然语言处理之外掀起浪潮，例如作曲、根据文本描述生成图像以及预测蛋白质结构。
2025-02-17
大型语言模型（LLM）基于Transformer架构的模型的优缺点是什么，有什么局限性
大型语言模型（LLM）基于 Transformer 架构的模型具有以下优点： 1. 在大量数据集上进行预训练，展现出卓越的语言处理能力，能预测接下来的 Token。 然而，也存在一些缺点和局限性： 1. 瞬态状态：天生缺乏持久的记忆或状态，需要额外的软件或系统来保留和管理上下文。 2. 概率性质：随机性导致响应的不确定性，对相同提示词可能产生不同回答。 3. 过时信息：依赖预训练数据，只能访问历史知识，无法获取实时更新。 4. 内容制造：可能生成看似合理但不准确的信息，即“幻觉”。 5. 资源密集：巨大规模意味着显著的计算和财务成本，影响可扩展性和可访问性。 6. 领域特定性：本质上通用，但通常需要特定领域数据才能在专业任务中表现出色。 7. 缺乏创造性：像一个高性能的知识检索工具，超出检索范围时表现差，甚至出现“幻觉”。面对复杂逻辑推导和新的知识推演能力不足，无法基于新的语料推演出新知识。 8. 对于特定领域或高度专业化的查询，容易产生错误信息或“幻觉”，特别是当查询超出训练数据或需要最新信息时。
2025-02-13
清华大学deepseek讲解视频
以下是为您找到的与清华大学和 DeepSeek 相关的信息： 清华大学计算机科学与技术系助理教授章明星从大模型当前的发展阶段出发，分享了关于模型架构演进、大模型 Scaling Law 的发展趋势及相应趋势对系统层面影响的看法，并探讨了未来的发展方向。 《DeepSeek 的秘方是硅谷味儿的》提到 DeepSeek 是一家位于杭州的人工智能创业公司，其大语言模型 DeepSeekV3 在全球引发广泛关注。该模型以 550 万美元和 2000 块低配版英伟达 H800 GPU 训练，超越了多个顶级模型，获得硅谷研究者的高度评价。DeepSeek 的成功被视为中国式创新的典范，但其独特之处在于其更像一个研究机构，注重技术创新而非商业化运作，吸引了大量年轻的顶尖研究人才。 但未找到清华大学 deepseek 讲解视频的直接相关内容。
2025-03-05
清华大学deepseek讲解
以下是关于 DeepSeek 的相关信息： 清华大学计算机科学与技术系助理教授章明星从大模型当前的发展阶段出发，分享了关于模型架构演进、大模型 Scaling Law 的发展趋势及相应趋势对系统层面影响的看法，并探讨了未来的发展方向。 DeepSeek 是一家位于杭州的人工智能创业公司，其大语言模型 DeepSeekV3 在全球引发广泛关注。该模型以 550 万美元和 2000 块低配版英伟达 H800 GPU 训练，超越了多个顶级模型，获得硅谷研究者的高度评价。DeepSeek 更像一个研究机构，注重技术创新而非商业化运作，吸引了大量年轻的顶尖研究人才。 关于 DeepSeek 有众多媒体报道和网络文章，如中国新闻网的《突然爆火！中国“神秘力量”震动美国科技圈》、海峡都市报的《“华裔天才”亚历山大·王：DeepSeek 的 AI 大模型发布可能会“改变一切”》、每日经济热点新闻的《突然火爆全网！Deepseek 被“挤”到宕机！创始人 17 岁考入浙大，36 岁管理千亿私募！公司多岗位招新，实习生日薪最高上千元》等。 以上信息涵盖了 DeepSeek 在技术、评价、媒体报道等方面的情况。
2025-03-05
deepseek论文讲解
以下是关于 deepseek 论文解读的相关内容： 直播视频回放：可通过相关链接获取。 相关论文下载：提供了两篇论文，pc 端鼠标移到文章上面，会有下载链接，手机端类似。分别是。 技巧分享：包括万能提示词的使用，以及提示词的优化方法和步骤。 学习笔记心得：可参考等内容。 媒体报道和网络文章精选：涵盖了众多主流媒体和作者的相关文章，如等。
2025-03-04
我想做个生成知识点讲解视频的工具，是转成PPT加自动配音好，还是转成不同的网页然后生成每一页的口播稿更好？
在选择生成知识点讲解视频的工具时，转成 PPT 加自动配音和转成不同的网页然后生成每一页的口播稿各有其优缺点。 转成 PPT 加自动配音的优点在于 PPT 形式较为直观、规范，能够以图文并茂的方式展示知识点，自动配音可以节省录制音频的时间。缺点是可能在页面布局和动画效果上需要较多的调整，且自动配音的质量和语气可能不够自然。 转成不同的网页然后生成每一页的口播稿的优点是网页的设计更加灵活，可以融入更多的交互元素，口播稿能够更贴合讲解的需求。但缺点是网页的制作可能相对复杂，需要一定的技术知识，而且口播稿的生成质量可能参差不齐。 最终的选择取决于您的具体需求和技术能力。如果您更注重展示效果的规范性和简洁性，且对音频质量要求不是特别高，PPT 加自动配音可能是个不错的选择。如果您希望有更多的交互和灵活性，并且有能力处理网页制作和口播稿的优化，那么转成网页和生成口播稿可能更适合您。
2025-02-23
大模型讲解
大模型是指输入大量语料，使计算机获得类似人类“思考”能力，能进行文本生成、推理问答、对话、文档摘要等工作。 大模型的训练和使用过程可以用“上学参加工作”来类比： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练。 2. 确定教材：大模型需要大量数据，几千亿序列（Token）的输入基本是标配。 3. 找老师：选择合适算法让大模型更好理解 Token 之间的关系。 4. 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位，会被数字化形成词汇表，便于计算机处理。为让计算机理解 Token 之间的联系，还需把 Token 表示成稠密矩阵向量，这个过程称为 embedding，常见算法有基于统计的 Word2Vec、GloVe，基于深度网络的 CNN、RNN/LSTM，基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力（Selfattention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。大模型的“大”在于用于表达 token 之间关系的参数多，主要是模型中的权重（weight）与偏置（bias）。 从整体分层的角度来看，大模型整体架构分为以下几层： 1. 基础层：为大模型提供硬件支撑、数据支持，如 A100、数据服务器等。 2. 数据层：包括静态的知识库和动态的三方数据集。 3. 模型层：有 LLm（大语言模型，如 GPT，一般使用 transformer 算法实现）或多模态模型（如文生图、图生图等模型，训练数据与 llm 不同，用图文或声音等多模态数据集）。 4. 平台层：如大模型的评测体系、langchain 平台等，提供模型与应用间的组成部分。 5. 表现层：即应用层，是用户实际看到的地方。
2025-02-20
知识库里面哪里有讲解AI在各行业应用现状的材料
以下是知识库中关于 AI 在各行业应用现状的相关材料： 在音乐创作方面，通过输入更高级的词汇与 AI 音乐对话能产生更好效果，有 AI 音乐的版块、挑战、分享会和教程，可通过王贝加入 AI 音乐社区。 在数字人语音合成方面，介绍了声音克隆技术，提到了微软、阿里等的相关成果，常用的是 JPT service。 在 config UI 的应用方面，能降低成本、提高效率，在图书出版、引流等方面有应用，岗位稀缺，社区有相关共学课程。 在零售电商行业，有《2024 生成式 AI 赋能零售电商行业解决方案白皮书》。 在招聘领域，牛客的《AI 面试实践手册（2024）》深入探讨了 AI 面试的应用现状、价值和未来发展，指出其在多个行业尤其在管培生、产品、IT 基础岗位和蓝领岗位中广泛应用。 在 PC 行业，腾讯广告 TMI 与 GfK 联合发布了《AI PC 行业趋势与潜力消费者洞察白皮书（2024 版）》。 在医疗领域，蛋壳研究院发布了《医疗人工智能走到新的十字路口》。 在新闻媒体领域，新华社研究院发布了《人工智能时代新闻媒体的责任与使命》。 在情感陪伴方面，头豹研究院发布了《AI 情感陪伴：缔造温情链接，拥抱智慧关怀新纪元》。
2025-02-15