神经网络是一种模仿生物神经网络结构和功能的数学模型或计算模型，用于分析图像、视频、音频和文本等复杂数据类型。
对于不同类型的数据有专门优化的神经网络，如分析图像时常用卷积神经网络，其模仿人脑处理视觉信息的方式。
在 2017 年推出 Transformer 之前，理解文本常用循环神经网络。而 Transformer 完全基于自注意力机制处理序列数据，比 RNN 更适合处理文本的长距离依赖性，在处理每个词时会注意输入序列里所有其他的词，并给予不同的注意力权重以捕获依赖关系和相关性，且具有自注意力机制和位置编码（因语言顺序很重要）。
神经网络由大量人工神经元联结进行计算，大多数情况下能在外界信息基础上改变内部结构，是一种自适应系统，具备学习功能。它是一种非线性统计性数据建模工具，通常通过基于数学统计学类型的学习方法得以优化，也是数学统计学方法的实际应用，能通过统计学方法让人 工神经网络具有类似人的简单决定和判断能力，这种方法比正式的逻辑学推理演算更具优势。
神经网络可用于监督学习、无监督学习、强化学习。
如果你想在机器学习，特别是自然语言处理方面与时俱进，你至少要对Transformer有一点了解。所以在这篇文章中，我们将讨论它们是什么，它们是如何工作的以及为什么它们如此有影响力。Transformer是一种神经网络结构。简单地说，神经网络是分析图像、视频、音频和文本等复杂数据类型的一种非常有效的模型。针对不同类型的数据有专门优化过的的神经网络。例如，在分析图像时，我们通常会使用卷积神经网络。大体来说，它们模仿了人脑处理视觉信息的方式。卷积神经网络，图片来自Renanar2，wikiccommons大约从2012年开始，我们已经用CNN相当成功地解决了视觉问题，比如识别照片中的物体，识别人脸，手写数字识别。但在很长一段时间里，语言任务（翻译、文本摘要、文本生成、命名实体识别等）都没有较好的方法。这很不幸，因为语言是我们人类交流的主要方式。在2017年推出Transformer之前，我们使用深度学习来理解文本的方法是使用一种称为循环神经网络（RNN）的模型，它看起来像这样：循环神经网络，图片来自fdeloche，Wikimedia
[title]AIGC常见名词解释（字典篇）[heading1] 神经网络是什么？[content]人工神经网络（英语：Artificial Neural Network，ANN），简称神经网络（Neural Network，NN）或类神经网络，在机器学习和认知科学领域，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统，通俗地讲就是具备学习功能。现代神经网络是一种非线性统计性数据建模工具，神经网络通常是通过一个基于数学统计学类型的学习方法（Learning Method）得以优化，所以也是数学统计学方法的一种实际应用，通过统计学的标准数学方法我们能够得到大量的可以用函数来表达的局部结构空间，另一方面在人工智能学的人工感知领域，我们通过数学统计学的应用可以来做人工感知方面的决定问题（也就是说通过统计学的方法，人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力），这种方法比起正式的逻辑学推理演算更具有优势。参考
神经网络可以用于监督学习、无监督学习、强化学习。7）生成式AI——可以生成文本、图片、音频、视频等内容形式8）LLM——大语言模型。对于生成式AI，其中生成图像的扩散模型就不是大语言模型；对于大语言模型，生成只是其中一个处理任务，比如谷歌的BERT模型，可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类；3、技术里程碑——2017年6月，谷歌团队发表论文《Attention is All You Need》。这篇论文首次提出了Transformer模型，它完全基于自注意力机制（Self-Attention）来处理序列数据，而不需要依赖于循环神经网络（RNN）或卷积神经网络（CNN）。GPT含义：Transformer是关键。Transformer比RNN更适合处理文本的长距离依赖性。LTSM（长短期记忆网络）是RNN的改良版本——但也没有解决传统RNN无法并行计算的问题。这时Transformer踏着七彩祥云出现了，在处理每个词的时候，会注意输入序列里所有其他的词，给予每个词不一样的注意力权重，从而捕获依赖关系和相关性。Transformer有自注意力机制和位置编码（语言的顺序很重要）序列：按照特定顺序排列的元素位置编码：包含位置向量和词向量