神经网络与大脑实际工作的原理区别

他不知道所有的答案，但在他的努力之下已经取得了进展。“我非常兴奋，我们改进了神经网络，而这是一个比较接近大脑真实工作的方式。”他很高兴的说到。在Hinton的世界里，神经网络本质上就像一个运行在多层面上的软件。他和他的伙伴建立了一层层互相连接的人工神经元模型，模仿大脑的行为，处理视觉和语言等复杂问题。这些人工神经网络可以收集信息，也可以对其做出反应。它们能对事物的外形和声音做出解释。它们对语言的理解也在进步。它们可以自行学习与工作，而不需要人为提示或者参与控制。这些正是它们与传统的学习机器的区别。随着时间的推移，计算机能力的发展，神经网络也更加快速，灵活，高效，得到了很好的扩展。因为这一切已经酝酿了30年了。从非主流到核心技术早在80年代初期，当Hinton和他的同事们刚开始这项研究时，那时的电脑还不够快，不足以处理有关神经网络的这些庞大的数据，他们取得的成就是有限的。而当时AI普遍的研究方向也与他们相反，都在试图寻找捷径，直接模拟出行为，而不是试图通过模仿大脑的运作来实现。在这样艰难的环境下，Hinton和LeCun仍旧坚持了下来。就算到了2004，学术界对他们的研究仍未提起兴趣。而这时距离他们首次提出“反向传播”算法已经过了20年。这个算法是他们神经网络研究的垫脚石。但也就在这一年，靠着少量的来自Canadian Institute for Advanced Research（CIFAR）以及LeCun和Bengio的资金支持，Hinton创立了Neural Computation and Adaptive Perception（NCAP，神经计算和自适应感知）项目。该项目邀请了来自计算机科学，生物，电子工程，神经科学，物理学和心理学等领域的专家参与。

神经网络是机器学习文献中的一类模型。例如，如果你参加了Coursera的机器学习课程，很可能会学到神经网络。神经网络是一套特定的算法，它彻底改变了机器学习领域。他们受到生物神经网络的启发，目前深度神经网络已经被证实效果很好。神经网络本身是一般的函数逼近，这就是为什么它们几乎可以应用于任何从输入到输出空间复杂映射的机器学习问题。以下是说服你学习神经计算的三个理由：了解大脑是如何工作的：它非常大且很复杂，一旦破坏就会脑死亡，所以我们需要使用计算机模拟。了解受神经元及其适应性连接启发的并行计算风格：这种风格与序列计算截然不同。使用受大脑启发的新颖学习算法来解决实际问题：即使不是大脑的实际工作方式，学习算法也非常有用。在完成吴恩达的Coursera机器学习课程后，我开始对神经网络和深度学习产生兴趣，因此寻找最好的网上资源来了解这个主题，并找到了Geoffrey Hinton的机器学习神经网络课程。如果你正在做深度学习的工程或想要踏入深度学习/机器学习的领域，你应该参加这个课程。Geoffrey Hinton毫无疑问是深度学习领域的教父，在课程中给出了非凡的见解。在这篇博客文章中，我想分享我认为任何机器学习研究人员都应该熟悉的八个神经网络架构，以促进他们的工作。一般来说，这些架构可分为三类：1.前馈神经网络这是实际应用中最常见的神经网络类型。第一层是输入，最后一层是输出。如果有多个隐藏层，我们称之为「深度」神经网络。他们计算出一系列改变样本相似性的变换。各层神经元的活动是前一层活动的非线性函数。2.循环网络循环网络在他们的连接图中定向了循环，这意味着你可以按照箭头回到你开始的地方。他们可以有复杂的动态，使其很难训练。他们更具有生物真实性。

ChatGPT的基本概念在某种程度上相当简单。从网络、书籍等来源中获取大量人类创作的文本样本。然后训练神经网络生成“类似”的文本。特别是让它能够从“提示”开始，然后继续生成“类似于训练内容”的文本。正如我们所见，ChatGPT中的实际神经网络由非常简单的元素组成，尽管有数十亿个。神经网络的基本操作也非常简单，基本上是为每个新单词（或单词部分）生成“输入”，然后将其“通过其元素”（没有任何循环等）。但是，这个过程能够产生成功地“类似于”网络、书籍等内容的文本，这是非常卓越和出乎意料的。它不仅是连贯的人类语言，而且“说的话”是“遵循其提示”的，利用其“读到”的内容。它并不总是说出“全局意义上的话”（或对应于正确的计算），因为（例如，没有访问Wolfram|Alpha的“计算超能力”）它只是根据训练材料中的“声音类似”的东西“说出”“听起来正确”的东西。ChatGPT的具体工程使其相当引人入胜。但是，最终（至少在它可以使用外部工具之前），ChatGPT仅仅从它积累的“传统智慧统计数据”中提取了一些“连贯的文本线索”。但是，其结果有多么类似于人类。正如我所讨论的，这表明了一些至少在科学上非常重要的事情：人类语言（以及背后的思维模式）的结构比我们想象的要简单和更具有“法律属性”。ChatGPT已经隐含地发现了它。但是我们可能可以用语义语法、计算语言等明确地揭示它。ChatGPT在生成文本方面的表现非常出色，结果通常非常接近我们人类所产生的。那么这是否意味着ChatGPT像大脑一样工作呢？它的基本人工神经网络结构最终是基于大脑的理想化模型的。当我们人类生成语言时，许多方面的工作似乎是相当相似的，这似乎是非常可能的。