贝叶斯网络

[title]深度|神经网络和深度学习简史（第二部分）：BP算法之后的又一突破——信念网络[heading1]神经网络迎来信念网络事实上，在成为1986年讨论反向传播学习算法这篇有重大影响力论文的合作者之前，Hinton在研究一种神经网络方法，可以学习1985年「 A Learning Algorithm for Boltzmann Machines」中的概率分布。玻尔兹曼机器就是类似神经网络的网络，并有着和感知器（Perceptrons）非常相似的单元，但该机器并不是根据输入和权重来计算输出，在给定相连单元值和权重的情况下，网络中的每个单元都能计算出自身概率，取得值为1或0。因此，这些单元都是随机的——它们依循的是概率分布而非一种已知的决定性方式。玻尔兹曼部分和概率分布有关，它需要考虑系统中粒子的状态，这些状态本身基于粒子的能量和系统本身的热力学温度。这一分布不仅决定了玻尔兹曼机器的数学方法，也决定了其推理方法——网络中的单元本身拥有能量和状况，学习是由最小化系统能量和热力学直接刺激完成的。虽然不太直观，但这种基于能量的推理演绎实际上恰是一种基于能量的模型实例，并能够适用于基于能量的学习理论框架，而很多学习算法都能用这样的框架进行表述。一个简单的信念，或者说贝叶斯网络——玻尔兹曼机器基本上就是如此，但有着非直接/对称联系和可训练式权重，能够学习特定模式下的概率。

[title]访谈：Ilya | 2023年11月长篇访谈[heading2]Ilya自己在深度学习领域的研究经历主持人：我们从最初的深度学习开始讨论。在AlexNet出现之前，深度学习中没有任何东西真正有效。然后考虑到当时的环境，你们下了一个非常独特的赌注。是什么促使你朝这个方向发展？Ilya：在那个黑暗时代，人工智能并不是一个人们抱有希望的领域，人们根本不习惯任何形式的成功。由于没有取得任何成功，因此引发了很多争论，不同的思想流派对机器学习和人工智能应该如何发展有不同的争论。有人热衷于老式人工智能的知识表示。有些人是贝叶斯主义者，他们喜欢贝叶斯非参数方法。有人喜欢图形模型，有人喜欢神经网络。这些人被边缘化，因为神经网络不具备无法证明关于他们的数学定理的特性。如果你不能证明某件事的定理，那就意味着你的研究不好。但是，我从一开始就被神经网络所吸引，因为我觉得这些都是小大脑，谁在乎你是否能证明关于它们的任何定理，因为我们正在训练小大脑，也许它们会变成，也许它们有一天会做某事。我们之所以能够做到AlexNet，是两三个因素的结合。第一个因素是，这是在GPU开始用于机器学习之后不久。人们有一种直觉，认为这是一件好事，但当时人们并不像今天那样确切地知道GPU的用途。他们想，让我们玩一下那些又酷又快的计算机，看看我们能用它们做什么。它特别适合神经网络。所以这绝对对他们有帮助。我非常幸运，因为意识到神经网络的原因是因为它们太小了。就像如果你尝试用神经网络解决视觉任务一样，它有大约一千个神经元，它能做什么？它什么也做不了。你的学习有多好以及其他一切并不重要。但如果你有一个更大的神经网络，它将做出前所未有的事情。主持人：是什么让你有这样的直觉？

[title]教程|可视化CapsNet，详解Hinton等人提出的胶囊概念与原理选自freecodecamp作者：Nick Bourdakos机器之心编译参与：Pedro、思源尽管卷积神经网络已经做出了令人惊艳的成绩，但还是存在着一些根本性问题。是时候开始思考新的解决方案和改进了。现在就让我们一起来了解一下胶囊网络（capsules networks）。在之前的文章中我曾简要地讨论过胶囊网络（https://hackernoon.com/capsule-networks-are-shaking-up-ai-heres-how-to-use-them-c233a0971952）是如何解决一些传统问题的。在过去的几个月里，我一直沉浸在各种各样的胶囊网络里。我觉得现在是时候一起更加深入地探索胶囊网络的实际运作方式了。为了让后面的讨论更加容易，我开发了一款与胶囊网络实现配套的可视化工具，它能够让您看到网络的每一层是如何工作的。这些内容都可以在GitHub上找到（https://github.com/bourdakos1/CapsNet-Visualization）。如下所示是CapsNet的结构。如果您现在还不理解每个部分的具体含义，不必担心。我会尽我所能一层一层地进行详细讨论。part 0:网络输入胶囊网络（CapsNet）的输入是提供给神经网络的真实图片。在这个例子中输入的图片长宽都为28个像素。一张图片实际上有3个维度用来存储不同颜色通道的信息。因为是灰度图，而用作示例的图片仅仅有一个颜色通道。大家所熟悉的大多数图片都有3或4个通道用来存储红-绿-蓝和可能用于存储灰度或透明度的额外通道。