问神经网络输出神经元数目背后的直觉

EN

我正在读迈克尔·尼尔森关于深度学习的书。在第一章中，他给出了10个手写体数字分类的经典例子，并用它解释了选择输出神经元数量的直觉。

一开始，在阅读这本书之前，我认为这是很直观的，你需要10个输出神经元，每个神经元代表一个给定的数字，但我开始质疑我为什么这么认为。

总之，尼尔森解释道：

你可能会想，为什么我们使用10个输出神经元。毕竟，网络的目标是告诉我们哪个数字(0,1,2，…),9)对应于输入图像。一种看似自然的方法是，只使用4个输出神经元，将每个神经元视为二进制值，这取决于神经元的输出接近于0还是接近1。四个神经元足以对答案进行编码，因为2^4=16大于输入数字的10个可能值。为什么我们的网络应该使用10个神经元呢？这不是很低效吗？最终的理由是经验性的:我们可以尝试这两种网络设计，结果是，对于这个特殊的问题，有10个输出神经元的网络比有4个输出神经元的网络能够更好地识别数字。但这让我们想知道为什么使用10个输出神经元效果更好。是否有一些启发会提前告诉我们，我们应该使用10输出编码而不是4 -output编码？为了理解我们为什么要这么做，从第一原理出发思考神经网络在做什么是很有帮助的。首先，考虑使用10个输出神经元的情况。让我们把注意力集中在第一个输出神经元上，这个神经元试图决定这个数字是否是0。它是通过权衡隐藏的神经元层的证据来做到这一点的。那些隐藏的神经元在做什么？那么，假设为了论证隐藏层中的第一个神经元是否存在以下图像：

它可以通过对与图像重叠的输入像素进行重加权，而只对其他输入进行轻微加权。以类似的方式，让我们假设，为了论证隐藏层中的第二、第三和第四神经元是否存在以下图像：

正如您可能已经猜到的，这四个图像合在一起构成了我们在前面显示的数字行中看到的0图像：

因此，如果所有四个隐藏神经元都在发射，那么我们可以得出数字是0。当然，这不是我们能用的唯一证据来得出图像是0--我们可以在许多其他方面合法地得到0(例如，通过对上面的图像的翻译，或者轻微的扭曲)。但似乎可以肯定地说，至少在这种情况下，我们得出的结论是输入为0。假设神经网络以这种方式发挥作用，我们可以给出一个合理的解释，为什么从网络中得到10个输出而不是4个输出。如果我们有4个输出，那么第一个输出神经元将试图确定数字中最重要的部分是什么。而且没有一种简单的方法可以把最重要的一点与上面所示的简单形状联系起来。很难想象有什么好的历史原因，数字的组件形状将与(比如说)输出中最重要的部分密切相关。现在，尽管如此，这一切都只是一个启发。没有人说三层神经网络必须以我描述的方式工作，隐藏的神经元检测简单的分量形状。也许一个聪明的学习算法会找到一些权重分配，让我们只使用4个输出神经元。但作为一种启发，我所描述的思维方式非常有效，可以为您节省大量时间来设计良好的神经网络体系结构。

我不明白他在最后一段的第二段是什么意思。我包括了其他的上下文，但是这是最后一段的第二段让我感到困惑。有人能澄清他在说什么吗？