问隐藏的神经元在神经网络中做什么？

EN

我相信你已经听说过隐藏层从输入特征中“提取高阶特征”的说法。简而言之，这就是他们通过“检查”这些输入特征之间的关系所做的事情。

为了更深入地了解这个问题，让我们使用逻辑回归。

逻辑回归是一种类似的学习算法，但没有隐藏层。在逻辑回归中(为了简单起见，假设采用二分类)，根据网络预测的确定性，采用输入特征矩阵和权重矩阵的乘积的sigmoid函数输出0到1之间的值。

所以它取输入矩阵乘以权重矩阵，然后应用sigmoid函数，答案是输出层。(即sigmoid(input_matrix * weight_matrix) =输出)

在人工神经网络中，隐藏层实际上位于上面的sigmoid函数和输出层之间。它取sigmoid函数的返回值，然后将其乘以该层中一组神经元的另一个权重矩阵。这是为每一层神经元所做的。

因此，对于一个只有一个隐藏层的网络，它是- sigmoid(sigmoid(input_matrix * weight_matrix1) * weight_matrix2)

这看起来似乎差别不大，但在反向传播过程中它确实派上了用场，因为我们能够确定每个神经元对损失函数的贡献，从而相应地调整所有的权重矩阵，一直到输入层的权重。这为建模更复杂的函数提供了更复杂的工具。

因此，从本质上讲，隐藏层的作用与输入层没有什么不同。他们只是接收一些矩阵，乘以另一个矩阵，然后计算sigmoid函数。很简单。