问神经网络的训练数据范围

EN

对于神经网络来说，数据是否归一化并不重要。但是，训练方法的性能可能会有很大不同。简而言之:通常，这些方法更喜欢具有较大值的变量。这可能会使训练方法偏离正轨。

对于大多数神经网络训练方法来说，至关重要的是训练数据的所有维度都具有相同的域。如果你所有的变量都是角度，那么不管它们是[0，1]、[0,2*pi)还是[0,360]，只要它们具有相同的域就没有关系了。但是，您应该避免使用一个变量表示角度[0，2*pi]，另一个变量表示距离(单位为mm )，其中距离可以远大于20000000 mm。

在以下两种情况下，算法可能会受到影响：

(a)正则化:如果NN的权重被强制为小，则控制大领域变量的输入的权重的微小变化具有比小领域大得多的影响

(b)梯度下降:如果步长有限，则会产生类似的效果。

建议:所有变量都应该具有相同的域大小，无论它是0,1还是0,2*pi或...这不重要。

另外:对于许多领域来说，"z-score归一化“效果非常好。

数据点范围会影响训练模型的方式。假设数据集中要素的值范围未标准化。然后，根据您的数据，您可能最终在特征空间中的数据点有拉长的椭圆，学习模型将很难学习数据点所在的流形(了解底层分布)。此外，在大多数情况下，数据点在特征空间中稀疏分布，如果不归一化(see this)。因此，带回家的信息是在可能的情况下标准化功能。