问复制器神经网络用于异常值检测，逐步函数导致相同的预测

EN

在我的项目中，我的目标之一是找到航空发动机数据中的异常值，并选择使用复制器神经网络来做到这一点，并阅读以下关于它的报告(http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.12.3366&rep=rep1&type=pdf)，我对步长函数(第4页，图3)和由此产生的预测值有一点了解。

复制器神经网络的解释在上面的报告中描述得很好，但作为背景，我构建的复制器神经网络的工作原理是具有与输入相同的输出数，并具有3个隐藏层，具有以下激活函数：

隐藏层1= tanh sigmoid S1(θ) = tanh，隐藏层2=逐级，S2(θ) = 1/2 + 1/(2(k−1)) {求和每个变量j} S2(θj/N)隐藏层3= tanh sigmoid S1(θ−)= tanh，输出层4= normal sigmoidθ(θ)= 1/1+e^-θ我已经实现了该算法，它似乎正在训练中(因为均方误差在训练期间稳步下降)。我唯一不明白的是，当中间层应用逐级激活函数时，预测是如何做出的，因为它导致3个中间节点的激活成为特定的离散值(例如，我在3个中间节点上的最后激活是1.0，-1.0，2.0 )，这导致这些值被前向传播，并且我每次都变得非常相似或完全相同的预测。

3-4页的报告中的部分最好地描述了算法，但我不知道我必须做什么来解决这个问题，我也没有太多的时间:(

任何帮助都将不胜感激。

谢谢