【论文解读】深度指数激励网络：面向微弱故障诊断的更强注意力机制

在机械装备运行过程中，早期微弱故障产生的特征信号通常幅度较小，且极易被环境噪声淹没，导致传统深度模型难以有效提取辨识性特征。针对这一问题，国内研究团队在期刊《Structural Health Monitoring》上发表了题为“Deep exponential excitation networks: toward stronger attention mechanism for weak fault diagnosis”的研究论文。该研究从注意力机制的权重分配机制出发，提出了深度指数激励网络，通过在通道注意力结构中引入指数函数来放大与微弱故障相关的有效特征通道，为含噪背景下的微弱故障识别提供了一种模块化的网络设计方案。

图1 指数激励模块（EEB）结构图

在传统通道注意力机制中，网络通常先通过全局平均池化和全连接层学习通道之间的相关性，再利用非线性函数将通道权重限制在零到一之间进行特征重标定。这种权重范围虽然能够抑制无用通道，但对关键通道信息的放大能力有限。论文所设计的指数激励模块在常规缩放操作之后级联了指数函数，利用指数函数的单调递增特性，生成大于常规上限的注意力权重，并扩展了权重的取值区间，从而在特征重标定过程中对所关注的通道特征实施更大幅度的强化。

图2 不同激励范式下的权重范围示意图

该方法探讨了三种结合不同前置缩放函数的指数激励范式，分别为双曲正切与指数组合、双曲正切绝对值与指数组合，以及逻辑斯蒂函数与指数组合。不同的组合方式决定了输入特征映射到指数函数前的数值区间，从而形成了具有不同下界与跨度的权重分布。其中，基于单调递增函数构建的激励形式能够在反向传播优化过程中保持较为一致的梯度方向，配合恒等残差分支的设计，有助于保证深层网络参数在端到端训练中的稳定更新。

图3 深度指数激励网络（DEEN）整体结构图

在整体架构方面，深度指数激励网络由初始卷积层、多个级联的指数激励模块、全局平均池化层及分类全连接层组成。输入信号在经过浅层卷积特征提取后，连续通过多个指数激励模块逐层对关键特征通道进行自适应加权放大，使网络深层的高维表征更具区分度，最后由分类层输出对应健康状态的识别结果。整个学习过程无需人工干预特征选择，各层的卷积核参数与通道注意力参数均在标准损失函数的引导下由梯度下降算法联合优化。

论文以船用柴油机的实测与仿真特征数据为对象，验证了该网络在多类故障模式及不同损伤程度下的状态分类过程。深度指数激励模块本身结构轻量，易于与主流卷积神经网络骨干结构结合，可直接替换现有的常规注意力层，适用于机械设备早期状态监测以及存在强背景干扰的信号分类应用场景。

参考文献：

Deep Exponential Excitation Networks: Towards Stronger Attention Mechanism for Weak Fault Diagnosis[J]. Structural Health Monitoring, 2024, 23(6): 3850-3866.

https://journals.sagepub.com/doi/abs/10.1177/14759217231217936