小波包域对抗注意力迁移学习故障研究

2023-10-31王景阳尹洪申张勋兵

智能计算机与应用 2023年10期

王景阳，尹洪申，俞啸，张勋兵

（1 中煤电气有限公司，北京 101320； 2 中国矿业大学物联网（感知矿山）研究中心，江苏徐州 221008）

0 引言

在《中国制造2025》中，智能故障监测和诊断已经被列为实现未来全面工业化的必要技术之一［1］。而轴承承载着各行各业的动力和制造任务，经常处在高速、强负荷的环境中，极易发生故障。轴承一旦发生故障，轻则影响机械运行的工作效率，重则导致人员伤亡等。因此，研究轴承故障诊断技术具有重要的工程价值和理论意义［2］。

传统的振动信号分析方法如短时傅里叶变换、小波分解、经验模态分解等，虽然能够对轴承信息进行简单处理，但其无法充分提取轴承故障中的丰富信息，从而造成传统机器学习的诊断方法无法满足精准轴承故障分类的要求。

随着大数据和人工智能的快速发展，基于深度学习的方法逐渐成为了故障诊断领域研究的热点。深度学习网络通过端到端的方法，无需专家的先验知识，大大提高了故障诊断的效率［3］。周等［4］将变分模态分解（Variational Mode Decomposition，VMD）与卷积神经网络（Convolutional Neural Networks，CNN）相结合，实现了故障特征的自动提取和分类；杜等［5］首先利用小波变换得到不同尺度的时频域信息，其次将不同尺度的信息与CNN 相结合，全面提升网络的故障分类能力。

虽然深度学习在同工况轴承故障分类中取得了不错的效果，但面对变工况场景，深度学习往往无法取得较好的故障分类效果。因为深度学习网络主要是在同一网络模型中训练，源域数据与目标域数据分布差异较小，但在变工况场景中源域数据与目标域数据往往存在较大的差异，导致利用深度学习的方法无法建立行之有效的故障诊断模型。

为了解决这一问题，基于迁移学习的轴承故障诊断方法被提出。迁移学习通过找寻源域数据与目标域数据之间的相似性，实现源域数据到目标域数据的迁移。朱等［6］利用局部最大均值差异度量准则减少两域之间的分布差异，提高了变工况故障分类准确率，但其忽略了数据在边缘概率分布的影响；杨等［7］利用少量的目标域标签数据构建模型迁移的方法来解决两域数据分布差异过大的问题，但现实场景中大多数是无标签情况；胡等［8］利用域对抗网络解决两域之间分布差异过大的问题，但域判别器的全连接层对故障信息的整合能力较弱，在一定程度上导致故障分类效果不佳。

针对以上问题，本文提出了一种基于小波包域对抗注意力迁移学习的故障诊断方法。首先，通过WPT 获取不同尺度的时频特征信息；其次，利用SE注意力模块对关键特征赋予高权重；最后，通过LMMD 和改进的域对抗网络减少相关子域和全局域之间的结构差异，提升模型两域信息的整合能力，实现变工况场景下的精准故障分类。

1 基础理论

1.1 Resnet 神经网络

虽然CNN 在深度学习中取得了不错的效果，但随着网络的加深，CNN 网络容易出现梯度弥散和梯度爆炸的问题。为了解决这个问题，何凯文团队［9］在2015 年提出了一种残差网络（Residual Network，Resnet）来解决CNN 网络的弊端，残差模块结构如图1 所示。

图1 残差模块结构Fig.1 Structure diagram of residual module

从图1 可以看出，残差模块由两种映射组成：一个是恒等映射，即输入的x通过捷径连接直接输出到下一层；另一个是残差映射，通过两层卷积操作来实现，因此有式（1）：

其中，x代表输入，H(x) 代表残差。

1.2 SE 注意力模块

SE 注意力模块又称通道注意力模块，其主要关注特征在通道之间的复杂关系［10］。 SE 模块结构图如图2 所示，当输入特征通过一个全局平均池化后，其特征降维到1×1，然后通过两个全连接层的降维和升维最终保持特征原有通道数。这样做的目的是保证网络能够同时获得通道局部信息和全局信息，从而在通道上对关键信息特征赋予更高的权重，提升网络模型整体的特征表达能力。

图2 SE 模块结构Fig.2 Structure of SE module

1.3 域对抗网络网

域对抗神经网络（Domain-Adversarial Training of Neural Networks，DANN）借鉴了生成对抗网络（Generative Adversarial Networks，GAN）的思想［11］。但DANN 与GAN 又有一定的区别，DANN 网络既有源域数据又有目标域数据，因此不需要GAN 的生成器网络，而是将生成器网络替换成了提取数据的特征提取网络。 DANN 网络迁移的核心思想是通过最大化域判别器损失，使得域判别器无法准确分析出特征提取网络输送的两域特征数据，以此来对齐源域与目标域之间的分布。 DANN 网络模型图如图3所示。

图3 DANN 网络模型Fig.3 DANN network model

1.4 LMMD

最大平均差异（Maximum Mean Discrepancy，MMD）是域自适应领域中最常用的度量距离之一，但是对于两域中的子类别分类问题，MMD 总是通过全局数据来对齐子域之间的分布，容易造成子域类别匹配错误，从而导致域自适应模型性能下降。而LMMD 通过深度特征自适应和特征学习来匹配源域和目标域特征之间的分布，减少了相关子域的差异分布，实现了子域级别细粒度的对比。 LMMD 的表达式如式（2）：

其中，p，q代表源域和目标域分布概率；xsi代表源域第i样本数据；xtj代表目标域第j样本数据；wsic代表源域样本C类的权重；wtjc代表目标域样本C类的权重。

2 WWRESE-IDALM 迁移学习网络模型

2.1 改进的WWRESE 模型

虽然CNN 能够自动提取轴承故障特征，但CNN网络不仅容易出现梯度弥散现象，而且无法全面提取各个时频域尺度的轴承故障信息。因此，本文结合张伟等［12］提出的宽卷积核深度卷积神经网络（WDCNN），提出了一种基于WPT 宽度SE 残差网络模型（WWRESE）。首先，利用4 层小波包分解获得到16 个不同节点重构的时频域信号；其次，经过一层32×1 的大卷积核消除冗余信息；经过Resnet18网络提取轴承故障特征；最后，在网络中加入SE 注意力机制，反向传播优化网络关键信息权重，提升网络整体的故障分类准确率。 WWRESE 网络结构参数如图4 所示。

图4 WWRESE 网络结构参数Fig.4 Parameter and structure of WWRESE network

2.2 改进的域对抗迁移学习网络结构

DANN 网络中的域判别器是减少源域数据与目标域数据之间分布差异的关键，常规的域判别器采用3 层全连接网络提取两域之间的信息特征，但这会导致域判别器中的信息特征参数无法全部共享，从而造成一些关键信息的丢失。为了解决这个问题，本文利用4 层3×1 的卷积操作代替全连接层，小卷积核能够充分遍历两域故障信息，同时卷积操作的权重共享能够保留重要的信息参数，保证信息的完整性。此外，还利用LMMD 对两域中的子域特征进行细粒度的对比，减少模型在子域中的分类误差，提升了模型整体的故障分类能力。

本文提出的改进域对抗迁移学习网络结构（WWRESE-IDALM）如图5 所示。两域数据首先经过WPT 提取不同尺度的时频域信息后送入WRESE网络中；其次，利用SE 注意力模块对关键故障信息赋予更高的权重，提高网络的特征表达能力；将提取的源域特征送入标签分类网络Gy，对源域数据进行精准分类，同时将源域与目标域共同提取的特征经过梯度反转层送入域判别器Gd，让源域特征与目标域特征进行激烈对抗，使得域判别器无法区分两域故障特征的归属；最后，结合LMMD 共同减小子域分布中的结构差异并对齐两域之间分布，完成最终的故障分类。

图5 WWRESE-IDALM 网络结构图Fig.5 WWRESE-IDALM network structure

3 实验结果分析

3.1 实验数据集

实验数据选用德国帕德伯恩大学（Universität Paderborn，PU）中转速为1 500 rpm 下的3 种不同扭矩和径向力的轴承数据。 PU 轴承数据集3 种工况数据见表1。

表1 PU 轴承数据集3 种工况数据Tab.1 PU bearing dataset with three operating conditions data

PU 数据集由10 组不同损伤程度和类型的故障数据和1 组健康的数据组成，PU 轴承数据设置见表2。

表2 PU 大学轴承数据Tab.2 PU bearing data

3.2 PU 数据集实验诊断

本次WWRESE-IDALM 网络模型超参数设置：batch_size 为64，epoch 为300，优化器为Adam。为了验证本文提出方法的优越性，设置了消融实验进行证明，消融实验模型设置如下：

（1）WWRESE-DALM 与本文提出的方法相比没有对DANN 网络的域判别器进行改进；

（2）WWRE-IDALM 与本文提出的方法相比在特征提取网络中没有加入SE 注意力模块。

三种模型的实验结果见表3 和图6 所示，相较于WWRESE-DALM 和WWRE-IDALM，本文提出的模型不仅平均准确率要高于其他两种模型，而且在各个工况的分类准确率也高于其他两种模型。与WWRESE-DALM 模型相比，改进后的域判别器通过卷积操作能够充分保留两域数据重要信息参数，同时结合LMMD 减少相关子域和全局域之间的结构差异，更好地判断轴承数据所属域；与WWREIDALM 模型相比，缺少SE 注意力机制对关键信息加权后，会导致轴承关键故障特征信息的丢失，造成WWRE 网络的特征提取能力不足。