基于混合域残差注意力网络的滚动轴承智能故障诊断方法①

贾立新 陈永毅 倪洪杰 张丹

(浙江工业大学信息工程学院 杭州310023)

随着工业生产和生活对机械装备功能要求越来越高,工业装备的内部组件变得越来越复杂,在系统运行过程中极易发生故障。只有构建安全可靠的工业装备与系统,才能满足工业生产的需要。滚动轴承是旋转机械的重要组成部分,其健康状况对工业机械的实用性和可用性有重大影响。同时,轴承也是旋转机械中最脆弱的部件之一,轴承故障是导致机械故障的主要原因[1]。轴承故障可能会导致机器的严重损坏,进而迫使重要机械的不可用,导致经济损失和严重的安全隐患。因此,滚动轴承的早期故障诊断是保证机器不间断运行的关键。为了管理机械设备的潜在故障,轴承的故障检测和诊断已经引起了研究者的极大关注。研究人员引入了不同的方法来诊断滚动轴承的缺陷,其中时域、频域和时频域的振动信号分析方法应用最为广泛[2-3]。然而,这是一个面向专家的任务,在快速响应大量数据方面,人工检测通常不是最有效的手段。为了减少对维护人员的依赖,智能状态监测技术正受到越来越多研究人员的关注。

在过去的20 年中,研究人员提出了许多与人工智能技术或传统的机器学习技术[4]相关的新方法,如使用人工神经网络(artificial neural network,ANN)进行滚动轴承故障诊断[5]、基于主成分分析(principal component analysis,PCA)的机器缺陷分类特征选择方案[6]、基于支持向量机(support vector machine,SVM)的机器状态监测和故障诊断方法[7]和基于神经网络和SVM 的轴承缺陷诊断方法[8]。近年来,也有研究者将机器学习算法与遗传算法相结合[9],实现对轴承的智能故障诊断。例如,文献[10]采集了不同工况下的振动和电流数据,首先从振动和电流信号中提取时域、频域和时频域特征;并采用自动编码器进行特征学习;最后通过特征融合集成不同领域的信息,利用softmax 层进行最终分类。文献[11]提出了一种基于变分自编码器和随机森林方法的多源信息融合算法,用于有限标注情况下的轴承故障诊断。文献[12]提出了一种基于电机电流信号的轴承故障诊断方法,利用卷积神经网络(convolutional neural networks,CNN)和信息融合技术从当前信号的灰度图像中自动提取特征。在应用信息融合技术后,采用经典的机器学习算法进行分类,能够准确定位故障位置。尽管故障诊断方法在轴承预测性维护方面取得了重大进展,但仍然存在一些局限性。一方面,基于机器学习的经典方法对复杂系统的表征能力有限,性能较差[13-14];另一方面,这些方法高度依赖输入数据的故障特征,特征提取能力较弱。

为了解决上述故障诊断的挑战,深度学习(deep learning,DL)技术在近几年被广泛应用于机电系统的故障诊断[15-16]。DL 通过使用具有多层的神经网络和非线性变换[17],从数据中提取复杂的关系。与基于机器学习算法[18]的手工特征提取过程不同,DL以有效和自适应的方式深化输入数据特征的表征,能够显著提高故障诊断的准确率。卷积神经网络[19]、长短期记忆网络(long short term memory,LSTM)[20]以及深度自编码器(deep-autoencoders,DAE)[21]在故障诊断中得到了广泛的应用。文献[22]通过CNN 提取混沌序列中的高级抽象特征,并将提取的特征输入到LSTM 作进一步处理,最后采用灰狼算法优化的SVM 进行故障诊断,在噪声条件下取得了较高的准确率。文献[23]设计了一种基于双向LSTM 的故障诊断模型,相比于CNN,能够提取更多的故障特征信息,实现了端到端的故障诊断。

传统深度学习网络虽然能够准确诊断轴承故障类型,但容易受到噪声干扰。为了进一步提高故障诊断网络的鲁棒性,研究人员开始将计算机视觉中的注意力机制引入到故障诊断领域。文献[24]将一维振动信号时间序列转化为二维图像,并将图像数据作为网络的输入传入到所构建的多尺度注意力卷积神经网络模型中,通过注意力机制对不同的故障特征赋予不同的权重,使模型更关注于最具类别区分度的区域,从而提高模型的特征学习能力,在强噪声环境下表现出良好的鲁棒性。文献[25]将加权密集连接网络和注意力机制相结合,将不同空间级别的特征进行融合,使故障诊断模型具有较高的鲁棒性。文献[26]在CNN 提取特征的基础上,采用带有注意力机制的双向长短期记忆网络单元给CNN 提取的特征赋予不用的权重,稳定性优于其他基于深度学习的诊断模型。文献[27]针对滚动轴承在强噪声环境下故障诊断效果不佳的问题,设计了一种具有通道注意力机制的多尺度卷积网络,在不同的噪声环境下均取得了较高的准确率。

虽然基于深度注意力机制网络的故障诊断方法在噪声条件下的鲁棒性得到了大幅度增强,但随着噪声的进一步增大,精度开始明显减小。为了更加充分地提取振动信号中的故障特征,本文提出了基于混合域残差注意力网络(mixed domain attention residual network,MDARN)的滚动轴承智能故障诊断方法。该网络是由3 个注意力模块堆叠而成,堆叠方式采用的是残差网络的堆叠方式,能够避免直接叠加导致模型性能明显下降的问题。同时,采用最大池化层和上采样层模拟自下而上的快速前馈过程和自上而下的注意力反馈过程,能够显著提高故障诊断网络的鲁棒性。最后在滚动轴承故障诊断试验台上进行测试,验证了所提方法相比于现有方法的优越性。

1 残差网络

1.1 残差网络基本组件

残差网络具有与传统深度卷积网络相同的一些基本组件,包括卷积层、整流线性单元(rectified linear units,ReLU)激活函数、批归一化(batch normalization,BN)层、全局平均池化(global average pooling,GAP)层和交叉熵误差函数。下面对这些基本组件的概念作进一步详细介绍。

卷积层是使CNN 区别于传统的全连接(fully connected,FC)神经网络的关键部分。由于卷积层通过卷积操作进行数据特征提取,而不是采用矩阵乘法进行运算,因此卷积层可以大大减少需要训练的参数量。此外,由于可训练参数较少,深度学习方法发生过拟合的可能性较小,因此可以更容易地对测试数据集产生较高的精度。输入特征映射与卷积核的卷积,加上偏置项可以表示为

式中,xi为输入特征图的第i个通道,yj为输出特征图的第j个通道,k为卷积核,b为偏置,Mj为计算输出特征图的第j个通道的通道集合。

特征的分布往往在训练迭代过程中不断变化。在这种情况下,卷积层中的参数必须不断更新以适应变化的分布,这增加了训练的难度。BN 是一种特征规范化技术,作为可训练过程被插入到深度学习体系结构中。BN 的目的是减少内部协变位移,BN 首先将特征归一化为平均值为0、标准差为1 的固定分布,然后将特征调整为在训练过程中学习到的理想分布。BN 的过程可表示为

其中,xn和yn分别表示小批量第n个观测的输入和输出特征;μ和σ2是小批量的均值和方差,Nbatch是批量大小;γ和β是2 个可训练的参数来缩放和移动分布;ε是常数,接近于0;表示批归一化后的。

在卷积层和BN 之后一般紧跟激活函数,对提取到的特征进行非线性变换。激活函数通常是神经网络的一个重要组成部分,用于非线性变换。在过去的几十年里,已经开发了各种激活函数,包括sigmoid、tanh 和ReLU。ReLU 激活函数由于能有效地防止梯度消失,近年来受到广泛关注。ReLU 激活函数在负数部分的值恒为0,此时导数为0;而在正数部分的值为x,导数为1,这有助于保持特征在网络层间流动时的范围不变。ReLU 激活函数如式(6)所示。

其中,x和y分别为ReLU 激活函数的输入和输出。

1.2 残差网络设计

残差网络是近年来备受关注的一种新兴的深度学习方法,其中残差块是残差网络基本组成部分。如图1 所示,残差块由2 个BN、2 个ReLUs、2 个卷积层和1 个跳跃连接组成。跳跃连接是残差网络优于一般深度卷积网络的部分。随着神经网络变得越来越复杂,网络深度越来越深。随着网络层数的逐渐增加,传统的CNN 会产生梯度消失和梯度爆炸现象,严重影响网络的学习。

图1 残差块

为了使深度神经网络能够更好地学习,残差块添加了跳跃连接,使输入特征能够直接传输到输出端,防止信息的快速流失。在使用了跳跃连接以后,梯度可以有效地流向较早的层,这些层接近输入层,因此可以更有效地更新参数,有效解决了梯度消失和梯度爆炸问题。

2 混合域残差注意力网络

2.1 注意力机制

振动信号中含有大量与故障不相关的信息,这些信息会严重干扰故障诊断网络的学习,使得故障诊断网络无法作出准确的判断。为了提高网络的抗干扰能力,研究者们开始将研究重心集中在注意力网络上。CNN 的典型注意力机制主要包括通道注意力和空间注意力。与传统的CNN 不同的是,在注意力机制增强的CNN 中,前一个卷积层输出的特征图在进入下一个卷积层之前会根据注意力系数进行加权,而不是直接输入到下一层。在通道注意力方面,首先采用全局平均池化(GAP)和全局最大池化(global maximum pooling,GMP)对通道维度上的特征映射进行压缩;然后将得到的特征映射送入一个权值共享的多层感知器(multilayer perceptron,MLP)中生成两组权值;最后,将两组权重之和作为注意力权重。在空间注意力方面,采用平均池化和最大池化的方法沿着空间方向压缩特征图。将得到的特征映射叠加成双通道格式后,由辅助卷积层生成代表不同区域重要性的空间注意力权值。注意力机制的引入改变了原来的等权模式,对网络的不同通道或空间区域赋予不同的权值,能够使网络更加关注对预测任务重要的特征,进而降低了噪声信息对预测任务的干扰。

本文在残差网络基础上,构建如图2 所示的基于混合域残差注意力网络的故障诊断模型。该模型对振动数据采用掩码方式进行特征提取,削弱噪声信息对特征提取的干扰,提高网络的诊断精度。混合域残差注意力网络是通过堆叠多个注意力模块进行构建[28]。每个注意力模块整体结构类似于残差块,分为2 个路径:软掩码路径和主路径。主路径由2 个残差块组成,负责对输入数据进行特征提取。软掩码路径模拟自底向上和自顶向下的结构学习相同大小的掩码,以此实现快速前馈和反馈的注意力过程。

图2 混合域残差注意力网络

2.2 软掩码路径

注意力网络通过软掩码路径求取注意力系数,整个软掩码路径包含快速前馈扫描和自顶向下的反馈步骤[28]。前者快速扫描整个特征图的全局特征,后者则用来整合全局信息和原始特征图。

软掩码路径首先将输入数据x输入到连续2 个最大池化层和残差块中,进行下采样操作,能够迅速增大网络层的感受野,实现对振动信号长期依赖信息的捕获。输入数据x在残差块中的处理过程如下:

在感受野足够大后,再对称于下采样过程,连续堆叠2 个残差块和上采样层,对提取的特征进行上采样。全局信息通过对称的自顶向下架构进行扩展,以指导每个位置的输入特征。从图2 中的软掩码中可以看到,在自下而上和自上而下之间添加了跳跃连接,以此来捕获来自不同尺度的信息,使捕获的信息更加丰富[28]。针对每个通道和空间位置上的特征FM,通过Sigmoid 激活函数求取混合域注意力系数M(通道域和空间域),将注意力系数限制在[0,1]之间,以此防止出现过大的注意力系数,导致网络训练的崩溃。

2.3 混合域残差注意力模块

在获得注意力系数M之后,通过将主路径的特征FA与注意力系数M进行逐元素相乘,便可得到输入数据x的注意力特征Fatt。

其中,M是软掩码的注意力参数,取值范围是[0,1]。

随着注意力模块的叠加,输出的注意力特征图会越来越小,有可能打破网络原有的特性,使网络性能降低。为了解决这个问题,求取的注意力特征Fatt参照ResNet 恒等映射的方法,将求取的注意力特征与主路径提取的特征进行相加,在确保注意力特征不损坏的前提下,保证了注意力模块输出的特征不会太小:

其中,H是注意力模块的输出。这就构成了混合域残差注意力模块,能将振动数据的特征和加强注意力之后的特征一同输入到下一模块中。注意力模块通过主路径和软掩码路径,既能获取输入数据中的最具类别区分度的关键特征,又能使其绕过软掩码路径,保持原始数据的良好特征,削弱软掩码路径的特征选择能力,使注意力模块的输出特征具有较强的抗干扰能力。

通过上述操作,网络在不损失振动信号原有特征的基础上,确保了重要特征能在所有特征中占据更大的比重,进而削弱噪声信息对故障诊断模型的干扰,增大不同故障数据间的可区分度。

2.4 混合域残差注意力网络设计

混合域残差注意力网络由3 个连续的混合域残差注意力模块堆叠而成。通过堆叠注意力模块可以逐渐细化特征图。如图2 所示,输入数据首先经过具有大尺寸卷积核的卷积层,用于削弱振动信号中的高频噪声;随后将压缩后的特征输入到连续的注意力模块和残差块中。随着网络深度的加深,特征变得越来越清晰,可以持续提高残差注意力网络的性能。网络的具体参数如表1 所示。

表1 MDARN 的网络参数

3 实验及结果分析

3.1 实验数据采集

如图3 所示,采用滚动轴承故障测试实验平台进行实验数据采集。该实验台主要由电动机、液态水冷器、盘式涡流制动器和转速调节器组成。无线振动传感器安装在电动机风扇端的上方,用于对滚动轴承振动信号进行采集。实验过程中的采样频率为16 000 Hz。如表2 所示,本文考虑了电动机滚动轴承的10 种健康状况,包括1 种健康状况,3 种不同损伤程度的轴承故障,损伤程度分别为0.1 mm、0.3 mm和0.5 mm。

表2 故障类型

图3 滚动轴承故障测试实验平台

对于每种健康状态,实验中考虑了如表3 所示的不同转速(20 Hz 和30 Hz)和负载(1 A 和2 A)的运行工况,共采集了4 种运行工况的数据集。在每个特定转速和负载下,收集不同健康状态下的振动信号。同时,采用滑动窗口的方法将振动信号分割为长度为4 096 的数据样本,并按照7 ∶3 的比例分为训练集和测试集。值得注意的是,为了验证所提出方法的有效性,使用这种短信号进行故障诊断任务更具挑战性。在实际应用中,可以使用数据点较多的长信号。为了验证所开发的MDARN 在不同背景噪声下诊断机器故障的有效性,首先将高斯白噪声加入到每个信号中,其信噪比分别为-2～10 dB。具体地说,对原始振动信号进行噪声相加。然后,在深度学习模型优化过程中保持噪声振动信号不变。其中,每个噪声都是独立产生的,因此对振动信号所添加的噪声是不同的。

表3 实验数据参数

3.2 实验流程

本文所提出的故障诊断算法整体流程(图4)如下。

图4 基于混合域残差注意力网络的滚动轴承故障诊断算法流程图

步骤1 通过更换电机故障轴承模拟不同健康状态下的轴承故障。待电机平稳运行后开始接收无线传感器采集到的振动信号。

步骤2 将采集到的振动信号进行分割,获得适用于网络输入的数据样本,并将每种故障类型的数据分为训练集和测试集。

步骤3 将训练样本输入到MDARN 中进行网络训练。训练集按照批处理大小为10 依次输入到网络中,先后通过3 个混合域残差注意力模块,提取振动信号中的故障特征。

步骤4 将提取的故障特征最终输入到具有softmax 激活函数的全连接层中进行故障类型预测。将预测的结果与真实标签一同输入到交叉熵损失函数中进行损失计算,并将损失值通过反向传播调节各层网络参数。

步骤5 迭代结束,保存网络参数。

步骤6 将保存的网络参数加载到MDARN 中,并将测试集输入到MDARN 中进行模型性能测试。

3.3 实验结果分析和比较

将MDARN 与现有先进故障诊断方法进行比较,以进一步说明所提方法的优越性。为了在接下来的实验中使每种方法得到公平的比较,每种诊断方法对每个故障诊断任务运行10 次,取10 次实验的平均结果作为最终的实验结果。对比方法的架构基准和超参数设置与MDARN 相同。一方面,为了验证混合域残差注意力网络的优点,本文使用了2个相似的注意力网络SEnet[29]和CBAM[30]进行比较。SEnet 仅使用通道域注意力对输入数据进行特征加强,而CBAM 则同时考虑了通道域和空间域注意力。此外,采用经典的基于CNN(ResNet、WDCNN[31])的故障诊断网络进一步加强实验的说服力。

从表4 可以看出,首先,MDARN 在不同信噪比(signal noise ratio,SNR)噪声影响下都取得了较好的结果,优于其他网络。与经典的通道注意力网络(SEnet)和混合域注意力网络(CBAM)相比,自下而上的快速前馈过程和自上而下的注意力反馈过程能够更好地捕捉到振动信号的长期依赖信息,从而使网络能够捕获到更多的关键特征,这在SNR 较低情况下尤为明显。对于不使用注意力机制网络的故障诊断模型(ResNet、WDCNN),虽然采用CNN 在无噪声条件下取得了较高的准确率,但随着噪声的逐渐增强,普通的卷积神经网络将无法从损坏的振动信号中提取出故障信息,使得不同类的故障数据无法有效分离。

此外,引入混淆矩阵来评价每种故障的诊断性能,4 种工况下的故障诊断结果的混淆矩阵如图5所示。从图5 中可以看到,MDARN 在数据集A1 中正常轴承数据会被识别为外圈高度损坏,内圈低度损坏会被识别为滚动体中度损坏和内圈中度损坏,滚动体低度损坏则会被误判为内圈低度损坏和滚动体中度损坏。而在数据集A2、A3和A4 中,各个类别的故障诊断准确率都取得了不错的结果,误判率较低。同时,MDARN 在4 种工况下均没有出现将故障数据误判为正常数据的情况,能够实现轴承故障的准确预警。

图5 混淆矩阵

为了更好地评价MDARN 提取的特征是有效的,采用主成分分析的方法将特征层的特征维数降至二维。数据集A2 的二维特征如图6 所示。通过分析图6 可以得出结论,同一故障类别的特征紧紧聚集在一起,不同故障类别的特征能够有效地分离。这意味着MDARN 能够有效识别每种类型的轴承故障,展现出了MDARN 优越的故障诊断性能。

图6 MDARN 的特征可视化

为了进一步验证所提方法的性能,本文在一个更大的数据集——凯斯西储大学(Case Western Reserve University,CWRU)轴承故障数据集上[32]对MDARN 进行实验验证。在CWRU 数据集中,采样频率为12 000 Hz。共设置了4 种不同的运行工况:数据集A(1 797 rpm,0 hp)、数据集B(1 772 rpm,1 hp)、数据集C(1 750 rpm,2 hp)和数据集D(1 730 rpm,3 hp)。每个数据集包括正常数据、内圈故障、外圈故障和滚动体故障,故障直径分别为0.18 mm、0.36 mm和0.54 mm。MDARN的实验结果如表5 所示,可以看出,随着噪声强度的增加,MDARN 仍能保持较高的故障诊断精度,验证了所提方法的有效性。

4 结论

为了克服滚动轴承故障诊断中的抗干扰能力弱的问题,构建了一种基于混合域残差注意力网络的故障诊断模型。首先,采用自下而上和自上而下的结构捕获振动信号的长期依赖信息,并根据残差网络的结构特点,构建了注意力模块。其次,为了加深网络,提高网络的泛化能力,连续堆叠了3 个注意力模块。最后,将提取的注意力特征输入到3 个连续的残差块中作进一步细化,实现对轴承故障类型的准确识别。对比结果表明,与其他基于深度学习的故障诊断模型相比,MDARN 具有更好的诊断性能和有效性。