基于双路并行多尺度ResNet的滚动轴承故障诊断方法

2023-02-22赵小强张毓春

振动与冲击 2023年3期

赵小强，张毓春

(1.兰州理工大学电气工程与信息工程学院，兰州 730050；2.甘肃省工业过程先进控制重点实验室，兰州 730050；3.兰州理工大学国家级电气与控制工程实验室教学中心，兰州 730050)

随着科技的发展，现代工业控制系统越来越复杂，对各种设备的稳定性以及可靠性要求也逐步提高。在“大数据”时代，许多机械都智能化和高速化，这使得机械发生故障的几率也增加，一旦发生故障，极大可能会造成不可估量的损失。滚动轴承是旋转机械中应用最广泛的，同时也是最容易发生故障的，据相关数据显示，在旋转机械中近40%的故障是由于滚动轴承发生故障而引起的，所以对其故障检测、识别以及诊断的研究起到至关作用[1]。

传统的故障诊断方法一般使用信号分解的方法进行特征提取，如小波变换[2]和经验模态分解[3]，然后利用神经网络、支持向量机[4-5]等进行故障分类完成诊断任务。小波变换能有效的从信号中提取信息，但是小波变换缺乏自适应性，很难选取最优小波基[6]；杨宇等[7]用经验模态分解信号提取特征，简化信号复杂度，然后利用神经网络实现故障诊断，但经验模态分解会出现模态混叠和端点效应[8]。闫文源[9]用变分模态分解与支持向量机结合对轴承故障诊断，变分模态分解克服了经验模态分解的缺点，但是支持向量机对少数样本分类效果不明显，影响故障诊断精度。

近年来，随着深度学习[10]被应用到多个领域，许多学者结合深度学习对故障诊断和预测。张立智等[11]提出一种短时傅里叶变换与二维卷积网络结合的诊断方法，比传统CNN(convolutional neural networks)[12]有更好的效果，解决了难以特征提取问题，但网络没有考虑到梯度消失问题。张建付等[13]利用长短时记忆神经网络对风电机组滚动轴承故障进行诊断，解决了梯度消失问题，在特征提取时缺乏自适应。曲建岭等[14]将一维卷积神经网络应用到滚动轴承的故障诊断中，提出了“端到端”的自适应诊断算法，解决了传统诊断方法缺乏的自适应性，但单一尺度特征提取无法将细节信息完全挖掘。章立军等[15]提出了多尺度自适应的形态学分析方法，有利于特征提取，且避免了单尺度的盲目性和依赖性。但在实际工业过程中故障都是发生在变工况、变噪声等多种因素下的，这些方法的实际效果达不到预期目标，相继又提出多尺度的特征提取方式，Inception网络[16]为典型代表，被学者们用到诸多领域。孔子宇等[17]采用Inception和残差模型对轴承故障分类。雷景生等[18]结合Inception设计了卷积自编码器模型去除噪声。但是多尺度卷积神经网络仍存在以下问题：一是当前模型无法处理复杂环境变噪声和变工况的故障诊断；二是多尺度的特征提取没有重点关注有用的特征信息，导致信息的利用率不高。

基于此，本文提出了一种双路并行多尺度的改进残差神经网络的方法。在原有的单支路网络中加入多尺度的残差Inception，充分提取振动信号的特征信息；为了避免卷积提取的信息冗余，采用注意力机制提高通道的信息利用率；此外，将提取的特征信息融合后使用多个空洞残差块来增强网络的平稳性和诊断的准确性。最后通过滚动轴承数据来验证本文所提出的方法的有效性。

1 残差神经网络

He等提出的残差神经网络[19](residual neural network,ResNet)是在普通的卷积上加入残差学习，这种网络有明显的层级关系，消除了深度过大网络训练困难问题，保证了输出特征表达能力，且加快了训练速度，这种恒等映射的结构从根本上解决了梯度消失和退化问题。残差块的结构如图1所示。

图1 残差块结构

图1中:x为输入;F(x)为映射函数;G(x)=F(x,{Wi})+x为恒等映射函数。残差结构中这种跳层连接保证了输入与输出维度一致，在前向传播时，输入信号可以从任意底层直接传播到高层，使得前后向传播更加顺畅。

卷积神经网络可以处理复杂的信号，网络通过引入局部感知、权值共享和下采样，降低运算复杂度提高识别精度。典型的卷积神经网络由卷积层、池化层和全连接层构成。卷积层负责提取图像中的局部特征，池化层用来大幅降低参数量级(降维)，全连接层一般和softmax一起作为分类器[20]。卷积神经网络结构图如图2所示。

图2 卷积神经网络结构图

1.1 卷积层

卷积层是整个网络的核心，通过大大小小的卷积核完成图像特征信息的提取。卷积核即所谓的滤波器，用来计算不同的特征图，卷积具体运算如下

(1)

式中:zi,j为输入数据第i个通道第j个特征值;wi,j和b分别为卷积核的权重和偏置;f(z)为卷积得到的特征输出。卷积后，需要进行批标准化和激活函数非线性化。本文选用ReLU函数，因为该函数不仅可以提高网络稀疏性，而且能够解决梯度爆炸问题，在深度学习中也是最为广泛的一种激活函数，函数公式如下

ReLU(x)=max(x,0)

(2)

1.2 池化层

池化层的作用是对数据进行降维，用更高层次的特征表示图像。因为池化具有特征不变性，在一定程度上还可以防止过拟合现象，这对于网络来说也极为关键。本文采用最大池化，可以有效的提取图像边缘的纹理结构，具体公式如下

(3)

式中:{bl(i,t)}是神经元的激活值;n为池化层的宽度;fl(i,j)为池化层输出。

1.3 全连接层

全连接层将上两层提取的特征实现分类，由于全连接层每个节点都与上层每个节点连接，所以该层权值参数是最多的。为了提高网络泛化能力，防止过拟合，引入Dropout方法，在训练过程中对于神经网络单元，按照一定的概率将其暂时从网络中丢弃，具体公式如下

(4)

1.4 损失函数

损失函数用来估量模型的预测值与真实值的不一致程度，它是一个非负实值函数，一般使用L[Y,f(x)]来表示，损失函数越小，模型的鲁棒性就越好。本文采用交叉熵函数作为损失函数。

(5)

2 多重Inception-Attention-Improve ResNet模型结构

2.1 注意力机制结构

传统的卷积神经网络在特征提取时无法考虑到不同特征映射程度，而且网络计算能力有限，通过引入通道注意力机制，降低无用信息的关注度，解决信息过载问题，提高处理效率和准确性[21]。采用通道注意力可以分配各个卷积通道之间的资源，让网络选择性的增强信息量最大的特征，使得后期充分利用这些特征并抑制无用信息。SE-block(squeeze and excitation block)是通道注意力机制里较新颖的方法，过程分为压缩和激发两步：压缩获得每个通道的全局特征向量，激发学习每个通道的特征权值。通过网络学习每个通道的权重信息，然后乘以每层的特征信息，有目的地增强可用特征信息，实现各个通道的自适应校准。

SE-block结构如图3所示。图3中:C,h,w分别为长、宽、通道;Conv为卷积，Fsq为压缩;Fex为依据权重信息激励;Fscale为重新缩放;u为卷积后的特征图;z为拉伸后特征图。依据式(6)，采用通道注意力机制，可以提高网络的非线性能力，降低网络计算量。

图3 SE block的结构

(6)

式中:σ为Sigmoid函数;W为两个完全连接层的权重信息;δ为ReLU函数。

2.2 残差Inception网络结构

卷积网络为了提取高维特征，往往需要进行更深层次的卷积，但网络深度和宽度变换会造成其他性能指标下降。本文提出的残差Inception网络在保证模型质量的前提下，减少参数个数，提取高维特征，既增加网络的宽度，同时也增加了网络对尺度的适应性。Inception采用多个不同尺度的卷积核提取特征，接着进行多尺度特征融合，不仅对数据进行降维，还引入了更多的非线性，提高了泛化能力。同时为了解决网络的退化问题，通过调整残差块内的通道数量以及堆叠块数，使得网络的宽度和深度变化，得到表达能力不同的网络。此外多个卷积核后的批标准化加速了网络的收敛性。

改进Inception结构如图4所示，图4中，采用3个1×1、3个3×3和1个5×5的卷积核构造了不同尺寸的卷积，其中1×1卷积降低输入通道的维度，再进行卷积操作，有效提升了网络的宽度，同时还解决了时间复杂度和空间复杂度的激增。此外，引入的残差连接缓解了网络加深带来梯度消失的问题，提高了整体的泛化能力。

图4 改进的Inception结构

2.3 整体网络结构

本文基于残差网络提出了一种双路并行多尺度的改进残差神经网络的方法，有效解决了特征提取时计算量大问题和单通道网路的局部泛化问题。双路并行模型可以对特征信息进行再利用，充分提取特征的细节。每个分支由不同多尺度的残差Inception和残差空洞卷积块构成，以获取不同深度下的特征信息，采用特征融合各分支的可用信息实现故障诊断。模型以一维故障数据为输入，经过滑动窗以784的采样点数重构成28×28的二维特征图，然后进入改进的残差Inception网络，该网络为了获取多尺度的特征信息，采用不同大小的卷积核，拓宽网络宽度。为了解决特征提取过程中的部分信息丢失问题，引入残差连接，同时将通道注意力机制结合到网络中，让网络自适应的学习并调整让性能达到最佳。为了增大感受野，用空洞卷积代替普通的卷积，总共利用3个空洞的残差块，提高了泛化能力。经过残差块后将双路信息融合在一起，采用concat的方式特征融合，只是进行通道数的合并，加强了特征的传播，全连接层利用权值矩阵对特征进行重组，最后由 softmax分类器对故障进行准确的分类。本文方法的网络框架如图5所示。

图5 本文方法的网络结构

本文所提方法对滚动轴承故障诊断的训练与测试的整体流程图，如图6所示。首先对使用的数据集做预处理，使用滑动窗对每类工况下的数据以784为采样点作为一个样本，最终按照3∶1的比例分为训练集和测试集。搭建网络模型设置参数并计算评价指标，若没有达到迭代批次则返回模型继续训练，反之使用测试数据开始模式识别并分类。前向传播加权求和，经过激活函数非线性化，计算损失，反向使用梯度下降法，从后往前逐层求取模型参数。

图6 本文方法的训练和测试流程图

3 实验仿真与结果分析

为了验证本文方法具有较好的故障诊断能力和泛化能力，本文分别使用美国凯斯西储大学(Case Western Reserve University，CWRU)电机轴承采集的数据集和东南大学变速箱数据集进行有效的实验。实验使用深度学习的框架为TensorFlow，在Ubuntu上的Pycharm软件利用python语言编程，计算机的处理器是Intel(R) CoreTMi9-9900K CPU@3.60 GHz×16.内存为62.7 GiB。另外，本实验选取10次测试结果取平均作为最后结果。

3.1 CWRU轴承数据集实验

3.1.1 实验数据集与参数设置

本实验数据集来自美国凯斯西储大学研究所，该数据集是轴承故障研究的主流数据集[22]，实验装置如图7所示，实验轴承型号是SKF6205，它是由电机驱动端和风扇端的加速度传感器采集数据，实验中每种故障在不同的工况下出现的故障位置在滚动体、内环、外环，其中外环上分别在3点钟、6点钟、12点钟方位，损伤直径为0.177 8 mm,0.355 6 mm,0.533 4 mm,0.711 2 mm,电机的转速分别为1 797 r/min,1 772 r/min,1 750 r/min,1 730 r/min，振动采样频率为12 kHz，振动信号由16通道数据记录仪采集得到。按照故障类型，将采集的数据分为16种标签，以784为采样点数划为一个样本数据，电机在0负荷、1负荷、2负荷、3负荷下得到不同的样本数，将样本数的75%作为训练集，25%作为测试集。实验数据集划分如表1所示。

图7 实验装置平台

表1 实验数据划分

本实验采用Adam优化算法更新网络超参数，学习率初始化设为0.001，阈值过大会增加网络的训练时间，阈值过小无法保证准确率，本文实验通过对比分析和参考文献[23]最终将迭代批数阈值设为2 200，每次训练衰减为0.9，每次批量样本数为64，全连接层中为防止过拟合Dropout按50%的丢弃。为了让网络获取更多得有效特征信息，训练过程中不存在波动性，选取r=3的扩张率，这样的设置有助于增强网络的泛化能力。具体参数如表2所示，其中(3,3,64,2)表示卷积核的大小为3×3，通道数是64，使用2个这样的卷积核，同理，其他参数也是如此。

表2 本文网络的结构参数

3.1.2 实验结果与性能分析

为了进一步说明本文方法对滚动轴承的诊断优越性，实验选取LeNet-5、AlexNet、ResNet方法和引用改进AlexNet网络[24]方法作为其对比实验。本实验在同样的仿真平台上搭建卷积层大小5×5、池化层大小2×2的LeNet-5和3个传统残差块的ResNet网络，测试了不同信噪比和不同工况下的数据，本文以A、B、C、D分别表示0负荷、1负荷、2负荷、3负荷，A-B,A-C,A-D表示以A为训练样本，B,C,D为测试样本，其他组实验与此同样。如图8所示，最高测试准确率99.05%，最低准确率也在92.29%，本文提出方法的准确率明显高于其他方法，这是因为本文采用双路并行互补的残差Inception网络和通道注意力机制提高了对样本特征的提取，挖掘出深层的特征信息并加以利用，所以在变工况下仍然能自适应的克服问题。

图8 不同方法的变负荷诊断结果

实际工业过程中故障发生都伴随有噪声影响，所以本文选择了转速为1 750 r/min、负荷为1.492 kW下轴承数据且验证了在不同信噪比情况下的测试样本的精确度。在实验过程中加入高斯白噪声，来验证网络的抗噪声能力。结果如图9所示，本文实验在信噪比分别以2 dB和3 dB为单位变化，从测试精度明显可以看出在低信噪比干扰下测试精度有很大的提升，这是因为本文残差多尺度的Inception网络能极大限度地提取噪声中的特征信息，随着高强度的噪声影响准确率会有较小的下降，但整体来说还是具有很好的抗干扰性。

图9 不同信噪比的测试准确度

负荷变化实验是在0,0.746 kW,1.492 kW,2.238 kW 4种负荷下以其中的一个负荷为训练样本，其他3种负荷为测试样本。如图10所示，本文方法在变工况情况下，以1.492 kW的负荷向其他3种负荷转化，故障诊断准确率仍然在95%以上，这主要是本文采用双路并行互补的改进残差网络结构结合Inception网络在特征提取时获取了足够的信息，此外还利用通道注意力机制，不仅加速了网络的学习效率，而且具有很好的泛化性。滚动轴承往往在变工况下作业，同样也验证了在变工况下本文方法仍然具有一定的抗干扰能力和泛化能力。

图10 变工况的诊断结果

为了验证本文提出的方法具有较强的泛化能力和一定的抗干扰性，本文做了多组对比实验，在高信噪比12 dB和低信噪比6 dB下采用不同的方法做了变工况实验，对比实验结果说明本文方法相比经典网络LeNet-5和ResNet有较高的测试准确率。Zhao等设计的由Inception网络和多个跳跃残差网络较经典网络深度有一定加深，但面对复杂的变工况准确率有大幅度的降低。实验结果如图11所示，其他方法在6 dB干扰下诊断准确率都在70%～85%，明显达不到诊断效果。图11(a)是本文方法在6 dB变负荷实验，明显看出在6 dB干扰且变负荷时还有一定的稳定性，最高准确率平均能达到95.27%，最低平均准确率都在85%以上。图11(b)是本文方法在12 dB变负荷实验，在12 dB干扰下准确率明显提升，最高准确率可以达到97.25%，最低准确率也能达到93.10%。主要是本文双路并行互补网络，克服了单支路的绝对化，加强对特征信息的深层挖掘，提高了网络对特征信息的利用率。

(b)

(a)

时间复杂度决定了模型的训练时间，过高会导致训练耗时，无法快速收敛；空间复杂度决定了模型的参数数量。本文所提的残差Inception结构在降低了时间复杂度的同时还减少了空间复杂度。本文方法平均训练耗时90.49 s，相比LeNet-5耗时69.97 s和ResNet耗时82.66 s慢了数几秒，但是诊断效率有明显的提高。由于传统网络结构简单，容易训练，所以耗时较少。但针对滚动轴承数据庞大且是变工况和强噪声干扰的情况下，本文方法在训练时间相对少的同时准确率都有较高的提升。

同时为了更为直观的反映本文方法具有较好的故障诊断特点，在每个池化层后做了t-SNE可视化分析，t-SNE(t-distributed stochastic neighbor embedding)可视化的参数设置如下：嵌入空间维度选2，困惑度设为30，学习率为1 500，嵌入的初始化为pca，前期放大系数为4，结果如图12所示，图12中数据离散点的变化说明随着网络的训练，16种故障类型在逐渐被正确诊断，该结果是网络在2hp训练集上，0,0.746 kW,2.238 kW为测试集上t-SNE可视化输出的详细结果，图中16种不同的颜色代表16种不同的故障类型。由图16可知，本文方法能有效分离出绝大多数的样本，并能把每类样本都汇聚在一起，尽管个别类分离开没能汇聚在一起，但对整体的分类没有太多影响。由此可见，本文方法在故障诊断过程中，有较好的泛化能力和诊断效果。

(a) 池化层1

为了更进一步说明本文方法比ResNet方法的优越性，实验做了t-SNE可视化图，结果如图13所示，可以直观看见本文方法对故障类型准确诊断并无误的将16种故障诊断分类，而ResNet方法不能很好的诊断。主要是因为本文方法提取了更深更多的特征信息，提升了对有用信息的利用率。

(a) 本文方法

3.2 变速箱数据集实验

为了进一步验证本文方法的优势，本实验选取了东南大学的变速箱数据集[25]，该数据集在实验平台上，转速负载为20 Hz-0和30 Hz-2 V两种工况，采集了8个通道的数据。本文选择其中一个通道实验，将数据集按照75%作为训练集，25%作为测试集划分，每种故障选择600个样本，故障类型分成5类，包括滚动体故障、内圈故障、外圈故障、内圈与外圈混合故障和正常。为了避免实验的偶然性，取9次测试结果分别与经典卷积网络LeNet-5和ResNet在同样的仿真环境下做了对比实验，具体参数设置如表3所示，表3中(3,3,1)表示使用3×3的卷积，步长为1；残差块中使用3个卷积层，这样的设计能大大提升网络的诊断效果。故障诊断结果如图14所示。

表3 对比方法网络的结构参数

图14中，横坐标为测试的次数，纵坐标为测试的准确率，从图14中可以直观地看出本文方法相比其他方法具有明显的优势，诊断准确率平均高达99%以上，因为本文方法采用双路并行的残差注意力网络，在特征提取时引入了多尺度的卷积，挖掘出了深层特征信息。由于LeNet-5结构相对简单，所提取的浅层特征信息不能充分反映轴承运行的状况，导致诊断效果不太好，而ResNet恒等映射的结构较LeNet-5网络有所改善，解决了网络退化问题，诊断效果较LeNet-5有所提高，但ResNet实则是多个浅层网络的融合，还不能从根本上解决深层特征信息的提取。

图14 不同方法的诊断结果

为了更直观地看出分类结果，根据测试结果做了混淆矩阵图，结果如图15所示，其中横坐标代表预测标签，纵坐标代表真实标签。本文提出的方法对故障测试的整体准确率高达99.27%，误分率只有0.7%，由此可见，本文方法在不同工况下仍然具有较强的泛化能力。为了进一步展现分类结果，做了t-SNE可视化图，结果如图16所示，可以直观地看出本文方法对5种故障类型能准确诊断。