基于注意力机制的滚动轴承故障诊断方法

李秋婷,王秀青,2,解飞,杨云鹏,杜文霞

(1.河北师范大学 a.计算机与网络空间安全学院;b.中燃工学院,石家庄 050024;2.河北省网络与信息安全重点实验室,石家庄 050024)

旋转机械广泛应用于航空航天、船舶、汽车、机械制造等领域,滚动轴承是旋转机械中的关键、易损部件,在恶劣的工作环境和交变载荷下容易发生故障。滚动轴承故障诊断是保障旋转机械系统正常运行的重要环节,实际应用中迫切需要高精度、高稳定性的滚动轴承故障诊断方法[1]。

卷积神经网络(Convolutional Neural Network,CNN)采用多层卷积的方式提取特征,并在挖掘数据的深层特征表示方面具有独特优势,可解决传统方法中特征提取繁琐和不同故障特征间的耦合问题,经典模型有LeNet-5,GoogleNet,残差网络(ResNet)等[2]。长短期记忆网络(Long and Short Term Memory,LSTM)作为循环神经网络(RNN)的变体,可解决RNN收敛困难和梯度消失问题[3]。注意力机制在图像处理领域取得了较好效果,也被推广应用于故障诊断领域,文献[4]提出了基于多重注意力-卷积神经网络-双向门控循环单元的机械故障诊断方法,在CNN中加入卷积注意力模块(Convolutional Block Attention Module,CBAM)进一步加强模型对关键信息的提取能力,结果表明该方法的故障诊断性能优于一维CNN。

很多学者对滚动轴承故障诊断方法进行了研究:文献[5]提出了小波包能量与CNN相结合的滚动轴承故障诊断方法,有效提高了卷积神经网络的故障识别准确率;文献[6]提出了基于AlexNet和极限学习机(ELM)的轴承故障诊断方法,获得了较高的分类精度和较短的训练时间;文献[7]提出了基于离散小波变换-多尺度模糊熵与最小二乘支持向量机(LSSVM)的滚动轴承故障诊断方法并验证了其可行性;文献[8]提出了基于奇异谱分解和2层支持向量机的故障诊断方法并成功完成滚动轴承故障诊断工作。

虽然许多传统机器学习和深度学习方法已能够完成滚动轴承故障诊断任务,但实际生产中仍迫切需要更高精度、更佳稳定性的滚动轴承故障诊断方法,以最大限度地降低故障造成的损失。注意力机制可以有效增强数据重要特征的关注度并减弱不重要特征的关注度,有助于提高模型的故障诊断精度。以自注意力机制[9]为核心的Transformer模型在图像分类[10]、医学图像分割[11]、句子生成[12]、机器翻译[13]等方面得以成功应用。因此,本文基于注意力机制和Transformer模型,提出2种数据驱动的滚动轴承故障诊断方法:1)基于CAR模型的滚动轴承故障诊断方法,将注意力机制与残差网络相结合,提取滚动轴承振动信号中的重要特征,避免梯度消失或爆炸现象,从而有利于模型的训练;2)基于Transformer模型的滚动轴承故障诊断方法,使用Vision Transformer编码器对轴承振动信号进行处理并提取内部相关性,仅使用该编码器即可完成有效的特征提取,提高模型故障诊断精度。

1 相关理论及方法

1.1 卷积神经网络

卷积神经网络包含卷积层、池化层和全连接层这3个主要层结构,通过堆叠形成完整的网络:处于核心地位的卷积层用于特征提取;池化层用于数据压缩,降低决策成本,可以减少网络中的参数量并有效控制过拟合;卷积层与池化层配合使用具有局部连接、权值共享和空间池化的特点,使得卷积神经网络具有比其他网络更深的特征提取能力[14];经过一系列卷积和池化操作后将提取特征输入全连接层,得到整个网络的输出结果,如图1所示。

(a) 卷积

1.2 残差网络

随着深度卷积神经网络层数的增多,可采用ResNet网络避免出现梯度消失或爆炸现象[15]。ResNet的一种快捷连接如图2所示,该网络层的输入为X,堆叠的非线性层映射为F(X),输出为H(X)=F(X)+X。当H(X)近似为X时,这组堆叠的网络层可看作一个恒等映射,则F(X)=H(X)-X,F(X)即残差函数。在神经网络中添加若干恒等映射,可增加网络深度但不会导致网络退化。

图2 残差函数

1.3 卷积注意力模块

CBAM的原理如图3所示,特征图1为卷积的输出,通道注意力模块用于捕捉特征图各通道之间的联系,空间注意力模块则用于捕捉特征图空间区域之间的联系,可表示为

图3 CBAM原理

F′=MC(F)⊗F,

(1)

F″=MS(F′)⊗F′,

(2)

(3)

(4)

式中:Cconv为核尺寸为7×7的卷积操作。

1.4 Vision Transformer

标准Transformer接收一维标记嵌入序列作为输入。为处理二维图像,Vision Transformer将图像x∈RH×W×C重塑为一系列扁平的二维图块xp∈RN×(P2×C)。其中,(H,W)为原始图像的分辨率,C为通道数,(P,P)为每个图块的分辨率,N为图块的数量,N=HW/P2。

Vision Transformer在其所有层中使用恒定的潜在向量大小D(D=P2×C),因此将图像展平成二维图块并线性映射到D维,可表示为

(5)

(6)

Vision Transformer编码器由l(l=1,…,L)个多头自注意力和多层感知器的交替层组成,在每个块之前应用层归一化(NLN),即

(7)

(8)

标准qkυ自注意力(Self-Attention,SA)是神经架构的流行构建块。q,k,υ均由输入序列得到,即

[q,k,υ]=zUqkυ;Uqkυ∈RD×D,

(9)

其中,q和k充当匹配和被匹配向量,计算其相似性A并应用于υ可得

(10)

sSSA(z)=Aυ。

(11)

多头注意力(Multiheaded Self-Attention,MSA)是SA的扩展,通过并行k个SA操作并将其输出拼接进行线性学习以得到多头注意力结果,即

SMSA(z)=[SSA1(z);SSA2(z);…;

SSAk(z)]UMSA;UMSA∈RkDh×D。

(12)

2 基于注意力机制和数据驱动的滚动轴承故障诊断模型

2.1 试验数据及其预处理

本文采用CWRU和江南大学滚动轴承故障数据进行研究。

CWRU数据集[16]中的试验轴承为驱动端的SKF 6205深沟球轴承,由驱动端轴承座上方的加速度传感器以48,12 kHz的采样频率采集在0,1,2,3 hp工况(对应转速分别为1 797,1 772,1 750,1 730 r/min)下的滚动轴承振动信号,共得到8个样本集。每个样本集中包含9 800个样本,涉及9种故障工况和1种正常工况,具体的数据描述见表1(以48 kHz+0 hp为例,其他样本集与其类似)。

表1 CWRU(48 kHz+0 hp)轴承数据集描述

江南大学轴承数据集的试验轴承为NU205,内、外圈及滚动体上的缺陷尺寸(宽×深)均为0.25 mm×0.30 mm,通过PCB MA352A60型加速度传感器以50 kHz的采样频率采集在600,800,1 000 r/min下的滚动轴承振动信号[17],共得到3个样本集,每个样本集中包含3 920个样本,涉及3种故障工况(滚动体故障、内圈故障、外圈故障)和1种正常工况,具体的数据描述见表2(以600 r/min为例,其他样本集与其类似)。

表2 江南大学轴承数据集描述(600 r/min)

轴承数据输入诊断模型前先进行量纲一化处理,即

(13)

式中:x为传感器测量值;xmax为最大测量值;xmin为最小测量值。

2.2 基于CAR的滚动轴承故障诊断模型

基于CAR的滚动轴承故障诊断模型总体结构如图4所示,包括特征学习器和分类器2个部分,具体诊断步骤为:1)将预处理后的一维向量输入二维卷积神经网络,根据经验将1×864维传感向量转换为24×36维向量输入CAR模型;2)在特征学习器中进行2次自主特征提取操作(自主特征提取模块1,2操作过程相同),具体过程为卷积层→批处理层→ReLU→CBAM→最大池化层→残差块;3)将提取的特征送到分类器(全连接层→Softmax分类器),输出故障诊断类别。

图4 基于CAR的滚动轴承故障诊断模型总体结构

所设计的CAR模型结构将卷积神经网络、卷积注意力模块、残差网络有效结合,以高精度、高稳定性进行滚动轴承故障诊断工作:首先,使用卷积层进行滚动轴承故障特征提取,使用批处理(BN)层将提取后的特征进行归一化以提高网络稳定性,使用ReLU激活函数增加非线性使网络能够更好地解决复杂问题;然后,对特征添加CBAM注意力机制,使网络可以增强重要特征的关注度并减弱不重要特征的关注度,并对添加注意力机制后的特征进行池化操作以减少参数量并有效控制过拟合;最后,引入ResNet避免梯度消失或爆炸现象发生。

2.3 基于Transformer的滚动轴承故障诊断模型

基于Transformer的滚动轴承故障诊断模型总体结构如图5所示,具体诊断步骤为:1)将预处理后的1×864维传感向量转换为24×36维,以使Transformer更好地应用于滚动轴承故障诊断领域;2)将转换后的24×36维向量进行展平、线性映射、添加分类标记,进行位置编码并完成序列化;3)序列化后输入Transformer模型,通过归一化→多头注意力机制→归一化→多层感知器完成特征学习;4)将学习到的类嵌入通过全连接层,Softmax分类器完成分类,得到故障诊断类别。

图5 基于Transformer的滚动轴承故障诊断模型总体结构

基于Transformer的滚动轴承故障诊断方法将层归一化、多头注意力、多层感知器和残差连接有效结合,通过自注意力捕捉数据特征之间的依赖关系,使用多头注意力机制更好地挖掘滚动轴承故障特征与故障工况之间的关系,从而使得Transformer方法能够高精度、高稳定性地完成滚动轴承故障诊断工作。

2.4 损失函数

基于CAR和基于Transformer的滚动轴承故障诊断模型依据特征诊断工况,属于监督学习中的分类问题,因此选用交叉熵作为损失函数[18]。

交叉熵主要用于计算实际输出(概率)与期望输出(概率)的距离,其值越小,表明诊断结果越接近真实结果,交叉熵可表示为

(14)

式中:xi为第i个样本;n为样本总数;p(xi)为实际输出;q(xi)为期望输出。

2.5 优化算法

基于CAR和基于Transformer的滚动轴承故障诊断模型均使用Adam作为优化算法。Adam算法利用梯度的一、二阶矩估计动态修正各个参数的训练步长[19],其更新规则为

(15)

3 试验分析

利用深度学习框架PyTorch,在4个CPU和2个GPU的集群环境下针对CWRU和江南大学滚动轴承数据进行故障诊断,训练集和测试集的划分比例为7:3,为测试所提模型对滚动轴承故障诊断的准确性和稳定性,每组试验进行20次。试验流程如图6所示,CAR模型和Transformer模型的参数信息分别见表3、表4。

表3 CAR模型的参数设置

表4 Transformer模型的参数设置

图6 基于CAR模型和Transformer模型的滚动轴承故障诊断流程图

3.1 CAR模型的试验结果

3.1.1 结果分析

CAR模型对CWRU和江南大学数据集进行20次试验得到的准确率及其标准差见表5(训练的迭代次数为200,学习率为1×10-2),结果表明CAR模型可以有效识别滚动轴承故障类型。

表5 CAR模型的滚动轴承故障诊断结果

使用t-SNE算法[20]将CAR模型在最后一个隐藏层提取的高维特征映射为二维特征向量进行可视化,取得最高准确率时的特征可视化结果和混淆矩阵分别如图7、图8所示。以CWRU 48 kHz+0 hp样本集为例,CAR模型在20次试验中的最高准确率达到了99.7%, 对应分析混淆矩阵和特征可视化图,发现第0类有0.7%被错误预测为第1类,第1,2类也有类似错误,其余均正确分类。

(a) 600 r/min(95.3%)

(a) 48 kHz+0 hp(99.7%)

3.1.2 模型对比

在同样的试验条件下,选择RF+LSTM,ResNet,ResNet+LSTM模型与CAR模型进行对比,结果如图9所示:

(a) CWRU轴承数据集

1)RF+LSTM将RF提取后的特征输入LSTM网络(包含LSTM层、全连接层和Softmax分类器)进行训练和分类[20],其故障诊断平均准确率低于CAR且标准差均高于CAR,试验结果表明CAR具有比RF+LSTM更高的分类准确率和更好的模型稳定性。

2)CAR在ResNet基础上引入注意力机制加强了模型对关键信息的提取能力,因此ResNet的故障诊断平均准确率均低于CAR且标准差均高于CAR。

3)ResNet+LSTM在ResNet的基础上添加了LSTM层,而CAR则在ResNet的基础上添加了CBAM,注意力机制在学习特征上优于LSTM,因此ResNet+LSTM的故障诊断平均准确率低于CAR,标准差高于CAR,在ResNet基础上加入注意力机制要比加入LSTM可取得更准确、稳定的结果。

综上,CAR模型相较RF+LSTM,ResNet和ResNet+LSTM模型具有更高的故障诊断准确率和更好的稳定性。

3.2 Transformer模型的试验结果

Transformer模型对CWRU和江南大学数据集进行20次试验得到的准确率及其标准差见表6(训练的迭代次数为1 000,学习率为1×10-3), 2个示例的特征可视化结果和混淆矩阵如图10所示,结果表明Transformer模型也取得了较好的诊断效果。

表6 Transformer模型的滚动轴承故障诊断结果

(a) CWRU轴承数据集(48 kHz,1 797 r/min)

3.3 分析与讨论

进一步分析试验结果可知:对于CWRU轴承数据,CAR的准确率比Transformer高0.738%,训练时长比Transformer少48.401 s,标准差比Transformer高0.001 88;对于江南大学轴承数据,CAR的准确率比Transformer高5.280%,训练时长比Transformer少24.440 s,标准差比Transformer高0.000 60。以上分析表明CAR的准确率更高,训练更快,但Transformer的稳定性略优,2种模型均能够以高准确率和低标准差完成滚动轴承故障诊断任务。

其他文献对CWRU和江南大学轴承数据集的诊断结果见表7。

表7 不同文献对CWRU和江南大学轴承数据集的

对于CWRU轴承数据,本文所提CAR模型和Transformer模型在12 kHz下10种工况的最低故障诊断准确率也优于文献[5-7];对于江南大学轴承数据,CAR模型和Transformer模型的故障诊断准确率分别比文献[8]高4.77%,0.44%:结果表明,基于CAR模型和Transformer模型的滚动轴承故障诊断方法较已有研究成果具有更高的故障诊断准确率和更好的性能。

4 结束语

本文将卷积神经网络、注意力机制与残差网络相结合构建了适用于滚动轴承故障诊断的CAR网络模型,并尝试将多用于图像处理和自然语言处理等领域的Transformer应用于滚动轴承故障诊断领域以取得高精度的故障诊断准确率。所提CAR与Transformer滚动轴承故障诊断模型简单且易于实施,可直接将轴承振动信号转化成二维向量输入模型而无需进行复杂的传感信息预处理,2种模型在滚动轴承故障诊断试验中均得到较高的诊断准确率和稳定性。今后的研究工作会尝试将适用于类脑计算、可同时融入时空信息的似真神经网络(脉冲神经网络)应用于滚动轴承故障诊断领域,并将本文所提方法应用于故障预测和健康管理领域。