基于注意力机制和深度残差网络的滚动轴承故障诊断

时培明 吴术平 于越 张宇 许学方

摘要：针对现有的滚动轴承诊断模型特征提取能力不足、诊断准确率不高的问题，提出一种注意力机制与一维深度残差网络相结合的故障诊断方法。该方法首先通过引入残差结构来防止深度网络性能退化，然后结合注意力机制来提高网络的特征提取能力，最后使用原始的滚动轴承振动信号训练故障特征分类器。针对变工况故障诊断，本文采用小样本迁移学习框架。在两个开源实验平台上的结果表明，该方法能够有效地提高滚动轴承故障诊断的准确率，为实际应用提供一定的理论参考。

关键词：滚动轴承；注意力机制；残差网络；特征提取；迁移学习

中图分类号： TH113.1文献标识码： ADOI：10.3969/j.issn.1007-791X.2024.01.0050

引言

滚动轴承是旋转机械设备中必不可少的零部件之一[1]，起着支撑旋转体、降低传动设备摩擦系数等作用。滚动轴承已广泛用在各类工业产品中，如电动机、内燃机等，滚动轴承的健康状态在很大程度上决定着这些机械设备能否正常运行。一旦滚动轴承出现故障，轻则可能造成设备停机、企业停产，重则可能造成严重的生产事故、人员伤亡等[2]，给企业生产、国民经济带来不小的损失。

深度学习的发展和应用给滚动轴承的故障诊断带来了新的研究方法，这极大地克服了传统的基于信号处理方法的特征提取不足、诊断精度不高、需要大量的专家经验等缺点。

近年来，各种神经网络在滚动轴承故障诊断的研究和应用层出不穷，研究成果呈现出井喷的增长趋势。赵小强等[3]改进了传统的LeNet-5网络，并采用L2正则化等方法优化了网络，使得新网络具备更强的特征提取能力。毕鹏远[4]提出了一种卷积与长短期记忆网络相结合的模型，得到了较好的故障诊断精度。谭帅等[5]提出周期记忆神经网络，利用时序信号内在的时序关联关系进行故障诊断，实现了轴承的故障诊断。黄磊等[6]基于经验模态分解、格拉姆算法和GoogLeNet网络，使得诊断的准确率达到了一定高度。刘杰等[7]基于最小二乘生成对抗网络和SqueezeNet网络，提高了样本不足条件下的故障诊断准确率。姜万录等[8]提出一种基于平滑伪WignerVille分布和深度学习相结合的诊断方法，可以较好地识别故障轴承。

上述的各种网络模型都用到了卷积神经网络（Convolutional Neural Network， CNN），但其结构都较为固定，主要体现在CNN的感受野（Convolution Receptive Field， CRF）是单一的，这使得神经网络的适应性受到极大的挑战，表现为模型特征提取能力不強、训练成本高等。除此之外，一些学者将一维的振动信号转换成类似图片的高维信号来研究，这不仅增加了数据和模型的复杂度，还可能使得振动信号特征丢失[9]，从而给诊断过程带来不必要的麻烦。

选择性核网络（Selective Kernel Networks， SKNet）拥有两路不同的CRF，能有效提高神经元的适应能力，表现为该网络允许每个神经元根据输入信息的多个尺度自适应地调整CRF大小，还会通过权重的调整使模型专注于较为重要的特征通道，从而可以更好地识别故障特征，故SKNet又称为注意力机制。残差结构通过特有的短接层使得深度网络性能不会退化，为更深层的网络搭建提供了基础。

综合上述考虑，本文提出一种注意力机制结合残差结构的网络模型MSD-ResNet1D（Modified SKNet with Deep ResNet1D）。在两个数据集上的实践表明MSD-ResNet1D在滚动轴承故障诊断中有着优良的表现，具有应用价值。

1ResNet1D网络

1.1残差结构

深度残差网络拥有独特的残差单元[10]，其特点在于短接线的引入，如图1所示。

模型在训练时，数据经过新增的权重层，如果不能使得梯度下降，那么就仅仅复制浅层特征，即对浅层网络进行恒等映射，这样保证了深度网络的性能不会退化。

残差单元的输出公式：

y=F（x）+x，    （1）

式中，x代表输入，y代表输出，F（x）代表经过权重层的结果。

1.2组卷积

组卷积的概念最早出现在2012年提出的AlexNet网络[11]。使用组卷积后，参数量减少为原来的1/g（g≥1）。不仅如此，组卷积还增加相邻层过滤器之间的对角相关性，有效防止过拟合的产生。

1.3ResNet1D结构

本文使用一维CNN搭建深度残差网络，因为原始的滚动轴承振动数据本身为一维数据，使用一维CNN可以直接对数据进行特征提取，故称该网络为ResNet1D。ResNet1D网络有10层，由1个卷积层、4个残差单元以及1个全连接层组成，且将ResNet1D的所有卷积设置为组卷积。网络的详细信息如表1所示。

2 SKNet网络

2.1SKNet简介及改进

SKNet是由Li等人提出的一种轻量化网络结构[12]，用于图像分类并取得显著的成绩。笔者根据滚动轴承故障诊断的实际背景和数据维度对其进行改进，改进后的网络（Modified SKNet，M-SKNet）结构如图2所示。

SKNet的设计体现了多CRF特征融合的思想，使得模型能够捕获多尺度的信息，再者是对不同尺寸卷积核的输出结果进行权重分配，希望更能突出有用的数据信息，故称其为注意力机制。

2.2空洞卷积

空洞卷积是指在普通卷积核中引入空洞0，以此扩大CNN的CRF，捕获更大尺度的数据信息。图2中，Conv_A代表普通的卷积，其卷积核为1×3×C，C代表通道数，而Conv_B代表空洞卷积，其卷积核与Conv_A的一样，但是其膨胀系数为2，最终其卷积核为大小为1×5×C。

空洞卷积不仅扩大了感受野，并且由于填充了0，所以其计算量也变小了[13]。其次，当Conv_A和Conv_B的结果进行相加时，由于两个卷积有不同的膨胀系数，将会使得相加的结果携带多尺度信息，

U3=U1+U2，    （2）

式中，U3代表相加的结果。

2.3自适应平均池化

自适应平均池化，即图2中的Sequeeze操作，公式为

式中，U4代表输出的结果，U3i代表该维度的元素，N代表该维度元素总量。自适应平均池化的目的是用一个数去表示一个特征通道。

2.4全连接层

图2中的FC为全连接层，公式为

W=convfd（U4），    （4）

U5=δ（β（W）），    （5）

式（4）中，convfd代表卷积核为1×1的卷积，用于代替全连接层，其作用是将数据的通道从f变换到

式（5）中，δ代表RELU激活函数，β代表批归一化函数。式（6）中，r代表指定的缩小比例，L是一个指定的实验值，max代表取最大值，int代表取整数值。

2.5Softmax层

图2中，Softmax层的公式为

式中，Zi代表第i个节点的输出值，i∈［0，N］。

U5经过Softmax层，得到归一化的概率值，使得ai+bi=1。

3 MSD-ResNet1D与迁移学习

3.1 MSD-ResNet1D网络

将ResNet1D与M-SKNet网络结合在一起，组合成MSD-ResNet1D网络，其网络结构和诊断流程如图3所示。

图3中，“残差层M-SKNet”代表的是M-SKNet与残差层4（如表1所示）的结合。这样的结合方式，使得M-SKNet网络在数据进入全连接层之前有选择性地发挥作用，与残差结构防止深度网络性能退化是同理的。

3.2小样本迁移学习

网络模型的训练需要一定的数据量，但实际上在一些工况下数据量短缺，不可能从零开始训练出良好的模型，针对这个问题，本文采用小样本迁移学习[14]的方式，即以MSD-ResNet1D为特征提取网络，以小样本迁移学习为基本框架。

4早停机机制与随机定点取样

4.1早停机机制

在模型的训练中，训练的次數较为依靠专家经验，且模型的训练次数并不是越多越好，次数过多容易造成模型过拟合，也会影响模型的泛化性能。

为了解决这个问题，本文引用早停机机制EarlyStop的思想，并提出一种结合Metropolis接收准则的早停机机制构想（Metropolis Early Stop， MES）。

Metropolis准则通常与模拟退火算法相结合，所以也叫退火概率[15]，公式为

式中，PTij代表接受的概率，E（i）和E（j）代表物体在状态i和j下的内能，T代表此刻的温度，K代表玻尔兹曼常数。MES基本流程如图4所示。

图4中，n代表第一阶段训练次数，N代表训练次数上限。L=SAcc×SLoss，其中SAcc代表准确率较上次变化的趋势，如果上升，记3分，否则记1分；同理，SLoss代表损失值较上次的变化趋势，如果下降，记2分，否则记1分。M准则如下：

式中，接收值V即为模型继续向下训练的概率。

相较于Pytorch、TensorFlow等深度学习框架提供的早停机API而言，MES机制有着更高的灵活性和实际问题针对性，表现在该机制可以根据需求设置和使用。

4.2随机定点取样

传统的按顺序采样（Order Sampling， OS）的数据，由于过多的时序依赖而使模型不可避免地具有较强的思维定式，模型的泛化性能存疑，而实际工况下采集的数据不一定是连续的，具有很强的随机性。为此本文提出一种数据的取样方式——随机定点取样（Random Sampling， RS），取样过程如图5所示。

图5中，i，j≥1且i≠j，n，m≥1且n≠m。这种方式取出的来的数据具有随机、多样以及交叉融合的性质，前后两组数据有一定的相关性，但不一定强，更能模拟出实际工况下取出的数据状态。

5实验

5.1实验数据

选取两个实验平台的滚动轴承振动数据，因为振动信号易于测量和采集，而且包含了丰富的故障信息[16]。

1） 凯斯西储大学数据集[17]，简称CWRU数据集。数据集详细信息如下：采样频率为12 kHz，故障尺寸分别为0.177 8、0.355 6、0.533 4 mm，负载电机功率分别为0、1、2、3 hp，测点为驱动端（Driver End，DE）、风扇端（Fan End， FE），数据类别有：内圈故障、外圈故障、滚动体故障、正常。

2） 江南大学数据集[18]，简称JN数据集。数据集详细信息如下：采样频率为50 kHz，转速分别为600、800、1 000 r/min，数据类别与CWRU数据集的类别相同。

由（1）的表述可知，CWRU数据每类故障有3种尺寸，所以故障类别可以分为10小类（考虑故障尺寸）或4大类（不考虑故障尺寸），且CWRU数据由于实验平台的原因显得较为理想，为了模拟实际工作环境，以信噪比（Signal to Noise Ratio， SNR）的形式给CWRU数据集添加噪声，信噪比的表达式为

其中，PS和PN分别代表信号和噪声的有效功率，通常认为当SNR≤0时，信号处于强噪声环境。

5.2对比模型

为了与同类方法（基于深度学习的方法）在诊断准确率、模型参数量等方面进行对比，选取并搭建一些常用的网络。

1） ResNet1D：该网络与MSD-ResNet1D相比，仅缺少M-SKNet。

2） ResNet2D：该网络的结构与（1）相同，只是将一维 CNN换成了二维 CNN。

3） LeNet5：该网络是由科学家Yann Lecun等人提出[19]，由二维 CNN、池化层、全連接层组成，选用RELU激活函数。

4） MLP：搭建多层感知机MLP模型，选用Adam优化器，学习率0.001，隐藏层数为5。

5.3实验结果

5.3.1实验一：非变工况实验

训练MSD-ResNet1D模型。选取CWRU数据集0HP工况下DE端数据，分10个类别，按照随机定点取样的方式，每个类别选取50组数据，每组数据包含625个数据点，作为训练集TrainingSet。不重合地选取一定的数据作为验证集VaildingSet。引入MES早停机机制，在该机制内，对模型准确率的需求设置为95%，达到后允许继续寻优。模型训练时的损失和分类准确率、故障数据召回率随次数的变化如图6所示。

通过引入MES机制，模型仅训练了33次。选取不同于TrainingSet和VaildingSet的数据作为测试集TestingSet，得到模型在10类下的准确率为99.1%，在4类下的准确率为99.2%，故障数据召回率、故障数据精确度均为100%，混淆矩阵如图7所示。

图7中，G1、G2、G3代表滚动体故障大类，G4、G5、G6代表内圈故障大类，G7、G8、G9代表外圈故障大类。使用相同的TrainingSet训练其他模型，根据实际的模型情况调整训练次数，分别得到效果最好的各类模型。随机选取测试数据5次，分别得到ResNet1D、ResNet2D、LeNet5，MLP模型在10类别下的准确率均值为（95.4±0.4）%、（90.6±0.6）%、（85.4±0.5）%、（80.9±0.5）%。可以看出，本文所提模型的诊断准确率最高。各模型参数总量（Params）和浮点运算数（FLOPs）如表2所示。

由表2可以看出，由于组卷积、M-SKNet网络的使用，MSD-ResNet1D的参数总量是所提模型中最小的，浮点运算数值仅大于LeNet5，MSD-ResNet1D拥有轻量、简便的特点。

为了能模拟实际工作环境下的故障诊断情形，给TestingSet添加不同程度的信噪比，故障类别分为4大类即可，各模型5次测量的平均准确率如表3所示。

加入噪声后，各模型故障诊断的准确率都有所下降，但本文所提模型的平均准确率依然维持最高水平，说明M-SKNet的加入使得模型具备更强的特征提取能力和较强的鲁棒性。

使用JN数据集，选取转速为600 r/min下的数据，训练集TrainingSet、验证集VaildingSet、测试集TestingSet数据的整理和模型的训练过程不再赘述，得到MSD-ResNet1D模型的训练次数为48次，诊断准确率为96.5%，故障数据召回率为99.6%。以相同的方式训练其他模型，分别得到ResNet1D、ResNet2D、LeNet5、MLP模型在600 r/min的转速数据下5次测试的准确率均值为（93.0±0.4）%、（90.2±0.3）%、（50.7±0.5）%、（40.6±0.4）%，MSD-ResNet1D仍然具有最高的诊断准确率。与ResNet1D网络的对比证明M-SKNet的加入起到了积极作用，此外，通过与LeNet5、MLP的对比可以证明残差结构是模型性能的一个重要保证。

5.3.2实验二：变工况实验

本小节针对MSD-ResNet1D网络模型和数据采样方法，在不同工况下进行实验。

使用OS和RS两种采样方法，在CWRU的0HP-DE工况下采样相同量的训练数据TrainingSet_OS和TrainingSet_RS，训练相同的次数，分别得到模型C_OS和C_RS。同理，在JN数据集600 r/min转速的数据集下，得到模型J_OS和J_RS。测试数据也分为按顺序取样Testing_OS和随机定点取样Testing_RS数据，简称TO和TR，上述4个模型在各数据集的其他工况下，诊断的准确率如表4所示（CWRU测试数据无噪声，数据类别均为4类）。

由表4可以看出，在两个实验平台上，通过随机定点取样的训练数据，能够训练出泛化性能更强的网络模型，具体表现为：在其他工况下，模型C_RS、J_RS比C_OS、J_OS具有更高的诊断准确率，且在在不同工况的TO和TR测试数据下，诊断的准确率都较为稳定。

上述C_RS模型在CWRU变工况以及带噪声的测试数据上的诊断准确率如表5所示（数据类别为4类）。

由上述实践结果可知，某一工况数据下训练好的模型并不能直接用于其他工况，否则将导致故障诊断的准确率低下，这是因为数据在不同的工况下有不同的分布特征。针对这个问题，本文采用小样本迁移学习的方法。

CWRU数据集中，仅选取0HP-FE端下的每个类别各5组随机定点采样的数据（无噪声），作为迁移数据集，以C_RS模型为迁移对象。不重合地选取验证集VaildingSet和测试集TestingSet，结合MES机制，设定模型准确率要求为95%。迁移训练过程中，模型的损失、准确率和故障类别召回率随训练次数的变化曲线如图8所示。

经过小样本迁移学习，得到迁移模型C_RS_0-FE。由于训练数据集较少，所以训练的次数较多，一共训练了67次，且在训练过程中，验证集的10类准确率长期没有达到设定的95%，故MES机制提前结束了训练过程。使用测试集TestingSet数据，C_RS_0-FE诊断的准确率为92.8%（10类别）或96.4%（4类别），故障数据召回率和精确度均为100%，混淆矩阵如图9所示。

相较于C_RS模型直接用于0HP-FE端数据，迁移后的模型，故障诊断准确率提升了47.6%，体现出MSD-ResNet1D网络可观的特征提取能力和迁移学习的优良性能。

使用类似的方法，以C_RS模型为迁移对象，对CWRU数据集DE端、FE端的各工况以及各种噪声状态进行小样本迁移学习。以J_RS为迁移对象，对JN数据集800 r/min、1 000 r/min转速的数据进行小样本（5组/工况·类别-1）迁移学习。再以C_RS为迁移对象，以JN数据集三个工况的小样本数据为迁移数据，进行跨域（跨实验平台迁移）。得到迁移后各数据集、各工况、跨域下，故障诊断的准确率如表6所示（故障类别均为4类）。

表6中CWRU→JN表示跨域迁移。从表6实验数据可以看出，MSD-ResNet1D模型配合小样本迁移学习框架，在变工况环境下取得了非常不错的诊断准确率，在跨域诊断上也表现得较好。

使用相同的迁移数据对ResNet1D网络进行小样本迁移学习，作为一组对比实验，因为在5.3.2节各模型对比中，ResNet1D准确率仅次于MSD-ResNet1D。使用实验一中训练好的ResNet1D模型，做与上表相同的迁移测试，得到表7所示的实验结果。

表7中，“（↑）”符号代表该位置准确率优于表6中对应位置的值，但表7中实验数值普遍小于表6实验数值，证明本文对注意力机制SKNet的改进和应用是有助于網络性能提升的。

6结论

本文提出的基于注意力机制和深度残差网络的滚动轴承故障诊断方法是一种集合型方法，通过实验验证可以得到以下结论：

1） 注意力机制SKNet的改进和使用优化了原始网络性能，提高了网络的故障数据特征提取能力，为后续特征分类器的训练提供了基础，且SKNet具有轻量简便的优点，便于应用部署，在滚动轴承故障诊断方面具有一定的优越性。

2） 经实验对比，通过残差结构搭建的网络模型诊断的准确率都相对较高，说明基于残差结构的网络有着优良的性能，这是因为残差结构有效地防止了深度网络性能退化。

3） 本文所提方法配合小样本迁移学习框架有效地解决了变工况和跨域条件下的滚动轴承故障诊断问题，取得了不错的诊断准确率，优于现有主流网络，可用于实际工业环境的滚动轴承故障诊断中。

参考文献

[1] JIA F，LEI Y G，LIN J，et al. Deep neural networks：a promising tool for fault characteristic mining and intelligent diagnosis of rotating machinery with massive data[J]. Mechanical Systems and Signal Processing，2016，72/73：303-315.

[2] JIAO J， ZHAO M， LIN J， et al. Hierarchical discriminating sparse coding for weak fault feature extraction of rolling bearings[J]. Reliability Engineering & System Safety， 2019， 184：41-54.

[3] 赵小强，罗维兰.改进卷积Lenet-5神经网络的轴承故障诊断方法[J].电子测量与仪器学报，2022，36（6）：113-125.

ZHAO X Q， LUO W L. Bearing fault diagnosis method based on improved convolutional Lenet-5 neural network [J]. Journal of Electronic Measurement and Instrument， 2022， 36（6）： 113-125.

[4] 毕鹏远.一种基于Conv-LSTM的滚动轴承故障诊断方法[J]. 机电工程技术，2021，50（11）：113-115.

BI P Y. A Conv-LSTM-based fault diagnosis method for rolling bearings [J]. Electromechanical Engineering Technology， 2021， 50（11）： 113-115.

[5] 谭帅，马遥，侍洪波，等. 基于时序关联分析的旋转机械故障诊断[J]. 振动与冲击，2022， 41（8）： 171-178.

TAN S， MA Y， SHI H B， et al. Fault diagnosis of rotating machinery based on time series correlation analysis [J]. Journal of Vibration and Shock， 2022， 41（8）： 171-178.

[6] 黄磊，马圣，曹永华.基于GAF与GoogLeNet的轴承故障诊断研究[J].机床与液压，2022，50（1）：193-198.

HUANG L， MA S， CAO Y H. Research on bearing fault diagnosis based on GAF and GoogLeNet[J]. Machine Tool & Hydraulics，2022，50（1）：193-198.

[7] 刘杰，李长杰，苏宇涵，等. 基于LSGAN-SqueezeNet的轴承故障诊断研究[J].振动与冲击，2022，41（12）：293-300.

LIU J， LI C J， SU Y H， et al. Research on bearing fault diagnosis based on LSGAN-SqueezeNet [J]. Journal of Vibration and Shock，2022，41（12）：293-300.

[8] 姜万录，李振宝，雷亚飞，等.基于深度学习的滚动轴承故障诊断与性能退化程度识别方法[J].燕山大学学报，2020，44（6）：526-536.

JIANG W L，LI Z B，LEI Y F， et al.Deep learning based rolling bearing fault diagnosis and performance degradation degree recognition method[J].Journal of Yanshan University，2020，44（6）：526-536.

[9]  刘岚， 侯立群. 基于改进一维残差网络的轴承故障诊断[J]. 仪器仪表用户， 2021，28（9）： 45-50.

LIU L， HOU L Q. Bearing fault diagnosis based on improved one-dimensional residual network [J]. Instrument User， 2021，28（9）： 45-50.

[10] 張小刚， 丁华， 王晓波，等. 深度残差网络在滚动轴承故障诊断中的研究[J]. 机械设计与制造，2022（1）：77-80.

ZHANG X G，DING H， WANG X B， et al. Research on deep residual network in rolling bearing fault diagnosis [J]. Machinery Design & Manufacture， 2022（1）：77-80.

[11] KRIZHEVSKY A， SUTSKEVER I， HINTON G E.Imagenet classification with deep convolutional neural networks[J]. Communicationsof the ACM， 2017， 60（6）： 84-90.

[12] LI Z， HU F， WANG C， et al. Selective kernel networks for weakly supervised relation extraction[J]. CAAI Transactions on Intelligence Technology， 2021， 6（2）： 224-234.

[13] QIN Y， LUO H， Zhao F， et al. NDGCN： network in network， dilate convolution and graph convolutional networks based transportation mode recognition[J]. IEEE Transactions on Vehicular Technology， 2021， 70（3）：2138-2152.

[14] 陈仁祥， 唐林林， 胡小林，等. 不同转速下基于深度注意力迁移学习的滚动轴承故障诊断方法[J]. 振动与冲击， 2022， 41（12）： 95-101.

CHEN R X， TANG L L， HU X L， et al. Rolling bearing fault diagnosis method based on deep attention transfer learning at different speeds [J]. Journal of Vibration and Shock， 2022， 41（12）： 95-101.

[15] JIANG P，GE Y， WANG C. Research and application of a hybrid forecasting model based on simulated annealing algorithm： a case study of wind speed forecasting[J]. Journal of Renewable & Sustainable Energy， 2016， 8（1）：226-239.

[16] 王国彪， 何正嘉， 陈雪峰，等. 机械故障诊断基础研究“何去何从”[J]. 机械工程学报， 2013， 49（1）：63-72.

WANG G B， HE Z J， CHEN X F， et al. "Where to go" for basic research on mechanical fault diagnosis [J]. Chinese Journal of Mechanical Engineering， 2013， 49（1）： 63-72.

[17] LOPARO K A. Western Reserve University bearings data center website [EB/OL].[2022-12-15].https：//engineering.case.edu/bearingdatacenter/download-data-file.

[18] LI K， PING X， WANG H， et al. Sequential fuzzy diagnosis method for motor roller bearing in variable operating conditions based on vibration analysis [J].Sensors，2013， 13（6）：8013-8041.

[19] LECUN Y， BOTTOU L.Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86（11）：2278-2324.

Rolling bearing fault diagnosis based on attention mechanism

and depth residual network

SHI Peiming1， WU Shuping1， YU Yue1， ZHANG Yu2， XU Xuefang1

（1. School of Electrical Engineering， Yanshan University， Qinhuangdao， Hebei 066004， China;

2. School of Vehicle and Energy， Yanshan University， Qinhuangdao， Hebei 066004， China）

Abstract：Aiming at the problems of insufficient feature extraction ability and low diagnosis accuracy of existing rolling bearing diagnosis models， a fault diagnosis method combining attention mechanism and one-dimensional depth residual network was proposed. Firstly， the residual structure was introduced to prevent the performance degradation of the deep network， and then the feature extraction capability of the network was improved by combining the attention mechanism. Finally， the original rolling bearing vibration signals were used to train the fault feature classifier.In this paper， a small sample transfer learning framework was adopted for fault diagnosis in variable working conditions. The result of two open source experimental platforms shows that this method can effectively improve the accuracy of rolling bearing fault diagnosis and provide a theoretical reference for practical applications.

Keywords：rolling bearing; attention mechanism; residual network; feature extraction; transfer learning