基于迁移学习的滚动轴承复合故障诊断研究

杜康宁，宁少慧

(太原科技大学机械工程学院，山西太原 030024)

0 前言

滚动轴承是旋转机械的重要组成部件，在工业装备中得到了广泛的应用。由于它长期处于复杂多变的载荷环境和高速运转过程中，经常受到机械磨损、冲击载荷，从而产生各种故障。然而在滚动轴承故障产生的早期，其周期性振动信号十分微弱，易被其他噪声覆盖，使得故障发现不及时，造成设备损毁，甚至是人员伤亡的事故发生。因此，对滚动轴承进行及时、可靠的状态监测具有重要工程意义[1-2]。WANG等[3]提出一种子域自适应迁移学习方法，用于解决滚动轴承故障诊断在迁移学习中目标域自适应的边缘分布和条件分布偏差，使得故障诊断模型在目标域与源域概率分布不同时仍能保持高诊断精度。黄包裕等[4]提出一种基于布谷鸟搜索算法和最大二阶循环平稳盲解卷积的滚动轴承故障诊断方法，该方法使用布谷鸟搜索算法优化最大二阶循环平稳盲解卷积，使其能够高效、精确地寻找出故障特征频率以及合适的滤波器长度。张云强等[5]提出一种基于双时域微弱故障特征增强的轴承早期故障智能识别方法，通过广义S变换和Fourier逆变换将轴承振动信号变换为双时域二维时间序列，提取二维时间序列的主对角元素之后，构建增强的轴承故障信号，采用脉冲耦合神经网络和支持向量机对增强后的轴承故障信号进行识别与诊断，解决了轴承早期微弱故障难以准确识别的问题。

在众多故障诊断方法中，基于深度学习的故障诊断方法因端到端的学习范式以及强大特征提取能力而被广泛应用。雷亚国等[6]建立了基于深度残差网络ResNet的机械故障深度迁移诊断方法，解决了试验装备故障至工程实际装备故障的迁移诊断问题。黄磊等人[7]利用GoogLeNet识别轴承故障样本，验证了GoogLeNet网络的强大特征提取能力。张西宁等[8]对卷积神经网络结构进行了改进，利用小尺度卷积层代替池化层，提高了诊断精度。尽管上述研究取得了很好的效果，但大多是在忽略复合故障的数据集上构建和验证的，现有智能故障诊断也大多基于轴承只发生单一故障的假设，对于复合故障的诊断很少涉及其中，实际情况下经常会发生滚动轴承多个元件同时损伤的故障情形[9]。

复合故障特征与现场的噪声和干扰信号源复合，使得常规方法难以识别滚动轴承的复合故障特征[10]。当前，对于复合故障的诊断方法主要分为以下两类：一类是基于时域、频域的时频分析方法，将信号进行剥离处理，将混合故障信号分离为单一故障信号，包括总体平均经验模态分解(Ensemble Empirical Mode Decomposition，EEMD)、局部特征尺度分解(Local Characteristic-scale Decomposition，LCD)、变分模态分解(Variational Mode Decomposition，VMD)等；另一类是基于深度学习的神经网络分类方法，利用神经网络自身的特征提取能力对混合故障进行诊断，包括一维卷积神经网络等方法。在混合故障诊断处理上，已有许多学者进行了相关研究和探索。王玉娟[11]提出一种基于总体平均经验模态分解 (EEMD)的独立分量分析 (Independent Component analysis，ICA)算法，将复合信号通过EEMD分解、ICA、包络分析实现了对故障类型的诊断识别。赵庆恩等[12]提出一种基于小波包与决策树的滚动轴承混合故障诊断方法，小波包能量方法对故障信号进行了特征提取，用决策树故障模型对故障进行分类。CHEN等[13]提出一维卷积神经网络作为分类器，对混合故障进行识别。通过研究，从时频分析的层面进行故障诊断，需要复杂的数据处理算法和专业的数据处理经验，同时，模型与基于深度学习建立的模型相比，缺乏泛化性和端到端的学习能力。

本文作者从基于深度学习的神经网络分类方法入手，结合实际工况中轴承健康信号样本丰富、复合故障样本较少的特点，提出一种基于有监督迁移学习的ConvNeXt滚动轴承多工况混叠故障诊断模型。首先，通过SMOTE方法实现平衡数据集的重构，解决混合故障样本少导致的类别失衡问题；其次，通过有监督迁移学习方法改进ConvNeXt网络模型因训练集数据不足导致的模型收敛性差的问题；通过格拉姆角场(Gramian Angular Field，GAF)将一维平衡数据集信号转换为二维RGB图像输入模型，通过预训练-微调方法训练模型全连接层的权重，通过Grad-CAM可视化方法，查看模型识别错误的RGB图像，分析原因，调整输入模型的数据量与超参数；最后，将诊断准确率最高的模型用于实测，检验模型实际工况下的工作性能。

1 平衡数据集的重构

在滚动轴承的实际应用中，由于其正常工作状态占整个寿命周期的绝大部分，导致了在滚动轴承故障诊断的样本数据集中，轴承健康样本十分丰富而故障样本缺乏，在此条件下训练的网络模型容易学习到轴承的健康状态特征，这与训练神经网络使它最大程度地识别故障信息的初衷背离。

文中基于SMOTE方法实现平衡数据集的重构，解决实际工况中故障样本与健康样本分布不均衡的问题，通过SMOTE方法对稀疏的故障样本进行过采样，使故障样本数量与健康样本数量达到均衡状态，在数据输入故障诊断模型前做系统而严谨的处理，提高模型对于轴承故障的诊断能力。

对于轴承故障中的类不平衡诊断问题，采用SMOTE方法主动获取更多的滚动轴承混叠故障样本，实现样本的扩充，其实现步骤如下：

(1)设滚动轴承内圈、滚动体、保持架混叠故障样本中每一个样本为α，以欧氏距离为标椎，计算这一样本到滚动轴承内圈、滚动体、保持架混叠故障样本集中所有样本的距离，得到其k近邻。

(2)依据滚动轴承内圈、滚动体、保持架混叠故障样本集与健康样本集的不平衡比例，确定采样倍率m。

(3)滚动轴承内圈、滚动体、保持架混叠故障样本中每一个样本为α，从其k近邻中随机选择n个样本，设选择的样本为βm。

(4)对每一个随机选择的β，分别与原样本按照如下公式构建新样本，其中R[0，1]表示从0～1之间选择随机数值。

αnew=α+R[0，1]·|α-βm|

(1)

2 有监督迁移学习

在迁移学习中，“领域”是学习的主体对象，由数据和生成这些数据的概率分布构成，用D表示。D中的一个样本数据包括输入u和输出v，其概率分布为P(u，v)；样本数据所处的特征空间和标签为X和Y，对于领域D中的每一个数据样本都有u∈X，v∈Y。用Ds表示源域，Dt表示目标域。迁移学习的过程即为，在Ds≠Dt的前提下，利用源域样本学习一个目标域的预测函数g()，使得g()在目标域Dt上有最小的预测误差，即

g*=argminE(u，v)∈Dt∈(f(u)，v)

(2)

文中所提TConvNeXt网络，其源域为ImageNet 22K图像数据集，目标域为轴承故障数据集，所以Xs≠Xt，Ys≠Yt，并且概率分布Ps(u，v)≠Pt(u，v)。由于轴承故障的诊断数据集有标签，故提出有监督迁移学习。

基于迁移学习的ConvNeXt 网络应用于故障诊断优势明显，包括：(1)不需要针对不同种类的轴承从头开始训练此类轴承的诊断模型，节省了时间成本；(2)模型是在共2.2万类、约1 500万张带标签的二维图像数据集完成的预训练，扩充了轴承故障诊断网络模型的训练数据，使得模型更具有鲁棒性、泛化能力更强。

3 TConvNeXt神经网络

ConvNeXt神经网络模型[14]是由Facebook人工智能实验室(Facebook AI Research)和加州大学伯克利分校(UC Berkeley)在2022年提出的用于计算机视觉任务的网络模型，其目的之一是测试“纯卷积神经网络”在计算机视觉任务所能达到的极限，原因是2020年Vision-Transformer模型[15]的出现，使得卷积神经网络在计算机视觉等领域逐步被替代，作者希望研究人员能够重新思考卷积网络在计算机视觉等任务中的重要性。TConvNeXt故障诊断模型主要结构与原理如图1所示。

3.1 深度扩张卷积(Depthwise Conv2d)

采用深度卷积层的原因之一是因为其具有使神经网络计算量轻量化的优势，深度卷积层在2017年HOWARD等[16]提出的轻量级神经网络MobileNet中已经有了成功的运用。有别于传统卷积层，深度卷积层的卷积核个数、输入特征矩阵通道数以及输出特征矩阵通道数三者相等；每个卷积核的深度为1，卷积层中每个卷积核负责提取输入特征矩阵一个通道上的信息。而传统卷积层中输出特征矩阵的通道数与输入特征矩阵的通道数二者没有必然联系。

通过以下计算说明深度卷积层与传统卷积层在计算量上的差别：

设卷积核的大小为κ×κ，输入特征矩阵的大小为λ×λ，通道数为μ；输出特征矩阵的通道数为ν。

传统卷积层计算量为：κ2×μ×ν×λ2

(3)

深度卷积层计算量为：κ2×μ×λ2

(4)

由公式(3)(4)可知传统卷积层的计算量是深度卷积层的ν倍。

在TConvNeXt神经网络中对深度卷积层进行了扩张率r=3的扩张，使卷积层的感受野扩大。设扩张后的卷积核大小为κm，则：

κm=κ+(κ-1)(r-1)

(5)

扩张卷积能够在不增加网络模型深度和计算量的前提下增大感受野，使卷积层提取到的样本中包含更多的特征信息。

深度扩张卷积层处于每个TConvNeXt模块的第一层，如图1所示。

3.2 TConvNeXt模块与下采样模块

如图1所示，TConvNeXt模块由卷积核大小为7×7、步距为1、扩张率为3的深度扩张卷积层，归一化层(LayerNorm)，卷积核大小为7×7、步距为1的传统卷积层，GELU激活函数等构成；下采样模块由归一化层(LayerNorm)与卷积核大小为2×2、步距为2的卷积层构成。

4 TConvNeXt故障诊断模型

文中以一维原始振动信号为基础，完成故障诊断模型从训练到实际检测的全过程，实现步骤如下：

(1)将采用SMOTE方法重构的平衡数据集中的一维时间序列数据样本，通过格拉姆角场编码为三通道的RGB二维图像数据集；

(2)对于完成预训练的ConvNeXt网络，冻结除全连接层之外其他层的权重，用编码后的二维图像训练集训练全连接层的权重，完成对TConvNeXt网络的预训练-微调过程；

(3)通过Grad-CAM分析TConvNeXt网络对于滚动轴承故障的各个类别所关注的区域，绘制热力图；对完成预训练-微调的TConvNeXt网络使用测试集测试对各种故障的诊断精度；

(4)将完成测试的TConvNeXt故障诊断模型用于真实故障的诊断中，检验其实际工作性能。流程如图1所示，包括数据处理部分、预训练-微调、热力图绘制、测试集测试、实测。

5 实验验证

为验证TConvNeXt故障诊断模型的实用性与泛化性，使用3组滚动轴承数据集，其中数据集B凯斯西储大学轴承数据集与数据集C西安交通大学轴承数据集(XJTU-SY轴承数据集[17])为公开数据集，其目的是与其他诊断模型的诊断性能做公平对比。

5.1 故障诊断数据集

选用的数据集由3个滚动轴承数据集包括：实验室轴承数据集A、凯斯西储大学轴承数据集B、西安交通大学轴承数据集C。该诊断数据集的详细信息见表1。

表1 故障诊断数据集

数据集A来源于轴承故障信号采集试验台，实验装置如图2所示，该试验台主要由三相电机、支撑轴承、实验用滚动轴承等组成。数据集的振动样本采自实验用滚动轴承 NTN6205-2RS，包括正常状态、内圈故障、外圈故障及滚动体故障4种健康状态。采样频率为25.6 kHz，滚动体故障RF1与RF2的载质量分别为150、500 kg，模拟实际轴承故障诊断中工况的不同。数据集B来自美国凯斯西储大学的轴承数据中心，采样频率设置为 12 kHz，滚动体故障RF1、RF2对应滚动体故障直径分别为0.177 8、0.355 6 mm。

图2 轴承故障信号采集试验台

数据集C来自西安交通大学机械工程学院。该数据集中的振动样本采自LDK UER204型滚动轴承，包括内圈故障(IF)、外圈故障(OF1与OF2)、保持架故障(CF)和内圈、保持架、滚动体混叠故障(MF)4种故障类型。采样频率设置为25.6 kHz。外圈故障OF1对应工况为转速2 100 r/min、径向力12 kN，OF2对应工况为转速2 400 r/min、径向力12 kN。数据集C中每类故障数据的采集是轴承从正常状态到故障状态的振动信号，选取前期含有微弱故障的信号组成数据集，摒弃了后期轴承具有明显故障所采集到的信号，以训练模型学习轴承早期故障特征。

5.2 故障诊断结果

5.2.1 迁移学习对TConvNeXt故障诊断模型的性能影响

通过故障诊断数据集训练模型，使模型能够识别轴承的故障。所取得的实验结果如表2所示：模型1不使用迁移学习，将数据集A输入模型，经过100次迭代，准确率为55.7%；模型2使用迁移学习，经过10次迭代，准确率为96.6%。由此可知：即使经过极少次数的训练，所提方法仍能达到对轴承故障的判别要求，能够利用学习到的判别经验识别故障。图3所示为模型1和模型2对数据集A的诊断可视化结果。表3和表4给出了不同模型下每一类故障的精确率、召回率、特异度，可以得出：模型1和模型2都对内圈故障IF达到100%的诊断精度：对于滚动体故障1，模型1在200个测试样本中只正确识别一个样本，召回率仅0.5%，模型2仅在10次迭代中达到87.0%的召回率，在200个测试样本中正确识别174个样本。

表2 迁移学习实验结果对比

表3 不使用迁移学习实验结果

表4 使用迁移学习实验结果

图3 性能对比

5.2.2 TConvNeXt故障诊断模型对于混叠故障的诊断性能与实际应用情况

将TConvNeXt故障诊断模型用于对数据集C的诊断，共测试5次，每次实验迭代10轮，各次实验测试结果如图4所示，表5为每次实验的诊断准确率及各次实验中每类故障的诊断精确率、召回率等信息。

表5 TConvNeXt故障诊断模型5次实验结果

图4 混合故障诊断结果

由表5可知：5次测试实验中最低准确率为92.5%，表明TConvNeXt故障诊断模型对于混叠故障具有高诊断精度。为测试提出模型在实际应用中是否有效，将上述实验中具有94.5%的TConvNeXt故障诊断模型用于实际故障测试，从数据集C中随机选取5段故障信号，通过格拉姆角场分别转换为5张RGB图像，输入TConvNeXt故障诊断模型得出诊断结果。由表6可知：在实际故障诊断环境中，TConvNeXt故障诊断模型能够达到要求的诊断精度，模型输出对于故障的诊断结果，概率值表示故障属于此类故障的概率，这为旋转机械提供了故障判定依据。对于早期发现的轴承故障应该对轴承运行环境做以下检查以避免轴承严重失效：(1)轴承装配的预紧力；(2)轴承润滑状态；(3)轴承座支撑情况；(4)轴与轴承内圈以及轴承座与轴承外圈的配合精度。

表6 TConvNeXt故障诊断模型实际应用结果

为直观分析提出方法的有效性，利用Grad-CAM方法[18]将网络提取的故障特征以二维热力图的方式呈现。Grad-CAM方法能够进一步分析说明网络模型对于某种故障所关注的区域，查看网络模型是否学习到正确的特征或信息。图5所示为内圈故障样本，图中显示了TConvNeXt网络模型最后一个卷积层对于该样本的重点关注区域，其中图5(a)为模型在测试过程中诊断正确时重点关注区域，图5(b)为模型在测试过程中诊断错误时重点关注区域。

图5 Grad-CAM热力图重点关注区域

由图5可知：图(b)所关注区域偏离主对角线，重点关注的特征不是主要区分故障的关键。通过Grad-CAM方法，可以发现模型诊断精度不高的具体原因，为下一步调整模型预训练过程中的平衡数据集大小以及网络的学习率等超参数提供指导。

5.2.3 与其他神经网络的对比实验

为进一步说明提出方法的优势，对比分析了提出方法与其他3种方法的诊断结果，如图6所示。

图6 诊断结果对比

(1)Vision-Transformer网络[15]。该网络与提出方法输入数据方式相同，训练次数相同，使用测试集测试其诊断性能，对于数据集A的诊断准确率为40.98%，对于数据集B的诊断准确率为36.61%，对于数据集C的诊断准确率为23.72%。结果表明：Vision-Transformer网络对于滚动轴承健康状态的识别精度不高，究其原因是网络深层缺乏对于滚动轴承数据特征的提取能力。

(2)Swin Transformer网络[19]。该网络相较于Vision-Transformer网络，对于滚动轴承数据特征的学习能力较强，对数据集B的诊断准确率达到了77.07%，但在处理具有混叠故障的数据集C时准确率下降明显，究其原因是网络缺乏预训练-微调过程，网络各层需要重新确定相应权重，需要大量数据训练。

(3)EfficientNetV2网络[20]。与前2种网络不同，EfficientNetV2网络是一个纯卷积网络，与具有自注意力机制的Vision-Transformer网络相比具有更好的故障识别性能，但在各个数据集中都无法达到轴承故障诊断要求。对比提出方法的诊断结果可知：提出方法具有更高的泛化性与故障诊断精度。它一方面能够识别单一故障，并且能正确识别不同工况下的同一故障，这为判断故障严重程度提供了依据。另一方面在混叠故障的诊断中，具有可靠的诊断精度，通过迁移学习使网络模型学习到足够的先验经验；冻结除全连接层之外的全部权重，仅训练全连接层适合于滚动轴承故障数据缺乏的现实情况。

6 结论

文中基于平衡数据集重构与改进的深度卷积神经网络模型，同时从数据预处理层面与网络体系设计层面开展研究，解决实际应用中由于复合故障样本与健康样本类别不平衡导致诊断精度低的问题。通过重采样方法将不平衡数据集重构为平衡数据集，在实际数据没有增加的情况下，让有限的数据发挥出更大的价值，使模型同样适用于小样本情形下的应用。

通过有监督迁移学习与预训练-微调方法，充分发挥深度学习网络特征提取能力的同时，训练网络对于滚动轴承数据集的学习能力，实现对轴承混合故障的诊断。通过平衡数据集训练集对所提模型进行充分训练，之后使用平衡数据集的测试集测试模型在实验室环境下诊断轴承故障所获得的准确率。为检验模型在实际工作中对于滚动轴承混合故障的诊断效果，将测试准确率最高的模型用于实测，实测结果表明：该方法能够很好地识别混合故障，具有广泛的应用前景。