液压泵和滚动轴承多种样本量的改进多任务故障诊断

郑 直, 曾魁魁, 何玉灵, 李 克, 王志军

(1. 华北理工大学 机械工程学院,河北 唐山 063210;2. 华北电力大学 电机健康维护与故障预防河北省重点实验室,河北 保定 071000)

液压泵和滚动轴承分别作为旋转机械的重要动力元件和传动元件,被广泛应用于冶金化工、航空航天和汽车制造等重要领域,其运行条件对机械设备起着至关重要作用。但它们面临的工况往往复杂且恶劣,如高温高压、高速重载,使其具有很高的故障发生率,一旦发生故障,轻则停工滞产,重则人员伤亡。因此,对液压泵和滚动轴承进行状态监测和故障诊断,具有十分重要的意义[1-4]。

目前绝大多数研究成果都是基于单任务学习,即基于单一元件的故障诊断,它割裂了机械设备不同元件故障之间的联系,无法利用相关诊断任务间的有用信息来提高诊断模型的泛化能力。多任务学习是深度学习方法的一种,近年来在故障诊断领域得到广泛应用。Xie等[5]将多任务学习与注意力机制相融合,提出一种多任务注意力引导网络,实现了滚动轴承故障类型和损失程度两个任务的诊断。赵晓平等[6]通过在多标签体系下构建多任务学习网络模型,实现了齿轮箱的滚动轴承和齿轮两个任务的诊断。Liu等[7]将速度识别和载荷识别作为两个辅助任务,利用学习到的相关任务特征来提高滚动轴承故障诊断任务的性能。Guo等[8]将信息融合技术应用到多任务学习之中,并构造一个具有动态训练速率的网络模型,能够同时完成滚动轴承故障诊断和定位两个任务。虽然基于多任务学习方法构建的网络模型能够同时解决多元件故障诊断问题,但会增加网络的结构和参数量,导致计算成本过高。

针对网络规模庞大问题,许多学者基于MobileNetV1、MobileNetV2和MobileNetV3等轻量化方法成功诊断滚动轴承故障。Yu等[9]提出一种轻量级的故障诊断模型,该方法利用MobileNetV1实现了端到端的滚动轴承智能故障诊断。Yao等[10]利用MobileNetV1中的深度可分离卷积和MobileNetV2中的线性残差结构,构建了一种堆叠逆残差卷积神经网络,实现了滚动轴承的故障诊断。Yu等[11]提出一种基于MobileNetV2的轻量级故障诊断模型,并引入Wasserstein距离,解决了滚动轴承的故障诊断问题。Yao等[12]利用蝴蝶变换模块代替MobileNetV3中的逐点卷积,并与Deep SHAP算法结合,实现了滚动轴承的故障诊断。上述轻量化方法都是应用于单一元件的单诊断任务学习网络,目前尚未有相关研究利用轻量化方法对多任务学习网络进行轻量化处理。因此,针对多任务学习网络规模庞大问题,本文引入轻量化方法降低多任务学习网络规模,实现了基于充足样本的多元件轻量化故障诊断。

上述研究都是基于充足样本的,然而受到实际场地和成本的限制,使得有些故障数据无法大量采集或无法采集,从而导致少样本问题甚至零样本问题。零样本问题是一种特殊的少样本问题,少样本问题是指在模型训练过程中每种故障都具有少量样本,而零样本问题则根本不存在某些故障样本。因此,零样本问题比少样本问题更具有难度,许多学者也对此展开了深入的研究。Chen等[13]提出了一种基于深度注意关系网络的零样本学习方法,用于未知工作条件下的滚动轴承单一元件零样本故障诊断。LÜ等[14]提出一种以混合属性为条件的混合属性条件对抗式去噪自编码器方法,解决了滚动轴承单一元件的零样本问题。Gao等[15]提出一种用于未知工作负载的零样本故障诊断方法,实现了单一元件的滚动轴承零样本故障诊断。Xu等[16]提出了一种用于复合故障诊断的零样本学习方法,解决了由已知单故障向复合故障诊断的单一元件零样本问题。以上研究都是基于单一元件的零样本故障诊断,而机械设备故障往往涉及多个元件,对多个元件的零样本诊断研究是很有必要的。跨多个元件的零样本问题难度更大。因此,针对跨元件的零样本问题,本文引入模型无关元学习方法进一步提高所提网络模型的泛化能力,实现了轻微和严重的跨元件零样本故障诊断。

综上所述,针对液压泵和滚动轴承充足样本的多任务诊断问题、跨上述二元件的轻微和严重零样本问题,本文引入轻量化方法、热重启余弦退火优化算法、模型无关元学习方法,对多任务学习网络进行优化和改进,进而提出新的多任务学习网络模型。首先,利用MicroNet对多任务学习网络进行轻量化处理,生成MT-MN网络模型;其次,利用热重启余弦退火算法优化MT-MN的学习率,生成多任务轻量化学习网络模型(MT-MN-CA),解决了液压泵和滚动轴承充足样本的多任务诊断问题;最后,利用模型无关元学习对上述MT-MN-CA进行改进,进而提出改进多任务轻量化学习网络模型(MT-MN-CA-ML),解决了跨上述二元件的轻微和严重零样本问题。通过液压泵和滚动轴承多元件的实测故障验证可知,所提方法可以高准确率、高效率地解决充足样本和零样本的多任务故障诊断问题。

1 基础理论

1.1 多任务学习

多任务学习(multi-task learning, MTL)是深度学习方法的一种,该方法不仅能够同时处理多个问题,还能通过共同训练在多个任务间实现信息共享,以此提高网络的泛化性能。

单任务学习(single-task learning, STL)的局限性在于,现实中存在的任务并非孤立和简单地针对单个任务进行学习,忽略了能够帮助模型达到更好效果的其它有用信息。

相比单任务学习,多任务学习方法能够利用独有的共享层来提取多个任务的相关信息,并允许该信息在多个任务间进行信息共享,然后利用各自的子任务层实现故障诊断。并且随着深度神经网络的发展,多任务学习网络具有更强的学习能力,因此成为一种很有前途的故障诊断技术。单任务学习和多任务学习网络示意图如图1所示。

图1 网络示意图

1.2 MicroNet

MicroNet于2021年提出,它是一个超轻量的深度神经网络,使用微分解卷积将卷积矩阵分解为低秩矩阵,并将稀疏连通性整合到卷积中,以达到优化通道数和节点连通性的目的[17]。另外,提出一种新的动态激活函数,称为Dynamic Shift Max(DY-Shift-Max),通过最大化输入特征映射与其圆形通道移位之间的多次动态融合来改善非线性,加强了由微分解卷积组之间的连接。

W=PΦQT

(1)

式中:W为C×C矩阵;P为C×C/R矩阵;Φ为C/R×C/R置换矩阵;Q为C×C/R矩阵;T为转置符号。

微分解深度卷积是将卷积核为k×k的深度卷积分解为一个k×1和一个1×k卷积核,分解后复杂度就从O(K2C)变成了O(KC)。

将微分解逐点和深度卷积以不同的方式组合就形成了MicroNet的三个Micro-Blocks模块,并且所有的Micro-Blocks模块都使用动态DY-Shift-Max激活函数。MicroNet的三个Micro-Blocks模块的示意图如图2所示。

图2 三个Micro-Block的示意图

1.3 热重启余弦退火算法

热重启余弦退火是一种简单有效的动态调整学习率的算法,其主要利用余弦函数缓慢下降、迅速下降、再缓慢下降的函数特征来映射到学习率的变化上[18]。使用热重启余弦退火算法优化学习率可以使模型在训练初期以较大学习率进行学习,从而提高收敛速度;而在训练后期以较小的学习率进行学习,避免模型跳过最优点。同时,热重启余弦退火算法还可以使模型更有效地适应数据集,从而产生更高的泛化性能,也避免了使用固定学习率容易陷入次优点的问题。

热重启余弦退火可以更好地帮助模型跳出当前的局部最优解,进而寻找全局最优解。热重启是指,在一个周期内,当学习率衰减到最小值时,会快速恢复到最大值,然后开启一个新的周期。公式为

(2)

式中:ηt为当前学习率;ηmin为最小学习率;ηmax为最大学习率;Tcur为自上一次重启后执行了多少个epoch;Ti为第i次热重启后,需要训练epoch的数量。

1.4 模型无关元学习

元学习(meta-learning),又称学会学习(learning to learn),旨在利用以往的学习经验来学习新的任务。元学习的学习对象是大量包含少样本的任务,以此来获取足够的先验知识,因此元学习更注重的是学习的过程而非某一任务的结果。

元学习拥有独特的学习方式,该方法将数据集划分为元训练集和元测试集,而元训练集和元测试集又都有大量包含少样本的任务(N-wayK-shot),其中N为任务中的故障类别数量,K为从每种故障中随机抽取的样本数量。

模型无关元学习(model-agnostic meta-learning, MAML)是元学习方法的一种,旨在通过大量包含少样本的任务来得到一个对任务变化敏感的参数θ,这样在面对新的任务时,就可以经过少量迭代步骤使损失函数值快速收敛[19]。

MAML包含内外两层循环,并将服从p(T)分布的任务模型表示为fθ,当学习任务Ti时,模型的初始参数θ更新为θ′i。参数θ的一次梯度更新为

(3)

式中,α为内循环学习率。

在模型的训练阶段,初始参数θ的更新是通过优化多个任务上的fθ′i来实现的,元优化的目标为

minθ∑Ti～p(T)LTi(fθ′i)=∑Ti～p(T)LTi(fθ-α∇θLTi(fθ))

(4)

在模型的外循环中,利用随机梯度下降算法实现任务间的元优化,参数θ的更新过程为:

θ←θ-β∇θ∑Ti～p(T)LTi(fθ′i)

(5)

式中,β为外循环学习率。

2 方法流程

所提方法的流程图如图3所示。

图3 所提方法流程图

3 试验台及元件样本

本文以柱塞数为7的MCY14-1B型斜盘式轴向柱塞泵和MFS-MG滚动轴承为试验对象。其中液压泵的额定转速为1 470 r/min,泵出口压力调定为15 MPa,在采样频率为50 kHz下分别采集滑靴、松靴、斜盘磨损以及正常的Z轴振动信号。滚动轴承的电机转速为2 000 r/min,在采样频率为12 kHz下分别采集内圈、外圈、滚动体以及正常的振动信号。试验系统如图4所示。

图4 液压泵和滚动轴承试验系统

将为一维振动信号的原始数据转换为二维图像作为样本数据。液压泵和滚动轴承的8种故障共计4 000个样本,每个样本包含512个数据点。每种故障的样本数量为500,按4∶1划分为训练集和测试集。图5和图6展示了液压泵和滚动轴承每种故障的样本。

图5 液压泵振动图像样本

图6 滚动轴承振动图像样本

4 试验验证与分析

试验在Pytorch框架下开发,硬件环境为i7-9750 CPU、软件编程环境为python3.7。输入样本为3通道的RGB图像,尺寸大小为224×224。学习率和为批尺寸分别设置为0.01、64,共迭代20次。

4.1 基于充足故障样本的多任务故障诊断研究

4.1.1 基于MicroNet的多任务学习网络构建及轻量化效果分析

为了证明基于MicroNet构建的多任务学习网络模型(MT-MN)的有效性和优越性,分别利用轻量化方法MobileNetV1(MNV1)、MobileNetV2(MNV2)和MobileNetV3(MNV3)构建多任务学习网络,并分别记为MT-MNV1、MT-MNV2和MT-MNV3。图7～图10展示了各个多任务学习网络的诊断准确率和损失函数值的变化曲线,表1给出了各单任务学习和多任务学习网络模型的诊断结果。

表1 多任务和单任务学习网络模型的诊断结果

图7 MT-MNV1的故障诊断结果

图8 MT-MNV2的故障诊断结果

图9 MT-MNV3的故障诊断结果

图10 MT-MN的故障诊断结果

由图7～图10可知,四个轻量化多任务学习网络中,MT-MN的初始诊断准确率最高、上升速度最快,并且迭代到一定次数后准确率最高、最稳定。同时,MT-MN的初始损失函数值最小,收敛速度快,并且稳定性高。

由表1可知,多任务网络整体表现优于单任务网络;在多任务网络中,MT-MN在各方面的表现都明显优于MT-MNV1、MT-MNV2和MT-MNV3。

在诊断准确率方面,MT-MN的平均训练准确率较MT-MNV1、MT-MNV2和MT-MNV3分别提高3.98%、3.06%和6.67%;平均测试准确率较MT-MNV1、MT-MNV2和MT-MNV3分别提高13.80%、6.42%和15.25%。

在诊断效率方面,MT-MN的训练时间较MT-MNV1、MT-MNV2和MT-MNV3分别显著降低75.85%、80.22%和56.22%;测试样本的预测时间较MT-MNV1、MT-MNV2和MT-MNV3分别显著降低69.89%、75.22%和50.88%。

在参数量、计算量和模型尺寸方面,MT-MN的参数量较MT-MNV1、MT-MNV2和MT-MNV3分别显著降低65.38%、53.68%和49.19%;计算量较MT-MNV1、MT-MNV2和MT-MNV3分别显著降低99.30%、98.67%和92.86%;模型尺寸较MT-MNV1、MT-MNV2和MT-MNV3分别显著降低64.79%、53.70%和48.98%。

由对图7～图10和表1的分析可知,MT-MN可以同时实现液压泵和滚动轴承的高准确率、高效率故障诊断,并且相比其它轻量化网络,MT-MN具有更小网络规模、占用更少设备资源等优势。

4.1.2 热重启余弦退火优化MT-MN-CA及其故障诊断研究

由于固定学习率容易使神经网络模型陷入次优点,从而影响诊断准确率和诊断效率等性能。为进一步提升MN-MT性能,提出利用热重启余弦退火算法来优化轻量化多任务学习网络MN-MT,进而提出MN-MT-CA新模型。优化流程如图11所示,基于所提MN-MT-CA的诊断结果如图12和表2所示。

表2 MN-MT-CA的故障诊断结果

图11 CA优化MN-MT流程图

图12 基于MN-MT-CA的故障诊断结果

通过对比表1中MN-MT和表2中MN-MT-CA的诊断结果可知,MT-MN-CA的平均训练准确率和平均测试准确率分别较MT-MN提高2.17%、4.42%;训练时间和预测时间分别较MT-MN降低2.5%、3.2%;MT-MN-CA并未增加参数量、计算量和模型大小。

对比表1和表2可知,热重启余弦退火算法能够通过动态调整学习率,在不改变网络的情况下,可高准确率和高效率地优化网络。

4.2 基于零样本的多任务故障诊断研究

4.2.1 MAML元学习方法的改进

由于受到实际场地和成本的限制,使得有些故障数据无法大量采集或无法采集,从而导致少样本问题甚至零样本问题。机械设备发生故障往往涉及多个元件,而跨多个元件的零样本问题具有更高难度。

本节利用MAML元学习方法进一步改进上述所提MT-MN-CA网络模型,进而提出MT-MN-CA-ML新模型,以解决轻微和严重的跨元件零样本问题。该新模型能够通过学习包含少量样本的相关任务来获取先验知识,并能够利用此知识迁移性地解决新任务。其诊断流程如图13所示。

图13 所提MT-MN-CA-ML的诊断流程图

4.2.2 基于数据集生成N-wayK-shot任务

根据不同运行状态,将液压泵和滚动轴承两个元件的6种故障类型和2种正常状态划分为不同形式(A、B、C、D和E)的元训练集和元测试集。数据集划分的细节如表3所示。

表3 数据集划分

由表3可知,数据集A含有滚动轴承元件所有运行状态的样本,但不含液压泵元件任一运行状态的样本,数据集E则相反,这两者都属于严重的零样本问题。数据集B、C和D的元训练集和元测试集分别缺失了液压泵或滚动轴承元件的1～3种运行状态的样本,它们都属于轻微的零样本问题。

4.2.3 基于MT-MN-CA-ML的跨元件零样本问题研究

元学习在训练阶段和测试阶段的输入都是包含少量样本的N-wayK-shot任务,其中N为任务中的故障类别数量,K为从每种故障中随机抽取的样本数量。由此可知,N越大、K越小则N-wayK-shot的测试难度越大,因此可通过调整N和K的大小来评估模型的泛化性能。在本研究中,由于液压泵元件和滚动轴承元件分别有4种运行状态,因此N可设置为1～4,但为体现所提方法的优越性,将N设置为4,K分别设置为1、3、5、7和10。因此,数据集A、B、C、D和E都包含4-way 1-shot、4-way 3-shot、4-way 5-shot、4-way 7-shot和4-way 10-shot任务。

在训练阶段,N-wayK-shot任务的批尺寸设置为4、更新步数设置为5,内循环学习率设置为0.01、外循环学习率设置为0.001,训练任务数为2 000,共训练500步。在测试阶段,微调步数设置为10,测试任务数为20,并将20个测试任务的平均准确率作为测试准确率。

利用所提MT-MN-CA-ML方法对上述数据集A、B、C、D和E进行诊断分析,诊断结果如表4所示。

表4 数据集A、B、C、D和E下4-way K-shot的故障诊断结果

由表4可知,总共有A、B、C、D和E的5个数据集、4-wayK-shot的5种样本形式,且所给出每个诊断结果为20个测试任务的平均值,所以共有500个诊断结果。因此,基于数据集A中4-way 10-shot样本形式的1个测试任务,给出1个诊断结果的混淆矩阵,如图14所示。

图14 数据集A的4-way 10-shot分类结果可视化

由图14可知,液压泵正常运行状态下的预测准确率为100%、斜盘和松靴故障的预测准确率为90%、滑靴故障的预测准确率仅为70%。分析可知,滑靴故障与斜盘和松靴故障具有较相似的振动冲击特征,因此混淆性较强。

由表4可知,在各数据集下,诊断准确率随着每种运行状态下样本量的增加而提高,分别在4-way 1-shot和4-way 10-shot处取得最低和最高准确率。

由表4中基于数据集B、C和D的诊断结果可知,所提方法在解决轻微的跨元件零样本问题时,在4-way 1-shot获得最低诊断准确率89.00%,在4-way 10-shot任务下获得最高诊断准确率98.93%。以上数据表明,在解决轻微的跨元件零样本问题时,所提MT-MN-CA-ML表现出很强的泛化能力,能够实现高准确率的故障诊断。

由表4中基于数据集A和E的诊断结果可知,所提方法在解决严重的跨元件零样本问题时,同样在4-way 1-shot任务下获得最低诊断准确率75.17%,在4-way 10-shot任务下获得最高诊断准确率94.90%。以上数据表明,在解决严重的跨元件零样本问题时,所提MT-MN-CA-ML仍可获取较高的诊断准确率。

综上可知,无论是解决轻微的跨元件零样本问题,还是严重的跨元件零样本问题,所提MT-MN-CA-ML方法都更够取得较高的诊断准确率,因此具有很强的泛化能力。

5 结 论

本文针对基于充足故障样本的多元件诊断网络规模过于庞大的问题,引入MicroNet方法对多任务学习网络进行轻量化处理,并利用热重启余弦退火算法进行优化,提出MT-MN-CA网络模型;针对更高难度的跨多元件零样本问题,引入模型无关元学习方法进一步改进MT-MN-CA,提出MT-MN-CA-ML网络模型。通过对液压泵和滚动轴承多元件的实测故障分析,得出如下结论:

(1) MicroNet轻量化方法可使所提MT-MN-CA网络模型具有更小网络规模,实现了基于充足样本的高准确率和高效率的故障诊断。

(2) 在不影响网络规模的情况下,热重启余弦退火算法可进一步改善所提MT-MN-CA网络模型的性能,提高了基于充足样本故障诊断的准确率和效率。

(3) MAML元学习方法可增强所提MT-MN-CA-ML网络模型的泛化能力,能够有效地解决轻微和严重的跨多元件零样本问题。