基于深度子域自适应回归网络的变工况轴承剩余使用寿命预测

吕明珠

(1.辽宁装备制造职业技术学院 自动控制学院,沈阳 110161; 2.辽宁开放大学,沈阳 110034)

预测和健康管理(Prognostics and Health Management,PHM)是实现机械设备智能运维的重要环节,剩余使用寿命(Remaining Useful Life, RUL)定义为相关设备在出现故障之前剩余的寿命长度[1]。滚动轴承作为各种旋转机械的关键部件和易损件,若能准确估计其剩余使用寿命,不仅能保证设备安全可靠的运行,还能大大降低维护成本。

现有的剩余使用寿命预测方法主要包括基于模型和数据驱动2种类型[2]:基于模型的方法主要借助退化的物理机制预测关键部件的剩余使用寿命,需要一定的先验知识,很难准确地建立复杂工况下的退化模型[3];数据驱动方法将传感器提供的数据转换为参数或非参数相关模型,无需了解退化机理,但需获得足够的历史数据[4],深度学习的发展使从大量数据中获得退化特征成为可能,从而避免人工构造特征的繁琐。

实际应用中,轴承往往在变工况下工作,工况条件一旦变化就需要重新训练模型,更新模型参数。为提高故障诊断模型的泛化能力,迁移学习算法近年来得到了越来越广泛的关注[5]。由于变工况会导致特征分布发生变化,领域自适应(Domain Adaptation,DA)成为影响迁移效果的关键因素。DA只需要利用新工况中少量的未标记样本即可提取域不变特征,同时在原工况中对标记数据进行有效的监督,从而避免了在新工况下对标记数据的需要[6]。

然而,目前的DA研究方法存在如下问题:1)几乎所有的迁移回归模型都采用了一个无监督的全局DA解决方案,只是全局对齐域而忽略了数据中的细粒度信息,容易出现迁移结果变差的问题;2)大多数最初被提出的DA模型只用于故障分类,可能并不适用于剩余使用寿命预测;3)已有的DA解决方案常使用对抗性模型,存在结构复杂和收敛困难的问题。

针对上述问题,本文提出一种深度子域自适应回归网络的变工况轴承剩余使用寿命预测,基本思想是利用传统的深度学习网络建立一个特征提取器,加入辅助类别标签和子域分类器捕捉子域类别信息,通过局部最大均值偏差估计不同工况之间的特征分布差异,最后建立一个域不变回归,完成剩余使用寿命预测。

1 理论基础

1.1 全局领域自适应

令Ds和Dt分别代表源域和目标域,定义样本空间Xs∈Ds,Xt∈Dt,则从源域和目标域中提取的数据样本分别为xs∈Xs,xt∈Xt。在实际应用中,源域和目标域的振动数据通常来自于不同工况的轴承,存在严重的分布差异。假设来自源域和目标域的数据样本服从各自的边缘概率分布P(Xs),P(Xt)以及条件概率分布Q(Ys|Xs),Q(Yt|Xt),且P(Xs)≠P(Xt),Q(Ys|Xs)≠Q(Yt|Xt)。

所谓领域自适应,就是解决源域与目标域之间的特征空间和学习任务相同,但边缘概率分布和条件概率分布不同的问题[7]。领域自适应迁移学习的目标是学习一个特征变换,同时最小化边缘分布和条件分布差异,即

minD(Ps(φ(Xs)),Pt(φ(Xt)),

(1)

minD(Qs(Ys|φ(Xs)),Qt(Yt|φ(Xt))),

(2)

式中:D为评估领域差异的函数;φ为映射函数。

EXt～q[φ(Xt)]},

(3)

式中:D为用于评估领域偏差的距离;H为再生核希尔伯特空间;sup为输入聚合的上确界;φ为X→H的非线性映射函数;E为嵌入样本的平均值。

在统计学中,这种表示被称为整体概率度量。为计算这个差异,可以用最大均值差异的有偏估计替代,可表示为

(4)

2个分布差异的经验估计可认为是在再生核希尔伯特空间中的2个数据平均值的距离。当最大均值差异接近于0时,表示2个分布是对齐的。

1.2 子域领域自适应

大量的深度自适应方法试图通过学习全局域移位来提取域不变表示。这只是对齐源域和目标域的全局分布,而没有考虑子域之间的关系(在分类任务中,相同的样本通常被归类为子域)。这种全局对齐会破坏域内的分布结构,导致结果较差,如图1所示。

图1 全局与子域领域自适应迁移学习结果对比

子域自适应侧重于将源域和目标域中相同类型的子域对齐[9],但大多是基于对抗性的方法,意味着复杂的网络结构,包含多个损失项的目标函数,困难的超参数选择和收敛过程等, 而且将子域自适应理论应用于剩余使用寿命预测的相关文献也很少。

1.3 局部最大均值偏差

为对齐相关的子域,本文引入局部最大均值偏差(Local MMD,LMMD),其在考虑不同样本权重的情况下,测量源域和目标域中相关子域经验分布的核平均嵌入之间的Hilbert-Schmidt范数[10],其定义为

DH(xs,xt)≜

(5)

LMMD可以测量局部分布差异的期望。假设每个样本以权重ωc属于每个类别,则存在的无偏估计为

(6)

对于任意一个样本,其权重计算公式为

(7)

式中:zic为zi的第c个元素。

2 深度子域自适应回归网络

2.1 网络结构

为适应滚动轴承剩余使用寿命预测的需要,本文利用子域间的细粒度监督信息设计了一种新型迁移学习框架,称为深度子域自适应回归网络(Deep Subdomain Adaptive Regression Network, DSARN),其结构如图2所示。

图2 深度子域自适应回归网络结构图

与大多数端到端的剩余使用寿命预测结构类似,DSARN中嵌入了一个特征提取器和一个回归器。特征提取器将原始输入信号xi通过隐藏层获得高维特征hi,再通过回归器得到高维特征hi与回归预测yi之间的映射,这个映射的学习过程需要不断最小化回归误差,并在网络中嵌入子域自适应解决最小化问题,即

(8)

λ=2μ/(1+e-10τ/τm)-1,

式中:J为目标输出与预测输出的损失函数;dc为用来度量源域和目标域之间所有对应的子域差异;λ为时变权衡系数;τ为当前迭代次数;τm为最大迭代次数;μ为预先设定的迁移系数。

为在回归模型中进行子域划分和子域自适应,本文在网络结构中加入辅助类别标签和子域分类器捕捉子域类别信息,再通过LMMD估计源域与目标域之间的加权分布差,最后建立一个域不变回归,形成DSARN学习算法。

2.2 基于DSARN的剩余使用寿命预测方法

为提高剩余使用寿命预测的跨域泛化性能,全面利用细粒度的子域信息,本文在DSARN算法基础上提出了一种基于DSARN的多工况轴承剩余使用寿命预测方法,其框架如图3所示,具体步骤为:

图3 基于DSARN的剩余使用寿命预测方法流程图

1)收集多种工况下滚动轴承的故障振动信号。

2)利用二阶同步压缩变换将源域已标记的样本和目标域原始振动信号转换为时频表示。

3)建立并初始化DSARN模型。

4)将来自源域的标记样本和来自目标域的未标记样本用于DSARN训练,通过最小化相对子域之间的差异减小每个退化阶段中源域与目标域样本之间的差异。

5)使用训练后的DSARN进行测试样本的预测。

6)输出剩余使用寿命预测结果并评价该方法的性能。

3 试验分析

为验证DSARN在剩余使用寿命预测上的实用性,采用在多种工况下采样轴承振动信号的IEEE2012PHM轴承数据集[11]进行分析,使用评分函数、均方根误差(Root Mean Squared Error, RMSE)和平均绝对误差(Mean Absolute Error, MAE)进行性能评价。

评分函数的定义为

(9)

3.1 数据描述

IEEE2012PHM轴承数据集来自PRONOSTIA试验台,其通过加速退化试验收集滚动轴承的全周期退化振动数据。试验轴承为6804型深沟球轴承(内径20 mm,外径32 mm,宽度7 mm),轴承外圈上安装了2个加速度传感器,采样频率为25.6 kHz。每次采样持续0.1 s,每10 s采样一次,当轴承振动幅值超过20g时试验终止[12]。该数据集在3种不同工况下测试了17套轴承(表1),本节的案例研究包含了6个迁移场景,具体的训练和测试数据见表2。

表1 IEEE2012PHM轴承数据集描述

表2 迁移预测的6种情况

3.2 数据预处理

深度网络具有较强的特征提取能力,甚至可以直接从轴承振动信号中提取特征;然而,考虑到振动信号的非平稳性,通过频谱分析预处理的数据更有利于特征提取,使网络获得更快的收敛。因此,本文选用比传统的傅里叶方法更利于处理波动频繁的轴承振动数据的二阶同步压缩变换方法进行时频处理,以轴承1_1某一样本为例,其预处理结果如图4所示。

(a) 原始振动信号

由于轴承在不同工况下的全寿命周期差异很大,使用绝对剩余使用寿命值难以获得良好的跨域预测。为便于对比分析,本文对预测结果进行规范化处理,即

(10)

式中:LRUL为轴承剩余使用寿命预测值;Ltotal为轴承全周期寿命。L越接近1表明轴承越健康,越接近0则表明轴承退化越严重。

3.3 模型训练

ResNet是卷积神经网络的一种变体[12],通过在网络中添加残余模块解决梯度消失的问题,比传统的卷积神经网络具有更好的学习能力和泛化性能。本文使用没有顶层分类器和预训练参数的ResNet50作为轴承信号的特征提取器。DSARN的网络结构见表3。通过网格搜索确定的DSARN超参数设置为:最大迭代次数200,批处理大小16,学习率0.000 05,迁移系数0.005,子域类别10。

表3 DSARN的网络结构

DSARN模型在训练过程中的误差减少情况如图5所示:回归误差(目标输出与预测输出之间的均方根误差)在早期对目标函数的贡献较大,因此,在早期训练过程应注重提高回归精度;经过迭代后,回归误差的下降明显减慢,LMMD的贡献增加,此时应注重提取域不变特征以减小子域差异;再经过一段时间迭代后,总误差趋于稳定,表明网络变得收敛。LMMD明显下降,说明子域差异在不断减小。

图5 DSARN的训练损失

3.4 剩余使用寿命预测结果

除DSARN外,本文引入了2个对比模型:模型1是没有进行领域自适应的ResNet,从DSARN中删除辅助类别标签和子域自适应,只使用源域训练;模型2是使用传统全局领域自适应的ResNet(简称DAN),源域和目标域在全域对齐而不考虑子域划分,并使用MMD作为距离度量。利用上述方法对表2中的6种迁移场景进行训练和测试,剩余使用寿命预测结果如图6所示:非领域自适应ResNet的预测在大部分时间下表现不佳,几乎没有单调的趋势,使用较少的源域样本预测较大样本量目标域时的性能特别糟糕(图6f);DAN的性能往往不如DSARN好,有时甚至比ResNet更差(图6d,图6e),这是由于DAN只会全局缩小源域和目标域,导致内部细粒度结构信息被破坏,可能导致负迁移[15];除了图6e的结果外,使用DSARN得到的结果有明显的单调趋势,DSARN将相应的子域对齐,可以得到每个退化阶段更好的子域不变特征,DSARN在6种迁移场景中均取得了比DAN和ResNet更好的剩余使用寿命预测结果。

图6 不同模型在6种迁移场景下的预测结果

3种性能指标的计算结果见表4:与非领域自适应ResNet相比,DAN提高了预测效果但有时会发生负迁移,DSARN方法则取得了最高的平均分数以及最小的平均RMSE和MAE。结果表明子域自适应能够使网络进行跨条件的剩余使用寿命预测且不容易发生负迁移,DSARN通过子域自适应保留和使用数据中的细粒度结构信息,显著提高了跨域泛化性能。

表4 迁移结果的性能指标

为探究LMMD对隐藏特征提取的影响,进行了源域样本和目标域样本中提取特征的对比分析。以工况1→2为例,使用t-分布的随机邻域嵌入可视化隐藏表示的分布,结果如图7所示:ResNet提取的隐藏特征显示出较大的特征分布上的差异,准确度也较差;DAN提取的特征服从MMD项的分布相对相似,但仍存在明显的差异,而且样本集太多时将难以区分特征;DSARN利用LMMD的子域自适应函数很好地对齐源域和目标域的特征,得到了最小的子域差异,从而更好地提取域不变特征并建立从特征到标签的有效映射。

图7 不同模型从源域到目标域的特征分布

4 结束语

本文提出了一种基于子域自适应的DSARN模型,用于多工况下滚动轴承的剩余使用寿命预测。利用二阶同步压缩变换对轴承振动信号进行预处理,将非平稳的原始振动信号转换为更容易捕捉特征的频谱信号并得到多通道信号作为输入,与基于人工设计特征或统计特征的方法相比,可以保留更多的特征信息。使用ResNet50作为基础网络框架进行特征提取并加入回归器和子域分类器实现回归模型上的子域自适应,采用一个新的包含LMMD项和时变权衡项的目标函数来训练网络并提取子域不变特征。在IEEE 2012 PHM轴承数据集上进行6种场景的迁移预测,DSARN模型在变工况轴承剩余使用寿命预测中可获得更高的准确性和更好的迁移性能,在工程实践中有一定的推广价值。

DSARN模型的局限性在于参数较多,收敛时间及复杂度较高,而且未从多维度综合考虑时间退化信息,在今后的研究工作中将进一步改进模型参数,提高收敛性能,加快收敛速度,合理利用时间相关信息,以期提供更稳定的预测效果。