融合词频特征的转动副间隙热成像监测模型

黄沈权,王凤虎,潘拓辰,周宏明,龙 安

(温州大学 机电工程学院,浙江 温州 325000)

0 引言

转动副作为大多数机器中必不可少的结构,有着广泛的应用[1]。然而,随着构成转动副的两个活动构件运行时间增加,容易导致转动副间隙增大。为了避免因为转动副间隙增大导致机器产生可靠性降低和定位不准确的问题[2],需要对转动副间隙进行监测。例如,多工位冷镦成型机作为一种高速高效自动化生产紧固件的装备,在工作时其主传动机构中的转动副会受到强扭矩作用,在长时间工作后,转动副会由于磨损产生超出设计预期的配合间隙,导致装备不稳定影响主传动机构的精度和寿命,引起生产的产品质量下降。

早期,大多数学者基于系统接触力碰撞模型对含间隙转动副进行了研究。例如,HUNT等[3]基于弹簧公式提出了Hertz法向接触模型;GOLDSMITH等[4]和LANKARANI等[5]进一步提出了线性弹簧阻尼模型(Kelvin-Voigt模型)、连续接触力模型(L-N模型)来分析配合间隙对转动副的动力学影响。这些研究表明转动副间隙会降低机构运动精度,引起冲击载荷,影响载荷传递,甚至造成运动的破坏和失效,因此,需要对转动副间隙进行有效监测。

随着深度学习[6]和红外热成像技术[7]的发展,考虑到接触式传感器获取数据信号在实际应用中的局限性,不少学者结合深度学习技术和热成像数据对旋转机械进行了故障诊断研究。LIM等[8]提出旋转机械红外热成像的支持向量机故障识别分类方法,证明在机械故障诊断领域红外热成像方法的可行性;ANURAG等[9]通过卷积神经网络(Convolutional Neural Networks,CNN)对滚动轴承6种状态下的红外热图像进行分类研究与比较;LI等[10]论证了基于CNN和热成像对转子和轴承的各种故障模式识别具有优越性;LI等[11]利用热成像和改进的高斯卷积深度置信网络,实现了对转子轴承系统不同故障的自动诊断。

以上学者结合深度学习和红外热成像技术,在旋转机构故障诊断领域取得了丰硕的成果,但研究内容主要聚焦于诊断区分旋转机构的不同故障种类,未见到结合热成像深度学习方法对转动副间隙故障进行监测诊断的研究。机械设备中若存在转动副间隙故障,则其间隙大小决定对故障机器的处理方式,如停机维修、更换部件、维持现状等,不同的处理方式成本和效益不同。因此,对转动副间隙大小的有效监测意义重大。

通过红外热成像对转动副进行间隙监测,受转动副自身因间隙产生的振动或设备操作等因素的影响程度小,对专家知识的依赖程度低,不需考虑转动副元素的材料和结构等因素。然而,采用红外热成像对转动副间隙大小进行监测时,不同间隙大小的转动副在热成像上的热量分布差异并无明显差别,因此准确提取能区分不同间隙转动副的热图像特征十分重要。

针对上述问题,本文采用欧式-通道分离法提取特征热图像,通过构建视觉词袋模型,提取词频特征,并将词频特征融入转动副特征热图像特征进行间隙监测,最终提高转动副间隙监测的精度和鲁棒性。

1 融合词频特征的转动副间隙热成像监测原理

以图1所示的转动副正弦机构为例,对转动副间隙进行说明。曲柄作为主动件,通过与轴承相连的曲柄销轴驱动轴承在滑槽内运动,以此驱动与滑槽固定联接的导轨水平往复运动。曲柄销轴与轴承是组成转动副的两个构件。因为曲柄销轴与轴承的配合存在间隙(图中放大间隙以便于说明),导致在运动时会发生碰撞,产生能量损耗。

红外热成像是对物体表面热量分布的刻画。含间隙转动副在工作时会因为碰撞产生热量,这部分异常热量的产生会导致含间隙转动副与正常转动副的热量分布不同,这为采用红外热成像对转动副进行间隙监测提供了必要条件。

红外热图像中具有区分度的特征占比小,因此将具有区分度的有效特征进行提取对提高间隙监测的精度非常重要。本文对原始红外热图像进行处理提取特征热图像,去除了原始红外热图像中的大量冗余特征,达到具有区分度的有效特征占比显著提升的目的。

单独采用红外热成像对转动副间隙进行监测存在监测精度低的问题,而多信号数据融合又存在需要安装多种数据采集器的局限性,在很多情况下并不适用。因此,将红外热成像进行多维度、多角度的特征提取融合是一种可能有效的解决方法。本文将转动副的词频特征与特征热图像特征进行融合,利用融合特征对转动副间隙进行监测,以提高监测的精度和鲁棒性。

如图2所示为融合词频特征的转动副间隙热成像监测原理框架,主要是由4部分组成:①基于本文提出的欧式-通道分离法从转动副红外热图像中提取特征热图像;②通过构建视觉词袋模型计算特征热图像的词频矩阵,然后基于多层感知机(Multi-Layer Perceptron,MLP)提取词频矩阵的词频特征;③利用嵌入卷积注意力模块空间注意力机制的卷积神经网络(Convolutional Neural Network,CNN)获取转动副特征热图像的特征;④将提取的词频特征和特征热成像特征在特征层次进行融合后进行训练学习和间隙监测。

2 融合词频特征的转动副间隙监测方法

2.1 基于欧式-通道分离的转动副特征热图像提取

转动副特征热图像是去除了大部分无关背景特征,只包含具有区分度的有效特征的单通道转动副热图像。转动副特征热图像提取方法如下,具体流程图如图3所示。

(1)将原始红外热图像进行B、G、R通道分离,得到3张单通道红外热图像,如图4所示。

(2)统计单通道热图像中像素灰度值为零和不为零的个数,分别记为X、Y;X与Y构成单通道热图像的灰度分量A,记为A=(X,Y)。

(3)采用灰度分量相互之间的欧式距离衡量单通道热图像之间的相似度,计算如式(1)所示:

(1)

式中:I(Ai,Aj)表示灰度分量Ai与Aj之间的相似度;i,j表示不同的B、G、R通道热图像。

(4)比较灰度分量的相似度,求取特征热图像。分离得到的B、G、R3张单通道热图像中包含的背景特征越多,其两两之间的相似度就越高且所需的有效特征占比越小。因此,可以通过计算不同单通道热图像之间的相似度来判断哪个通道的热图像包含背景特征最少。单通道热图像中背景特征越少,所需的有效特征占比就越大。因此特征热图像是与相似度最高的两张单通道热图像对应的另一张单通道热图像。图4中,Imax=I(AB,AR),则G通道热图像即为原始红外热图像的特征热图像,从图4可以明显地看出B、R两张单通道图片包含了大量背景特征,而G通道图片无任何背景特征。

2.2 转动副特征热成像词频特征提取

首先,提出基于视觉词袋模型的特征热图像的词频矩阵提取方法,包含以下3个步骤:

(1)采用SIFT(scale invariant feature transform)算法提取特征热图像数据集的SIFT特征作为构建词频矩阵的特征元素。

(2)基于K-means聚类方法,将全部SIFT特征聚类为K个视觉词,这K个视觉词组成视觉词典。首先,随机从全部SIFT特征中选择K个作为簇心;接着计算每个SIFT特征到簇心的余弦距离,按照距离最近原则将SIFT特征划分为K个簇;然后将每个簇中的SIFT特征的均值作为这个簇的新簇心,重新计算每个SIFT特征到新簇心的余弦距离,按照距离最近原则重新将SIFT特征划分为K个簇;重复以上步骤,直至最后一次更新簇心与上次簇心一致,即完成聚类,最终聚类出的K个簇心即是K个视觉词。

(3)每张特征热图像中的SIFT特征可用一个视觉词来近似替代。因此,统计每个视觉词在每一张特征热图像中出现的次数,即可统计出每张特征热图像的词频。每张特征热图像可以用词频来表示,所有图像的词频构成词频矩阵D。词频矩阵示意图如图5所示。

然后,构建由一个输入层、两个隐含层、一个输出层组成的多层感知机来提取词频矩阵的词频特征,如图6所示。输入层是词频矩阵D,隐含层与输出层的输出特征可表示为:

(2)

式中:xi(i=1,2,…n)表示输入量;wi(i=1,2,…n)表示输入量对应权重;b0表示偏置;R表示激活函数Relu,hw,b(x)表示每层的特征输出。

2.3 嵌入注意力机制的转动副特征热图像特征提取

卷积注意力模块(Convolutional Block Attention Module,CBAM)是一个将通道注意力机制和空间注意力机制互补结合的混合软注意力机制,应用于转动副热成像特征提取,能够有效地改进中间特征[12]。由于特征热图像是单通道图片,通道注意力机制在提取特征热图像的特征时不起作用,只有空间注意力机制起作用。

空间注意力机制对特征的位置信息敏感。卷积神经网络过程中产生的特征图F作为空间注意力模块的输入,求取最大池化与平均池化组成一个新的特征矩阵后通过一个7×7大小的卷积核进行卷积操作,最后使用Sigmoid函数激活。式(3)是空间注意力的表达式:

Ms(F)=σ(f7×7([Avgpool(F);Maxpool(F)])),

(3)

式中:f7×7函数表示的是以7×7的卷积核进行卷积操作;Ms(F)表示特征图的空间注意力,Ms(F)与F对应元素相乘后便是对特征图加入了空间注意力。

F′=MS(F)⊗F。

(4)

式中F′表示通过空间注意力机制加权过后的特征图。

结合空间注意力机制构建的含间隙转动副特征热图像特征提取的CNN网络如图7所示,根据CBAM自身轻量模块的灵活特性,CBAM可加入卷积神经网络中任意隐含层之中,本文将其放在最后一层隐含层之后,用此网络结构来高效的提取转动副间隙热图像的特征。

2.4 基于特征融合的转动副间隙监测

多数据融合可分为数据层融合、特征层融合和决策层融合3个层次[13],是提升监测精度,增强监测效果的有效手段。然而,多数据融合也意味着需要采用多种数据采集设备,而在有些特定情况下无法安装多种数据采集设备。因此,本文提出对同一转动副红外热成像数据的不同特征进行融合的特征融合方法。

特征融合一般有concat和add两种融合方式。concat方式是特征通道数的相加,即描述特征的维度增加。add方式不增加描述特征的维度,而是原先维度下描述特征的信息量增加。由于add方式的特征融合,相当于对原始描述特征的信息进行人工加工。因此,本文采用concat的方式对词频特征和特征热图像特征进行融合,以此最大限度地保留提取的原始特征。词频特征与特征热图像特征的融合过程如图8所示,图中W、H、C分别表示特征图的宽(width)、高(height)、通道数(channel)。在得到融合特征后,采用全连接层和Softmax分类器构建如图8所示的转动副间隙监测模型。

3 实验验证

3.1 实验平台

为验证提出的转动副间隙监测模型的有效性,考虑到曲柄滑块机构的代表性,搭建如图9所示的曲柄滑块机构转动副间隙故障模拟实验台,该实验台的转动副由曲柄销轴和深沟球轴承组成。其中,深沟球轴承视为标准件,通过配置不同尺寸的曲柄销轴达到自行设置转动副间隙大小的目的。实验共设置10组转动副间隙大小,分别是:0 mm、0.1 mm、0.2 mm,0.3 mm、0.4 mm、0.5 mm、0.6 mm、0.7 mm、0.8 mm、0.9 mm,实验台其余连接部分间隙视为理想状态。采用红外热像仪Germany InfraTec(VarioCAMhr head 780)采集转动副红外热图像。表1给出了红外热成像仪和实验台中电机的具体参数。

表1 设备参数信息

3.2 实验结果

在相同电机转速,室温22℃等相同条件下,通过红外热成像仪采集10组不同间隙大小的转动副红外热成像,组成转动副原始红外热图像数据集,共2 056张红外热成像。10组不同间隙大小的转动副原始红外热图像及提取的特征热图像如图10所示。

3.2.1 特征热图像的有效性分析

为验证特征热图像的有效性,将原始红外热图像数据集提取为特征热图像数据集,然后采用结合CBAM模块的CNN网络分别对原始红外热图像数据集和特征热图像数据集进行分类训练。其中75%作为训练集,25%作为测试集。为避免偶然性,提高鲁棒性,定义每个模型的测试准确率为运行平稳之后的后50代测试准确率的平均值,分别对两种数据集训练10个模型,10个模型的测试准确率对比如图11所示。对两种数据集分别用一个模型为例展示训练和测试过程,如图12a和图12b分别表示采用原始热图像数据集和特征热图像数据集进行转动副间隙监测的训练和测试准确率。

由图11可以看出,采用特征热图像数据集的监测准确率显著高于采用原始红外热图像的监测准确率。其中,采用特征热图像数据集的监测平均准确率为93.06%,采用原始红外热图像的监测平均准确率87.44%,采用特征热图像数据集监测准确率提升了5.62%,可见采用本文提出的特征热图像有效提升了监测的准确率。

3.2.2 基于融合特征的转动副间隙监测方法的有效性分析

以视觉词典中的视觉词数量是2 000为例。首先,通过本文建立的视觉词袋模型提取特征热图像数据集的词频矩阵D,

(5)

将词频矩阵与特征热图像组成混合数据集且两者共享标签,其中75%作为训练集,25%作为测试集,混合数据结构如图13所示。

通过MLP获取混合数据集中词频矩阵的词频特征,通过结合CBAM模块的CNN网络提取转动副特征热图像的特征。融合两种特征后,通过softmax分类器对融合特征进行分类,达到监测转动副间隙大小的目的。

对特征热图像数据集和混合数据集进行对比实验。定义平均测试准确率为训练的5个模型的测试准确率的平均值。其中,混合数据集以词频特征和特征热图像特征融合比例1∶1为例,分别对特征热图像数据集和混合数据集训练5个模型。测试准确率对比图如图14所示,从图14可知,混合数据集中词频矩阵提取的词频特征与特征热图像提取的特征在1:1的融合比例下,对转动副间隙的监测准确率要优于仅使用特征热图像数据集。

为了进一步分析视觉词数量的不同以及词频特征和特征热图像特征融合比例的不同对实验结果的影响,本文设置了1 000、2 000和4 000三组视觉词数量,又分别在每组视觉词数量下设置词频特征和特征热图像特征8种融合比例,分别是:1∶5、2∶5、4∶5、5∶5、6∶5、8∶5、10∶5、20∶5。如图15所示为1000、2000和4000三组不同数量的视觉词下,词频特征与特征热图像特征8种融合比例的平均测试准确率对比。

由图15可知,在视觉词设置为4 000个,特征融合比例为2∶5时,平均测试准确率最高为96.81%。在视觉词设置为2 000个,特征融合比例为10∶5时,平均测试准确率最低为93.66%,而仅采用特征热图像特征数据的平均测试准确率是93.06%。

根据以上分析,可以得出结论:在综合考虑了视觉词的不同数量、词频特征与热图像特征的不同融合比例这两种变量的情况下,本文提出的融合特征监测方法仍具有稳定的优于单一特征的间隙监测准确率,验证了本文提出的转动副间隙监测方法的有效性和鲁棒性。另外需要注意的是,模型训练阶段,词频特征与热图像特征比例达到8∶1或更高时,模型容易陷入如图16所示的局部最优解,损失值降低到0.6左右,便不再下降。

4 结束语

为了准确便捷地监测转动副的配合间隙,本文提出一种融合词频特征和特征热图像特征的转动副间隙监测模型,本研究的主要创新点包括:

(1)基于提出的欧式-通道分离法来提取转动副的特征热图像,通过对特征热图像数据集与原始热图像数据集的对比实验,验证了特征热图像的优势。

(2)构建视觉词袋模型提取特征热图像的词频矩阵,将词频矩阵与特征热图像构成混合数据集,分别通过MLP和结合CBAM的CNN网络对混合数据集中的词频矩阵与特征热图像进行特征提取并融合。

(3)设计和搭建转动副间隙监测实验台,实验结果表明,采用混合数据集比单一使用特征热图像数据集的准确率要高,且一定范围内不同的融合比例和词频矩阵大小对准确率的影响较小。

本文采用热成像来监测转动副间隙,后续拟结合转动副运行的动力学特征进一步提高间隙监测的精度和鲁棒性。