基于局部形状特征和Bag-of-Feature模型的磨粒图像形状特征提取∗

2021-05-25鲁华杰

舰船电子工程 2021年4期

鲁华杰张伟刘涛

（1.海军航空大学岸防兵学院烟台 264001）（2.海军航空大学职业教育中心烟台 264001）

1 引言

磨粒分析是一种重要的机械系统状态监测方法，设备润滑系统中的磨粒反映了机械设备内部的磨损情况，是设备磨损状况的重要信息载体［1］。磨粒图像分析技术是将计算机图像处理技术和磨粒分析相结合，促进了磨粒分析向智能诊断方向的发展［2］，通过对得到的磨粒图像进行分析，提取磨粒的形状特征、纹理特征和颜色特征等，进而根据这些特征对磨粒类型进行识别，从而判断机械系统的磨损情况。

磨粒图像的形状特征是判断磨粒类型的一种重要依据，同时认知心理学方面的研究也表明，形状相比于颜色和纹理，在人类视觉感知中起着非常重要的作用。通常图像形状特征的提取方法主要分为两类［3］：一是基于轮廓的形状特征，如形状签名、傅里叶描述子和边界矩等；二是基于区域的形状特征，如不变矩、Zernike矩和通用傅里叶描述子等。上述的方法提取图像中物体的形状特征时，一般是根据物体的整体轮廓和整体区域，而人类视觉系统倾向于将物体分解为多个视觉部件，并根据视觉部件的特征以及视觉部件之间的关系来描述物体的形状［4］。

基于此，本文提出了一种基于局部形状特征和BoF（Bag-of-Features）模型［5～6］的磨粒形状特征的提取方法。首先构建磨粒区域的骨架，并根据相邻骨架端点对和骨架分支对将磨粒轮廓和磨粒区域划分成不同的片段和子区域，分别称之为轮廓基元（contour primitives）和区域基元（region primitives）；然后相邻的不同数量的轮廓基元和区域基元组合，构成不同的局部轮廓（local contour）和局部区域（local region），并分别根据基于轮廓和区域的形状特征提取方法，得到局部轮廓和局部区域的形状特征，两者融合构成磨粒的局部形状特征集合；最后依据BoF模型的思想，根据训练集所有磨粒样本的局部形状特征集合构建视觉词典，经过的特征编码、特征汇集和归一化，得到局部形状特征集合的编码向量。以编码向量作为磨粒的形状特征，对磨粒类型进行识别。

2 磨粒局部轮廓和局部区域构建

现有的图像形状分解方法一般分为三种：基于轮廓的方法、基于形状区域的方法和综合方法。其中形状的骨架综合利用形状的轮廓和内部区域信息，广泛用于形状的分解及表示。但是构建骨架时对形状轮廓的细微变化较为敏感，为此学者们提出了很多的改进方法，减少骨架的毛刺，使得骨架能够更加有效、合理地分析形状。Bai等［7］提出了采用离散曲线演化的方法简化骨架，取得了较好的效果，本节采用文献［7］中的方法构建磨粒区域的骨架。然后根据磨粒的骨架构建磨粒的局部轮廓和局部区域。

设磨粒区域为R，构建的磨粒区域骨架的端点集合和分支集合分别为e=(e1，e2，…eT)和b=(b1，b2，…bT)，磨粒的轮廓基元CP(m)和区域基元RP(m)分别为相邻的骨架端点对(ei，ej)之间的轮廓片段cij和相邻骨架分支对(bi，bj)之间的子区域rij，则

相邻的不同数量的轮廓基元和区域分别组合，可以得到反映不同尺度轮廓特征和不同尺度区域特征的局部轮廓LC(n)和局部区域LR(n)，则

图1所示为磨粒图像、骨架、局部轮廓和局部区域，其中图1（a）、（e）、（i）分别为严重滑动磨损磨粒、粘着磨损磨粒和疲劳磨损磨粒的二值图像，图1（b）、（f）、（j）分别为三种磨粒的骨架，图 1（c）、（g）、（k）分别为构建的三种磨粒的部分局部轮廓，图1（d）、（h）、（l）分别为构建的三种磨粒的部分局部区域。

图1 磨粒图像、磨粒骨架、部分局部轮廓和部分局部区域

3 磨粒局部形状特征提取

通过构建磨粒的骨架，得到磨粒的局部轮廓和局部区域之后，根据基于轮廓和基于区域的形状特征描述方法，分别提取磨粒局部轮廓和局部区域的形状特征，最后融合磨粒的局部轮廓特征和局部区域特征，得到磨粒的局部形状特征集合。

3.1 磨粒局部轮廓形状特征

根据磨粒局部轮廓的中心距离函数，计算局部轮廓的边界矩和傅里叶描述子，作为磨粒局部轮廓的形状特征，并且边界矩［8］和傅里叶描述子［9］都具有平移、旋转和尺度不变性。

中心距离函数为形状轮廓点到形状质心的距离：

其中：x(i)和y(i)为局部轮廓点的坐标，gx和gy为形状质心的坐标。

以前3阶归一化的矩和中心矩作为磨粒局部轮廓的边界矩特征BM，则

磨粒局部轮廓的傅里叶描述子FD为

3.2 磨粒局部区域形状特征

提取磨粒局部区域形状特征时，以区域矩［10］和通用傅里叶描述子［11］作为磨粒局部区域的形状特征，其中区域矩包括不变矩、Zernike矩和伪Zernike矩等，本节采用具有平移、旋转和尺度不变性的7个不变矩作为局部区域的区域矩特征。

以7个二维不变矩作为磨粒局部区域的区域矩特征RM，则

具有平移、尺度和旋转不变性的通用傅里叶描述子GFD为

3.3 磨粒局部形状特征

设磨粒共有N个局部轮廓及对应的局部区域，则第i个局部轮廓的形状特征及对应的第i个局部区域的形状特征融合构成磨粒的第i个局部形状特征xi，则

式中：d表示特征的维数。

N个d维的局部形状特征构成磨粒的局部形状特征集合X，则

4 基于BoF模型的形状特征表示

BoF（Bag of Features）模型是由 Li Fei-Fei和Sivic等将文档检索领域的BoW（Bag of Words）模型应用到计算机视觉领域发展起来的，已经在图像检索、场景分类、动作识别和物体识别等领域得到了广泛应用。BoF模型的思想是先提取训练集合图像的局部特征，然后采用聚类的方法对所有局部特征进行聚类，以得到的聚类中心作为图像的视觉单词，所有的视觉单词构成图像的视觉词典，或称为码本。最后根据局部特征与视觉单词之间的映射关系，对图像的局部特征进行特征编码和特征汇集，最终得到图像的编码向量。

4.1 构建视觉词典

根据磨粒局部形状特征提取方法，可以得到训练集中所有磨粒图像的局部形状特征集合X，然后根据所有的局部形状特征构建视觉词典。目前构建视觉词典一般采用聚类的方法，其中k-means聚类方法因其简单和有效，得到了广泛应用，将具有最大相似性的局部特征归为一类，以得到的聚类中心bi作为视觉单词，M个视觉单词组合构建视觉词典B=[b1，b2，…，bN]∈Rd×M。

4.2 特征编码

视觉词典构建完成之后，就需要将d维的局部特征根据视觉词典转换成M维的编码，即对局部特征进行特征编码。局部约束线性编码［12］在计算机视觉领域的应用中取得了瞩目的效果，根据局部性原理，它在对局部特征xi编码时不是采用所有视觉词典B的作为基，而是以B中k个最近邻作为局部基来进行特征编码。经过特征编码之后，得到磨粒的局部形状特征编码集合C=[c1，c2，…，cN]∈RM×N，其中ci表示局部形状特征xi的编码向量，cij表示视觉单词bj对局部形状特征xi的编码。

4.3 特征汇集

由于不同的磨粒构建的骨架不相同，导致不同磨粒得到的局部轮廓和局部区域的数量也不相同，进而不同的磨粒其局部形状特征的个数也不相同。因此即使基于相同的视觉词典对所有磨粒的局部形状特征进行编码，由于编码向量的维数不同，不能直接用于磨粒类型识别。这就需要对特征编码向量进行特征汇集，使得每个磨粒图像的局部形状特征汇集成维数相同的特征编码向量。

经典的特征汇集方法包括求和汇集、平均汇集和最大汇集，其中采用最大汇集的方法得到的结果比求和汇集和平均汇集的结果更好［13］。对于某个磨粒的N个局部形状特征的编码矩阵C，其最大汇集为

最后采用CX的2范数‖CX‖2对CX进行归一化，得到CX=CX/‖CX‖2。对CX经过特征汇集和归一化之后，每个磨粒的编码向量CX都是一个M维的向量，仅与用来进行特征编码的视觉单词的个数M有关，而与每个磨粒中局部形状特征的个数N无关，因此可以利用特征汇集和归一化之后的M维的编码向量CX来表示磨粒的形状特征，进而根据这个编码向量对磨粒类型进行识别。图2（a）、图 2（b）和图 2（c）分别为图 1（a）、图 1（e）和图 1（i）所示磨粒直方图表示的归一化后的编码向量。

图2 磨粒编码向量

5 磨粒类型识别

以某型导弹发射车发动机为监测对象，获得其润滑系统中磨粒的图像之后，根据磨粒的特点对其分类，本文对其中的严重滑动磨损磨粒、粘着磨损颗粒和疲劳磨损磨粒进行类型识别研究。每种类型的磨粒分别获得30个样本，将这90个样本随机分成两部分，60个用于训练，30个用于测试。首先构建磨粒样本的骨架，根据骨架得到磨粒样本的局部轮廓和局部区域，并提取磨粒样本的局部轮廓形状特征和局部区域形状特征，所有的局部轮廓和区域形状特征融合构成磨粒样本的局部形状特征集合。然后采用k-means聚类方法，根据训练集所有磨粒样本的局部形状特征构建视觉词典，经过特征编码、特征汇集及归一化得到训练集和测试集所有磨粒样本形状特征的编码向量。最后采用多级支持向量机的方法［14］，根据磨粒形状特征的编码向量对磨粒类型进行识别，并与其它形状特征提取方法做比较。表1为基于形状特征的磨粒类型识别实验结果。

表1 磨粒类型识别实验结果

由表1可以看出，本文提出的基于BoF模型的磨粒形状特征提取方法，在磨粒类型识别实验中的结果都要优于其他几种常用的形状特征描述方法。由于本文在提取磨粒的局部形状特征时，综合了不同尺度的磨粒的局部轮廓和局部区域形状特征，能够充分反映磨粒的整体和局部特征，以及轮廓和区域的形状特征。同时根据BoF模型的思想，磨粒的局部形状特征经过特征编码、特征汇集和归一化后，得到单一的编码向量，能够很好地简化磨粒的形状特征，提高磨粒类型识别的准确率。