油液监测技术中磨粒图像处理的研究进展

闫建颖，曹蔚，韩昭，陈子琦，王栋，瞿金秀，张曼

(1.西安工业大学机电工程学院，陕西西安 710021；2.陕西省水利电力勘测设计研究院，陕西西安 710001)

0 前言

长久以来，机械作为基础产业在工业化生产和人类生活中起到了至关重要的作用，而机械的磨损也一直是关乎机械使用功能及年限的重要问题。油液监测是一种用来判断机械设备磨损状态的方法，能够通过对油的特性和磨损粒子的分析来判断机械的磨损情况，并对机械设备、部件的健康状态进行评估，进一步预测设备在实验过程中可能发生的故障，以此来分析如何延长设备的寿命。其中通过观察和分析油液中磨粒的形态特征、数量、面积、颜色等来表征磨损过程的方法，能够充分了解磨损机制。计算机技术与油液监测技术的结合更加推动油液监测技术走向了新的阶梯。

1 油液监测技术

分散于油液中的磨粒作为机械零部件表面相对运动的产物，蕴含了丰富的机器状态的信息。通常，使用油液监测技术的两种方法即在线监测和离线监测来观察磨粒。离线监测中主要技术有光谱、铁谱、能谱分析和自动颗粒计数。其中铁谱分析技术在1977年被引入中国，随后大大增进了对磨损机制的了解。但总体来说离线油液监测是在实验过程中采集样品后进行分析，这个过程中存在大量人为因素，将导致实时性较差。在线监测将传感器或传感探头安装在系统内，可实时采集信息。故离线监测相对而言比在线监测稍有劣势。在线监测由于其实时性、连续性以及与被监测对象健康状态的同步性成为研发热点，得到迅速发展。在线监测的主要技术有电学在线监测仪、光学测量、磁性测量。电学在线监测仪分为电阻式和电容式两种。电阻式监测仪是依靠油液中各种物质电阻率的不同来反映油液中的物质类型，但其缺点是需要油液中存在大量的磨粒。电容式监测仪是采用各种不同物质介电常数的变化幅度与曲线对磨粒类型和数量进行预测，但其缺点是检测后仪器表面留下的油膜将影响实验的精度。光学测量技术对油液品质要求较高，且对相似物质的分辨率不高。目前大多研究者使用的是磁性测量技术，它采用磁场的磁力来采集磨损过程中产生的铁磁性磨粒。为进一步改进该技术，文献[6-7]中加入微流控技术来简单化采集过程，如图1所示。把铁谱片更换为微流控芯片，就可不再受磁场强弱的影响，直接观察流道内的磨粒，提高了检测速度。但因在线监测中的润滑油颗粒是运动的，故捕捉到的动态图像大多是模糊的，这给之后的图像研究以及磨粒特征提取带来了困难，所以需进一步研究磨粒模糊图像的恢复。

图1 磨粒在线检测[6]

2 磨粒模糊图像的处理

在图像的模糊恢复中，文献[6-8]中先计算出模糊尺度后应用维纳滤波算法恢复模糊图像。维纳滤波算法计算简单且可避免模糊粒子的过度恢复及出现一些伪影。处理后的图像清晰度已有所提升，但磨粒边界处有一些虚影，磨粒的表面纹理仍不够清晰。在这方面，PENG、MA等也使用维纳滤波算法进行图像恢复，但PENG等主要研究局部模糊的图像恢复，用背景相减法将模糊粒子与静态背景分离后，利用功率倒谱确定模糊的方向和长度，最后采用维纳滤波算法对分割后的图像进行恢复。处理后的图像如图2所示，可看出图像的清晰度相对原图已有很大的提升，图像的边缘轮廓比较清楚，大致能看出磨粒表面的部分纹理。但是主要是处理了图像中的大磨粒，小磨粒大多被分割为两部分，且有一些变形。另外还有部分细节在以后的实验中需进一步改善：由于受噪声的影响，分割后的图像中可能会产生粒子和伪影的孔洞，应通过实时的背景更新来降低背景图像中的不相关噪声，所以该方法相对较适合高信噪比的图像。WU等针对低信息量磨粒图像的复原进行研究，用阶梯边缘模型来描述磨粒边界，提取两侧的局部内核来进行修复，试验了不同的运动特征，皆可得到更清晰的磨粒边界轮廓，最后根据最大的局部锐度对恢复的轮廓进行融合。在此过程中深入研究磨粒的形状和形态分析，提高了基于视频的磨粒分析的鲁棒性。

图2 PENG等模糊图像的恢复[9]

3 磨粒图像去噪

部分机械设备因摩擦、搅动等原因将导致油液温度的上升，随之油液中会产生很多的气泡。另外，由于设备光线强弱、通信连接等原因将使得采集的图像中包含很多的背景噪声。为消除这种噪声对图像质量和信息提取的影响，在采集到磨粒图像后，江良洲等对图像先进行小波变换，再使用二维小波分解重构来构造低频与高频4组图像分别进行处理，最后对低频图再进行小波变换往复构造直到去噪完成。这种方法考虑了图像的细节信息，但是小波去噪主要适用于处理高斯噪声，适应性不够全面。

CAO等将输入信号分解成离散的子信号模式，使用完全非递归的2D变分模型来分解模型(2D-VMD)，采用同时提取的方式，寻找2D模式及其各自的中心频率，分解的子模态能够更好地保留磨粒图像的边缘信息等细节信息，较好地去除了图像左右两边的边缘噪声。

4 磨粒图像分割

模糊图像恢复提升了视频采集图像中磨粒的整体清晰度，图像去噪去除了静态磨粒图像中的背景噪声，在以上基础下之后的处理更方便。又因磨粒在油液中流动及磁场的磁力等原因使得磨粒沉积，最终采集到的大多是沉积在一起的磨粒，这样不便于分析磨粒的一些特征。因此，在尝试提取磨损部件的特征参数进行形貌分析和识别之前，需将磨粒进行分割，同时也为下一步的特征提取做好准备工作。磨粒图像分割的方法大致有阈值分割、聚类分割、分水岭分割、边缘分割等。

4.1 阈值分割

文献[14-16]对自动阈值分割进行过研究。张学丽等通过比较像素点颜色饱和度与设定阈值的大小来自动分割磨粒图像，小于的转换为白色图像，即为磨粒图像，大于或等于的转换为黑色图像。但在这种设定下处理图像时，可能会误分割像素点颜色饱和度大的磨粒，且不能有效辨识图像中可能产生的气泡等，影响了分割的效果。

在磨粒的分割中存在一种区域划分时误分割的问题。为尝试解决该问题，吴文艺等设定两次阈值，完成两次直方图阈值分割。第一次可消除较小结构暗细节，再进行第二次。但因为设备等外界因素将导致大多数磨粒图像中磨粒边界和背景间有一些模糊虚影。在改进该问题的研究中，樊红卫等提出一种三段式阈值分割方案。阈值分割相对比较简单，但是磨粒与背景之间的灰度值及每个磨粒的亮度均不同，阈值的选择可能会导致图像中的部分信息丢失或者划分不够准确。

4.2 聚类分割和分水岭分割

图像的聚类分割是基于颜色和特征空间的分类问题，常用的方法有K均值聚类算法(K-means)和模糊C均值聚类(FCM)算法。其中文献[19-22]中使用模糊C均值聚类算法进行处理。模糊C均值聚类算法能够较好地处理初始参数和噪声及灰度的不均匀，但不关注图像中的空间信息。研究者同样也采用了多种方法对K均值聚类算法进行研究，其中邱丽娟等提出选取各种形态和颜色的彩色图像，在颜色特征的基础上进行聚类分析与最大类间方差阈值分割，在图像分割后得到单个完整的磨粒，但在光线较弱或磨粒相对亮度低的区域中磨粒会与背景融合，这样就损失了部分磨粒信息，导致颗粒提取不完全，最终也将导致分割不完全。

为解决图像区域亮度分布不均匀或各个磨粒的颜色有差别的情况下磨粒没有完全被提取的问题，濮亚男、陈闽杰为把磨粒从背景中完全提取出来，提出在CIELab颜色空间(使用欧氏距离定量来表示不同颜色的差异)对a、b通道采用两次K-means聚类的方法；在分离磨粒与背景后，采用改进的分水岭算法及距离变换、扩展极大值变换把磨粒分割为单个，分割结果如图3所示。受该方法启发，在以后的研究中可根据磨粒提取的复杂程度来增加聚类的次数从而更准确地提取磨粒。此方法在图像背景纯净的前提下磨粒提取效果更佳，其中采用的改进的分水岭算法只对前景进行了标记。由文献[27]可知前景标记的分水岭分割方法能够较好地分割出含有严重不规则特征的图像。虽然在这个过程中减少了一些误分割，但在部分小磨粒中仍然可能出现一些误分割的现象。

为进一步改进分水岭算法在图像分割中的效果， KWOK等提出一种基于图像的磨粒颗粒分离方法，使用递归尺度分水岭分割。利用标记内外部分水岭算法对单个粒子进行分离，之后利用多尺度的形态腐蚀和膨胀操作进行二次处理，进一步分割粒子图像。如图4所示,采用的多尺度形态学与单一的形态学方法相比较，提高了粒子图像提取的完全性。

上述研究中磨粒链误分割的问题仍不能完全解决。为进一步实现磨粒的精确分段，WANG等尝试将两种分割方法相结合：即分水岭算法和改进蚁群聚类算法。在实验过程中提出两种方案。第一种是在改进的蚁群算法中输入磨粒的初始边缘点进行分割，分割结果如图5所示。实验结果表明：该方法可以提取出大部分磨粒的边缘，但假边缘和未闭合边缘的出现限制了该方法的应用。第二种方法是先采用标记-分水岭法对磨粒进行第一次分离，此时就出现了一些过度分割的区域，再利用改进的蚁群聚类算法来合并这些区域。在此过程中，将颜色特征和每个区域的位置特征作为启发式信息，同时对不满足聚类条件的磨粒沉积链区域不进行处理，如图6所示。该方法可适用于各种类型的磨粒，特别是较大的异常磨粒和颗粒链。

图3 磨粒与背景分割图对比[25]

图4 用在线图像演示完全集成的分离程序[28]

图5 方案一分割结果[29]

图6 方案二分割结果[29]

4.3 磨粒图像边缘检测

边缘是磨粒最重要的特征之一，能从中获取磨粒边界上的一些重要的信息，同时也可更加全面地考虑磨粒的分割问题。 HAMBLIN和STACHOWIAK研究过在多尺度上对磨损碎片边界的描述来提取磨粒的特征参数。FENG等使用形态黑帽来突出与背景颜色相近的磨粒，如图7所示。实际环境中，大多数铁谱图像的形状、颜色和噪声差异很大，极大地增加了边缘检测的复杂性，边缘根据磨损颗粒的类型及具体图像的形状而变化，边缘可能模糊、稀疏或缺少。通常使用Sobel、LoG和Canny检测器进行边缘检测。但使用Sobel时，对于表面有纹理的颗粒，会产生若干条假边，磨损颗粒的边缘不是单像素宽。在使用LoG时，将导致部分边缘丢失，同时产生一些假边缘。使用Canny时，边缘检测为单像素宽，但模糊的边缘将丢失，导致磨粒轮廓不连续、不闭合。在研究对比多种图像边缘分割方法基础上，左云波、谷玉海提出用改进的Sobel 算法从图像的8个方向来提取图像的边缘梯度，定义值，处理完所有的像素点后，选择大于值的面积区域为分割区域。该方法有效解决了可能出现若干条假边的问题且提取的图像也较完整。

但到目前为止，若使用单一的检测算法来处理铁谱图像则无法出现高质量的边缘。为对各种检测算法进行优缺点分析，WANG等提出了一种边缘评价综合指标,由三部分组成，包括重构相似度、置信度、边缘形态。该方法能够从边缘的各个角度及处理后的结果对磨粒边缘检测进行客观合理的评价，为研究者提供了一些数据上的参考。

图7 FENG等边缘分割图像对比[31]

5 磨粒的特征提取

对磨粒的研究归根到底是为了通过磨粒来分析机械设备的磨损程度。而在磨粒分割后，即可提取磨粒的特征。目前越来越多的研究者使用数值参数来提取磨损颗粒的特征，具体的数学描述使得对磨损状态的评价更加客观，进一步可以判断机器的运行状态、预测机器的使用寿命等。本文作者介绍的磨损颗粒的特征包括颜色、形状、形貌、面积等各个方面。其中磨损的严重程度可以通过分析磨粒颜色、面积参数来评估，但对于产生颗粒的磨损机制，形状分析是必需的。同时磨粒的表面信息也有助于对磨损程度进行分类。

5.1 磨粒的颜色特征提取

陈桂明等曾研究获得磨粒的颜色特征集，这些颜色特征集可用来分类实验过程中采集到的图像。当然，运用颜色特征也可以来识别磨粒的成分，包括铁质类磨粒、金属类磨粒和氧化物磨粒。而氧化物磨粒的颜色与氧化磨损的严重程度对应，即磨粒的颜色是氧化物磨粒识别的关键信息。文献[38]认为可以应用图像的颜色来区分氧化物磨粒类型，但是由于光线等因素，直观看到的色彩可能会存在一些误差。为此PENG等提出了一种用于在线氧化监测的磨粒颜色提取方法。彩色图像可以通过RGB和HSI两种模型来表示， R、G和B表示彩色图像的相应颜色通道中的像素，HSI模型可以从RGB模型转换而来。用R、G、B可以算出H、I，根据图8的对比标记，颗粒被分为3组，分别命名为黑色、红色或其他，即利用HSI模型的色相和强度分量进行氧化磨粒的分类。

图8 分割后的磨粒[39]

但是在线铁谱图像中的磨粒，特别是有色金属磨粒的弱颜色不可避免地与大量噪声融合。提取图像中的弱颜色是文献[40]讨论的问题。针对采样过程中不均匀光引起的噪声，从背景图像中减去色相和强度的分布，通过色相与强度分布的结合来表征磨粒的颜色。当在线监测图像清晰后，还可通过在线图像提取铜、铁、铝等典型金属颗粒的颜色。随着对颜色的深入研究，对磨损过程中可能发生的状况有了更加深入的了解，在实验初期可预测所使用的机械设备及环境下可能发生的磨损。

5.2 磨粒形貌特征提取

随着磨损模式的变化，磨损颗粒的形貌也将发生相应的变化。在磨粒形貌的研究中，想使用规则的数学模型描述特定的图像是困难的。PODSIADLO、STACHOWIAK提出PIFS(把磨损颗粒图像用一组分段定义的收缩仿射变换来表示)方法可以有效地表征磨损颗粒的形貌。

5.2.1 磨粒表面纹理的提取

磨粒的表面纹理显示了机械零件在摩擦过程中的磨损痕迹。磨粒表面纹理的产生与磨损机制、实验材料、实验过程等都有密切关系。基于纹理的分类方法在机械状态监测领域有很大的发展潜力。文献[44-46]用分形分析描述磨损颗粒表面的纹理，但分形分析不适合描述球体或切削磨粒的边界。文献[47-49]采用激光扫描共焦显微镜获得粒子图像表面信息。文献[50]研究的方法模仿了人眼在分析磨损颗粒图像时所看到的东西，用Canny检测器获取初始纹理种子图像，之后应用改进的随机霍夫变换来提取纹理基元，如线或圆，如图9所示。通过对这些纹理基元的统计，分析纹理图案的规律性和随机性，从而可有效地区分严重滑动、疲劳磨损颗粒和黑色氧化物。

图9 提取磨粒表面纹理基元[50]

5.2.2 磨粒形状特征提取

在磨损机制、接触方式、载荷等不同因素的影响下会产生各异的磨粒形态，形态也关系着磨损的严重程度。根据采集到的各异磨粒的形态特征可以划分为：正常滑动磨粒、严重滑动磨粒、切削磨粒、疲劳剥块磨粒、层状磨粒、球状磨粒等。严重滑动磨粒、疲劳剥块磨粒和层状磨粒相似度较高。文献[52]对不同来源的大量磨粒进行了分析，以确定其形状特征。KIRK等提出形状圆度的特征，圆形的圆度为一，其他不规则形状的圆度都较小。采用数字化粒子轮廓的傅里叶分析可测量粒子与圆度的偏差，从而统计磨粒的种类，分析磨损的状态。有学者曾尝试用各种谐波的振幅来代表不同的形状描述符，例如，三次谐波是粒子三角形的度量，而四次谐波是块状或方形的度量。文献[54]认为识别切削磨损的一个形状描述符是长宽比，对于长而薄的切削磨粒其长宽比的值应更大，通过比值的大小来统计切削磨粒的数量，推测磨损的严重程度。

5.2.3 磨粒三维特征提取

磨粒沉积后容易聚集，所以从单视图图像中提取的磨粒特征并不全面，通常提取的是磨粒的面积、周长等，而不规则的磨损颗粒的部分信息将因无法观察而丢失，如层状磨粒、严重滑动颗粒，它们在二维图像中均显示相似的形状和边缘特征，而层状粒子在三维图像中均显示出孔、皱纹和其他表面缺陷，严重滑动颗粒在表面显示平行的裂缝。文献[57-60]研究了三维磨粒图的构建。文献[61]通过从多个视图提取二维特征以构建三维特征。WU等提出了一种基于三维多视图的方法，提取粒子的展弦比、空间直径、高度展弦比、外球面等参数来拓展磨粒各个方位的观察，从而更好地识别粒子的类型。

6 总结与展望

油液监测系统中的磨粒图像处理技术在众多研究者的努力下越来越成熟，磨粒图像对于分析机器磨损程度和磨损机制起到了一定的作用。模糊图像恢复后基本呈现出清晰的图像，图像分割技术从在背景中分割单个磨粒图像发展到能够对沉积磨粒链中的大小磨粒进行有效的分割，考虑了磨粒边缘的重要信息，对磨粒的精确表达提供了很大的帮助。但磨粒图像处理仍有很多的挑战值得深入研究：

(1)目前运动模糊图像恢复后磨粒的表面纹理仍不够清晰，光照的反射可能会影响磨粒整体的呈现，可进一步研究新方法或尝试结合多种方法来提高清晰度。

(2)因实验环境等因素图像中也有可能夹杂加性噪声，区分噪声与磨粒至关重要。另外，应进一步考虑去除背景噪声时是否同时去除了磨粒上的噪声。可进一步通过借鉴稀疏矩阵方法再结合磨粒的特性，研究更加精确的磨粒图像去噪算法。

(3)目前在磨粒链的分割中，比较大的磨粒链分割效果较好。在磨粒链的分割过程中如何保留全部磨粒的有效信息，对磨粒图像中一些比较小的磨粒链，精准判断磨粒沉积的分割点且不产生过度分割，值得研究。

(4)充分利用磨粒三维视图提取更多的表面特征、空间特征等，拓展磨粒特征提取思路，从而更加全面地分析磨粒，进一步区分相近磨粒类型的不同特征，探索在不同工况磨损下可能出现的多种磨粒，最后结合磨损机制分析磨粒特征与健康状态之间的关系。