铁谱磨粒图像多焦点融合算法研究

王涵，左洪福，刘珍珍，费航，苏岳

(南京航空航天大学民航学院，江苏南京 211106)

旋转机械设备在运行过程中，时时刻刻都在发生着磨损行为，而当磨损量达到一定程度时，机械设备就会发生故障。为了监测设备的磨损情况，铁谱分析技术也就应运而生。铁谱分析是一种利用磁铁将油液中的磨粒沉积到谱片上再利用显微镜对谱片上的磨粒进行观察分析的一种技术[1]。其中铁谱磨粒图像分析技术是对设备磨损颗粒进行检测的关键技术[2-3]。由显微镜观测到的颗粒图像受限于图像采集过程中的景深限制等原因，在高倍率下观测到的大颗粒往往会出现局部模糊的现象[4]。因此，对于大颗粒的观测往往会采用采集同一颗粒的多焦点图像再进行焦点融合的手段。目前普遍采用的基于小波的铁谱图像融合方法[5]，对于图像的边缘融合效果欠佳。本文作者设计并改造出了一台四轴自动扫描显微镜，通过对多焦点图像的自动扫描，应用一种基于相位一致性的铁谱磨粒图像多焦点融合算法，对自动扫描的多焦点图像进行融合，最终得到清晰的磨粒图像。

1 自动聚焦扫描铁谱仪

文中的显微镜铁谱观测系统采用的相机为大恒Mer2-502-79型，相机分辨率为2 448×2 048，显微镜采用5倍、10倍、20倍、50倍可转换物镜。

1.1 景深计算

当采用工业相机对显微镜的图像进行采集时，只有一定高度范围内的物体能在物镜的放大作用下获得清晰的成像，这个高度范围就是常说的景深。而景深又分为几何景深和物理景深。

当观测物体刚好位于对准面时，成像会刚好位于相机CMOS接受面，而当观测物体位于对准面之前或之后时，相应的成像则也会位于相机CMOS接受面之前或之后，而此时在相机CMOS接收器上则形成一个弥散圆。当弥散圆直径等于相机COMS极限分辨率时，此时的物平面距离对准面之间的距离就被定义为几何景深。图1为几何景深原理图。平面1为对准平面，1″为相机CMOS接受面，平面2为物平面，2″为像平面。

图1 几何景深原理

几何景深的计算公式如式(1)所示[6]。

(1)

式中：n为物方折射率；e为相机COMS极限分辨率；M为系统总的放大倍率；Neff为物镜的有效数值孔径。

由于光的衍射效应，点光源经过透镜后在CMOS接受面上的成像会形成艾里斑，即一个三维的不同强度的光能分布。物理景深是指当物像移动距离引起的接收器上的光强变化不超过20%时的距离。图2为物理景深原理图。

图2 物理景深原理

物理景深的计算公式如式(2)所示[7]。

(2)

式中：λ为光波波长。

研究发现，由相机CMOS成像的显微镜系统的实际景深由式(3)计算得出。

(3)

式中：a为CMOS平面最小分辨距离，计算公式如式(4)所示。

(4)

b为CMOS的基本像元尺寸，相机COMS极限分辨率e与基本像元尺寸b之间的关系式如式(5)所示。

e=2×b

(5)

研究表明，电子目镜显微镜的景深为物理景深与几何景深两者中的最大值[8]。

文中铁谱监测系统所采用的50倍物镜的数值孔径为0.75，相机COMS极限分辨率为7.9 μm，计算得到整个系统的物理景深为1.3 μm，几何景深为0.3 μm，则该监测系统的实际景深为1.3 μm。

1.2 自动扫描铁谱系统

文中设计并构建出的四轴电控铁谱显微观测平台如图3所示，该观测系统由计算机、高清工业相机、四轴电控光学显微镜及其控制部件等组成。

图3 四轴电控铁谱显微观测系统

图4所示为显微镜四轴移动平台及其控制部件实物图，四轴移动平台包括物镜自动转换器和X、Y、Z三轴移动载物台，控制部件包括控制器和手动摇杆。

图4 显微镜四轴移动平台

图5所示为显微镜控制部分机械部件及连接线图。水平方向移动马达和垂直方向移动马达通过马达控制信号线与控制器相连，物镜转换器通过物镜转换控制线与控制器相连。控制器分别和手动摇杆以及计算机相连，因此既可以通过手动摇杆又可以通过计算机里的控制软件，实现对四轴电控显微镜的载物平台移动和物镜切换的控制。

除了通过手动摇杆手动控制显微镜的载物平台移动和物镜切换以外，系统还支持通过图6所示计算机软件设置相关参数的形式对其进行控制。图6为其控制软件截图，图6(a)所示为扫描速度、平台移动及物镜切换控制面板，可以实现对载物平台的前后左右上下移动控制、移动速度设置、物镜切换控制。图6(b)所示为铁谱片扫描的各方向个数及步长软件设置面板，可以实现铁谱片单次扫描过程中的各个方向上的移动步长及次数的设置。

图6 控制软件

2 多焦点铁谱图像融合算法

文中提出一种基于相位一致性[9-10]的多焦点铁谱图像融合方法。对于多焦点图像融合算法，要求在图像中选取聚焦最好的区域，再将这些区域进行融合。焦点评价(focus measure，FM)和融合规则(fusion rule，FR)是大多数图像融合方法中的2个主要组成部分。通常，融合方法分为空间域方法和变换域方法[11]。2个域中的共同假设是，依据检测强度的局部和急剧变化找到聚焦区域，FM提供聚焦检测度量。

2.1 铁谱磨粒图像融合

基于相位一致性的铁谱图像融合方案如图7所示。假设只有一幅输入图像的聚焦位置提供最有用的信息。通过使用公式(6)计算相位一致性矩阵，并将其用作输入图像的评价函数。评价函数矩阵的大小与输入图像的大小相同。将图像划分为不同的块，创建二进制决策图以从输入图像中选择像素，并通过使用多数滤波器来应用一致性验证。通过该融合规则，大多数聚焦点主要像素被合并到输出图像中。

(6)

图7 图像融合方案

式中：o表示方向上的索引；⎣⎤表示当值为正时封闭量等于自身，否则为0；Wo(x)是滤波器响应扩展值的权重函数；To是估计的噪声影响；ε是一个小的常数，以避免被零除；Ano(x)是位置x处第n个傅里叶分量的局部振幅；ΔΦno(x)是其余弦项。

由于聚焦对象由一系列相邻像素而不是单个像素表示，因此文中将FM矩阵划分为小块。相应地，决策图用Kronecker乘积展开。例如，如果Db是2×2矩阵，W2是一个全1的2×2的矩阵，那么Kronecker乘积Dp是4×4矩阵。计算过程如式(7)所示。

(7)

图像融合方案可以概括为以下七步过程：

步骤1：归一化由IA(x，y)和IB(x，y)表示的2个输入铁谱图像到[0，1]的范围。

步骤2：计算输入铁谱图像的焦点评价函数FM。

步骤3：将FM矩阵划分为不重叠的8×8块，并将每个块中的平方值相加以生成特征矩阵。

步骤5：使用多数滤波器平滑处理矩阵D(p，q)。

步骤6：通过使用Kronecker乘积展开决策图Db(p，q)至Dp(p，q)。

步骤7：使用决策图Dp(x，y)从原始输入铁谱图像中选择像素以获得融合铁谱图像。

2.2 图像融合质量评价方法

对于经过焦点融合算法处理之后得到的图像，需要对其焦点融合效果进行客观评估。图像融合质量评价方法可以分为基于图像梯度的清晰度评价函数、基于频域评价函数、基于信息熵评价函数以及基于统计学评价函数，其计算公式如表1所示。

表1 图像清晰度评价指标[12-14]

表中，f(x，y)表示在索引(x，y)处对应像素点的灰度值；G(x，y)是像素点(x，y)处的梯度；C(μ，v)代表余弦变换的变换系数矩阵；P(μ，v)表示f(x，y)的傅里叶变换；Pk(g)表示在第k幅图像中灰度值g出现的概率；Hk表示灰度级为k的直方图值。

上述评价方法包含了图像像素间关系的指标以及图像整体评价的指标。图像梯度是通过计算相邻像素间的梯度值，可以看成是图像像素间关联性的一种评价指标，清晰锐利的图像相较于离焦模糊的图像在图像边缘像素会有更强的变化，因此具有更大的梯度值。图像频域评价是考察图像的频率分量，对焦清晰的图像高频分量较多，对焦模糊的图像低频分量较多。信息熵评价主要反映的是图像信息的整体丰富程度，清晰图像相较于离焦图像，图像整体具有分布更广的灰度值区间，由于灰度值之间差异较大，因此清晰图像的熵值更大，而离焦图像的熵值相对更小。在基于统计学的图像评价函数中，Range函数是对灰度直方图的统计量比较，Vollaths函数则是反映的空间两点的相似性，清晰图像由于图像边缘更加锐利，因此相较于离焦图像像素点间的相关程度更低。

3 实验及结果分析

取某发动机润滑油油样，使用铁谱仪进行制谱，并使用上述自动聚焦扫描显微镜进行图像采集。由计算可知该系统使用50倍物镜时的景深约为1.3 μm，设置显微镜垂直方向扫描步长为2 μm，进行4次垂直方向聚焦扫描，最终得到如图8所示的4张不同焦点铁谱磨粒图。

从图8中可以看出，磨粒图像边缘具有较高的梯度值，因此使用基于Canny算子的磨粒边缘检测算法，分割磨粒和背景，对磨粒进行提取，去除铁谱磨粒图中的背景。提取后的多焦点铁谱磨粒图如图9所示。

图9 多焦点铁谱磨粒提取图

首先采用图像融合领域常用的小波融合算法[15]对图9中的4幅多焦点磨粒图依次进行融合处理，所得到的小波融合最终结果图如图10所示。可以看出，小波融合图像相较于单张原始磨粒图像具有更加清晰的中心锐度，但磨粒边缘位置还是存在较为模糊的情况。

图10 小波融合图像

然后使用文中所提出的基于相位一致性的多焦点铁谱图像融合方法对多焦点磨粒图像进行图像融合，最终得到PC融合结果如图11所示。单纯通过主观感知比较图10与图11可以看出，PC融合图像相较于小波融合图像具有肉眼可见的更高的清晰度，无论是磨粒中心的锐度还是磨粒边缘的聚焦度，PC融合图像均具有更佳的视觉效果。

图11 PC融合图像

为了对磨粒融合图像的融合质量进行客观评价，计算了表1中所提出的10种评价指标值，对这些值进行归一化处理，最终图像质量评价结果如图12所示。图中横坐标1—4分别代表图9中的4张不同焦点磨粒图像，5表示小波融合图像，6表示PC融合图像。图中结果是对原始图像及融合图像质量的客观评价，可以看出，小波融合图像和PC融合图像较原始图像质量均有显著提升。其中PC融合图像的这10种图像质量评价指标均为最高值，即经过PC融合算法处理之后，图像具有最高的图像清晰度，从而验证了文中所提出的图像融合算法的有效性。进一步计算可得出PC融合相较于小波融合精度提升了约14.6%。

图12 图像质量评价结果

4 结论

设计并改造出了一台四轴自动扫描显微镜，可进行多焦点图像的自动扫描。提出了一种基于相位一致性的铁谱磨粒图像多焦点融合算法，对自动扫描的多焦点图像进行融合，最终得到清晰的磨粒图像。该算法相较于传统的小波图像融合算法，具有更高的图像融合质量，且边缘更加清晰。在未来的工作中，将尝试将此套多焦点采集系统及图像融合算法应用于通用的目标物多聚焦场景中，采用标准高度的对象进行标定和质量评估，并与共聚焦显微镜等成熟技术进行对比，扩展文中所提出系统以及技术的通用性。