轨道巡检图像增强方法研究

杜馨瑜 程雨 顾子晨 王登阳

中国铁道科学研究院集团有限公司基础设施检测研究所，北京 100081

综合巡检车在高速铁路夜间维护作业，对扣件和塞钉进行巡检时，由于受外界环境影响，有时采集到的原始轨道巡检图像成像质量较差，影响地面中心智能分析的准确性。对于此类问题，可以通过相应的图像增强算法解决，如用于通用图像增强的直方图均衡（Histogram Equalization，HE）法［1］、用于电务轨旁设备巡检图像增强的改进Retinex算法［2］等。但轨道巡检图像在成像条件上不同于这两类图像，因此提出一种模仿视网膜神经节细胞（Retinal Ganglion Cell，RGC）的非经典感受野（non⁃Classical Receptive Field，nCRF）模型，模拟视觉机制对轨道巡检图像进行增强，进而提升智能分析的准确性。

对外部世界进行观察时，视觉刺激首先到达视网膜，再将这些光信号转换为生物信号，然后通过视交叉传输到外侧膝状核。最后，这些神经信号到达视觉皮层，使我们产生视觉感知。作为感觉单元，RGC的感受野（Receptive Field，RF）是具有中心区和外周区的区域。具有该结构的RF是经典的感受野（Classic Receptive Field，CRF），其机制原理［3］如图1所示。当光照射RF中心区时，RF的放电频率会增加；当光照射RF外周区时，RF的放电频率会降低。

图1 CRF的机制原理

李朝义等［4］发现CRF的外周部分是由许多抑制性亚基组成的，这些抑制性亚基对中心区进行抑制，同时亚基之间相互抑制，将其命名为nCRF（图2），并证明了当这种相互抑制作用发生在抑制性亚基之间时会引起外周区域的去抑制：随着外周亚基相互抑制作用的增加，nCRF外周整体对中央区的抑制作用将被减弱，nCRF放电频率增加。

图2 nCRF模型结构

由于这些抑制性亚基相互作用，nCRF外周减弱了对中心区的抑制作用，即去抑制作用导致低频视觉信号没有被阻断，进而传输至RGC进行处理［5］。相比之下，CRF不会产生去抑制效果，因此描述CRF的DoG模型［6］一般用于提取图像边缘。

本文提出两种基于nCRF的模型，通过轨道巡检图像增强试验，并与其他算法对比，从边缘增强、细节增强和灰度保持三个评价指标验证模型的有效性。

1 nCRF模型的数学描述

为便于数字图像处理的工程实现，将nCRF模型的圆形区域（参见图2）转换为正方形。为简化计算，采用3×3模板。RGC的nCRF和抑制性亚基相互作用如图3所示。模板建立在xOy坐标系中，（x0，y0）是中心点，（x+m，y+n）和（x，y）是子单元的点。从亚基（x+m，y+n）到亚基（x，y）、从亚基（x，y）到中心（x0，y0）的抑制作用分别用虚线、实线箭头标记。

图3 RGC的nCRF和抑制性亚基相互作用示意

坐标原点（0，0）是模板的中心。（x0，y0）处的中心区响应Tc表达式为

式中：C为中心点的集合；I(x0，y0)为点（x0，y0）处的光通量强度；A1为中心灵敏度；σ1为nCRF中心区的高斯核（nCRF中心区的半径是3σ1）。

研究时，nCRF中心区缩小到一个点，即3×3模板中的点（x0=0，y0=0）。由于图像中像素的灰度值可看作来自外界的刺激，因此I(x0，y0)可视为指向像素点的灰度值。当RF模板逐个像素地在图像上滑动时，可以由模板在原始图像中进行处理。对此处设计的具有抑制性亚基的nCRF，周围点之间具有抑制作用。

例如，亚基（x，y）与其他亚基之间的抑制作用II(x，y)（参见图3中的虚线箭头）表达式为

式中：N（x，y）为3×3模板中环绕点的集合，不包括点（x，y）；A3为亚基之间的抑制敏感性指标；σ3为抑制区域的高斯核（抑制区域的半径是3σ3）。

从亚基（x，y）到中心的总抑制作用III(x，y)（参见图3中的实线箭头）表达式为

式中：A2为亚基与中心之间的抑制敏感性指标；σ2为总抑制区的高斯核（总抑制区的半径是3σ2）；采用max函数以保持抑制作用为非负作用。

因此，8个周围点对中心点的总抑制作用TN为

nCRF的最终响应T的表达式为

RGC的RF根据局部图像的对比度和空间尺度呈现出一种局部适应性［7-8］。相应地，在nCRF模型中，尺度特性由高斯核σ1、σ2、σ3表示。特别地，假设σ2可以随亚基和中心之间照明强度的变化而自适应地改变。将潜在功能D（x，y）定义为

式中：p为范数。

设p=1，即本文中的1范数值。设计D（x，y）的变化率k（x，y），其表达式为

因此，每个抑制性亚基（x，y）的核σ2随着势函数的变化而变化。用σ′2代替σ2，转换公式为

从nCRF的变尺度模型（Mutative Scale Model of non⁃Classic Receptive Field，mnCRF）发现亚基和中心区之间的灰度值差异导致高斯核σ2的增加，即从亚基到中心的抑制作用也将增加。因此，在这种变尺度模型中，不仅考虑了亚基之间的相互作用，还考虑了一个亚基与中心之间的自适应相互作用。

由于增强的质量具有主观性［9］，图像增强目前没有公认的标准性能度量指标。本文采用三种量化方法来评估不同图像增强算法的性能。

1）参考文献［10］中的指标，通过边缘对比度（Edge Contrast，EC）指数来度量边缘增强效果。EC指数QEC的表达式为

式中：Gr和Gc为行和列Sobel梯度（3×3）；η为边缘像素的数量；（i，j）为图像上的像素。

显然，QEC越大，增强后边缘保持得越好。

2）利用细节增强（Detail Enhancement，DE）指数来度量细节保持效果［11］。DE指数QDE的表达式为

式中：k1、k2分别为从纵向和横向划分图像的块数；Imax；k，l和Imin；k，l分别为图像像素块（k，l）的最大灰度值和最小灰度值。

把图像分为64块，即k1=k2=8。显然，QDE越大，说明图像增强后细节保持得越好。

3）亮度一致性对保持视觉舒适度很重要，尤其在巡检图像那样的序列图像中［12］。因此，设计了一个灰度保持（Maintain Gray，MG）指数来度量原始图像和已处理图像之间的亮度差异。MG指数QMG的表达式为

式中：Ip和Io分别为处理后图像与原始图像。

显然，QMG越趋于0，表示处理前后图像的整体灰度保持得越好。

在nCRF和mnCRF模型中，参数σ1、σ2、σ3由作为统计标准的3σ准则确定。由于使用了3×3模板，且在此模板中将中心和子单元定义为一个点，所以σ1=0.5/3≈0.1，σ2= 2/3≈0.5，σ3=2 2/3≈1.0。另外三个待确定的参数为A1、A2、A3。可以先将A3固定为1.0，将A1从1.0遍历到10，将A2从1.0遍历到20，以选择最优的A1和A2。

2 试验结果及分析

2.1 图像处理标准测试库结果

图4从左到右依次为图像处理标准测试库的部分源图像（选自CVG图像测试库，http：//decsai.ugr.es/cvg/dbimagenes/）、HE算法［1］处理结果、Retinex算法［2］处理结果、本文提出的nCRF模型和mnCRF模型处理结果（上下排各为一组示例）。标准测试库中194张图像不同模型增强处理结果的三种量化指标见表1。

图4 标准测试库图像增强处理结果

从图4和表1可以看出：①对于QEC指标，mnCRF模型的性能优于其他方法，在增强处理中更完美地保留了边缘；Retinex算法有时会产生“晕轮”现象［13］；HE算法会产生一些较高的亮或暗区域，这是由于该算法是对图像的全局进行处理。②对于QDE指标，mnCRF模型的性能也优于其他方法；Retinex算法的性能比nCRF模型差，这是因为Retinex算法使用高斯平滑处理；自适应是mnCRF的关键功能，因此mnCRF模型可以比nCRF模型更好地增强图像局部细节。③对于QMG指标，nCRF模型的性能最好，而HE算法和Retinex算法的性能远不如nCRF和mnCRF模型。表明这两个模型可以在序列图像处理中产生较好的视觉一致性。

表1 标准测试库中图像增强处理结果的三种量化指标

显然，参数A1和A2影响nCRF和mnCRF模型的性能。对多个图像进行测试试验，发现A1/A2=3可以产生最佳结果。因此，在nCRF模型中将A1和A2分别设置为4和12，在mnCRF模型中分别设置为5和15。

2.2 轨道巡检图像测试结果

使用综合巡检车测试时，采用线阵相机连续采集轨道巡检图像。采集系统的构造及其在综合巡检车上的安装实例见图5。

图5 采集系统的构造及安装实例

高铁轨道板扣件（Slab Track Fastening，STF）是用于紧固轨道和轨道板的重要组件。在铁路基础设施巡检工作中，安装在综合巡检车上的相机有时无法直接清晰地拍摄到故障STF，因此需要进行图像增强以明确显示这些故障。通过上述方法处理了789个故障STF。图6从左到右依次为故障STF原始图像及HE算法、Retinex算法、nCRF模型、mnCRF模型的处理结果（上下排各为一组示例）。

图6 故障STF原始图像及图像增强处理结果

高速铁路轨道塞钉（Track Plug，TP）是传输轨道电流的重要组件。在铁路基础设施巡检工作中，由于TP尺寸小，安装在综合巡检车上的相机有时无法直接清晰地显示TP的细节，需要进行图像增强。通过上述方法处理了5 200个TP。图7从左到右依次为不同形态TP的原始图像及HE算法、Retinex算法、nCRF模型、mnCRF模型的处理结果（上下排各为一组示例）。

图7 TP原始图像及图像增强处理结果

789个故障STF和5 200个TP的图像增强统计结果的三种量化指标见表2。从图6、图7、表2可以看出，nCRF和mnCRF模型的性能更好。

表2 轨道巡检图像增强结果的三种量化指标

3 结语

针对高速铁路综合巡检车轨道巡检原始采集图像有时不能清晰呈现小部件的情况，基于视觉系统神经电生理试验提出了RGC的nCRF模型，然后将该模型改进为mnCRF模型。根据QEC、QDE、QMG三个图像增强测量指标，利用nCRF、mnCRF模型对图像处理标准测试库的图像进行加强处理，并与HE算法和Retinex算法的处理结果进行对比，结果表明本文提出的两个模型优于对比算法的结果。通过对综合巡检车采集到的高速铁路轨道巡检图像进行处理，同样得到本文的两个模型优于对比算法的结论。本文的两个模型可以使轨道巡检图像上的小部件如STF、TP等得到图像增强，同时具有边缘增强、细节增强和灰度保持的图像处理功能，更有利于后续的智能分析处理。