基于背景建模的钢轨表面缺陷像素级检测方法

2021-03-13陶丹丹

铁道科学与工程学报 2021年2期

陶丹丹

陶丹丹

(辽宁铁道职业技术学院铁道车辆学院，辽宁锦州 121000)

钢轨表面缺陷具有独特性和稀疏性，利用机器视觉技术自动地检测钢轨表面缺陷仍存在很大挑战。提出一种基于背景建模的钢轨表面缺陷像素级检测方法，利用钢轨图像固有特性构建图像背景分布模型，找到背景分布簇中心，以定位到可疑像素点；提出一种钢轨表面缺陷像素级识别方法，根据可疑像素点的上下文特征和空间位置先验概率识别该像素点是否属于真实缺陷，并在钢轨缺陷数据集和实际线路上进行试验验证。研究结果表明：该方法在重载铁路和客运铁路2种钢轨缺陷数据集上均取得良好的识别性能，并在实际线路上达到100%的检测率。

钢轨表面缺陷；像素级检测；背景模型；机器视觉

铁路运输是支撑我国经济社会发展的中坚力量，钢轨病害严重影响列车运行安全，容易导致重大铁路事故[1]。随着列车运行频次和重载化程度的提升，大量铁路线路中钢轨病害问题频繁出现，其中，钢轨表面缺陷最为常见，例如，钢轨波纹磨损、轨头剥落、轨头塌陷和钢轨表面裂纹。因此，必须定期地检测线路中的钢轨状态。近年来，许多国内外学者提出了各种基于传感器的无损检测方法，例如，超声波[2]，涡流[3]，陀螺仪[4]，布拉格光纤光栅[5]和视觉相机[6]。在铁路基础设施病害检测领域，基于视觉相机的机器视觉技术凭借其成本低、速度快、客观性强等优点，已成功应用于轨道轮廓测量[7]、轨距测量[8]、钢轨扣件检测[9−10]、钢轨塞钉检测[11]、接触网组件及异物检测[12]和钢轨表面缺陷检测[13]等任务。现有的基于机器视觉的钢轨表面缺陷检测方法可分为区域级方法和像素级方法。基于有监督学习的区域级检测方法先利用最大稳定极值区域(Maximally Stable Extremal Regions, MSER)[14]或光谱特征(Spectral Features)[15]来表示钢轨图像，然后训练K近邻(K-Nearest Neighbor)或支撑向量机(Support Vector Machine, SVM)等分类器来识别钢轨表面缺陷。基于无监督学习的区域级检测方法先利用局部归一化(Local Normalization, LN)[16]或逆Perona-Malik扩散模型[17]对图像进行去噪，然后利用轮廓投影(Projection Profile, PP)或自适应阈值二值化(Adaptive Threshold Binarization)来定位缺陷区域的像素。然而，上述方法依赖全局或局部的图像纹理特征，容易受到光照条件、图像背景、图像噪声等外界因素的干扰，并且检测结果只能表示存在缺陷，无法准确地识别缺陷严重程度。像素级检测方法先利用迈克尔逊对比度(Michelson-like Contrast, MLC)[6]调整钢轨图像的对比度，然后利用受限最大熵(Proportion Emphasized Maximum Entropy, PEME)方法来定位缺陷区域的像素。然而，此类方法的检测性能高度依赖图像增强方法的性能，在实际检测时会受到图像噪声的影响，产生较多的虚警。综上所述，利用机器视觉技术进行钢轨表面缺陷检测任务仍然存在以下3个挑战：钢轨表面缺陷具有独特性。不同的钢轨表面缺陷，其纹理、形状、大小均不同，难以利用现有的纹理或形状特征算子进行统一表示；钢轨表面缺陷具有稀疏性。首先，缺陷区域的面积占整个钢轨图像面积的比例非常小；其次，相对于正常钢轨区域的数量，缺陷区域的数量也非常少。小目标检测在计算机视觉领域属于极具挑战性的任务，并且缺陷区域数量少的特性也会造成样本集不平衡问题，难以有效地训练大型有监督机器学习模型(如，深度卷积神经网络)；钢轨表面区域存在动态性。由于铁路沿线自然环境非常复杂，在不同区段、不同光照条件下采集的钢轨表面图像中存在不同程度的噪声点，钢轨表面由于锈迹、污渍也会存在不同程度的反射不均现象。为解决以上问题，提出一种基于背景建模的钢轨表面缺陷像素级检测方法。首先，提出一种钢轨图像背景分布模型构建方法，利用钢轨图像特有的视觉特性构建图像背景分布模型,并使用均值漂移(Mean Shift)算法[18]寻找背景分布簇的中心，以定位到所有的可疑像素点；然后，提出一种钢轨表面缺陷像素级识别方法，利用可疑像素点与分布簇中心之间的加权马氏距离作为上下文特征，并结合像素点的空间位置先验概率来识别该像素点是否属于真实缺陷；最后，在重载铁路和客运专线铁路2种钢轨缺陷数据集上与现有方法进行对比试验。结果表明，该方法的检测性能优于现有方法，能够满足检测任务的需求。此外，该方法在实际线路试验中取得100%的检测率，进一步证明了方法的有效性。

(a) 原始图像；(b) 预处理图像；(c) 可疑像素点

1 钢轨图像背景分布模型构建方法

轨道状态巡检系统[1]配备多台高清线扫描相机，以固定角度拍摄轨道高清图像，其中包含钢轨、轨枕、钢轨扣件等基础设施。此外，轨道病害检测任务大多在夜间天窗时间执行，巡检系统还配备高功率LED灯作为光源，为轨道提供光照均匀的视场。为减少不相关目标对象的干扰，先利用轮廓投影方法从原始轨道图像中提取钢轨区域图像，然后进行预处理操作，降低外界因素的影响，最后，构建钢轨图像背景分布模型，定位出可疑像素点，处理流程如图1所示。

1.1 图像预处理

钢轨表面由5个曲面构成，这种特性造成钢轨表面存在光线反射不均现象，导致图像背景存在动态性。如图1(a)所示，钢轨中间区域与列车车轮接触最频繁，表面较为光滑，对光线形成镜面反射，在图像中灰度值较高，钢轨边缘区域存在锈迹和污物，缺陷区域存在凹陷，表面不平整，对光线形成漫反射，在图像中灰度值较低。为进一步增加缺陷区域与图像背景的差异，需要对图像进行预处理。

首先，将原始图像中每个像素的灰度值都进行对数变换，计算公式如下：

然后，对图像执行Z-Score标准化，计算公式如下：

式中：表示整幅图像的灰度平均值；表示整幅图像的灰度标准差。通过Z-Score标准化，像素灰度值高于平均值时为正数，低于平均值时为负数，从而进一步加大缺陷区域与图像背景的差异。最后，将每个像素的值归一化到[0,255]。钢轨图像预处理结果如图1(b)所示。

1.2 钢轨图像背景分布模型

钢轨图像经过预处理后，正常区域与缺陷区域的对比度更强，可以将正常区域视为图像背景，缺陷区域视为图像前景。像素点在特征空间中分布为多个簇，每个簇的中心可以表示与其相关的局部区域模式。因此，只要找到这些簇的中心，再设置条件约束，即可得到钢轨图像背景分布模型，属于背景分布簇的像素点为正常区域，反之，则为可疑像素点(包括缺陷区域和噪声)。均值漂移算法能够迭代地寻找特征空间中零梯度局部密度最大处，可用来寻找分布簇中心。

通过统计分析钢轨缺陷数据集中的钢轨图像，属于真实缺陷区域的像素点数量占该列像素点总数的比例最多为8%。因此，可以设置约束条件=0.1对分布簇中心进行筛选，得到背景分布簇中心：

最后，钢轨图像中不属于背景分布簇的像素点即为可疑像素点，如图1(c)所示。可以看出，结果图中既包含缺陷区域像素点，也包含图像噪声点，因此，需要进一步识别可疑像素点是否属于真实缺陷区域。

2 钢轨表面缺陷像素级识别方法

通过钢轨图像背景分布模型定位出的可疑像素点中既包含真实缺陷区域像素点，也包含图像噪声点。因此，进一步提出钢轨表面缺陷像素级识别方法，以提升检测结果的准确性。为实现这一目标，本节基于背景分布模型计算可疑像素点的上下文特征，并结合像素点的空间位置先验概率，计算可疑像素点的显著性得分，最后，设置阈值，以识别可疑像素点是否属于真实缺陷区域。

2.1 基于背景模型的像素点上下文特征

通过上下文特征，一方面可以提升属于真实缺陷区域的像素点的显著程度，另一方面也可以抑制图像噪声对检测结果的干扰，增强鲁棒性，从而得到稳健的检测结果。

2.2 空间位置先验概率

如图2所示，钢轨表面是由多个曲面组成，车轮踏面与钢轨中间部位频繁接触，产生摩擦力推动列车行驶。车轮轮缘用于保持车轮运动方向，较少与钢轨接触。因此，如果可疑像素点位于钢轨表面中间部位，则其属于真实缺陷区域的概率较高，反之，其属于真实缺陷区域的概率较低。基于此种特性，可以使用抛物线模型描述钢轨表面像素的空间位置先验概率，如图3所示，两侧位置概率低，中间位置概率高。

图2 60 kg/m钢轨截面图

式中：表示该像素的列编号，需要归一化到[0,1]区间，，，分别为抛物线的系数，选择图3中抛物线上任意3个点代入式(8)，即可解得=−2，=2，=0。

图3 抛物线模型示例图

2.3 真实缺陷像素点识别

得到可疑像素点的上下文特征和空间位置先验概率后，即可计算该像素点的显著性得分，计算公式定义如下：

阈值会对检测结果造成一定的影响，阈值设置较小时，检测结果的召回率会上升，精确率会下降，阈值设置较大时，检测结果的精确率会提升，但召回率会下降。因此，实际应用时，需要根据具体应用情况来选取阈值，选取方式既可以设置固定阈值，也可以通过自适应阈值策略来计算。

3 试验验证

本节首先介绍试验数据集的构成，然后介绍试验结果评价指标，接着，汇报本文方法在钢轨缺陷数据集上的检测结果，并与现有方法进行对比分析，最后，汇报本文方法在实际铁路线路上的检测结果。

3.1 试验数据集

为了评估本文方法在不同钢轨上的检测性能，本文试验数据集分为2个部分：重载铁路钢轨缺陷数据集和客运专线钢轨缺陷数据集，其中重载铁路钢轨缺陷数据集包含80张钢轨表面图像，客运专线钢轨缺陷数据集包含140张钢轨表面图像，每张图像至少包含1处缺陷区域，并人工进行像素级和区域级的标注。钢轨表面图像如图4所示。

3.2 试验结果评价指标

试验结果采用像素级和区域级2种评价标准。像素级采用精确率(Precision)、召回率(Recall)和F1- Score 3种评价指标，其计算公式如下：

式中：表示检测正确的缺陷像素点数量；表示检测错误的像素点数量；表示未检测到的缺陷像素点数量。

(a) 重载铁路钢轨表面图像；(b) 客运专线钢轨表面图像

区域级同样采用精确率、召回率和F1-Score 3种评价指标，表示检测正确的缺陷区域数量，表示检测错误的缺陷区域数量，表示未检测到的缺陷区域数量。对任意缺陷区域，像素级检测方法如果检测的缺陷像素点数量占该缺陷区域像素点总数的80%以上，则认为正确检测到该缺陷区域，反之，则视为未检测到该缺陷区域。

3.3 钢轨缺陷数据集检测结果

本节试验使用钢轨缺陷数据集评估本文方法的检测性能，并与2种区域级和一种像素级的钢轨表面缺陷检测方法进行对比分析。对比方法中，MSER+SVM[14]是一种基于有监督学习的区域级检测方法，LN+PP[16]是一种基于无监督学习的区域级检测方法，MLC+PEME[6]是一种像素级检测方法。本节试验使用交叉验证策略来固定阈值，即，先分别从2种钢轨缺陷数据集中抽取10%的钢轨表面图像作为验证集，然后在一定范围内变动的值，并观察验证集上的性能趋势，重复以上步骤5次，选择取得最高性能的值。本节试验中，重载铁路钢轨缺陷数据集选择=57，客运专线钢轨缺陷数据集选择=69。2种数据集的对比试验结果如表1和表2所示，可视化检测结果如图5所示。

表1 区域级检测方法对比试验结果

表2 像素级检测方法对比试验结果

(a) 原始图像；(b) Ground truth；(c) MESR +SVM；(d) LN+PP；(e) MLC+PEME；(f) 本文方法

通过检测结果可以看出，本文方法在2种钢轨数据集上取得了最优的检测性能，并显著地优于现有方法。对比方法中，MSER+SVM[14]是基于有监督学习训练的模型，其检测性能相较于LN+PP[16]方法更高，但是，该方法需要人工标注缺陷样本，在实际工程中，需要耗费一定的人力进行样本标注。LN+PP[16]方法容易受到图像光照条件和噪声点的影响，因此，检测性能也较低。MLC+PEME[6]方法针在缺陷区域与图像背景的对比度较强的钢轨图像上检测性能较好，但是，钢轨边缘部位的低灰度特性会影响检测结果。本文方法得益于利用基于背景模型的上下文特征和像素点空间位置先验概率，特征的鲁棒性更强，能够降低光照条件和图像噪声的影响。

表3 实际客运专线上各方法对比试验结果

3.4 实际线路检测结果

为了进一步验证本文方法的有效性，本节试验从实际客运专线采集50 km连续的钢轨表面图像共计51 465张，并使用本文方法与现有方法进行对比试验。由于钢轨表面图像采集自客运专线，试验中，本文方法的阈值仍然设置为69。检测结果的正确性使用人工复核的方式，实际客运专线对比试验结果如表3所示。

通过试验结果可以看出，本文方法能够检测出所有钢轨表面缺陷区域，检测率达到100%，充分地证明了本文方法的有效性。LN+PP[16]方法的错误检测数量最低，但该方法漏检了11处缺陷区域，影响铁路运输的安全性。MSER+SVM[14]和MLC+ PEME[6]方法的检测率虽然也能达到了90%以上，但是，这2种方法会产生大量的错误检测，导致人工复核的工作量大幅度增加，影响检测效率。本文方法不仅能够检测到所有的缺陷区域，而且产生的错误检测数量不多，更能满足铁路钢轨表面缺陷检测任务的需求。

4 结论

1) 提出一种基于背景建模的钢轨表面缺陷像素级检测方法，通过构建钢轨图像背景分布模型，得到初步的检测结果，利用背景模型计算可疑像素点的上下文特征，并结合像素点空间位置先验概率得到显著性得分，以提升图像噪声对检测结果的影响。该方法有效地解决了钢轨表面缺陷的独特性、稀疏性和图像背景的动态性问题，可以无监督的执行钢轨表面缺陷像素级检测任务，并为类似的检测问题提供了新思路。

2) 构建了2种类型的钢轨表面缺陷数据集，通过对比试验的方式，与现有方法进行比较，本文所述方法在2种数据集上均取得了最优性能，证明了本文所述方法具有较强的准确性和适用性。

3) 在实际客运专线上进行对比试验，证明了本文所述方法能够有效地检测实际铁路线路中的钢轨表面缺陷区域，检测性能优于现有方法，对铁路钢轨表面缺陷检测任务具有较强的理论意义和实用价值。

[1] 许贵阳, 史天运, 任盛伟, 等. 基于计算机视觉的车载轨道巡检系统研制[J]. 中国铁道科学, 2013, 34(1): 139−144. XU Guiyang, SHI Tianyun, REN Shengwei, et al. Development of the on-board track inspection system based on computer vision[J]. China Railway Science, 2013, 34(1): 139−144.

[2] LI Ying, Trinh H, Haas N, et al. Rail component detection, optimization, and assessment for automatic rail track inspection[J]. IEEE Transactions on Intelligent Transportation Systems, 2014, 15(2): 760−770.

[3] LI Xiaoqing, GAO Bin, Woo W L, et al. Quantitative surface crack evaluation based on eddy current pulsed thermography[J]. IEEE Sensors Journal, 2017, 17(2): 412−421.

[4] Broquetas A, Comerón A, Gelonch A, et al. Track detection in railway sidings based on MEMS gyroscope sensors[J]. Sensors (Basel, Switzerland), 2012, 12(12): 16228−16249.

[5] Filograno M L, Rodriguez-Barrios A, Corredera P, et al. Real-time monitoring of railway traffic using fiber Bragg gratings[C]// Proc SPIE 7653, Fourth European Workshop on Optical Fibre Sensors, 2010, 7653: 76533M.

[6] LI Qingyong, REN Shengwei. A visual detection system for rail surface defects[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 2012, 42(6): 1531−1542.

[7] Alippi C, Casagrande E, Scotti F, et al. Composite real-time image processing for railways track profile measurement[J]. IEEE Transactions on Instrumentation and Measurement, 2000, 49(3): 559−564.

[8] ZHANG Zhifeng, FENG Qibo, GAO Zhan, et al. A new laser displacement sensor based on triangulation for gauge real-time measurement[J]. Optics & Laser Technology, 2008, 40(2): 252−255.

[9] 刘俊博, 黄雅平, 王胜春, 等. 基于机器视觉的多线路钢轨扣件缺损检测方法[J]. 中国铁道科学, 2019, 40(4): 27−35. LIU Junbo, HUANG Yaping, WANG Shengchun, et al. Rail fastener defect detection method for multi railways based on machine vision[J]. China Railway Science, 2019, 40(4): 27−35.

[10] LIU Junbo, HUANG Yaping, ZOU Qi, et al. Learning visual similarity for inspecting defective railway fasteners[J]. IEEE Sensors Journal, 2019, 19(16): 6844− 6857.

[11] 杜馨瑜, 戴鹏, 李颖, 等. 基于深度学习的铁道塞钉自动检测算法[J]. 中国铁道科学, 2017, 38(3): 89−96. DU Xinyu, DAI Peng, LI Ying, et al. Automatic detection algorithm for rail plug based on deep learning[J]. China Railway Science, 2017, 38(3): 89−96.

[12] 周威, 孙忠国, 任盛伟, 等. 基于多目立体视觉的接触网几何参数测量方法[J]. 中国铁道科学, 2015, 36(5): 104−109. ZHOU Wei, SUN Zhongguo, REN Shengwei, et al. Measurement method for geometric parameters of overhead contact line based on multi-view stereovision[J]. China Railway Science, 2015, 36(5): 104−109.

[13] 李清勇, 章华燕, 任盛伟, 等. 基于钢轨图像频域特征的钢轨波磨检测方法[J]. 中国铁道科学, 2016, 37(1): 24−30. LI Qingyong, ZHANG Huayan, REN Shengwei, et al. Detection method for rail corrugation based on rail image feature in frequency domain[J]. China Railway Science, 2016, 37(1): 24−30.

[14] Dubey A K, Jaffery Z A. Maximally stable extremal region marking-based railway track surface defect sensing[J]. IEEE Sensors Journal, 2016, 16(24): 9047− 9052.

[15] Molodova M, LI Zili, Núñez A, et al. Monitoring the railway infrastructure: Detection of surface defects using wavelets[C]// 16th International IEEE Conference on Intelligent Transportation Systems (ITSC 2013). October 6-9, 2013, The Hague, Netherlands. IEEE, 2013: 1316− 1321.

[16] LI Qingyong, REN Shengwei. A real-time visual inspection system for discrete surface defects of rail heads[J]. IEEE Transactions on Instrumentation and Measurement, 2012, 61(8): 2189−2199.

[17] HE Zhendong, WANG Yaonan, YIN Feng, et al. Surface defect detection for high-speed rails using an inverse P-M diffusion model[J]. Sensor Review, 2016, 36(1): 86−97.

[18] Comaniciu D, Meer P. Mean shift: A robust approach toward feature space analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(5): 603−619.

Pixel-level detection method of rail surface defects based on background modeling

TAO Dandan

(Railway Vehicles College, Liaoning Railway Vocational and Technical College, Jinzhou 121000, China)

Rail surface defects are unique and sparse. It is still a great challenge to detect rail surface defects automatically by machine vision technology. A pixel-level detection method of rail surface defects based on background modeling was proposed, which uses the inherent characteristics of rail surface image to construct the image background distribution model, and finds the center points of background distribution cluster to locate abnormal pixel points. A pixel level recognition method of rail surface defects was proposed, which can identify whether the abnormal pixel point is a real defect region according to its context feature and spatial position prior probability. The rail defect datasets and the actual railway line are used to test the detection performance of the proposed method. The experimental results show that the proposed method has achieved good detection performance on two kinds of rail defect datasets and 100% detection rate on the actual railway line.

rail surface defects; pixel-level detection; background model;machine vision