基于区域特征的缺陷扣件视觉检测

范 宏，侯 云，李柏林，熊 鹰

(西南交通大学 机械工程学院，四川 成都 610031)

铁路作为交通运输的主要方式，在国民经济发展和国防建设中扮演着举足轻重的角色。高速铁路以其快捷、舒适的优点，正逐渐受到世界各国的高度重视。近年来，中国高速铁路发展突飞猛进，逐渐成为世界高速铁路的领跑者。

同时，我国高速铁路已经由大规模“设计建造”阶段转入长期“运营维护”阶段，再加之我国高速铁路具有线路建设周期短、开通运营时间短等特点，运营线上基础结构的劣化已进入显现期，部分路段结构局部伤损严重[1]。调查表明，无砟轨道已出现诸多结构性伤损与部件损伤，例如部件(轨道板、底座、支承层)裂纹、部件之间黏结失效破坏、扣件弹条断裂等，这些都会对轨道结构服役性能和行车安全产生不可忽视的影响[2]。

高安全性和高可靠性是轨道交通永恒的话题，然而传统耗时、费力的人工巡检模式已经不能满足现阶段高速铁路系统的养护需求，急需开发针对高速铁路系统的自动高效的巡检设备。铁路巡检系统就是高速铁路系统的关键项目之一。铁路巡检系统由一系列功能模块组成，包括轨距测量[3]，钢轨轮廓测量[4]，钢轨表面缺陷检测[5]和扣件缺陷检测[6]等。本文主要研究基于机器视觉的扣件缺陷自动检测技术，重点是扣件检测的图像处理算法，图像采集系统不做具体阐述。

1 相关工作与系统架构

1.1 研究现状

近年来国内外研究者针对铁路巡检系统展开积极探索，并取得了一定成果，如中国的轨道巡检系统[7]，以及国外的Tvis系统[8]，Lcms系统[9]等。扣件自动检测作为铁路巡检系统的一个重要功能模块，同样受到国内外学者的高度重视并涌现出了多种检测算法。

在国外，文献[10-13]利用小波变换或主成分分析方法进行特征描述，利用感知神经网络进行扣件分类识别。文献[14]运用频谱估计和信号处理方法寻找扣件频谱特征完成扣件的定位及检测。文献[15]在Harris角点检测的基础上用模板匹配的方法来识别弹条扣件的状态。文献[16]使用梯度直方图描述扣件特征，然后使用支持向量机对扣件状态进行识别。文献[17]引入深度学习框架，构建多个训练集，以由粗到精的模式利用卷积神经网络提取扣件特征，最后将学习到的扣件特征送入多个一对一支持向量机中，实现多种类型弹条扣件的检测。文献[18]首先使用霍夫变换确定扣件区域，然后基于感兴趣区域的边缘特征以检测扣件是否丢失。

在国内，文献[19]采用基于像素值的小波变换定位扣件区域，然后使用形态学方法获得扣件轮廓并实施扣件检测。文献[20]采用方向场描述扣件特征，并在此基础上进行加权模板匹配，最后以模板匹配系数作为扣件识别依据，从而实现扣件状态的检测。文献[21]根据轨枕和钢轨的交叉位置定位扣件区域，然后用Haar矩形特征描述扣件的四个关键部分，最后用AdaBoost分类方法识别扣件状态。文献[22]融合扣件宏观Lbp纹理特征与金字塔梯度特征，采用支持向量机进行分类。文献[23]融合改进的边缘梯度特征和扣件端部的宏观纹理特征，并采用贝叶斯压缩感知模型判断扣件状态。文献[24]根据几何先验信息定位扣件区域，然后沿图像对称轴镜像半幅扣件图像生成虚拟样本，最后以Phog特征描述扣件并用改进的稀疏表示算法实现扣件的识别。文献[25]首先检测轨枕与钢轨的直线特征并以此定位出扣件区域，然后提取Haar-like特征，最后利用概率主题模型检测断裂与丢失扣件。文献[26]利用直射式激光三角测量法原理研发扣件检测系统，首先根据扣件的深度信息定位扣件并利用扣件间距进行验证，然后提取弹条的Hgoh特征，最后根据特征向量的模识别缺失扣件，采用SVM分类器识别断裂扣件。

然而，现有算法普遍存在特征区分性弱的问题，从而导致整个扣件检测算法对外界环境适应性差。大部分算法都是针对普速有砟轨道的，虽然文献[20]是针对高速无砟轨道的，但它所用图像采集自实验室环境下并且只能检测出扣件丢失，不能检测出扣件断裂。因此，本文提出一种针对高速无砟轨道缺陷扣件的检测算法，该算法在提取局部极小值区域的基础上，采用模板匹配精确定位扣件位置，结合扣件的结构信息提取扣件弹条的区域特征并输入决策树，实现扣件丢失和扣件断裂的检测。

1.2 系统框架

铁路巡检系统架构见图1。两台线阵CCD相机与光源被安装在车底，分别负责一侧轨道的图像采集。为了获得高质量的图像，相机被安装在钢轨正上方并与列车走行方向成一定的夹角，光源垂直于钢轨顶面安装。采集到的图像内容通常包括钢轨、扣件、轨枕、轨道板等。车载工控机将相机传输来的图像信息与当前线路里程等信息合并，形成最终采集数据并存储于便携式硬盘中。便携式硬盘可以连接到离线计算机以进行数据分析和处理，包括缺陷扣件的自动检测。

图1 铁路巡检系统架构

2 扣件检测算法

待检测的图像由线阵相机采集得到，这不仅避免了面阵相机采集图像的重叠和数据冗余，还保持了目标(扣件)的视角和尺度不变。光照和噪声的影响是设计检测算法的最大挑战。为了提高检测算法的鲁棒性，采用均值滤波来抑制噪声，用扣件的局部极小值区域代替原始扣件区域以克服光照变化的影响，最后提取扣件局部区域特征，实现扣件的缺陷检测和位置标记。

缺陷扣件检测算法流程见图2。由于扣件区域只占原始图中很小一部分，为了减少计算量并过滤掉其他背景，首先截取原始图像中的感兴趣区域(ROI)，并对之进行均值滤波处理。接着，为了克服扣件外观变化带来的影响，提取感兴趣区域的极小值区域，将灰度图像转变成二值图像。然后，采用模板匹配算法实现扣件的精确定位并得到扣件子图。之后，基于扣件子图提取扣件的区域特征。最后，根据扣件的区域特征设计决策树，实现扣件缺陷识别。

2.1 ROI提取与图像预处理

因为采集相机相对于列车是固定的，高速铁路线路的曲线半径又很大，所以相机相对于铁轨在横向的位移变化很小，限定在一个很小的范围。因此，为了减少计算量并滤除非扣件部分的干扰，可以截取原始图像中的一个固定区域作为研究的感兴趣区域。由于相机镜头暴露在车底，极易受到灰尘与水汽的污染，此外，轨道板老化、油斑污染等都会引入诸多噪声到原始图像中。为了去除噪声并使图像极小值区域最大程度的连通，本文采用均值滤波进行图像预处理。定义矩形滤波器窗口大小为w×h，均值滤波后的图像M(x,y)为

(1)

式中：Sx,y为均值滤波器窗口的中心点与原始图像G(s,t)重合时，窗口内所有像素点的坐标集合。

2.2 图像极小值区域提取

图像二值化是扣件精确定位和识别的基础，是扣件自动检测的关键步骤，其目的是突出扣件关键区域，同时消除复杂背景以及光照变化给扣件识别带来的影响。由于扣件图像的背景极其复杂，包括雨水、油污、老化线路、扣件颜色及型号多样等情况，因此需要一种适用于多种背景的鲁棒二值化算法。基于光源安装角度和图像特点，本文提出一种提取扣件局部极小值区域的算法以实现对扣件图像的二值化。该算法充分考虑到图像的光照特性，通过比较中心像素点与其上下局部邻域点的大小来确定中心像素点的值(0或1)，然后逐点计算，最终实现整幅图像的二值化。极小值区域为

MRn=s(gc-n-gc)×s(gc+n-gc)

(2)

(3)

式中：gc为中心像素点Pc的灰度值；gc-n为Pc的上邻域点Pc-n的灰度值；gc+n为Pc的下邻域点Pc+n的灰度值；n为邻域半径。Pc的邻域结构见图3。

图3 中心像素点的邻域结构

局部极小值图的效果见图4。在该步骤之后，每个图像从灰度图转换为具有低噪声和锐化对象的二值图像。

图4 局部极小值效果图

2.3 扣件精确定位

为了进一步滤除扣件以外的无关图像区域，需进行扣件定位。扣件的精确定位可以简化后续的扣件识别难度，基于扣件的二值图像，采用模板匹配方法实现扣件的精确定位。为了提高丢失扣件的定位准确率，把同一个轨枕上相对的两个扣件整体作为模板，扣件模板见图5。这样，当有一侧扣件丢失时，由于对侧的扣件会起到牵制作用，模板匹配算法仍然可以完成对丢失扣件的精确定位，避免了以单个扣件为模板导致的对丢失扣件的错误定位，进而导致后续的扣件识别错误。

由于模板与匹配图像均是二值图像，为了降低噪声对匹配结果的影响，算法在计算相似性时，可以将模板作为掩膜，只计算掩膜下的相似性。为了减少计算量，采用计算复杂度低的绝对差作为模板匹配算法的相似性测度

T(s,t)]∧T(s,t)|

1≤i≤l-L+1 1≤j≤m-M+1

(4)

式中：S(x,y)为大小l×m的搜索图像；T(x,y)为大小L×M的模板图像；∧为逻辑与运算符。

在实现扣件定位时，设S(x,y)为扣件局部极小值图(图4)，设T为扣件模板图(图5)。首先取模板大小的滑动窗口遍历整个搜索图，并根据式(4)计算窗口下子图与模板的相似度，得到相似性矩阵D；然后在所有取到的子图中，找到与模板图相似度最高的子图作为最终匹配结果。如果D(i，j)是相似性矩阵D中的最小元素，那么匹配得到的子图位置就是(i，j)，即扣件在搜索图中的位置，扣件定位的示例见图6。

图5 本文算法使用的模板

图6 扣件定位的示例图像

2.4 扣件区域特征提取

目标图像经过上述处理后，按照扣件区域的二值图像进行扣件特征提取。扣件弹条是扣件受力的关键部分，弹条断裂是扣件常见的故障形式，扣件丢失也可看作是上下弹条同时断裂，因此，通过检测上下弹条是否存在便可推断出扣件是否断裂或丢失。基于以上分析，本文提取扣件上下弹条的区域特征作为扣件识别的特征。

根据扣件结构的先验知识，首先分割出扣件上下弹条区域，它们在扣件子图中是两个固定矩形区域，见图7(a)。然后根据二值图像形态学操作，分别找出上下弹条范围内面积最大的八连通区域，见图7(b)。最后分别计算上下弹条的最大连通区域的面积以及质心并将它们作为扣件的区域特征用以后续的扣件缺陷识别，见图7(c)。

图7 扣件区域特征提取示意

2.5 扣件缺陷识别

完成扣件特征提取后，利用这些特征进行扣件缺陷识别。由于扣件区域特征包括三个分量(面积、质心横坐标、质心纵坐标)，结合扣件缺陷识别任务对识别结果的具体要求(尽可能不漏检，误检可以适当放宽)，本文采用决策树算法实现扣件缺陷识别。决策树依据目标特征的重要程度依次对每一个特征都做一个划分，后一个划分是基于前一个划分的结果，最终生成多个叶节点，完成目标的分类。

本文所用的决策树具体结构见图8，首先用区域面积V1(特征分量1)和两个阈值T0、T1将整个数据集划分成三部分，排除大部分正常和缺陷扣件，难以区分的部分留给下一个特征区分；然后用区域质心横坐标V2(特征分量2)和阈值T2从上次划分残留的部分中继续排除缺陷扣件；最后用区域质心纵坐标V3(特征分量3)和阈值T3将余下的数据进一步划分为两部分。决策树中所用的阈值由先验知识和试验统计结果得到，其中CH与CV分别为对应矩形弹条区域中心的横纵坐标值。扣件缺陷识别完毕，系统将丢失和断裂扣件的原始图像存于不同的文件夹里，以供人工确认，养护人员根据原始图像上的里程信息标签，就能迅速找到缺陷扣件并更换。

图8 决策树结构图

3 试验结果与分析

3.1 试验准备

使用由铁路巡检系统在多条高速铁路线路上采集到的铁路图像测试本文提出的扣件缺陷自动检测算法。为了与实际使用工况保持一致，从不同线路区间选取多种环境和背景下的图像组成测试数据集，包括雨天、新线路、老线路、低光照、不同形状扣件等。测试数据集共包含50 000幅图像，每幅图像包括6个扣件，其中缺陷扣件图像(丢失或断裂)500幅，其余为正常扣件图像。试验的其他关键参数设置如下：w=h=3；n=6；T0=110；T1=180；T2=3；T3=4。

3.2 扣件缺陷检测试验

测试数据集被用于测试本文算法，并在试验中对比了两种典型的扣件缺陷检测算法，包括基于向量场特征的检测算法，基于融合梯度特征与纹理特征的检测算法，所有算法都使用VS2010编码实现。使用漏检率(未检出的缺陷图像占总缺陷图像的比值)和误检率(错误检出的缺陷图像占总测试图像的比值)作为评估试验性能的指标。

不同扣件检测算法的试验性能对比见表1。由表1可知，本文提出的检测算法性能最佳，漏检率与误检率均低于其他算法。漏检率为0.6%，较低的漏检率可以发现更多潜在的安全风险，是巡检员最关心的因素。误检率为0.32%，因此检测100 km的线路，仅有大约160幅图像需要人工确认，这是巡检员可以接受的工作强度。部分漏检示例见图9。由图9(a)可知，扣件弹条断裂且不在原位，但是弹条的压痕明显，导致该区域的二值图像与正常扣件非常相似。由图9(b)可知，扣件弹条虽然断裂，但仍留在原位，形成了与正常扣件相似的外观。因此，它们都被错误地检测为扣件弹条存在。

表1 扣件识别结果

图9 漏检示例图像

4 结论

开发基于机器视觉的铁路巡检系统是提高高速铁路列车效率、可靠性、安全性的有效途径。通过这种自动巡检系统，可以将巡检员从耗时而且枯燥的工作中解脱出来，他们只需要对自动检出的故障图像进行人工复查即可。本文提出了一种新的基于局部区域特征的缺陷扣件检测方法。在分析扣件图像特点的基础上，利用扣件极小值区域图以及模板匹配实现扣件精确定位，接着提取扣件的区域特征并送进决策树完成扣件图像的分类。试验表明本文算法表现良好。

然而，由于高速铁路线路图像背景复杂、环境多变、图像数量巨大，本文扣件检测算法在性能上仍有提升空间，尤其是误检率仍偏高。当前算法在特征提取时只考虑了局部区域内像素的大小关系，没有考虑像素的绝对灰度值。在以后的工作中，我们将同时考虑局部区域内灰度值的相对关系和绝对大小以提取更具区分性的特征，进一步提升扣件检测算法性能。