基于机器视觉的钢轨光带检测方法
2022-11-05张博刘秀波
张博 刘秀波
中国铁道科学研究院集团有限公司基础设施检测研究所,北京 100081
列车行驶在轨道上,由于车轮轮缘在钢轨轨面上的碾压以及轮缘与钢轨的相互摩擦作用,会在钢轨表面形成沿着列车运行方向延伸的亮痕,称为钢轨光带[1]。正常的轮轨作用会在钢轨表面产生宽度均匀的光带,而当轮轨间作用力或作用位置异常时,光带的宽度和位置发生改变。因此,光带的状态可以反映轮轨相互作用关系,而轮轨关系对列车运行的安全性和舒适性有着重要影响。
传统的光带检测采用人工巡检的方式,利用刻度尺在钢轨上进行测量。该方法人工成本高,检测速度慢,数据保存缺乏系统性。文献[2]提出使用激光位移传感器,在钢轨光带异常波动区段布置测点测量轮对动态横向位移,进而分析光带异常原因。但是该方法只能针对特定区段安装设备进行布点测量,不能实现自动、快速的光带检测。
随着图像处理和计算机技术的快速发展,基于机器视觉的检测技术已经运用到了轨道状态检测中,利用采集的图像对扣件缺失、钢轨表面伤损等进行识别[3-6],但对钢轨光带检测的关注较少。文献[7]中的轨道状态巡检系统通过安装在车辆底部的相机成像系统在车辆行进时采集轨道图像,然后采用图像识别技术分析扣件缺失、钢轨表面擦伤等缺陷。但是目前该系统检测对象主要是包括轨枕、扣件和钢轨在内的整个轨道表面,并没有针对钢轨光带的检测。文献[8]设计了算法,根据灰度特征识别光带在钢轨表面的位置。但是该算法在定位光带时需要先确定光带存在的大致区域,再在该区域内寻找光带的准确位置,计算较为复杂;此外,该算法为了识别光带需要设定低灰度阈值,再利用阈值比较的方法确定所述钢轨图像中的光带图像,在受到光照等客观环境的影响导致获取的钢轨图像中光带区域和非光带区域对比度降低的情况下,光带图像识别的准确性很难保证。
现场采集的图片还包含非钢轨区域。非钢轨区域的图像信息对后续的缺陷检测会产生干扰,需要将钢轨和非钢轨区域区分开,提取出钢轨的轨面区域[9]。水平投影法[10-12]是轨面区域定位的常用方法,其主要思想是绘制图像列方向上的水平投影曲线,利用轨面区域和非钢轨区域的亮度差异将轨面区域分割出来。但是文献[13]指出,当有强烈外界光源影响时采用水平投影法进行轨面区域定位就会出现错误,并提出了改进的钢轨定位算法。该算法首先计算轨道图像每一列的灰度均值与灰度方差的比值并乘以1个位置权重,得到该列的特征值,然后搜索特征值之和最大的定长区间即为轨面区域。然而,该方法为了准确提取轨面区域,需要预知轨道图像中钢轨所在纵向区域的位置并为该纵向区域的灰度设置较大的权重。当采集的轨道图像中钢轨所在的位置发生变化时,需要重新计算轨道图像中每一列的位置权重。
针对上述方法存在的不足,本文提出基于机器视觉的钢轨光带检测方法。首先,设计基于轨道图像频域特征的轨面区域提取方法,对轨道图像每一列做傅里叶变换,根据定义的占优的频率域采样值来定位轨面区域。然后,在提取的轨面区域图像上利用灰度变换突出光带的边缘,通过计算梯度识别出钢轨光带。
1 光带检测算法
1.1 算法流程
读取采集到的单幅钢轨图像后,光带检测的算法流程如下。
1)轨面区域提取:根据轨道图像的频域特征提取轨面区域。
2)图像灰度变换:在轨面区域利用伽马变换突出光带的边缘。
3)光带检测:基于梯度从轨面区域中逐行识别出光带的边界。
1.2 轨面区域提取
本文设计了基于轨道图像频域特征提取轨面区域的方法,包括2个步骤:首先对采集的轨道图像每一列做傅里叶变换,然后根据定义的占优的频率域采样值定位轨面区域。
1.2.1 轨道图像的傅里叶变换
将单幅轨道图像记作I,其宽度为W,高度为H。对图像I的第x列做傅里叶变换,其傅里叶变换系数F x(m)为
式中:m为频率域采样值。
而后计算归一化能量值EN()m,表达式[13]为
式中:E(m)为F x(m)的模;EN(m)∈[0,1]。
因为实数序列的傅里叶变换的系数是对称的,所以为了便于计算只考虑F x(m)的前半部分;同时支流分量E(0)等于平均灰度,受光照影响较大,因此在归一化时并未考虑该分量。
将轨道图像沿纵向划分为不同区域,如图1所示。其中,区域a为背景区域,区域b为挡肩所在区域,区域c为扣件所在区域,区域d为轨面区域。
图1 轨道图像
图2、图3展示了轨道图像不同纵向区域中典型的列灰度曲线及对应的能量谱曲线。可以看出:区域b和区域c的列灰度曲线存在周期性,其能量谱曲线在中低频区间存在多处明显峰值;区域a和区域d的列灰度曲线无明显周期性,其能量谱曲线无明显波峰。因此,用能量谱的波峰信息可以判定轨道图像中不同纵向区域的位置。
图2 轨道图像不同纵向区域中典型的列灰度曲线
图3 轨道图像不同纵向区域中典型的能量谱曲线
1.2.2 轨面区域提取
为了提取轨面区域,定义轨道图像第x列能量谱占优的频率域采样值f x为
式中:Et为能量谱阈值。
观察到能量谱曲线的大部分峰值都在0.03以上,因而取Et=0.03。
对手工标注的880条区域a—区域d中的列灰度曲线计算能量谱的f x并进行统计,结果见图4。可知:在区域a和区域d中,f x主要集中于低频区间,绝大部分小于6;区域b中,f x绝大部分在17~28;区域c中,f x集中在6~33。
图4 不同纵向区域中占优的频率域采样值统计结果
进而提出基于占优的频率域采样值的轨面区域提取方法。对于轨道图像I,首先计算每一列的f x。接着引入判定函数p(x)来判定钢轨图像的第x列是否在区域b或区域c中。p(x)表达式为
式中:f为频率域采样值限值。
由f x的分布可知,在区域a和区域d中f x绝大多数小于6,而在区域b和区域c中f x大于6,因而取f=6。组合所有使得判定函数p(x)=1的列参考位置,得到向量P,表达式为
式中:n为使p(x)=1的总列数。
搜索向量P中最长的两个连续区间,即为轨面左侧的区域b和区域c组成的纵向区域及轨面右侧的区域b和区域c组成的纵向区域,这两个纵向区域之间即为钢轨轨面。
1.3 钢轨光带检测
定位轨面区域后,将轨道图像中的轨面区域提取出来,然后在提取的轨面区域图像上进行钢轨光带的检测。轨面区域图像中光带部分较其他部分的灰度值高,通过搜索光带区域和非光带区域的边界,就能定位出光带的位置。
为了突出光带区域的边缘,首先对轨面区域进行图像灰度变换。采用伽马变换将高光部分动态范围压缩,使图像整体变暗。针对一幅输入图像,伽马变换的表达式为
式中:s为输出图像的像素;r为输入图像的像素,其取值范围归一化为[0,1];γ为变换系数,取2。
灰度变换后,轨面区域图像的光带和非光带区域的灰度值差异进一步加大,形成更为锐利的光带边缘,从而能够更加准确地定位光带位置。
在灰度变换后的轨面图像上,计算图像中每一点水平方向上的梯度差异。根据图形边缘处存在较大梯度这一特点,逐行寻找光带边缘,即可确定光带位置。为此,引入两个卷积核(图5)。其中,卷积核1用来检测由暗到亮的边缘,卷积核2用来检测由亮到暗的边缘。将图像中每一点分别与两个卷积核卷积,得到对应的水平方向梯度。图像每一点与卷积核1卷积得到了该点由暗到亮方向的梯度,而光带的左侧边缘为由暗到亮的边缘,因此图像每一行的卷积结果的最大值所在的点即为该行光带左侧边缘位置。同理,光带的右侧边缘为由亮到暗的边缘,通过寻找每一行中图像与卷积核2卷积结果的最大值,就可以确定光带右侧边缘位置。
图5 卷积核示意
2 测试试验
为了验证该光带检测方法的有效性,进行了测试试验。选取200张轨道状态巡检系统[7]采集的某高速铁路线路的轨道图像,并且人工标注了图像中的轨面区域和光带区域。
2.1 轨面区域提取
对于一幅轨道图像,提取轨面区域的准确性通过交并比[14]来评价,交并比记作Jt,其表达式为
式中:At为人工标注的轨面区域;Bt为用本文方法从轨道图像中提取的轨面区域。
交并比计算的是人工标注轨面区域和算法提取轨面区域的交叠率,即两个区域的交集和并集的比值,衡量人工标注轨面区域和算法提取轨面区域的重合度。然后对于所有测试样本计算交并比的平均值mt,表达式为
式中:Nt为测试的轨道图像数量;Jt,i为第i张图像的交并比。
计算结果显示测试样本的mt=97.57%,这表明本文方法可以有效地从采集的轨道图像中提取出轨面区域。
本文提出的轨面区域提取方法利用了轨道图像的频域特征,与文献[12]中基于图像列方向灰度分析的水平投影法相比,对由光照等客观环境因素造成的轨道图像亮度变化具有更强的鲁棒性。采用两种方法对高亮度轨道图像的轨面区域进行提取,效果对比见图6(红框区域即提取的轨面区域)。可知:由于轨道图像的整体亮度高,水平投影法错误地定位在轨面以外的区域,而本文方法准确地提取了轨面区域。
图6 轨面区域提取效果对比
2.2 光带检测
对于轨面区域图像,光带检测的准确性通过交并比Jr来评价,其表达式为
式中:Ar为图像中人工标注的光带区域;Br为利用本文算法检测出的光带区域。
然后对所有测试样本计算交并比的平均值mr,表达式为
式中:Nt为测试图像样本的数量;Jr,i为对第i张图像计算得到的交并比。
测试显示本文方法得到的mr=88.81%,而采用文献[8]中的方法得到的mr=77.23%。这表明本文方法可以有效地检测钢轨光带,其交并比平均值比文献[8]中的方法提高了11.58%。本文方法得益于利用图像灰度变换加大了光带和非光带区域的灰度差异,突出了光带边缘,从而能够降低光照、图像噪声等因素的影响,更加准确地定位光带位置。
3 结语
为了从轨道图像中准确地提取轨面区域并检测光带位置,为钢轨光带分析提供可靠依据,本文提出了一种基于机器视觉的钢轨光带检测方法。首先根据轨道图像的频域特征提取轨面区域,然后利用灰度变换突出光带的边缘,逐行计算梯度识别光带位置。通过采集的某高铁线路的轨道图像对该方法的检测效果进行验证,结果显示该方法能有效地检测钢轨光带,光带检测的交并比平均值达到了88.81%,比现有方法提升了11.58%。下一步工作将会把该算法部署到轨道巡检系统上,大规模测试和验证算法性能。