基于HSV色彩空间S分量的轨面区域提取方法

曹义亲,丁要男

(华东交通大学 软件学院,江西 南昌 330013)

随着现代铁路行业的高速发展,列车行驶速度不断加快,运行里程不断增长,铁路运输及其基础设施安全隐患也随之增多[1]。钢轨表面产生各种类型的磨蚀和缺陷,轨道健康状况发生变化,严重威胁列车行车安全[2]。采用高效、精确的技术方法来检测钢轨表面缺陷,为维修部门提供准确可靠的数据,对铁路运维工作而言显得日益重要和迫切[3]。

基于计算机视觉的检测方法因检测精度较高、耗时较短等优点,在钢轨缺陷检测领域中应用广泛,并取得了一定的研究成果。文献[4]提出一种基于最大稳定极值域的缺陷检测方法,首先分析缺陷的特征,再进行缺陷的提取和标记,将标记的结果采用最大稳定极值域方法来完成缺陷的检测。文献[5]采用一种基于深度学习的检测方法,运用语义分割框架实现缺陷的自动分割,其分割效果较好,缺陷的边缘信息也比较完整。文献[6]提出一种钢轨缺陷识别模型,通过对不同尺度的缺陷进行分析、标记、检测,仿真实验结果验证了算法的性能。文献[7]提出一种基于灰度标准差与投影积分的阈值分割方法,能够对不同类型的缺陷进行检测,其鲁棒性较强。然而,实际获取到的轨道图像中不仅包含目标区域,即钢轨表面区域,同时还包括非目标区域,如轨枕、扣件、碎石等,为了降低非目标区域的干扰,减少图像处理运算的时间,提高轨面缺陷检测的效率和精度,轨道表面区域提取就显得非常重要。

文献[8]提出一种手动确定左右两边界的轨面区域提取算法,采用水平投影方法对轨面区域进行提取,此算法计算方法简单,但需要手动确定轨面左右边界。文献[9]提出了一种基于竖直投影法的轨面区域提取算法,采用灰度均值二值化的方法来确定轨面左右边界,该方法在轨面区域提取过程中有一定的精确性,但是其自适应性较差。文献[10]采用一种基于列直方图最小值方法对轨面区域进行提取,通过计算得到轨道图像的列直方图,搜索固定轨宽间隔的最小值来完成轨面区域的提取,该算法能够消除部分光照的影响,但仍需要预先设定轨面的宽度。文献[11]提出了一种基于平均强度投影轮廓的轨面区域提取算法,此算法首先计算出纵向线的平均强度投影轮廓,对轮廓区间进行排序搜索,得到其最大值,完成轨面区域的提取,能够去除部分噪声的干扰,但是可变参数较多,不便于调节。文献[12]提出了一种基于列像素累积灰度强度的轨面区域提取算法,计算每列的像素值,通过垂直投影曲线来确定左右边界,此方法能够有效完成轨面区域的提取,但抗光照干扰性较差,提取结果的边缘信息不完整。文献[13]采用一种基于HLS色彩空间的轨面提取方法,通过将H分量图像单独分离出来,进行轨面区域的提取,能够消除部分光照的干扰,但是不能消除噪声的干扰。

在RGB空间图像中,轨道图像灰度值分布规律性不强,难以克服光照不均和环境噪声的干扰,利用HSV空间图像中S分量图像具有对光照干扰不敏感、抗光照不均能力较强的特点,本文提出一种基于HSV色彩空间S分量的轨面区域提取方法。新方法首先使用自适应加权中值滤波调节滤波窗口的大小,结合相似度值给不同滤波窗口的像素点分配相应的权重,将细小而杂乱的噪声消除;然后将去噪后的RGB轨道图像转化为HSV色彩空间轨道图像,将S空间分量图像单独提取出来,以此来克服光照条件变化对钢轨表面区域提取带来的干扰,同时采用改进的线性函数对S空间分量图像进行增强,有效增强不同区域之间的差异;最后通过绘制灰度投影曲线,搜索列曲线左右两侧的最大值和次大值,确定轨面区域左右边界,完成轨面区域的提取。

1 相关工作

在RGB轨道图像中,可以进行识别的图像特征十分有限,获取的有效信息不足,因此有必要对图像进行灰度分析。轨道图像一般包括两大区域部分:目标区域,即轨道表面区域;干扰区域,包括轨枕、扣件、碎石等,如图1(a)所示。为了降低轨面区域提取的难度,本文进行轨道图像灰度分析,通过计算不同区域间的灰度特征,获取区域间的灰度分布规律。

轨道图像灰度划分图如图1(b)所示,分析可知,根据灰度值的大小可以将其划分为不同部分的轨道区域,用不同颜色的直线进行描述划分,经过轨道表面区域的直线有C3、C4、C5,其他5条直线经过干扰区域。分析图1(c)、图1(d)可知:对于灰度值而言,正常情况下的轨面区域变化较为平缓,干扰区域变化的幅度较大,且在数值上,前者的灰度值大于后者的灰度值;由于轨道图像包括非目标区域,容易影响灰度的正常分布,增加提取的难度;轨面中的列灰度值大于其均值,但是在存在外部噪声的情况下,其值会低于均值,在光照的不均的情况下,其值会高于均值。

图1 轨道图像灰度分布图

综上所述,在RGB空间图像中,由于存在光照不均和环境噪声的干扰,轨道图像灰度值分布规律性不强,给基于RGB空间图像的轨面区域提取方法带来了一定的困难。然而,在HSV色彩空间中,S分量图像具有对光照干扰不敏感、抗光照不均能力较强的特点,本文将RGB空间图像转换为HSV空间的图像,通过对S分量图像的处理,以减弱或消除光照带来的影响。

2 基于HSV色彩空间S分量的轨面区域提取方法

2.1 HSV颜色模型空间

HSV是一种基于六角锥体将RGB色彩空间中的不同点之间的关系表示出来的方法模型,其描述的颜色感知关系准确,计算简单,是一种直观的、相互独立的颜色。在HSV颜色模型中,包括3种不同的模型颜色空间,如图2所示,色调H表示的是围绕中心点转动的角度,取值范围为0°～360°,饱和度S和明度V分别表示不同的点和顶点到截面圆心的距离。RGB空间图像能够转换为HSV空间的图像,转换公式如式(1)～(3)所示。max表示(r,g,b)之间的最大值,min表示(r,g,b)之间的最小值。

图2 HSV颜色空间

(1)

(2)

V=max

(3)

2.2 钢轨图像去噪

在采集和传输钢轨图像的过程中,图像不可避免地会受到噪声的污染,导致钢轨图像部分细节的清晰度不高,有时钢轨图像较为模糊,导致图像的整体质量下降,给钢轨表面区域提取造成一定的困难。

传统的中值滤波去噪是通过将图像中每个点的灰度值设定成该点邻域内所有像素点的中值,从而消除孤立的噪声点,实现图像去噪,该方法在轨道图像中去噪效果不明显,存在细小而杂乱的噪声。为了提高图像降噪的效果,本文采用自适应加权中值滤波方法[14]实现轨道图像的去噪,根据图像中噪声点的个数自适应调节滤波窗口的尺寸大小,计算每个像素点的相似度,结合相似度的大小将不同滤波窗口的像素点分配相应的权重大小,将图像中的噪声点进行消除。此算法在有效去除图像噪声的同时,还能较好地保护图像的细节信息。

2.3 钢轨表面区域提取

2.3.1 S分量的提取

首先将自适应加权中值滤波处理后的RGB轨道图像通过非线性变换式(1)～(3)转化成为HSV空间轨道图像,再将HSV空间中的S空间分量图像单独提取出来,提取后的图像记作为q(x,y)。在HSV空间中,S空间分量图像代表其饱和度图像,利用其对光照不敏感的优势来克服光照不均的干扰,进行轨面区域的提取,提高提取的准确率,如图3所示。

图3 HSV颜色空间及S空间分量

2.3.2 基于线性变换的图像增强

为了进一步提高钢轨表面区域和其他区域的对比度,有效增强不同区域之间的差异,需要进行图像增强处理。在S分量图像中,使用简单的线性变换增强,其增强效果不明显,不同区域间的对比度差异性较低,不利于下一步的区域提取。

本文基于简单的线性变换增强进行改进,采用线性变换函数[15]对S空间分量图像q(x,y)进行图像增强,引入两个饱和度增强强度参数m1和m2来提高算法的通用性,以此达到饱和度增强的效果,计算公式如式(4)所示,其中增强后的灰度大小范围为(m1×a,m2×b),原始图像的范围为(a,b)。

(4)

通过多次实验,当m1取0.4,m2取1.6时,能较好地实现钢轨表面区域和其他区域的对比度拉伸,有效提升不同区域间的对比度,有利于提高轨面区域提取的精度,取得较好的图像增强效果,变换后的图像Q(x,y)如图4所示。

图4 图像的增强

2.3.3 轨面区域左右边界的确定

通过式(5)计算轨道图像Q(x,y)中每列的灰度,并得到灰度投影曲线。设t(x)表示是第x列的灰度和,将每列的灰度投影曲线进行叠加,若计算出来的列灰度值大于最大灰度值255,需要通过式(6)进行纵坐标的变换,反之不需要。其中h表示的是图像Q(x,y)的高度,T(x)表示的是进行变换后的值。

(5)

T(x)=t(x)/255

(6)

计算HSV颜色空间中S空间分量图像Q(x,y)的中间点,记为p/2,对灰度和值的大小进行排序,找到其中间点p/2的左边灰度投影曲线的最大值A1和次大值A2、右边的灰度投影曲线的最大值B1和次大值B2。最后对左右端边界点进行确定,若A1所属的列的值大于A2,则图像的左端边界点row(A)=A1,反之图像的左端边界点row(A)=A2;若B1所属的列的值大于B2,则图像的右端边界点row(A)=B1,反之图像的右端边界点row(A)=B2。

确定轨面左右边界点后,根据两边界点完成对钢轨表面区域的提取。

2.3.4 轨面区域提取算法流程

轨面区域提取算法流程如图5所示。

图5 轨面区域提取算法流程图

3 实验结果与分析

实验配置环境如下:CPU的型号为Intel(R)Core(TM)i7-6700,CPU频率为3.4 GHz,编程环境为MATLAB R2019a,操作系统为Windows10 64位,16GB内存。

3.1 性能评价指标

在进行提取的过程中,由于算法提取的结果和人工标注的轨面边界不完全一致,为了验证算法的精度,本文引入交并比(Intersection over union, IoU)值[16]和提取准确率来对算法提取的精度进行评价。

IoU值是计算算法提取轨面边界结果和人工手动标注边框结果的交集与并集之间的比值,即交叠率,其计算公式如式(7)所示。其中圆形C表示的是算法提取的预测结果,圆形D表示的是人工标注的实际结果,如图6所示。在圆形C和D进行交并运算中,其二者的交叠率值越大,反映二者的重叠度越高,预测结果和实际结果就越接近,其精度就越高。最理想情况是完全重叠,即比值为1。

图6 IoU示意图

IoU=(C∩D)/(C∪D)

(7)

3.2 对比实验结果分析

从本实验室收集整理的轨道图像数据集中选取250张RGB钢轨缺陷图像(尺寸大小为5.40 cm×4.25 cm)进行轨面区域提取实验,设定交并比值IoU和提取准确率作为轨面提取的精度性能指标,算法运行10次的平均消耗时长作为其时耗性能指标。

为了更加精确测试不同轨面提取算法的有效性和提取的性能,本文参考文献[13],设定轨面区域提取的IoU值大于0.85判断是正确提取,反之判断其为提取失败。将本文算法与不同的轨面提取算法进行实验对比。

图7是不同算法的轨面图像提取的结果,表1是图7第一幅图不同算法的交并比值,其图像的真实边界为:[900,1500]。

通过表1的数值对比不难发现,本文算法预测的边界与图像的真实边界最为接近,IoU值均高于其他对比算法,且提升幅度较大。相对而言,本文算法提取精度最佳、算法的性能最好。

表1 不同算法的交并比值对比

分析图7可以看出:文献[8]和文献[9]的提取效果不佳,两者都是基于计算灰度投影曲线进行轨面区域提取,其中文献[8]采用的是计算轨面图像中每列的白色像素数量的一半和灰度投影曲线相连接的交点作为轨面边界,文献[9]则是将灰度投影曲线中第一次连续出现1或0时的值判定为轨面边界的端点,这两种方法太理想化,对轨道图像质量要求较高。文献[10]相对于文献[8]和文献[9]的提取效果有较大提升,但仍存在提取效果不佳、轨面边缘信息不完整的问题,其原因是通过预先设定的宽度对轨面区域进行提取,默认其宽度间隔搜索的最小值作为边界,但此最小值可能出现在非轨面区域部分。

图7 不同算法轨面提取的结果

文献[11]和文献[12]的提取效果与文献[10]相当,算法通过计算灰度值大小进行轨面区域提取,分别使用列灰度均值和列灰度和值进行搜索,将列灰度均值与列灰度和值进行迭代相加得到最大的定长区间来对轨面边界进行确定,此方法容易受到光照不均的影响,导致计算的灰度分布出现偏差,进而影响轨面提取效果,降低了提取的精度。文献[13]的提取效果较文献[11]和文献[12]有所提升,方法采用基于HLS色彩空间的轨面区域提取方法,首先把H分量的图像单独分离出来,虽然在一定的程度上可以消除光照条件下的干扰,但是不能消除噪声的干扰,因而影响提取的效果,其IoU值较低。本文算法的提取效果与前面的方法相比,有明显的提升,新方法将去噪后的图像进行HSV色彩空间转化,对S分量图像进行分离提取,采用线性变换函数对S分量图像进行增强,在S分量图像中绘制灰度投影曲线,来自动确定轨面区域的左右边界,其提取效果最佳。

图8是不同算法进行轨面区域提取的平均消耗时长对比结果。文献[8]提出的算法耗时最长,达到48.4 ms,其原因是需要手动对区域边界进行确定,耗时较长。文献[9]提出的算法耗时24.9 ms,其原因是采用竖直投影法进行轨面区域的提取,自适应性较差。文献[10]、[11]和[12]不需要对色彩空间进行转换,算法耗时相对较少,其值分别为16.4 ms、15.2 ms和17.7 ms。本文算法由于需要将RGB色彩空间转化为HSV色彩空间,一定程度上增加了时耗,故在平均消耗时长上高于不需要对色彩空间进行转换的算法。但相对于其他需要进行色彩空间转换的对比算法,本文算法耗时较低,仅需要22.8 ms,低于文献[13]的39.4 ms,可以满足实时性的需要,原因是本算法通过绘制灰度投影曲线,寻找轨面边界左右两侧列曲线的最大值和次大值,来确定轨面区域左右的边界,一定程度上减少了搜索的时长。

图8 不同算法提取的平均耗时

为了进一步定量说明本文算法的有效性,采用准确率作为评价指标,进行实验对比,结果如表2所示。文献[8]和文献[9]算法对轨道图像的质量要求较高,过于理想化,且需要人工确定轨面边界,在本文实验过程中,当实际的轨道图像质量达不到方法要求,文献[8]和文献[9]算法无法正确提取轨面区域,所以不再统计其准确率。文献[10]进行轨面区域提取的准确率为83.2%,影响准确率的原因是基于列直方图进行区域提取的方法可能导致整体的结果向左右两边平移,而文献[11]和文献[12]相比于文献[10]准确率降低,原因是文献[11]和文献[12]都需要提前设定轨面宽度,通过计算平均强度投影轮廓和像素累积灰度强度,对边界进行确定,进行区域提取,存在一定的误差,准确率分别为81.6%和82%。文献[13]的准确率为84%,在一定的程度上可以克服光照不均的影响,但是不能消除锈迹、阴影等带来的干扰。本文算法使用自适应中值滤波实现对轨道缺陷图像的去噪,将RGB颜色空间向HSV色彩空间进行转化,进而提取S分量图像,消除光照条件的干扰,通过对S分量图像进行增强,有效增强不同区域之间的差异,所涉及的操作均有利于边界提取,准确率为94%,在相关对比算法中准确率最高,且提升幅度较为明显。

表2 不同轨面提取算法准确率对比

4 结束语

针对钢轨图像存在光照不均和噪声影响的问题,同时为了进一步提升轨面区域提取的效果,本文提出一种基于HSV色彩空间S分量的轨面区域提取方法。采用自适应加权中值滤波方法对轨道图像进行处理,达到消除噪声干扰和保护图像边缘信息的目的;基于HSV颜色空间提取出S分量图像,以此来克服对光照敏感的不足;采用线性变换函数对S空间分量图像进行增强,提高不同区域间的差异,增强对比度,有利于轨面区域提取;通过绘制灰度投影曲线,确定轨面区域的边界,完成轨面区域提取,避免手动设定轨面的宽度,自适应性较强。本文算法可控性强,可变参数较少,方便进行调节。

仿真实验结果表明,该方法对轨面区域提取的效果较为理想,提取精度较高,准确率为94%,平均提取时间为22.8ms,可以满足实时性的需要,具有一定的实用价值。本文仅考虑了光照和噪声对轨面区域提取的影响,后续工作将进一步研究不同光照条件和不同噪声条件下的轨面提取问题。