基于机器视觉的铁路信号灯检测技术

张坤 李珊珊 王晓红 李雪菲 温涛

摘要：为解决铁路安全运输问题，对基于机器视觉的铁路信号灯检测方法进行仿真图像和视频检测实验研究。阐述了铁路信号灯图像在不同颜色空间下的特性及其对铁路信号灯识别的影响，将其由RGB颜色空间转换为HSV颜色空间。通过Canny算子、腐蚀膨胀以及开闭运算等技术提取铁路信号灯图像的几何特征，通过Hough检测，对图像中铁路信号灯进行定位。对定位的信号灯进行颜色提取，从而识别出信号灯的类别。根据多种天气情况下的铁路信号灯图像进行仿真实验分析，进一步对采集的列车行驶视频进行实验分析，优化检测方法。研究结果表明，提出的铁路信号灯检测模型，能够支持复杂背景下的铁路信号灯类别的有效识别。通过机器视觉技术实现铁路信号灯的检测和识别，是提高铁路运输安全性的一种有效方法。

关键词：图像处理;机器视觉;铁路信号灯检测;HSV;Canny算子;Hough检测

中图分类号：TP319文献标志码：A

文章编号：1008-1534（2019）02-0115-07

随着铁路运输量的增加和运输速度的提升，多次出现的铁路运输事故，给列车的正常运行带来了极大的不确定因素，也给国家和人民的生命财产带来了巨大安全隐患。如何保证铁路运输的安全、可靠，成为铁路运输行业密切关注的一个重要问题。铁路运输的安全隐患有很多种，其中铁路信号灯的错误识别和判断是重要因素之一[1]。传统的铁路信号灯检测一直是靠人眼来观察，当列车快速行驶时，人眼观察容易产生误判。随着人工智能技术的日益发展，图像处理技术和计算机视觉技术逐渐成熟，为减少铁路交通运输事故的发生，笔者通过机器视觉技术，提出了一种基于机器视觉的铁路信号灯检测模型[2]，以提高铁路信号灯的识别率，为铁路运输提供安全保障，有效提高铁路运输效率。

与铁路信号灯的研究相比，道路交通信号灯的检测方法较多。例如，2016年李佳阳等[3]使用MATLAB提取交通信号灯的特征，实现交通信号灯的识别。同年YUAN等[4]将机器学习方法用于交通信号灯的识别。PARK等[5]提取可能是交通信号灯的像素，利用K均值聚类方法进行聚类;再用圆检测算法，检测出圆形信号灯。与道路交通信号灯相比，铁路信号灯检测技术对精确度和速度提出了更多要求。例如，铁路信号灯图像并非标准圆形，且铁路信号灯种类多达9种，极大地提高了检测的复杂度。国内外对此方面的研究相对较少。2012年李永河等[6]利用MATLAB软件提取了铁路信号灯的面积、周长等几何特征信息，实现了铁路信号灯的检测和识别。为了实现复杂环境下的铁路信号灯的准确识别，提出了铁路信号灯检测与识别模型，分析比较了颜色空间和边缘算子，通过Canny算子、腐蚀膨胀以及Hough检测等技术实现了铁路信号灯的识别。

1铁路信号灯检测与识别模型

提出了一种基于机器视觉的铁路信号灯检测与识别模型，技术路线图如图1所示。本模型中信号灯图像的处理过程主要分为以下步骤：1）采集铁路信号灯图像;2）提取铁路信号灯的颜色特征;3）提取铁路信号灯的几何特征。

1）铁路信号灯图像的采集

铁路信号灯图像的获取路径分为2个：一是通过实验生成的仿真数据，用于测试所提出的检测与识别模型的准确度;另一个是通过摄像头设备获取的列车视频，按帧提取的铁路信号灯图像。

2）铁路信号灯图像颜色特征的提取

将铁路信号灯图像的颜色空间转换成能方便处理的HSV颜色空间模型，为准确检测与识别打下基础。

3）铁路信号灯图像几何特征的提取

使用Canny算子进行边缘检测，为铁路信号灯图像提取更加清晰的边缘;在此基础上，使用腐蚀膨胀等技术实现图像的去噪、边缘增强等，加强图像的几何特征;最后进行Hough变换，找到信号灯圆的位置，更好地识别出信号灯的颜色。

2铁路信号灯颜色特征的提取方法

目前，在图像处理过程中，常用的彩色图片格式有RGB，Lab，HIS，以及HSV4种。选取颜色空间的不同，会对铁路信号灯识别的准确度产生影响。因此，针对复杂环境下的铁路信号灯图像，分析这4种颜色在空间模型中不同的颜色分量值及其对铁路信号灯识别的影响，实验中选用的铁路信号灯图像如图2所示。

RGB颜色空间模型是图像处理中最基本的模型，而且R，G，B這3个分量的相关性较高，容易受到光照等影响[7]。Lab是一种基于人对颜色感知的一种颜色空间，它比RGB颜色空间的色域要宽，且不依赖于设备[8-9]。HSI颜色空间是从人的视觉感知层面建立的模型[10]，而且HSI适用于一些亮度有变化或颜色差异较大的场景。HSV空间符合人眼的视觉感知，所以更适合用在图像处理上，而且HSV空间能够非常直观地表达出色彩的明暗、色调以及鲜艳程度，因此颜色之间的对比就比较方便明了[11]。

RGB颜色空间中各分量的独立性较强，分布不均匀。将RGB颜色空间应用于铁路信号灯检测算法中，会导致在边缘检测和图像形态学分析时产生较大的偏差，信号灯检测效果不好。与RGB对比，Lab模型空间中各分量具有一定的相关性，在图像处理过程中要优于RGB模型，而HIS，HSV模型分布最为均匀，适合本文的铁路信号灯识别方法。对比HSI和HSV，选用HSV颜色空间模型。

在HSV空间模型中，能够对铁路信号灯图像进行有效处理。针对铁路信号灯的类别，对基本色中对应的HSV分量定一个严格的范围，表1是通过实验计算得到的一个模糊范围（H：0～180;S：0～255;V：0～255）。此表把部分红色归为紫色范围。

采用HSV颜色空间的铁路信号灯图像来实现铁路信号灯的检测和识别。由于采集的图像是RGB颜色空间模型，因此在进行图像处理前，需要通过式（1）至式（3）转换到HSV颜色空间，转换效果如图3所示，其中图3a）为RGB空间的原图，图3b）为转换后HSV空间的效果图。

H=

3铁路信号灯几何特征的提取方法

铁路信号灯几何特征的提取是复杂背景下有效识别信号灯颜色不可或缺的一步，几何特征提取的精度直接影响到铁路信号灯的正确识别。通过图像边缘检测、腐蚀膨胀、Hough检测等技术，完成铁路信号灯的识别，提高了铁路信号灯检测的准确度。

3.1图像边缘检测

复杂背景下，铁路信号灯的成功定位所依赖的一个重要因素就是物体边缘。使用各种边缘算子的图像边缘检测技术，较为准确地找到物体边缘[12-13]。常用的边缘算子有Roberts算子、Sobel算子、Prewitt算子、LOG算子、Canny算子等。这5种边缘算子对铁路信号灯图像检测的效果如图4所示。

1）Roberts算子是一种最简单的算子。Roberts算子适用于边缘明显且噪声较少的图像。如图4b）所示，铁路信号灯图像的背景复杂，得到的图像边缘并不明显。

2）Sobel算子是一种典型的基于一阶导数的边缘算子。Sobel算子可以很好地消除噪声的影响，但是缺点就是不能将图像的主题与背景严格区分开来。如图4c）所示，图像中信号灯边缘与图像背景边缘并没有分割开来，而且其中一些重要边缘也不是很明显。

3）Prewitt算子是一种基于一阶微分算子的边缘检测。Prewitt算子对噪声具有平滑作用，但是Prewitt算子与Sobel算子相比，不能更准确地检测出图像边缘。如图4d）所示，边缘提取后，得到的边缘太多，不太容易提取出铁路信号灯的边缘。

4）LOG算子是一种基于二阶导数的零交叉算子，对噪声十分敏感。如图4e）所示，得到的边缘不明显。

5）Canny算子是一个一阶算子，具有滤波、增强、检测功能。如图4f）所示，提取出的铁路信号灯图像边缘比前面几种都要清晰明显，也能够检测出铁路信号灯图像边缘较细的部分[14-15]。

在对铁路信号灯图像进行处理前，要先使用高斯平滑滤波器来平滑图像以达到去除噪声的目的，然后计算图像梯度的大小和方向，再经过一个对梯度值的非极大值抑制过程，最后使用2个阈值来实现边缘的检测和连接[16-17]。优点是最后的步骤中使用了2个阈值，更加清晰地找到圖像中边缘细小部分，同时增加了灵活性。使用Canny算子进行图像边缘检测，多次调整Canny算子中的阈值大小，确定2个阈值分别为threshold1=10和threshold2=300，得到如图5所示的更为清晰的边缘图像。

3.2图像的形态学操作

为消除铁路信号灯图像的噪声，有效提取铁路信号灯图像的边缘，提出的铁路信号灯检测与识别模型采用形态学操作中的膨胀（dilation）和腐蚀（erosion）处理[18]。

针对图2的铁路信号灯原图，使用笔者提出的信号灯识别与检测模型中的Canny算子处理，通过边缘检测得到图5，然后对这个效果图进行2次腐蚀膨胀以及闭运算，制作出黑色掩膜。2次腐蚀膨胀以及闭运算后的效果如图6所示。

3.3铁路信号灯圆的提取

对铁路信号灯图像进行Canny算子边缘检测、腐蚀膨胀等操作，可以增强图像的几何特征信息，为铁路信号灯的定位及识别打下基础。图6所示是图5在进行Canny算子边缘检测处理后的新图像。然而，为进一步成功定位信号灯，利用基于Hough变换理论来实现铁路信号灯圆定位算法，以便找到铁路信号灯圆的轮廓。

Hough变换就是对图像进行坐标变换，即把平面坐标变换为参数坐标，使得图像中的圆形更加容易被检测[19-20]。设圆心坐标（a，b）和半径r，得到Hough变换检测圆的方程公式为（x-a）2+（y-b）2=r2。圆心之间的最小参数设为param=10，最小圆半径设为minRadius=5，最大圆半径设为maxRadius=50。使用这些参数可以检测到更加接近于铁路信号灯轮廓的圆形。

4实验

1）图像数据

为了检测铁路信号灯识别方法的可行性，现场采集了一段长达8min的列车行驶视频。首先按帧提取出1190张铁路信号灯图像，然后进行铁路信号灯的识别和检测。当摄像头与信号灯的距离小于等于450m，采集到的铁路信号灯图像清晰度好，可以作为系统的有效输入。

2）颜色识别

为实现铁路信号灯识别方法的有效性与实用性，使用了180幅不同颜色的铁路信号灯图像数据进行检测。实验选择软件为pycharm2017.3.3平台，硬件为PC（配置：Intel（R）Core（TM）i5-7200UCPU@2.50GHz内存8.00GB64位WIN10操作系统）。

为了验证该算法是否满足实时性要求，实验记录了从调用摄像头到识别出图像结果所消耗的时间，然后取其平均值，统计结果见表2。

实验表明，该铁路信号灯识别方法能有效检测信号灯的颜色。通过表2中不同颜色信号灯的实验对比可知，铁路信号灯检测模型对单颜色信号灯检测的准确度较高，时间较短。其中，由于绿色和蓝色的铁路信号灯图片颜色模糊，比其他几种单颜色信号灯的准确度略差、时间略长，并且在组合颜色的铁路信号灯中，有白色灯组合的信号灯不能被很好地识别。所以，需进一步优化来提高准确性和实时性。

3）实验结果

图7显示了实验的识别结果，左侧为原图，右侧为识别后的图片，通过两者对比，可以清晰地找到信号灯的位置并对铁路信号灯进行标记，如图7中右侧识别图中白色框所示。图8是图7提取的边缘特征和腐蚀膨胀效果图。

考虑到真实的列车行驶环境，存在雨、雪等恶劣天气的干扰，实验将采集到的图片添加了噪声干扰，并输入本系统进行信号灯识别，识别结果如图9所示。

实验表明，该铁路信号灯识别方法能有效、准确地识别出铁路信号灯的颜色及位置，并正确解读出信号灯的释义。但是铁路信号灯图片的背景较为复杂，尤其是绿色灯和蓝色灯的颜色提取较为困难，为铁路信号灯的检测和识别带来了困难，因此检测技术仍需完善。

5结语

1）以铁路信号灯检测与识别为研究目标，运用机器视觉的图像处理技术，设计了基于机器视觉的铁路信号灯检测模型。利用该模型识别和检测铁路信号灯的类别和释义，为列车司机提供有效的信号灯信息。

2）通过采集铁路信号灯图像数据，并进行实验验证，发现视频中的背景复杂，且信号灯颜色较为模糊，采用一般的图像处理方法不足以准确识别。在此基础上，对比分析了4种颜色空间模型和5种边缘检测算子，提出了基于机器视觉的铁路信号灯检测模型，利用Canny算子对图片边缘进行检测处理，通过Hough变换对处理后的图片进行坐标变换以便找到图片中圆的位置，实现了铁路信号灯的识别和检测。

3）有关铁路信号灯检测算法的改进研究还有待优化，比如模型中的HSV颜色空间转换的阈值和一些技术中的参数进行调整，今后将对此进行更为深入的探索。

参考文献/References：

[1]刘朝英，林瑜筠.铁路信号概论[M].北京：中国铁道出版社，2011：390.

[2]丁建平.铁路跟踪和铁路信号灯识别的研究[D].成都：电子科技大学，2013.

DINGJianping.ResearchaboutRailwayTrackingandtheIdentificationofRailwaySignalLight[D].Chengdu：UniversityofElectronicScienceandTechnologyofChina，2013.

[3]李佳阳，刘奇.基于MATLAB的交通信号灯识别方法[J].甘肃科技，2016，32（23）：40-43.

[4]YUANQingze，ZHOUMuchun，QIUMing.TrafficlightsdetectionandrecognitionbasedoncolorandshapewithSVM[C]//2016InternationalConferenceonComputer，MechatronicsandElectronicEngineering.Beijing：CMEE，2016：406-411.

[5]PARKJH，JEONGCS.Real-timesignallightdetection[C]//2008SecondInternationalConferenceonFutureGenerationCommunicationandNetworkingSymposia.Sanya：IEEE，2008：139-142.

[6]李永河，董华军，刘伸展，等.基于图像处理铁路信号灯特征提取[J].大连交通大学学报，2012，33（4）：102-104.

LIYonghe，DONGHuajun，LIUShenzhan，etal.Featureextractionofrailwaysignalsbasedonimageprocessing[J].JournalofDalianJiaotongUniversity，2012，33（4）：102-104.

[7]DUTTAS，CHAUDHURIBB.AcoloredgedetectionalgorithminRGBcolorspace[C]//2009InternationalConferenceonAdvancesinRecentTechnologiesinCommunicationandComputing.Kerala：IEEE，2009：337-340.

[8]RECKYM，LEBERLF.WindowsdetectionusingK-meansinCIE-Labcolorspace[C]//201020thInternationalConferenceonPatternRecognition.Istanbul：IEEE，2010：356-359.

[9]徐成，譚乃强，刘彦.基于Lab色彩空间和模板匹配的实时交通灯识别算法[J].计算机应用，2010，30（5）：1251-1254.

XUCheng，TANNaiqiang，LIUYan.TrafficlightsrecognitionalgorithmbasedonLabcolorspaceandtemplatematch[J].JournalofComputerApplications，2010，30（5）：1251-1254.

[10]孙慧贤，张玉华，罗飞路.基于HSI颜色空间的彩色边缘检测方法研究[J].光学技术，2009，35（2）：221-224.

SUNHuixian，ZHANGYuhua，LUOFeilu.ColoredgedetectionbasedonHSIcolorspace[J].OpticalTechnique，2009，35（2）：221-224.

[11]SUCH，CHIUHS，HSIEHTM.AnefficientimageretrievalbasedonHSVcolorspace[C]//2011InternationalConferenceonElectricalandControlEngineering.Yichang：ICECE，2011：5746-5749.

[12]赵志帅.基于彩色图像处理的铁路信号灯识别及其测距技术研究[D].武汉：武汉理工大学，2010.

ZHAOZhishuai.ResearchontheTechniquesofRecognitionandDistanceofRailwaySignalsBasedonColorImageProcessing[D].Wuhan：WuhanUniversityofTechnology，2010.

[13]张春雪.图像的边缘检测方法研究[D].无锡：江南大学，2011.

ZHANGChunxue.ResearchontheMethodofImageEdgeDetection[D].Wuxi：JiangnanUniversity，2011.

[14]王智文.几种边缘检测算子的性能比较研究[J].制造业自动化，2012，34（6）：14-16.

WANGZhiwen.Comparisonresearchofcapabilityofseveraldetectionoperatorsforedgedetection[J].ManufacturingAutomation，2012，34（6）：14-16.

[15]唐亮，赵春红，胡继明，等.基于边缘检测算子的图像边缘检测研究与应用[J].科技广场，2017（6）：22-25.

TANGLiang，ZHAOChunhong，HUJiming，etal.Researchandapplicationofimageedgedetectionbasedonedgedetectionoperator[J].ScienceMosaic，2017（6）：22-25.

[16]張树忠.基于Canny理论的彩色图像边缘检测[D].成都：成都理工大学，2006.

[17]杨阿庆.基于Canny理论的彩色图像边缘检测及评价[D].兰州：兰州理工大学，2013.

YANGAqing.TheColorImageEdgeDetectionBasedontheTheoryofCannyandEvaluation[D].Lanzhou：LanzhouUniversityofTechnology，2013.

[18]姚敏.数字图像处理[M].北京：机械工业出版社，2006.

[19]路正凤，王思明，吕国强，等.基于PCA和随机Hough变换的调车信号灯检测[J].铁道标准设计，2014，58（3）：130-134.

LUZhengfeng，WANGSiming，LVGuoqiang，etal.ShuntingsignallampdetectionbasedonPCAandrandomizedHoughtransform[J].RailwayStandardDesign，2014，58（3）：130-134.

[20]朱桂英，张瑞林.基于Hough变换的圆检测方法[J].计算机工程与设计，2008，29（6）：1462-1464.

ZHUGuiying，ZHANGRuilin.CircledetectionusingHoughtransform[J].ComputerEngineeringandDesign，2008，29（6）：1462-1464.

[21]刘培军，马明栋，王得玉.基于OpenCV图像处理系统的开发与实现[J].计算机技术与发展，2019，48（3）：1-6.

LIUPeijun，MAMingdong，WANGDeyu.OpenCV-basedimageprocessingsystemdevelopmentandimplementation[J].ComputerTechnologyandDevelopment，2019，48（3）：1-6.

[22]ZHOUYing，LIPancheng.Researchonkeytechnologiesofcomputergraphicsimageprocessing[C]//20185thInternationalConferenceonElectrical&ElectronicsEngineeringandComputerScience（ICEEECS2018）.Beijing：ICEEECS，2018：63-66.

[23]ZHONGJuan，LIAOHua.Researchontheapplicationsofelectronicinformationtechnologyinintelligenttrafficlightsignalcontrol[C]//2017InternationalConferenceonComputing，CommunicationsandAutomation（I3CA2017）.Shanghai：I3CA，2017：1-5.

[24]李广亮，杨成忠，张泽泓.智能车交通灯识别[C]//浙江省信号处理学会2013学术年会论文集.杭州：浙江省信号处理学会，2014：123-126.

[25]ZHAOXu，XUBaojie，WUGuoxin.CannyedgedetectionbasedonOpenCV[C]//201713thIEEEInternationalConferenceonElectronicMeasurement&Instruments（ICEMI）.Yangzhou：IEEE，2018：53-56.