基于RGB归一化模型与分群算法的交通灯检测

吕亚运，郎 朗，杨会成，陈孟元

基于RGB归一化模型与分群算法的交通灯检测

吕亚运，郎 朗∗，杨会成，陈孟元

（安徽工程大学安徽省电气传动与控制重点实验室，安徽芜湖 241000）

交通灯检测是智能交通系统研究的一个重要方向，采用了一种交通灯实时检测算法.首先，对图像进行RGB归一化处理，得到了几种颜色独立的图像.然后提取图像的二值化信息，并作形态学处理.接着对图像进行分群操作和标记处理，并且根据交通灯形状区域特点做出边长与面积条件判断.最后通过提取交通灯的样本空间来进行匹配，从而锁定交通灯位置.实验部分将其与传统的Hough算法进行比较，结果表明所提算法可以更快且准确地检测到交通灯.

交通灯检测；智能交通系统；形态学处理

近年来，人们对智能交通系统的关注度越来越高，国内外关于自动驾驶辅助系统的研究也得到了迅猛发展.在同时混合了自动与手动的复杂交通状况下，交通灯的恰当控制将成为不可或缺的重要因素.因而通过检测并正确识别出交通灯，驾驶员将会获得有用的道路信息.但在道路场景图片中，交通灯通常显得比其他事物小，同时周边还有许多和交通灯颜色相近的事物，这使得对交通灯的检测绝非易事.

在前人的研究中，徐成［1］等提出运用Lab色彩空间来提取交通灯形状特点，并根据这些属性过滤掉一些候选区的目标，然后通过交通灯的模板匹配得出检测结果.杨怿菲［2］提出一种基于空间信息的彩色图像评价方法，将图像变换到S-CIELab空间，并构造出评价图像质量标准.文献［3］运用CamShift算法来对交通灯进行追踪与定位，然后通过模板匹配来检测交通灯颜色状况.文献［4］提出一种动态视觉模型检测驾驶环境的变化，最终识别出道路标志牌.文献［5-8］采用传统的Hough算法来检测目标的几何形状，Hough算法是将图像中目标的几何形状转换成数学模型，并对模型参数进行匹配选择，满足给定阈值范围随即输出对应目标形状.

然而Hough算法处理过程中的运算量比较大，对处理器性能要求比较高.本文提出将RGB归一化模型与分群算法运用在交通灯检测上，充分利用了交通灯固有特点、摄像机标定参数以及图像处理技术等知识进行实验操作.为了使实验结果具备更强的鲁棒性，添加了一个简单的跟踪平台，以便于系统更好地处理掉那些与目标无关的噪声.为了保证具有安全的实时操作过程，在原有处理规则的基础上对算法进行了优化，采用的方法是系统通过不断地寻找与交通灯颜色和光学特点相类似的目标，从而实现对颜色框架的检测.然后，跟踪平台将会锁定并保持住那些符合交通灯特点的区域，同时也会过滤掉那些不符合其特点的区域.因此，基于原来的简单方法得到了一个可以实时起作用的算法.

1　算法描述

交通灯检测整体流程图如图1所示.首先将图像进行RGB归一化处理并对其进行集群操作，然后提取图像二值化信息并作形态学处理，接着对图像进行分群操作与标记处理，最后将图像候选区中的目标与所建的交通灯样本空间数据进行匹配，满足条件的就可认为是交通灯，从而锁定交通灯位置.在进行红绿灯检测实验之前，需要了解摄像机固有的与外在的标定参数，并且通过查阅国内相关法律法规来了解交通灯的限高.另外，为了加快图像的处理过程，在图像中偏低一点的位置开始寻找目标进行检测.这是因为在汽车行驶过程中，远处的交通灯通常在图像中偏低的位置开始出现.将这个位置对应的范围计算出来，即感兴趣区域（ROI，region of interest），如图2所示.由图2可知，图像中的灰白部分是交通灯检测的区域.

1.1RGB归一化模型与集群操作

在计算机视觉领域，对颜色进行检测和对其进行集群操作是常识性问题.交通灯图像中的RGB元素通常要受到诸如景物亮度变化、距离变化等环境因素的影响.为了解决这个问题，从60幅未作处理的原图像中提取了RGB元素，同时也对这60幅经过“归一化”处理的图像中提取了RGB元素.这些图像是专门从雾、雪、晴朗的天气或夜间有照明等不同的环境条件下挑选出来的.然后，手动挑选每张图像中的红、黄、绿像素点.对于每个像素点，有6个与之对应的值，它们分别是3个RGB空间元素值（R，G，B）和3个经过“归一化”处理过的RGB元素值（RN，GN，BN）.文中算法需要结合这6个元素来获取图像中红、黄、绿色对应目标的鲜明边缘.

RGB“归一化”处理是将原始的RGB图像转换成RGB空间模型的过程.原始图像的RGB空间元素值（R，G，B）除以像素之和s，即可得到对应的归一化的值（RN，GN，BN）.RGB归一化模型的建立极大地减少了原始图像RGB值的运算量，加快了交通灯影像处理过程.其具体处理公式如下：

式中，s为R，G，B 3元素值的总和，计算公式为：

对RGB空间元素进行“归一化”处理后，再对图像中的颜色进行集群操作.由于所要提取的交通灯颜色只有红，黄，绿3种颜色，交通灯其他背景颜色在二值化处理后只有黑白两种颜色，每个像素对应一个取值范围，因而它们被分成了以下5个族群：

每一个像素通过计算的一组中间变量范围来确定，例如RN-GN表示“归一化”后的红色像素值减去“归一化”后绿色像素值.每个希腊字母分别表示对应范围的阈值.因此，对于族群1（红色），参数设定为：α =0.36，β=0.08，γ=0.14；对于族群2（黄色），参数设定为：δ=0.65，ω=0.16，τ=0.15；同样，对于族群3（绿色），参数设定为：μ=-0.16，ρ=0.18，ε=0.25；最后，对于族群4（黑色），由于交通灯的背景颜色实际上在白天并不全是黑色（即对应R=G=B=0），因此设定参数φ=0.30.

在集群操作后，得到了5个独立的单色图像，图像包含红、黄、绿、黑、白5种像素，集群操作的结果已经成功实现.

1.2交通灯信息的提取

（1）二值化处理.为了进一步缩短处理时间，减小处理器的运算量，本文采用一种运算量较小的sobel算子来过滤交通灯信息，其数学表达式为：

因此，交通灯二值化处理为：

式中，I（x，y）为交通灯图像的亮度值；B（x，y）为通过二值化处理后的图像；T为设定的阈值.为了确保系统的鲁棒性，通过统计实时图像中的亮度值来提取T值，使得系统可以在白天与夜晚都能检测到交通灯.由于前面设定的交通灯ROI范围有可能影响到交通灯信息提取的准确性，因此，为了防止实际过程中提取的交通灯信息出现部分缺失问题，需要对交通灯信息进行存储与过滤.设定En为交通灯信息集合，结合上面的表达式，如果Bn（x，y）=0，那么En=En-i.其中，En-i是第n-i张交通灯影像信息集合.换言之，如果当前交通灯信息集合En因为Bn（x，y）=0而无法获取时，就采用第n-i张交通灯影像信息集合En-i作为当前交通灯信息提取的结果.

现如今，我国市场化程度持续提升，此种条件下，物流业得到了十分良好的发展，企业之间的市场竞争也日益激烈，我国许多企业的管理层均在积极探寻各种可提升企业市场综合竞争力的管理措施。基于此，企业为了更好的满足客户服务相关标准提出的高要求，必然会提升其物流方面的成本费用，所以，物流管理这种现代化管理手段越来越受到企业的广泛重视，这一工作内容也因此被提上了日程。对于企业来说，其于激烈市场竞争当中的综合竞争能力是其能否获得理想绩效的关键，现代物流与供应量理论这些新型理论是在市场竞争日益激烈、企业经营规模持续扩大、企业顾客需求不断变化、新兴工商模式相继涌现、市场主体地位日渐变化等条件下提出的。

（2）形态学处理.每张图像中，除了一些特定的噪声外，要对许多候选区进行检测，通常大部分噪声可以通过形态学运算操作移除掉，常见的两大形态学处理为腐蚀与膨胀.为了得到更好的处理效果，一般将两者结合起来，本次实作采用的是先腐蚀后膨胀处理，即Img′=（（Img-E）+D），式中，E为腐蚀操作；D为膨胀操作.

腐蚀操作包含“收缩”或“细化”的过程，同时也有修补残缺像素点的作用.腐蚀的一个遮罩如图3所示.由图3可知，它是以中心为原点，周围相邻的8个像素点值取决于原点对应值的大小.如果原点对应值大于给定阈值，那么将其余8个值设定为最大值（255），反之则将其设定为最小值（0）.类似的，膨胀操作将会使图像中选定的目标“加长”或“变粗”.最后，通过对交通灯信息的提取得到了一幅新的图像.

1.3目标的分群与标记处理

经过腐蚀膨胀处理后的图像依然是一幅只有红、黄、绿、黑4种独立的单色图像.由于在图像中还存在许多与交通灯颜色相近的目标，如广告牌、汽车尾灯等，因此需要将这些不相关的目标去除掉.为了缩短图像处理时间，首先对各个目标进行分群操作.通常图像中有颜色的目标都具有对应特定的形状，通过分群算法将形状近似的目标归为一个群落，并对每一群落用数字作标记以便将它们区分开来.这样将图像ROI中的目标分成了好几个群落，并且每定义一个群，就对其进行数字标记处理，数字的标记处理便于接下来进一步缩小交通灯范围，同时也避免了重复扫描，加快了处理进程.

式中，len gth和width分别表示所选目标的长和宽；μ是设定的阈值.

系统扫描候选区目标的长和宽的结果，排除了不满足长和宽条件的目标.同时，为了过滤现场复杂环境中一些琐碎的噪声，规定候选区域范围大小，即：

式中，Q表示候选区域面积大小；a和b分别是对应面积阈值.计算ROI中候选区域的面积可以进一步排除一部分目标，使得图像中近似交通灯的目标范围缩小了.

1.4交通灯区域的锁定

在汽车行驶过程中，由于摄像头角度已固定，可选择的ROI逐步偏移到了图像上方，因而需要对交通灯进行重新扫描.为了进一步锁定交通灯，采用“像素密度”这个变量来描述交通灯区域大小.通常每一个交通灯周边都会有对应的深色边框，而交通灯在边框中的区域大小是固定的，于是“像素密度”的范围也就确定了，即：

式中，A表示交通灯周边深黑色边框区域面积；变量S（x）表示候选区交通灯的面积；η表示一个设定的密度阈值.

通过对真实场景中的交通灯形状进行“归一化”的处理，建立了一个交通灯的样本空间数据库，这个“归一化”后的圆以一定的比例大小对应图像中的交通灯.进行检测时调用这个样本空间中的数据，将这些数据与图像中类似交通灯的目标像素进行匹配，满足条件的就是交通灯，从而进一步锁定交通灯.

2　实验结果

实验的处理过程将在嵌入式系统中完成，处理器采用德州仪器的OMAP4460.实测的摄像头采用罗技C920，系统影像的采样速率是30 Frame/s.通过检测交通灯显示出来，实测系统的FPS（Frame per second）为40，这已经能够满足检测交通灯的实时性.为了调整系统对影像的采样速率，在摄像头采集到图像信号后，增加了影像解码器的环节，这同时也增强了处理器对影像数据流的吞吐量.另外，本次实作过程中，为了达到实时的检测要求，在处理器中使用了Kudaa加速技术，这使得系统内核的整体处理速度得到了提高.同时影像解码器实时地与处理器中通过Kudaa加速的OpenCV程序相联系，从而进一步控制系统整体的采样速率.

实测的结果如图4、图5所示.图4a是交通灯的真实场景；图4b是ROI部分经过RGB集群操作后图像.由图4b可以看出图像只剩下5种颜色独立的空间；图4c是ROI部分经过二值化处理后的图像；图4d是将二值化后的图像经过分群与标记操作，对交通灯的初步锁定图像；图4e是将没有提取二值化信息的图像经过分群与标记处理后的结果.由图4e看出分群操作尤其排除了车尾灯对交通灯检测的影响；图4f是经过与归一化圆的样本空间进行匹配以后的最终锁定的交通灯图像.图5a是存在与交通灯颜色相近的标志牌干扰下的场景图像；图5b是提取了候选区域二值化信息后的图像；图5c是系统避开了标志牌颜色的干扰进而锁定交通灯的图像.结果表明，在排除过滤掉一些标志牌、车尾灯等形状和颜色与交通灯相近的目标后，文中系统可以准确识别并锁定到交通灯.

为了验证分群算法的时效性与准确性，将其与传统的Hough算法进行比较，结果如表1与图6所示.从表1可以看出，Hough算法从30帧实时交通图像中成功检测到了21帧，而所用分群算法则从30帧图像中成功检测到了27帧，精确度明显优于传统算法.传统算法对所有30帧图像的平均处理时间为0.685 s，而分群算法的平均处理时间为0.443 s，处理时间上也减少了.图6是两种算法对每一帧图像处理时间对比柱状图.从图6中可以看出，分群算法对每一帧图像的处理时间都比传统的Hough算法少，这极大地加快了系统的处理进程，进一步体现出系统实时效果.

表1　算法精确度与平均处理时间

3　结论与展望

提出了一种基于RGB空间归一化模型与分群操作的交通灯检测算法.算法首先对实时交通场景图像进行RGB颜色种类的归一化处理，得到了几种颜色独立的图像.然后为了进一步缩短处理时间，提取图像的二值化信息并且进行形态学处理.接着对图像进行分群操作并作标记处理，通过对比目标长宽条件与候选区的面积条件进一步筛选目标.最后通过匹配交通灯形状样本空间中的数据锁定交通灯.实际检测的结果表明，所采用的分群算法可以实时准确地识别出交通灯，对比传统的Hough算法，准确度与处理时间都有明显的优越性.但所采用的算法仍有不足之处，本文实际检测是在城市统一交通灯形状情况下进行的，若换成诸如箭头状的交通灯，系统就无法识别，所以对于交通灯样本的数据库还有待进一步完善.另外，在检测到交通灯的同时还可以加入距离检测，使得智能交通系统进一步完善，这也是未来将要研究的课题.

［1］ 徐成，谭乃强，刘彦.基于Lab色彩空间和模板匹配的实时交通灯识别算法［J］.计算机应用，2010，30（5）：1 251-1 254.

［2］ 杨怿菲.基于空间信息的彩色逆半调图像评价方法［J］.计算机应用，2009，29（6）：1 699-1 701.

［3］ Jesse Levinson，Jake Askeland，Jennifer Dolson，et al.Traffic light mapping，localization，and state detection for autonomous vehicles［C］//David Menotti.2011 IEEE International Conference on Robotics and Automation.Shanghai：IEEE xplore Digital Library，2011：5 784-5 791.

［4］ C Y Fang，C S Fuh，S W Chen，et al.A road sign recognition system based on dynamic visual model［C］//R.Schettini. Proceedings of the 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.TaiPei：IEEE xplore Digital Library，2003：750-755.

［5］ Y Zhang，L Wu.A rotation invariant image descriptor based on radon transform［J］.International Journal of Digital Content Technology and its Applications，2011，5（4）：209-217.

［6］ F Lindner，U Kressel，S Kaelberer.Robust recognition of traffic signals［C］//David.Proceedings of the 2004 IEEE International Vehicle Symposium.Parma：IEEE xplore Digital Library，2004：49-53.

［7］ Nathaniel Fairfield，Chris Urmson.Traffic light mapping and detection［C］//Steve Hank.2011 IEEE International Conference on Robotics and Automation.Shanghai：IEEE xplore Digital Library，2011：5 421-5 426.

［8］ H Chinthaka N Premachandra，Tomohiro Yendo，Mehrdad Panahpour Tehrani，et al.High-speed-camera image processing based LED traffic light detection for road-to-vehicle visible light communication［C］//R.Deriche.2010 IEEE Intelligent Vehicles Symposium.California：IEEE xplore Digital Library，2010：793-798.

Traffic lights detection based on normalization model and clustering algorithm

LV Ya-yun，LANG Lang∗，YANG Hui-cheng，CHEN Meng-yuan
（Anhui Key Laboratory of Electric Drive and Control，Anhui Polytechnic University，Wuhu 241000，China）

Traffic lights detection is an important research direction of intelligent transportation system with adopts the real-time detection algorithm adopted.Firstly，the image is processed by RGB normalization model，which produces several independent image colors.Secondly，the algorithm extracts the binarization information from the image and makes the morphological processing.Thirdly，it exerts the clustering operation and labeling processing for each image and makes the condition judgment on the length and area according to the shape characteristics of traffic lights region.Finally，the value is extracted from the sample space of traffic lights and matched with the one from the real-time scene.Therefore，the position of traffic lights is locked well.The experiment compares the Clustering algorithm with the traditional Hough algorithm and the results show that the proposed algorithm can quickly and accurately detect the traffic lights.

traffic lights detection；intelligent transportation system；morphological processing

TP37

A

1672-2477（2015）02-0069-06

2014-08-04

安徽高校自然科学研究重大基金资助项目（KJ2014ZD04）

吕亚运（1990-），男，江苏南京人，硕士研究生.

郎 朗（1956-），女，安徽蚌埠人，正高级工程师，硕导.