基于单目视觉的夜间车辆识别方法

杜滕州，曹凯

山东理工大学交通与车辆工程学院，山东淄博 255049

基于单目视觉的夜间车辆识别方法

杜滕州，曹凯

山东理工大学交通与车辆工程学院，山东淄博 255049

快速准确地识别车辆是夜间行车安全预警系统的关键技术。提出在RGB空间下基于夜间尾灯图像的实时车辆识别方法。通过对夜间尾灯颜色特征进行分析和提取，选用尾灯图像的（R-G）色差特征作为图像分割的输入，并采用自适应阈值法分割图像。借鉴非最大抑制算法的思想，通过设置尾灯粘连区域判断条件，解决夜间尾灯粘连问题；根据同车左右尾灯区域特点，定义尾灯配对规则和尾灯差异度，实现尾灯配对；并定义车辆包围框和设置最大重叠率的方法，解决夜间车辆重叠问题。实验结果表明，该方法计算量小，平均每帧耗时26 m s，在含有尾灯粘连和车辆重叠混合场景下，车辆识别准确率大于93%。

（R-G）色差特征；尾灯识别；车辆识别；行车安全预警系统

1 引言

前方车辆识别是行车安全预警系统中所有工作的基础。从所使用的传感器来看，目前多采用雷达[1]，红外线[2]，单目视觉[3]，双目立体视觉[4]等。另外近年来多传感器融合技术也被广泛使用，如美国军方研制的DEMO III智能车采用雷达和机器视觉融合技术用于障碍物探测[5]。由于摄像头价格便宜，且信息采集量较大，所以基于单目视觉的行车安全预警系统成为近期研究热点。

目前夜间车辆识别的研究成果主要集中在交通监控领域，而针对夜间行车安全预警系统的成果较少。基于视觉的夜间车辆识别的一般步骤主要包括：尾灯识别、尾灯配对。文献[6]提出基于颜色和运动信息的夜间车辆识别算法。该方法主要适用于交通量检测，在静止背景环境中识别运动目标。而不适用于动态背景中的运动目标的识别；文献[7]提出了基于亮度与颜色四阈值的尾灯识别算法，该算法可以精确地识别车尾灯，但没有考虑车灯粘连问题，且该方法需要颜色空间转换，计算量较大。

通过以上分析得出，目前的夜间车辆识别算法大多需要对颜色空间转换，增加了计算量，并且目前没有学者给出夜间尾灯粘连问题和车辆重叠问题的解决方法。本文通过分析RGB空间下的夜间尾灯图像，无需转换颜色空间，直接使用(R-G)色差特征作为输入进行图像阈值分割，然后定义尾灯配对规则和尾灯差异度，据此来筛选尾灯配对，从而完成夜间车辆识别。同时本文提出车灯粘连和车辆重叠问题的解决方法。

2 尾灯颜色特征分析与提取

尽管夜间公路交通环境下，汽车尾灯与周围普通背景存在较大差别，但是仍然存在路灯、反光标志、车前大灯等的干扰。因此为了获得好的分割效果，必须分析尾灯图像的颜色特征。

选择组合算子(R-G)、(R-B)、(R-G-B)以及R/ (G+B)作为特征量进行代数运算，结果发现尾灯的(R-G)灰度值和背景的灰度值有明显差异。如图1（a），从左向右依次为橙色路灯、白色路灯、车尾灯、反光标志、车前大灯，图1（b）为图1（a）的(R-B)灰度图像，可以看到尾灯的灰度值较高，而其他的较低，基本呈双峰分布。而R/(G+B)算子不能区分尾灯和背景，(R-B)及(R-G-B)的区分效果很差。为此选择尾灯图像的(R-G)色差特征作为图像分割的输入，把原来的三维处理问题转化为一维问题。

图1 尾灯图像分割

3 图像分割与尾灯粘连处理

3.1 基于(R-G)色差特征的自适应阈值分割

Otsu最大类间方差法[8]是一种经典的自动阈值分割方法，是通过计算图像中目标类和背景类的类内方差最小、类间方差最大来进行自动阈值求取的。由RGB颜色特征分析可知尾灯图像的(R-G)色差图像的灰度分布基本呈双峰分布。这种灰度分布特点非常适合Otsu法进行分割处理的要求。因此，本文提出的基于(R-G)色差特征的自适应阈值分割，是利用RGB彩色图像的(R-G)色差灰度特征结合Otsu最大类间方差法实现的。

具体算法：首先统计(R-G)图像的灰度分布范围获得灰度最大值(R-G)max，然后使用Otsu最大类间方差法求(R-G)图像的全局归一化阈值RggrayThreshold，分割阈值被确定为：

对(R-G)色差灰度图像作如下分割处理：

为了更好地分析该方法的尾灯识别准确性和计算耗时，本文将其与文献[6-7]的尾灯识别方法从尾灯识别准确率和运算耗时两个方面进行对比实验，实验结果如表1所示。由这些数据可以得出，文献[6]的方法系统耗时小，但尾灯识别准确率较低；文献[7]的准确率较高，但系统耗时较大，而本文在耗时和识别准确率两方面都表现很好。

表1 尾灯识别方法对比实验

图像分割结果见图1（c），可以看到三个红色车尾灯区域保留下来，那么为了区分不同的尾灯区域，计算不同区域的特征值以及下一步的尾灯配对，需要对连通区域进行标记。通过对比实验多种连通区域标记算法，本文选用文献[9]提出的算法来分组像素。该算法较其他算法的优点是在对尾灯图像进行连通区域标记时，能够根据尾灯区域边缘来分组像素并能去除部分夜晚图像中的噪声，且该算法计算量较小。

3.2 尾灯粘连处理方法

一般情况下，通过自适应阈值分割方法可以很好地将尾灯与背景分离开，然而实际的尾灯识别结果中经常出现不同车辆尾灯之间的粘连问题。如图2（a）所示，这种情况会使尾灯的面积突然增大，并且将两个尾灯识别为一个，因此需要将粘连区域分割成两个或两个以上的区域。为此，本文从最大抑制算法得到启发，在上述自适应阈值处理结果的基础上，提出如下尾灯粘连问题解决方法，流程如图3所示。

图2 尾灯粘连情况及其处理

图3 尾灯粘连处理流程图

通过上述处理方法，如果存在尾灯粘连，该方法可以将其分割成两个独立连通区域；如果不存在尾灯粘连，所有连通区域都被删除。如图2（b）所示，通过该方法将尾灯粘连区域分割为两个连通区域，并分别识别出来。根据非最大抑制算法，定义尾灯粘连区域判断条件为：

其中，‖L‖为一个连通区域的大小，N为连通区域个数。

3.3 尾灯特征值提取

在进行尾灯配对前，需要定义尾灯特征。本文根据尾灯的位置和形状将其描述为：

这里(μx，μy)表示质心，(σx，σy)表示区域的空间标准差。虽然车尾灯形状多样，但同车左右尾灯形状对称，面积相等，长宽相等。依此特性，本文将尾灯定义为中心点坐标为(μx，μy)，宽和高分别为4σx和4σy的矩形，并根据矩形面积和宽高比分别定义尾灯的面积特征和形状特征为：

4 尾灯配对与位置重叠处理

4.1 定义尾灯配对规则

在已有研究的基础上，本文对夜间车辆视频数据进行了大量实验分析，总结出同车左、右尾灯之间的关系，即

（1）两尾灯中心连线与水平线之间的夹角小于定值；

（2）两尾灯形状特征值之差小于定值；

（3）两尾灯面积之差与两尾灯平均面积之比小于定值。

显然，对于N个尾灯存在N(N-1)/2种组合配对。为从中筛选同一车辆的尾灯配对，本文定义尾灯配对规则如下：

规则2如果配对不满足∆shape≤ζ，则它一定不是同一车辆的左右尾灯配对。

其中，∆μx和∆μy分别为两区域之间的垂直距离和水平距离，∆shape为两区域的形状特征值之差，即分别为两区域之间的面积差和平均面积。

为了更好地检验尾灯配对的实际效果，本文根据上述三规则定义了每个配对中两尾灯之间的特征值差异度D1，D2，D3，并定义两尾灯差异度D为D1，D2，D3的总和，其中：

如果尾灯配对满足以上三个规则，则0≤D1，D2，D3≤1，显然D越大，尾灯配对错误的可能性越大。因此在满足尾灯配对规则的基础上，只需为差异度D设置合适的阈值E，便可从所有可能的尾灯配对中筛选出正确配对。本文根据大量实验，给出ε，ζ，E的经验值分别为0.05，0.8，2。

4.2 车辆位置重叠处理方法

如图4（b），通过上述尾灯配对方法，在输入图像中11个尾灯的55个配对中有5对被识别为同一车辆。但还存在问题是最右侧车辆的副灯配对也被识别为车辆，即车辆位置重叠问题。为了避免车辆在竖直平面中的位置重叠，如图5所示，本文定义了一个将车辆包围起来的矩形包围框：如果两尾灯中心间距（本文使用像素个数）为d，则定义包围框为边长1.2d的正方形，两尾灯中心连线与正方形底边距离为0.7d，左右尾灯距离正方形左右两边距离皆为0.1d。于是给出车辆重叠处理方法如下：

如果两包围框的重叠部分与其中任一包围框之间的比值超过最大重叠率时，则两个车辆必有一个为假，将包围框较小的车辆删除。本文根据大量实验数据总结得到最大重叠率的经验值为0.5。如图4（c），通过上述方法可以将最右侧车辆副灯的包围框删除掉，解决了由于副灯和主灯都被识别为车辆而产生的车辆重叠问题。

图4 尾灯配对与位置重叠处理

图5 车辆包围框

5 实验和分析

实验数据采集方法：将爱国者DLC500摄像机放置于车辆前挡风玻璃后，大致位于副驾驶的前上方，并调整摄像机中轴线与车辆前进方向平行。将车辆行驶在不同的城市道路和高速公路上采集动态视频共120 m in。

利用Matlab编写车辆识别程序，对每个视频处理分析，如图6为两种不同交通场景下的车辆识别结果。手工统计所有正确车辆识别次数、遗漏次数及错误次数，统计结果见表2。从这些数据可以看出，本文算法的车辆正确识别率可以达到93%以上，而在高速公路上可以达到98%以上。

图6 夜间车辆识别

表2 统计正确的车辆识别，遗漏识别和误报

本文采用为主频为3.1 GHz的酷睿i3双核处理器，Matlab仿真环境，和一个不输出图像的程序版本对系统进行性能评价。统计视频每帧的处理时间，去掉最快的和最慢的，然后求出每帧平均处理时间。通过统计50个分辨率为640×480的视频，得到平均处理时间为26 m s，可以达到行车安全预警系统的实时性要求。

夜间图像处理是很复杂的过程，因此本文所采用的方法不免存在一些缺陷：（1）不能跟踪摩托车或一个尾灯破碎的车辆；（2）不能处理被遮挡的车辆（该车辆对本车可能有间接威胁，另文处理），但是当被遮挡车辆重新出现时会被重新识别。除以上情况之外，本方法用于夜间车辆识别时效果良好。

6 结束语

本文给出了夜间安全车距预警系统的车辆识别算法。该算法包括尾灯识别和尾灯配对两个主要部分。其中尾灯识别采用了基于(R-G)色差特征的自适应阈值分割算法，同时本文提出利用非最大抑制算法解决了尾灯粘连问题。尾灯配对是通过建立尾灯配对规则和设置两区域差异度阈值E来完成灯对筛选，从而达到车辆识别目的。另外本文提出了解决车辆位置重叠问题的简单方法。经实验验证本文提出的车辆识别方法车辆漏检、误检较少，计算量较小。需要提出的是，夜间车辆的转向灯会对尾灯分割处理造成干扰，有降低车辆识别准确率的风险。因此车辆转向灯的识别是下一步需要完成的工作之一。

[1]Sergi M，Shankw itz C，Donath M.Lidar-based vehicle tracking for a virtual m irror[C]//Proceedings of the Intelligent Vehicles Symposium.USA：IEEE，2003：333-338.

[2]王孝兰.基于红外CCD的夜间前方车辆识别[D].吉林：吉林大学，2009.

[3]Alt N，Claus C，Stechele W.Hardware/software architecture of an algorithm for vision-based real-time vehicle detection in dark environments[C]//DATE’08：Proceedings of the Conference on Design，Automation and Test in Europe.New York：ACM，2008：176-181.

[4]Lin S，Chen Y，Wu B.A real-time multiple-vehicle detection and tracking system with prior occlusion detection and resolution[C]//Proceedings of the 18th International Conference on Pattern Recognition.Hong Kong：IEEE，2006：828-831.

[5]Bellutta P，M anduchi R，M aeehies L，et al.Terrain perception for DEMO III[C]//Proceedings of IEEE Intelligent Vehicles Sym posium.USA：IEEE，2000：326-331.

[6]刘勃，周荷琴，魏铭旭.基于颜色和运动信息的夜间车辆检测方法[J].中国图象图形学报，2005，10（2）：188-191.

[7]刘尊洋，叶庆，李菲，等.基于亮度与颜色四阈值的尾灯检测算法[J].计算机工程，2010，36（21）：202-203.

[8]Otsu N.A threshold selection method from gray-level histograms[J].IEEE Transactions on System M an and Cybernetic，1979，9（1）：62-66.

[9]Suzuki K，Horiba I，Sugie N.Linear-time connected component labeling based on sequential local operations[J]. Computer Vision and Image Understanding，2003，89：1-23.

DU Tengzhou,CAO Kai

School of Traffic & Vehicle Engineering, Shandong University of Technology, Zibo, Shandong 255049, China

Fast and accurate vehicle identification is the key technology of safety early warning system for driving at night. The paper proposes a real-time vehicle identification method based on image of night taillights in the RGB color space. For analyzing and extracting color characteristics of taillights, the chromatic aberration characteristics of（R-G）image are selected as the input of image segmentation, for which the adaptive threshold algorithm is used. Solving the problem of taillights adhesions at nighttime, the adjoined taillights are cut apart by setting the judgment condition of adjoined taillights, which is inspired by the non-maximum suppression algorithm. According to the similar characteristics of the left and right taillight on a car, the taillights are paired by defining the rules of taillights pairing and the difference degree of taillights. And the overlapping image of vehicle is handled by defining vehicle bounding box and setting the maximum overlapping rate. The experimental results show that the method has small amount of calculation, average time-consuming per frame is about 26 ms, and the accuracy rate of vehicle identification is more than 93% under a mixed scenes containing taillights adhesion and overlapped vehicles.

color aberration characteristics of（R-G）image; taillights identification; vehicle identification; early warning system for driving security

DU Tengzhou, CAO Kai. Vehicle identification method in nighttime based on monocular vision. Computer Engineering and Applications, 2014, 50（17）：160-163.

A

TP391.41

10.3778/j.issn.1002-8331.1210-0038

国家自然科学基金（No.61074140）；山东省自然科学基金（No.ZR2010FM 007）。

杜滕州（1988—），男，硕士，研究领域为智能车辆自主导航、图像处理；曹凯（1959—），男，博士，副教授，研究方向为智能车辆自主导航与控制、智能交通系统。E-mail：caokailiu@sdut.edu.cn

2012-10-08

2012-12-03

1002-8331（2014）17-0160-04

CNKI网络优先出版：2013-01-11,http://www.cnki.net/kcm s/detail/11.2127.TP.20130111.0951.004.htm l