基于车头灯对的夜间车辆检测

王菽裕，刘瑞芝，闻　江，宋焕生，孙丽婷，关　琦

(1.长安大学 信息工程学院，陕西 西安 710064；2. 陕西省道路交通智能检测与装备工程技术研究中心，陕西 西安 710064)



基于车头灯对的夜间车辆检测

王菽裕1，刘瑞芝1，闻江1，宋焕生2，孙丽婷1，关琦1

(1.长安大学 信息工程学院，陕西 西安 710064；2. 陕西省道路交通智能检测与装备工程技术研究中心，陕西 西安 710064)

基于车头灯对的夜间车辆检测是智能视频监控系统的一个关键技术。夜间车辆检测的难点在于光照条件差的情况下有效信息提取困难，而夜间亮度条件差却又使得车头灯部件形成明显的亮块，因此夜间车辆检测算法中可选取车头灯对作为车辆目标的部件特征。通过获取到视频图像的逆投影图，以及逆投影图中车头灯亮块的几何形状特征，与现实中车辆车头灯几何特征一致，并利用几何特征完成夜间车辆车头灯部件的检测，最终给出车辆检测结果。

车头灯对；车辆检测；部件特征；逆投影图

在智能交通快速发展的大背景下，视觉作为真实世界环境的一种信息收集途径，吸引了智能交通系统(ITS)方面的很多注意力。从近几年里ITS领域的出版物IEEE Transactions on Intelligent Transportation Systems (T-ITS)上的文章分布就可以看出这一点。过去十年里交通相关的主题逐渐趋向于视觉和车辆两个方面。基于计算机视觉技术的监控系统为ITS的发展做了很多贡献，文献[1]对ITS中基于视频的车辆监控方法做了一个综述介绍，提出了视频监控系统大的框架，对多种方法进行了总结和讨论。

对人类的眼睛来讲，能够胜任快速识别出环境中发生的一些变化。在正常光照条件和基本交通规则常识下，迅速定位车头灯对及其颜色信息，对人眼来说并不算得上一个问题。但是，如果要使用机器视觉的方法设计一个鲁棒性比较好的算法，从而使得如无人驾驶车辆等智能系统有能力去解决这个问题，会是一个非常大的挑战。困难来自于需要使系统能够在一个快速变化的复杂交通场景中，准确检测出一个非常局部车头灯颜色以及车头灯部件特征。

本文主要研究交通监控中的目标识别算法。本文采用基于目标部件空间关系概率模型的方法，利用部件的检测替代目标整体的检测。现实世界中车辆目标上某些固有部件是根据一定的规格标准设计制造的，因此利用大量的车辆样本提取某些部件之间的空间关系特征，根据统计结果建立出这些关系的一个概率模型，实验证明可以用高斯混合模型(GMM)[2]来表示。通过从视频图像转换算法得到逆投影图，在逆投影图中完成候选部件的初步检测，最后利用建立好的GMM确定部件的关系是否符合车辆部件的分布关系。最终，局部部件的检测结果就是车辆目标的检测结果。本文算法的主要流程如图1所示。

图1算法主要流程

1　基于车头灯对的夜间车辆检测算法

1.1逆投影图获取

本文在已标定[3-4]的交通场景中预先确定一个逆投影面，一旦空间逆投影面的位置确定，那么逆投影面中的点与投影图像中像素点的位置对应关系也随之确定，这样就可以将投影图像上的数据逆投影到逆投影面上，从而得到一幅逆投影图，该图复制了逆投影面的空间信息。逆投影[5]过程包括两部分：逆投影面的设计和逆投影图的构建。

1.1.1逆投影面的设计

逆投影面依照待检测目标的特征及空间位置而设计。依具体情况的不同，可设置为平行于路面、垂直于路面或者与路面成一定角度，个数可设计为一个或者多个。

车辆目标的部分表面可近似为具有一些几何特征的平面，若将3D空间中的车辆看成是一个多面体，当选择车体不同面的特征作为检测对象时，则将逆投影面贴合于车体相应平面，使得数据构建后的逆投影图能有效表现车体某些表观特征。

1.1.2逆投影图的构建

按上述方法在空间中设置能够与目标某一局部表面贴合的逆投影面，并按一定的分辨率(如1 cm×1 cm)分割成网格，摄像机的透视关系将逆投影面上每一个小网格中包含的信息投影到图像上对应的投影区域的每一个像素点上，此时从图像投影区域到逆投影面之间的逆投影关系就是确定的，即空间中逆投影面上一个小网格对应图像上一个像素点。

逆投影图是逆投影面的像素表示法，也就是说逆投影面上的一个小网格用逆投影图中的一个像素表示。逆投影图的数据构建过程就是：将图像上投影区域中的每一个像素信息逆投影到逆投影图上每一个像素点上时，也就是将逆投影面上每一个小网格内的信息重新复制到逆投影图上。这时逆投影图中每一个像素点代表的信息就是逆投影面上每个正方形网格中的信息，不同之处在于逆投影面上每一个网格包含的信息是3D空间中真实尺寸的网格包含的信息，逆投影图则是用2D图像中的一个像素点来代表这个网格包含的信息。

假设用m表示逆投影面上的一个小网格，用p表示m投影到图像上的像素点，用mp表示与网格m对应的逆投影图上的像素点，那么逆投影就是将图像上的像素点p映射到逆投影图像素点mp的过程，逆投影图构建原理示意图如图2所示。

图2　摄像机的成像模型及逆投影变换示意图

从图2可以看到，在目标表面所在空间平面上设置一逆投影面，经过数据重构后恢复的逆投影图就是该目标表面的复制图，不仅消除了因为摄像机成像的透视关系而造成的拍摄图像中目标表面某些形状特征发生几何形变等问题，而且很好地反映了目标表面一些局部特征的空间真实尺寸。

本文对交通道路场景进行标定后，为了捕获车辆的尾部和侧面信息分别设计了垂直于路平面的两个逆投影面如图3所示，前者放置在世界坐标系中Y=2 m平面内，大小为2 m×3.75 m，记作逆投影面1；后者放置在X=6 m平面内，大小为2 m×5 m，记作逆投影面2。图3a中边框为这两个逆投影面透视到图像中的投影区域。当一个车辆目标经过且其尾部表面和侧面完全贴合于这两个逆投影面时，使用逆投影变换方法将投影区域中数据重新构建到逆投影图中，观察逆投影图可知，车辆尾部表面与逆投影面贴合部分(图3b中线框)的形状特征得到恢复，而未贴合的后车窗面仍然发生了形变。同样与逆投影面贴合的车辆侧面(图3c中线框)也构建为真实空间中的车辆侧面的正视图，并且逆投影变换图中1个像素代表世界坐标系中的1 cm×1 cm的方格，目标局部特征的尺寸由此得出。

图3　原始图像

1.2车头灯提取

1.2.1基于背景差分法的夜间车头灯分割

背景差分法[6]是一种常用的静止摄像机拍摄视频中的前景目标提取方法，其原理是通过一定的背景提取算法获取视频的背景，因为前景运动目标的灰度值与背景的像素灰度值存在一定的差异，因此将视频像素值与对应位置的背景像素值做差分运算，差分结果大于一定阈值的可认为是前景目标。背景差分法的数学表述如下，假设图像大小为H×W，当前帧中某点P(x,y)的灰度值为F(x,y)，而背景图中对应处像素点的灰度值为B(x,y)，那么差分并二值化后的前景像素点灰度值D(x,y)为

(1)

其中：T为图像二值化处理时预先设定的阈值。

图4　基于背景差分法的前景目标分割

1.2.2车头灯配对

作为夜间车辆检测[7]最明显的一个特征，车头灯有其自己的一些几何特征，如面积、圆形度、车头灯对的相似度等几何特征，如图5所示，对构建的逆投影图进行前景目标分割，得到的前景目标块中可以观察到，车头灯目标块的面积在一定范围内，形状虽然不规则但是接近矩形甚至圆形，而且车头灯对目标块具有相似的面积和形状特征。

图5　车头灯区域的前景分割结果及其几何特征

因此可以计算前景目标块的这些特征，根据先验知识预先设定符合车头灯的几何特征值范围，也就是预先设定阈值，利用设定好的阈值从所有的前景目标块中剔除非车头灯块，筛选出类车头灯块。关于这些几何特征的数学定义和表达式以及阈值的设定如下所述。

1)面积A的计算方法为

(2)

式中：f(m,n)是二值化图像中位于(m,n)处的像素点的灰度值，A为前景目标的面积，该式统计前景目标块内f(m,n)=1的图像块个数，也就是图中前景目标块外接矩形框内白色像素点的个数。(a,b)为外接矩形的左下顶点坐标，h为外接矩形框的高度，w为外接矩形框的宽度。根据汽车生产厂家的生产规格说明书，车头灯的尺寸介于一定的范围之间，因此过大或者过小的前景目标块都不可能是车头灯目标。上下限阈值TA1和TA2根据逆投影图构建时像素和尺寸的转换比例确定，当前景目标块满足TA1

2)圆形度C的计算方法为

(3)

其中：A为前景目标块的面积，L为前景目标块的轮廓周长。根据计算可知，在各种几何形状中，圆的圆形度最小，为4×π，正方形的圆形度为16，长方形的圆形度大于16，而且随着长宽比的增大而增大，对于不规则多边形而言，凸形多边体的圆形度较小但不会小于圆，凹形多边体的圆形度较大，而且随着边长的增大而增大。根据车头灯形状的先验知识可知，通常情况下车头灯形状为圆形或者矩形，但是矩形的长宽比不会太大，而且由于灯光的散射作用，夜间拍摄的交通监控视频中车头灯的明亮块会一定程度上向圆形趋近。因此可知，车头灯的圆形度不会太大，本文中设定的圆形度阈值为TC=18，当前景目标块的圆形度C>18时，可判定它不是车头灯目标块，反之当C<18时，将该前景目标块标记为类车头灯块。

所以说，在有钱人的心里，非常重视“现在”这个时间点。因为下一个瞬间会发生什么事不知道，这就是一种“风险”。因此，他们尽可能把握现在，把不确定的风险排除，这才是他们的作风。

3)车头灯对的几何相似度

(4)

(5)

利用上述判断条件检测到车头灯目标并配对后的结果如图6所示。

图6　第567帧车辆正面与逆投影面未贴合时车头灯对检测结果

1.3基于车头灯对部件空间关系模型的夜间车辆检测

1.3.1车头灯对部件空间关系建模

在1.2节中完成了车辆车头灯部件的初步检测，接下来如何利用车头灯部件及部件间的空间关系特征完成车头灯对的识别和定位并替代车辆的识别和定位是一项重要的工作。根据实际生活中所讲的车辆部件间存在的空间关系特征，可以延伸出车头灯对的空间关系特征：属于同一车辆目标的两个车头灯的重心呈现在同一水平线上，而竖直距离符合现实中生产车辆的尺寸参数。其空间尺寸关系如图7所示。

图7　车头灯部件间的空间关系示意图

车头灯对部件之间的空间关系数学表达式如下所示

(6)

(7)

(8)

其中：X_Diff和Y_Diff分别表示车头灯对样本中两车头灯在x方向上和y方向上的距离差；Y_High表示车头灯对整体离地面的高度值。

本文对视频中的车辆头灯对样本中两车头灯x方向和y方向的距离差以及车头灯对整体离地面的高度值进行统计，采集的车辆样本数为500，其中部分样本的部件关系变量值如表1所示。

表1车头灯部件间的空间关系变量值

X_Diff/cm126148136141128139110133132Y_Diff/cm120210210Y_High/cm517358647080796252X_Diff/cm133149212198147146157145215Y_Diff/cm012301312Y_High/cm798089975152706791X_Diff/cm160142134154135144133146223Y_Diff/cm322103241Y_High/cm598652736983578196

从表中可以看出，车头灯对样本中两车头灯部件在y方向的距离差(即Y_Diff)基本都接近0，也就是说车头灯对中两车头灯部件在y方向上的距离差值以接近1的概率逼近0cm，而在除0cm以外的值处出现的概率基本为0。因此本文对这些样本的建模时可认为Y_Diff≈0而暂时忽略y方向距离差的数据，只观察另外两个值(即X_Diff和Y_High)构成的概率分布图。容易发现，车头灯部件间的空间关系模型符合GMM的特点。用这些样本建模GMM，结果如图8所示。

图8　车头灯对样本建模的两车头灯部件空间关系模型

1.3.2基于车头灯对部件概率模型的夜间车辆检测

在上一节中根据现实中车辆的规格完成了车辆两头灯部件的空间关系GMM建模，那么利用该GMM就可以在车头灯对检测的过程中加入空间位置和尺寸信息。加入车头灯对之间的间距距离，就可以消除同一水平线上相邻车辆的车头灯被误配对的问题；加入车头灯对的空间高度位置信息，就可以判断车辆正表面是否与逆投影面贴合，从而避免同一辆车的多次识别问题。而在部件的空间关系概率模型中包含了部件的水平位置、竖直位置及高度信息，因此，在车头灯的配对后利用车辆头灯对的空间位置关系的GMM进一步检测，将会得到车头灯对正确配对结果，从而确定地用其代表车辆整体目标的识别结果，并且会准确地给出车辆定位结果。检测结果如图9、图10所示。

图9　小车检测结果及大车检测结果

图10　并排检测结果

设本文在前面内容中得到的车头灯部件空间概率模型为Ω，检测到候选车头灯部件的空间关系变量为D={d_X_Diff,d_Y_Diff,d_Y_High}，那么P(D|Ω)就表示检测到的车头灯部件符合所建立的概率模型的概率，称为给定模型Ω时D的似然度。也就是P(D|Ω)表示检测到的车头灯部件是车辆车头灯部件的概率。

最终，车辆检测公式为

P(D|Ω)>Tp

(9)

其中：Tp为预先设定好的阈值，是一个接近于0的小数，通常设为0.2。当在给定的部件空间关系概率模型下，得到的候选车头灯部件的概率大于一定阈值时，说明该候选车头灯部件是符合车辆目标上的部件特征的，因此将该候选车头灯部件识别为正确的车头灯部件，进而替代车辆目标的检测结果。

2　实验结果

基于车头灯部件概率模型的夜间车辆检测结果。如图11所示，图中车辆的头灯对在夜间场景中呈现为明显的亮度块，并在逆投影图中容易完成配对和定位，因此车头灯对检测结果即代表车辆检测结果。

图11　基于车头灯部件概率模型的夜间车辆检测结果

本文用上海华夏路段夜间场景的交通视频对文中算法做了测试，采用的视频帧频为25f/s(帧/秒)，大小为720×288，其中包括多种车型，如大巴车、卡车、面包车、SUV、小汽车等。分别统计部件检测率及目标识别率，结果如表2所示。

表2测试结果

%

场景车辆部件检测率误检率漏检率夜间(上海华夏路段)单个头灯93.01.37.0头灯对91.40.88.6车辆91.40.88.6

3　结论

本文主要介绍了利用目标局部部件的空间关系模型完成目标部件的识别，并用目标一部分部件的识别结果替代目标整体的识别结果的方法。在现实生活中，目标的部件间存在一些固有的空间关系特征，可以加强对目标内容的描述和识别能力。而这些关系通常是符合客观现实中的一些设计标准的，通过对某些部件的空间关系特征的统计结果观察发现，这些空间关系特征符合一定的数学模型，验证后证明可以用高斯混合模型来表示这些空间关系特征。本文针对夜间场景，选取了车头灯对部件，基于部件的识别具有以下优点：

1)克服光照条件差对基于视频的目标识别算法的限制。通常光照条件较差时，目标的颜色、纹理、角点等特征都很难得到，所以常用的车辆检测办法不再可行，但是用基于部件空间关系模型的检测方法时，可利用车头灯在夜间形成亮块的特点，用两个车头灯部件的检测替代车辆目标的识别，克服光照条件差对视频检测中目标识别算法的影响。

2)克服遮挡问题。在复杂的城市交通环境中，目标的单个部件特征很容易因为光照、遮挡、阴影等的影响而造成误检或者漏检的情况发生。利用目标的显著性部件的方法进行识别替代目标整体的识别。

综上所述，基于目标局部部件空间关系概率模型的目标识别方法可以保证识别结果的准确性，减少误检率，并有效地减小漏检率。

[1]TIANB，MORRISBT，TANGM，etal.HierarchicalandnetworkedvehiclesurveillanceinITS：asurvey[J].IEEEtransactionsonintelligenttransportationsystems， 2015， 14(2)： 557-580.

[2]WANGCCR，LIENJJJ.Automaticvehicledetectionusinglocalfeatures：astatisticalapproach[J].IEEEtransactionsonintelligenttransportationsystems， 2008， 9(1)： 83-96.

[3]LUHJY，KLAASENJA.Athreedimensionalvisionbyoff-shelfsystemwithmulti-cameras[J].IEEEtransactiononpatternanalysisandmachineintelligence， 1985(7)： 35-45.

[4]MASD.Aself-calibrationtechniqueforactivevisionsystems[J].IEEEtransactionsonroboticsandautomation， 1996， 12(1)： 628-631.

[5]LIH，FENGMY，WANGX.Inverseperspectivemappingbasedurbanroadmarkingsdetection[C]//ProceedingsofIEEECCIS. [S.l.]：IEEE，2012(3)：1178-1182.

[6] 代科学，李国辉. 监控视频运动目标检测减背景技术的研究现状和展望[J]. 中国图象图形学报，2006(7)：919-927.

[7]WANGWH，SHENCH．ATwo-LayerNight-timeVehicleDetector[C]//Proc.DigitalImageComputing：TechniquesandApplications.Melbourne，Australia：[s.n.]，2009：162-167.

责任编辑：闫雯雯

Night vehicle detection based on front lamp

WANG Shuyu1，LIU Ruizhi1,WEN Jiang1,SONG Huansheng2,SUN Liting1,GUAN Qi1

(1.SchoolofInformationEngineering,Chang’anUniversity，Xi’an710064,China;2.RoadTrafficIntelligentandEquipmentTechnologyResearchCenterofShannxiProvinceXi’an710064,China)

Vehicle detection based on vehicle front light is a key technology of intelligent video surveillance system. The difficulty of vehicle detection in the night is to extract the effective information from the poor light conditions， and the night light condition is bad， but the light intensity of the vehicle can form a clear bright block， so the vehicle detection algorithm can choose the car front light as a part of the vehicle target.In this paper， the geometric characteristics of the front light block of the video images are obtained， and then use the geometric features to finish the detection of the front light components of the vehicle.

vehicle front light；vehicle detection；component characteristics；inverse projection

TN9111.73

A

10.16280/j.videoe.2016.08.022

国家自然科学基金项目(61572083)；中央高校基本科研业务费创新团队项目(310824163411)；中央高校基本科研业务费重点项目(310824152009)；陕西省基金项目(2015JQ6230；2015JZ018)

2015-12-29

文献引用格式：王菽裕，刘瑞芝，闻江，等. 基于车头灯对的夜间车辆检测[J].电视技术，2016，40(8)：112-117.WANG S Y，LIU R Z，WEN J，et al.Night vehicle detection based on front lamp[J].Video engineering，2016，40(8)：112-117.