一种利用隐式曲线族的车辆违章检测算法

马丽文,郭玉坤,李金屏

(1.济南大学信息科学与工程学院,山东济南 250022; 2.山东省网络环境智能计算技术重点实验室,山东济南 250022)



一种利用隐式曲线族的车辆违章检测算法

马丽文1,2,郭玉坤1,2,李金屏1,2

(1.济南大学信息科学与工程学院,山东济南 250022; 2.山东省网络环境智能计算技术重点实验室,山东济南 250022)

摘要:针对城市道路交通,提出了一种基于隐式曲线族的车辆违章检测算法.隐式函数族用于描述道路上的各个不同区域.当检测到车辆在不同道路区域之间行驶时,利用隐式函数族可以快速方便地判断车辆所在区域.根据车辆行驶轨迹和隐式曲线族所描述的不同区域之间的位置关系,能够快速准确地判定车辆是否违章以及所违反的交通规则.在实际检测中,利用分段线性函数族来逼近各个隐式曲线,极大地提高了检测效率,进而提高了违章判断的准确性.实验结果表明,当车辆出现违章时,可以实时显示所违反的具体交通规则.

关键词:智能交通;违章检测;隐式曲线族;分段线性函数

在智能交通系统中,视频监控技术得到了广泛应用.目前,人们研究的焦点集中于车辆的检测、识别、跟踪、流量统计、交通疏导和违章检测等方面.交通违章是发生交通事故的根源,常见的违章形式有闯红灯、实线变道、逆向行驶等.检测车辆违章的前提是准确地检测到车辆并跟踪其行驶轨迹.

人们利用了许多方案实现交通数据采集[1]、事件检测[2-3]、违章抓拍以及违章车辆号牌识别[4-6].在车辆违章检测方面,人们主要利用车辆行驶轨迹与车道线的关系判断车辆是否违章,这方面的研究有:文献[7]针对复杂的城市路口监控环境提出了车辆检测与跟踪算法,在判断闯红灯违章方面,主要是通过抓拍停止线前、上、后3张过程图片,然后进行人工分拣图片来判定违章;文献[8]只对车辆的实线违章变道进行了检测研究,其主要方法是通过跟踪车辆轨迹和当前位置,结合其与初始所属车道是否一致来判断是否有违章行为发生,文中分析了6种违章变道情况,但是未对违章变道进行细分;文献[9]通过建立十字路口的隐马尔科夫模型对违章事件进行分类,判断交通事故的严重程度;文献[10]提出了一种车辆闯红灯检测与识别算法,即在停止线附近的检测窗口内,利用车辆与停止线之间的位置关系,再结合信号灯的实际状态,来判定车辆是否有闯红灯违章行为,如果违章,则进行抓拍,显然该文方法有较大的局限性,例如无法提供车辆与不同道路区域之间的位置关系,尚未考虑各种信号灯状态下违章检测的统一方案;文献[11]针对车速提出了一种自动检测违章框架,该框架集成了无线射频识别(Radio Frequency IDentification,RFID)和车载自组网(Vehicle Ad hoc NETworks,VANETs)技术.

上述研究都没有对不同的道路区域进行分析,尤其是没有将不同区域之间的位置关系、车辆轨迹以及具体的信号灯相结合,无法提供车辆违章时所在的道路区域和违反的具体交通规则等信息.

对此,笔者提出了一种基于隐式曲线族的车辆违规检测的统一解决方案.隐式曲线能够方便地描述车辆所在的区域,易于判断目标是否处于某个区域,并且根据隐式曲线所描述的不同道路区域的相互位置关系和相关车辆的行驶轨迹,很容易判断车辆是否违章及违反的交通规则.在实际应用中,笔者利用分段线性判别函数对隐式曲线进行简化.

1 模型的建立

汽车行驶时,驾驶员往往需要根据道路上的不同区域做出不同的驾驶动作.例如,在非路口路段的虚线车道,车辆允许变道;在靠近路口处的实线车道,车辆就不允许变道;当左转弯和直行方向均为红灯时,左转弯和直行车辆必须停在停车线以内.因此,正确描述道路交通上的不同区域至关重要.

在一般情况下,道路上不应该存在检测盲区,即道路上每个位置都只属于一个区域.道路上的每个区域都可以用一个数学表达式来描述.隐式曲线是一个非常合适的数学描述形式,可以描述每个道路区域.

1.1 隐式曲线

隐式曲线是一种特殊的代数曲线,可以描述多种多样的平面封闭区域.形式上,隐式曲线可以表示为f(x,y)=0,其实例集合可以称为隐式曲线族,定义为

规定:当(x,y)在曲线之内、之外或者曲线上时,f(x,y)分别对应于大于零、小于零或者等于零的情况.其中(x,y)表示车辆当前的位置.

1.2 基于隐式曲线族的交通违章的判定

用隐式曲线族描述十字路口其中两个路口的不同区域(图1),图1中1～3、5 ～7和11～16表示两个双向道路上的不同车道,4和10表示斑马线区,8和9表示待转区.于是,可以将十字路口的图示区域划分为16个不同区域,这些区域可以用一个隐式函数族F= { fi(x,y)=0 } (i=1,2,…,16)来描述.

图1 路面上的两个路口区域的示意图

笔者主要介绍闯红灯、实线变道两种违章形式,其他违章形式,例如左拐弯违章等,可以依此类推.

闯红灯也有多种形式,有直行红灯、左转弯红灯情况下的直行和左转弯闯红灯,直行绿灯、左转弯红灯情况下的左转弯闯红灯和直行左转弯闯红灯等.可以用不同的符号表示不同类型的违章,例如Rule A(i)表示直行红灯、左转弯红灯情况下的各种违章,Rule B(i)表示直行绿灯、左转弯红灯情况下的各种违章,Rule C(i)表示实线变道情况下的各种违章等.

对于直行红灯、左转弯红灯情况下的车辆闯红灯,判断规则举例如下:

Rule A(1):f1(x,y)＞0→f4(x,y)＞0 ,

Rule A(2):f2(x,y)＞0→f4(x,y)＞0 ,

Rule A(3):f3(x,y)＞0→f4(x,y)＞0 .

其中,(x,y)表示当前车辆所在位置,隐式曲线下标1、2、3分别表示相应车道;Rule A(i)表示A类违章中的某个具体规则,“→”表示从前者区域到后者区域.

需要说明的是,当最右边车道3允许随时右转时,则Rule A(3)不成立,但该车道此时同样不允许直行或者左转弯.

其他规则可以依此类推.

2 模型的简化与目标检测

图2 真实道路的模拟图

2.1 模型的简化

十字路口道路模拟图如图2所示,图中标注的9个矩形框分别表示车道的不同区域.由于用隐式曲线族判断车辆违规需要首先计算求解隐式曲线表达式,通常情况下计算繁琐并且难以在实践中进行推广.在实际应用中,采用多个分段线性判决函数来对各个隐式曲线进行简化近似.在图2中,仅对区域1～4和区域9进行说明,其他区域可以进行类似处理.

区域1～4和区域9的局部放大示意图如图3所示.规定在直线y1(x)～y4(x)的右侧为“+”,直线y5(x)～y8(x)的上方为“+”,于是在区域1 ～4和区域9内,直线y1(x)～y8(x)的正负号序列分别为“﹢------﹢”、“﹢﹢-----﹢”、“﹢﹢﹢----﹢”、“﹢❋❋---﹢﹢”、“﹢----﹢﹢﹢”,其中“❋”表示“﹢”和“-”皆可.由此可见,当直线方程确定之后,每个区域的正负号序列也是确定的.当检测到车辆的位置时,将其位置坐标代入这8个直线方程,即可获得一个正负号序列,由此可以判定车辆所在的具体区域.

在实际应用中,由于每个路口的枪式摄像头是固定和静止的,因此可以利用手动绘制直线的办法获得各个分段线性判决函数,具体绘制方法详见3.2节.

为了判断行驶的车辆是否违章,需要结合交通信号灯和某辆车在行驶过程中所经过不同道路区域的正负号序列变化情况来具体分析,下面举例说明.

假设车辆的重心坐标为(x,y).在直行红灯、左转弯红灯的情况下,车辆闯红灯判断规则如下:

Rule A(1):﹢------﹢ → ﹢❋❋---﹢﹢ ,

Rule A(2):﹢﹢-----﹢ → ﹢❋❋---﹢﹢ ,

Rule A(3):﹢﹢﹢----﹢ → ﹢❋❋---﹢﹢ .

图3 单行线模拟路口函数图

2.2 目标检测

利用高斯混合模型(Gaussian Mixture Model,GMM)进行背景建模和背景更新,详细内容见文献[12].

笔者所利用的视频是在摄像机固定情况下拍摄的,因此可以利用背景差分的思想检测车辆.原理如下:

其中,fk(i,j)是当前帧,Bk(i,j)是利用高斯混合模型得到的当前背景,Dk(i,j)是当前帧与当前背景经过比较得到的前景图像.Θ表示当前帧与当前背景的比较,即如果当前帧(i,j)处的像素值fk(i,j)符合某一个高斯模型,则视为背景;否则,视为前景.

此时获得的前景图像中会存在一些噪声,需要利用中值滤波和形态学方法消除噪声,获得比较干净的前景目标.当Dk(i,j)中存在多个运动目标时,需要排除一些较小的非车辆目标.假设某个目标的面积为M,用V表示该目标是否是车辆,则利用下式进行判定:

其中,T表示面积阈值,阈值为100个像素.当检测为车辆时,就为其分配一个编号,并根据当前帧车辆的重心位置和上一帧之间的差异来判断是否是同一辆车,从而实现车辆的跟踪,同时根据车辆编号,统计车流量.

3 算法实现及结果分析

3.1 算法流程

该系统可以同时处理多路交通视频.对于每路视频,通过点击可以实现视频窗口的放大(图4(b)),进而在放大的视频窗口内手工绘制路口道路上的各个区域,然后系统将自动利用高斯混合模型建立各个路口的背景模型,再通过中值滤波和形态学方法得到前景目标图像,最终获得车辆位置并判断车辆是否违章.

图4 视频系统

具体算法流程如下:

第1步 获取各路视频流;

第2步 点击一路视频放大显示窗口;

第3步 在放大的视频窗口内根据实际道路标线手工绘制直线段并指定不同的道路区域,系统自动确定各个线段的表达式,并利用2.1节方法获得各个道路区域内的正负号序列;

第4步 利用高斯混合模型进行背景建模和更新;

第5步 将当前帧与背景模型进行比较,获得前景图像;

第6步 对前景图像进行预处理,包括中值滤波、膨胀和腐蚀等操作,消除其中噪声进而获得比较干净的前景,然后对前景进行二值化;

第7步 计算前景中各个目标的重心和面积,若面积大于规定的阈值,则目标判定为车辆;

第8步 获得目标车辆的行驶轨迹;

第9步 根据车辆的行驶轨迹和不同道路区域的正负号序列变化,并结合当前交通信号灯的实际情况,利用2.1节介绍的判断规则判定当前车辆是否违章;

第10步 重复第4步至第9步,直到视频结束.

3.2 绘制道路标线和确定道路区域

打开多路视频后,系统显示如图4(a)所示,单击其中一路视频可以得到放大的视频窗口,如图4(b)所示.

为了确定道路上的不同区域,需要根据视频中车道线、停止线、斑马线等的实际分布状况,在屏幕上利用鼠标手工绘制多条直线段来模拟不同的道路区域(图4(c)～(d)).要求每条直线段要与实际的道路标线尽量重合.

在绘制每条直线段时,需要根据系统提示,确定一个起点和终点,系统将利用y=ax+b自动计算该直线段的各个参数,显然每条直线段两侧的正负号就自动确定.当完成所有直线段的绘制并确认无误后,通过操作面板开始指定道路上的不同区域,系统将利用每个直线段的参数方程自动计算每个区域的正负号序列.

3.3 实验结果及分析

由于获取路口的规范交通视频不方便,笔者就在济南二环东路和二环南路、北京某道路的过街天桥进行拍摄作为实验视频.拍摄时天气为多云转阴,其中绘制的车道标线模拟了真实路口的道路区域,因此检测到的违章记录会比较多.所录制的视频的分辨率均为640×480,计算平台为Intel(R)Core(TM)i7@ 3.4 GHz、8 GB内存,操作系统为Win8,编译环境是Visual Studio 2013.

图5是其中一路的原始视频和相应的前景图像.由于车辆只能在道路上行驶,因此在计算过程中,只需要检测不同道路区域内的车辆即可.这样可以有效地避免非机动车道上的行人和非机动车等影响,还可以排除天空、白云等干扰.

图6给出了其中一路视频的任意两个违章检测图.实际计算时,平均每帧的计算时间是8 ms.

图5 视频图像

图6 违章检测图

图6中,灰色框内为显示的交通信息,系统进行实时刷新并保存违章信息.对3个车道和1个斑马线区域(即绘制的4个线段区域)内的车辆进行违章检测,其中车辆编号14～17所在的道路区域分别为斑马线区和一路口三车道、二车道、一车道.车辆编号都是系统自动实时标注的,而且一直跟随行驶的车辆.由图6可以看出,在检测区内,每辆车都能被跟踪上,并且按照车辆到达检测区的先后顺序,车辆编号递增,即当前车辆编号的最大值为经过检测区域的车辆总数.在图6(a)中,1～13号车都已经过检测区,车辆所在区域和违章信息都已经显示,14号车进入了斑马线区,灰色框内显示“14号车一路口一车道闯红灯”,15～17号车都已正确地显示车辆所在区域.在图6(b)中,14号、15号和17号车都已经过斑马线区驶出检测区,并且违章信息已正确显示.16号车在斑马线区,显示“16号车一路口三车道闯红灯”,而图6(a)中,显示“16号车从一路口二车道开过来了”,说明16号车从二车道越线到了三车道,16号车越线信息“16号车从一路口二车道越线到三车道”在图6(b)中也显示了.视频中的其他违章分析车辆的信息也可以正确地显示.统计一路视频的车流量为148,其中4辆车由于被其他车辆遮挡未检测到闯红灯信息,2辆由于在行驶过程中被其他车辆遮挡未检测到越线信息.漏检率为算法未检测到的违章车辆总数与实际违章总数的比值,误报率为算法检测到违章但车辆并未违章与违章总数的比值(文献[10]的作者称为虚报率).表1是笔者提出算法的检测结果,表2是文献[10]中的检测结果.

表1 闯红灯和实线变道检测结果(多云转阴)

表2 采用基于背景调整的更新算法情况下违章车辆检测结果(多云转阴)

笔者在拍摄时天气是多云转阴,因此阴影对车辆检测产生的影响可以忽略.相对于文献[10]的闯红灯检测结果,笔者提出算法的误报率明显低于10.26%;由于车辆遮挡,漏检率相对较高.

需要特别说明,由于当前道路不是实际的交通路口,只是模拟各个车道和斑马线区,并且设定的信号灯是红灯状态,因此显示的违章信息比较多.

4 总 结

以上介绍了一种基于视频监测的车辆违章检测的统一解决方案.该方案利用隐式曲线族判定车辆所在区域,利用车辆行驶轨迹和不同道路区域之间的位置关系并结合交通信号灯的实际状况来判定车辆是否违章和违反的交通规则.在具体实现过程中,首先道路划分为多个互不重合的区域,每个区域可以用一条隐式曲线描述;然后利用分段线性函数集合来拟合各个隐式曲线,使得每个区域惟一对应于这些线性函数集合的一个正负号序列;当检测到车辆时,根据车辆经过各个区域正负号序列的变化情况并结合信号灯的实际信号,就可以快速方便地检测车辆是否违章.实验结果表明,该方案操作简单,有效实用,通用性强,并且具有良好的推广应用能力.

由于笔者重点是介绍一种基于隐式曲线族的车辆违章检测的方案,因此只针对白天多云转阴的情况下进行了测试,没有针对其他天气状况进行测试,没有考虑到阴影、遮挡等影响.对于阴影、遮挡等问题,需要参考其他相关文献,例如文献[2];如果要进一步识别违章车辆的号牌,还需要进行车牌检测、字符分割和识别等工作,此时可以参考文献[4-6]等的工作.将这些工作进行集成,最终形成一套完整的、有效的智能车辆违章检测系统,将是下一步要开展的工作.

参考文献:

[1]SEMERTZIDIS T,DIMITROPOULOS K,KOUSIA A.et al.Video Sensor Network for Real-time Traffic Monitoring and Surveillance[J].Intelligent Transport Systems,2010,4(2):103-112.

[2]刘万军,陈虹宇,姚雪,等.利用七宫格的遮挡车辆凹性检测与分割[J].中国图象图形学报,2014,19(1):45-53.LIU Wanjun,CHEN Hongyu,YAO Xue,et al.Detection and Segmentation of Occluded Vehicles Based on Seven Grids [J].Journal of Image and Graphics,2014,19(1):45-53.

[3]JARRAYA S K,GHRAB N B,HAMMAMI M,et al.Tracking Moving Objects in Road Traffic Sequences[C]// Lecture Notes in Computer Science:7340 LNCS.Heidelberg:Springer Verlage,2012:406-414.

[4]李金屏,王群,吴翔,等.基于视频的车辆检测和牌照识别[J].济南大学学报(自然科学版),2014,28(2):89-96.LI Jinping,WANG Qun,WU Xiang,et al.Detection of Vehicle and Recognition of License Plate Based on Video[J].Journal of University of Jinan(Science and Technology),2014,28(2):89-96.

[5]DU S,IBRAHIM M,SHEHATA M,et al.Automatic License Plate Recognition(ALPR):a State-of-the-art Review [J].IEEE Transactions on Circuits and Systems for Video Technology,2013,23(2):311-325.

[6]AL-GHAILI A M,MASHOHOR S,RAMLI A R,et al.Vertical-edge-based Car-license-plate Detection Method[J].IEEE Transactions on Vehicular Technology,2013,62(1):26-38.

[7]张洪斌,黄山.面向城市路口的高清晰智能监控系统研究[J].四川大学学报(工程科学版),2012,44(1):224-228.ZHANG Hongbin,HUANG Shan.Research on the High Definition Intelligent Surveillance for Urban Intersection[J].Journal of Sichuan University(Engineering Science Edition),2012,44(1):224-228.

[8]刘振华,黄磊,刘昌平.一种基于视频图像处理的车辆违章检测算法[J].公路交通科技,2012,29(2):106-114.LIU Zhenhua,HUANG Lei,LIU Changping.A Vehicle Violation Detection Algorithm Based on Video Image Processing[J].Journal of Highway and Transportation Research and Development,2012,29(2):106-114.

[9]AKÖZÖ,KARSLIGIL M E.Traffic Event Classification at Intersections Based on the Severity of Abnormality[J].Machine Vision and Applications,2014,25(3):613-632.

[10]佟守愚.基于视频技术的交通违章检测与识别理论及方法研究[D].长春:吉林大学,2006.

[11]OCHE M,NOOR R M,AL-JAWFI A S,et al.An Automatic Speed Violation Detection Framework for VANETs [C]//Proceedings of the IEEE International Conference on RFID-Technologies and Applications.Washington:IEEE Computer Society,2013:1-6.

[12]LI J P,LI J,HOU W D.Moving Object Tracking Based on Particle Filter and Its Application in Intelligent Transportation System[J].Journal of Pattern Recognition&Image Processing,2013,4(3):389-398.

(编辑:郭 华)

Traffic violation detection based on the implicit curves family

MA Liwen1,2,GUO Yukun1,2,LI Jinping1,2
(1.School of Information Science and Engineering,Univ.of Ji’nan,Ji’nan 250022,China;2.Shandong Provincial Key Lab.of Network Based Intelligent Computing,Ji’nan 250022,China)

Abstract:We propose an effective algorithm for the detection of the traffic violation vehicle by employing a set of implicit function curves which can be used to describe the different regions on the roads.When the vehicles are detected to run across different road regions,we can determine in which region that vehicle lies easily and immediately by using the set of implicit functions.According to the vehicle trajectory and the relationship among different regions described by the implicit functions,we can quickly and accurately determine whether the vehicle violates the traffic rules.In order to improve the detection efficiency and accuracy greatly,we use the piecewise linear functions to approximate the set of implicit functions in actual detection.Experimental results show that our algorithm can detect the traffic violation and display the specific violated traffic rules in real time.

Key Words:intelligent transportation;traffic violation detection;implicit curve family;piecewise linear functions

通讯作者:李金屏(1968-),男,教授,博士,E-mail:ise_lijp.ujn.edu.cn.

作者简介:马丽文(1988-),女,济南大学硕士研究生,E-mail:1195289418@qq.com.

基金项目:国家自然科学基金青年基金资助项目(61203341);山东省高等学校科技计划资助项目(J14LN15,J12LN19);济南大学校基金重点资助项目(XKY1202)

收稿日期:2014-10-24 网络出版时间:2015-05-21

doi:10.3969/j.issn.1001-2400.2016.02.024

中图分类号:TP391.41

文献标识码:A

文章编号:1001-2400(2016)02-0139-06

网络出版地址:http://www.cnki.net/kcms/detail/61.1076.TN.20150521.0902.021.html