一种基于MPEG运动矢量的行车障碍检测方法
2012-01-15李晨,王巍
李 晨, 王 巍
(1.西安工业大学 北方信息工程学院,陕西 西安 710032;2.航天恒星空间技术应用有限公司 陕西 西安 710077)
随着公路交通的飞速发展,汽车安全性问题已日益成为交通问题的焦点。目前,智能车辆作为汽车主动安全方面的最新发展方向,受到了广泛的关注。关于智能车辆中对行驶前方危险障碍物的检测,很多国家及多个相关领域的研究学者们已经提出了很多可行的想法及有效方案。其中,基于MPEG视频流的行车障碍检测算法由于其直接从压缩域入手的特点,避免了在空间域中所遇到的对外界环境、光线及气候条件要求较高等多种敏感问题,已经逐渐显示出其在应用中的方便性及可行性。通过在实际情况中对该算法的仿真实验及对该算法在实际应用情况中所造成的虚警,漏警数据的统计及分析可知,该算法正确性较高,在实际生活中有较好的应用前景。
在目前已有研究出的基于MPEG运动矢量的行车障碍检测算法的基础上,对已有算法的部分参数进行验证,在原有检测系统中采用模板匹配的方法,通过具体路况实验,进行统计分析及经验验证,设定出不同情况下的检测阈值及相应的经验公式,使之能够适应不同的行车环境,达到理想的检测效果。
1 实验系统构成
本实验系统首先通过车载单目摄像机来采集行车路况的连续视频流信息。所拍摄的路况连续视频流信息均为AVI文件格式,MPEG视频压缩制式,以此来达到算法制定时基于MPEG运动矢量的要求。通过MATLAB软件进行MPEG连续视频流平台的搭建以及MPEG连续视频流行车障碍检测算法的实现。利用MATLAB图像处理工具箱中自带函数可以使本文的一些图像处理问题得到简化。
文中进行MPEG运动矢量行车障碍检测方法的实验的系统构成图如图1所示。
图1 MPEG运动矢量行车障碍检测方法实验系统构成图Fig.1 The experimental system structure graph of driving obstacle detection which based on MPEG motion vectors
文中的研究是建立在基于MPEG运动矢量行车障碍检测算法之上的。在其对运动矢量解码提取过程中,为方便研究,主要提取的是P帧运动矢量,因此对车辆速度有一定要求。由于本文主要介绍的是这种检测方法的应用过程,所以只列举在一种车速下该方法对前方车辆不同行驶状况的检测过程。
1)前方车辆横向运动
在相对车速为40 km/h下,拍摄视频长度为25 s,通过对该段MPEG连续视频流的分解,共分解出独立图片200帧。图2所示是在分解后的单帧图片中,对前方车辆横向运动时所选取的4幅关键帧图片。
图2 相对车速为40 km/h下,前方车辆横向运动时提取的关键帧Fig.2 The key frames of forward vehicle lateral motion in the relative vehicle speed 40 km/h
2)前方车辆减速运动
在相对车速为40 km/h下,拍摄视频长度为50 s,通过对该段MPEG连续视频流的分解,共分解出独立图片400帧。图3所示是在分解后的单帧图片中,对前方车辆减速运动即追尾时所选取的4幅关键帧图片。
图3 相对车速为40 km/h下,前方车辆减速运动时提取的关键帧Fig.3 The key frames of forward vehicle retarded motion in the relative vehicle speed 40 km/h
2 图像噪声的滤除
噪声的滤除是很有必要的,压缩域中运动矢量只是用于编码目的,它们是有噪声的,不可靠的,直接用于检测算法会产生很大的噪声误差和错误。特别是由于汽车抖动引起的边缘毛刺,天空等非危险区域产生的孤立噪声点等,都会对行车障碍检测系统的检测可靠性及检测效率等问题造成不必要的影响和麻烦。为了尽可能地消除噪声,增强运动矢量的可靠性,在对非危险运动矢量筛选之前,首先需进行噪声运动矢量的滤除处理。
由于图像信号和噪声信号往往交织在一起,特别是在行车障碍检测算法中,图像的边缘噪声和天空等非危险区域所产生的噪声都会在运动矢量场图中显示,并且增加检测算法的误判率。因此,根据上述运动矢量场图中噪声的特点,首先根据危险运动矢量规则进行除噪,其次本文在原有基础上增加了不同情况下匹配模板的运用,对于确定的路况及以此选定的匹配模板,模板外侧边缘(被认为是图像边缘,带有不可靠的噪声)以及天空等非危险区域,由于该区域对检测算法的判决并不产生影响,因此通过模板的边缘限制,可将模板外边缘区域直接置零,设置为非危险区域。表达式为:
其中 MVi,j为坐标(i,j)处宏块的运动矢量。
3 危险区域的确定
由于车辆在行驶过程中,整个视频图像序列的背景为动态背景,因此车辆在正常行驶情况下都会产生符合正常规律的发散的运动矢量,但不是所有区域的运动矢量都会对行车构成危险,例如天空中的运动物体的运动对车辆正常行驶就不会构成危险等,因此必须首先排除对于车辆正常行驶时不构成危险的区域,从而确定对于车辆正常行驶时构成威胁的危险区域,并给予高度重视。因此确定车辆在行驶过程中的危险区域也就成为行车障碍检测算法中的一个重要环节。
文中所介绍的基于MPEG运动矢量的行车障碍检测方法确定危险区域的方式是:通过在路面区域之上设定与之相应的匹配模板来确定危险区域。
根据所分析的路面情况,事先做好一些道路检测模板,然后检测道路曲线与哪一种模板匹配程度最好。在模板中应用了灭点的概念。所谓灭点,即在直行道路环境下,当摄像机位置确定后,所拍摄的视频图像中的透视图像的道路前方相对于摄像机在同一水平面位置上的道路前方的一点,即摄像机朝向该点运动,则该点称为灭点。灭点的运动矢量为零。灭点的确定决定于摄像机位置的确定。对于灭点以上的运动矢量即天空中的运动物体等所产生的运动矢量对行驶车辆并不构成危险,所以灭点以上的运动矢量应该给予排除。模板的制定主要是选取以灭点为中心,选择公路及其两旁部分区域作为模板内部区域,将天空及图像边缘作为非危险区域,列为模板外部区域。利用灭点的概念设置模板更加简单、灵活和方便,且更容易实现。
由于车辆在行驶过程中,不仅有直行状态,还有转弯及上下坡弯道等多种行驶情况,不同状态下摄像机所需面对的视景及处理的危险区域不同,因此在模板的设置过程中也应考虑以上多种情况,设定不同情况下的模板形状及匹配阈值。
4 标注危险障碍物
在运动矢量图中筛选出来的异常危险运动矢量具有散乱的特性,本文所介绍的检测方法通过方框对危险障碍物进行标注来达到预警的作用。方框大小的确定与危险运动矢量区域的大小相关。本文根据MPEG运动矢量行车障碍检测方法步骤,对大量实际拍摄的视频图像序列进行了检测,在此选择其中具有典型代表性的几组车辆前方路况视频图像序列对该检测方法的实现进行说明。
实验一:在相对车速为40 km/h下对车辆前方横向行驶车辆进行检测
在车速为40 km/h下,对车辆前方横向行驶车辆提取的关键两帧如图4所示;在车速为40 km/h下,通过本文介绍检测方法对车辆前方横向行驶车辆进行检测的结果如图5所示。实验二:在相对车速为40 km/h下对前方车辆减速运动进行检测
图4 车速为40 km/h下对横向行驶车辆提取的关键两帧Fig.4 The key frames of forward vehicle lateral motion in the relative vehicle speed 40 km/h
在车速为40 km/h下,对车辆前方减速运动车辆所拍摄视频提取的关键两帧如图6所示;在车速为40 km/h下,通过本文介绍检测方法对车辆前方减速运动车辆进行检测的结果如图7所示。
5 不同行车状态下检测阈值T的设定
图5 车速为40 km/h下对横向行驶车辆检测结果Fig.5 The detection results of forward vehicle lateral motion in the relative vehicle speed 40 km/h
图6 相对车速为40km/h下对前方车辆减速运动提取的关键两帧Fig.6 The key frames of forward vehicle retarded motion in the relative vehicle speed 40km/h
文中介绍的基于MPEG运动矢量的行车障碍检测方法,对不同行驶情况下匹配模版中的检测阈值T进行了经验总结。根据经验及实际仿真结果可知,经验阈值T的选取及设定与行驶车速及行驶状态相关。在平直公路行驶时的具体关系符合T=0.025 V+1.5的线性关系式。在视频图像统一采用格式为291×218大小,正常行驶时,车辆在车速为20 km/h正常安全行驶时相邻运动矢量之差都在阈值T=2的范围内;车辆在车速为40 km/h正常安全行驶时相邻运动矢量之差都在阈值T=2.5的范围内;车辆在车速为60 km/h正常安全行驶时相邻运动矢量之差都在阈值T=3的范围内;在转弯行驶状态下,由于摄像机视景中道路一侧非危险区域的视景会增加,因此一些非危险运动矢量可能增加误判的可能性,在该种情况下,通过统计归纳可知,相应的检测阈值较平直公路有所增加,在2.5的范围内;在上下坡行驶状态下,由于上坡时摄像机视景中所出现的天空视景增加,即非危险区域增加,因此可增加误判可能性的非危险运动矢量增加,需要增加相应的检测阈值,通过统计归纳可得出针对该种情况的经验阈值在3的范围内;在下坡行驶状态下,由于摄像机视景中所出现的路面视景增加,因此获取危险运动矢量的几率增加,此时需降低检测阈值,通过统计归纳可得出该种情况下的经验检测阈值在2的范围内。
图7 相对车速为40 km/h下对前方车辆减速运动检测结果Fig.7 The detection results of forward vehicle retarded motion in the relative vehicle speed 40 km/h
车辆正常行驶时,直行各车速下相邻运动矢量之差符合的阈值范围如表1所示。
表1 直行各车速下相邻运动矢量之差的阈值范围Tab.1 The threshold range of the difference between adjacent motion vectors in different vehicle speed
6 结 论
文中对基于MPEG运动矢量的行车障碍检测方法进行了模拟实验,在对MPEG相关知识有所了解的前提下,结合前人在基于MPEG智能辅助驾驶车辆障碍检测系统中的研究成果,在噪声的滤除和危险区域的确定中利用了模板匹配的方法,具体进行实验时,在此基础上选定与具体路况相匹配的模板和检测阈值。检测阈值T的选取在本文中主要是依据行驶车速及行驶状态来确定,通过在不同状态下的模拟实验及经验总结,确定了不同车速、不同状态下的经验检测阈值,为该种检测方法提供了更高的可实施性。
[1]蔡光程.MPEG视频中对运动物体的跟踪 [J].昆明理工大学学报,2004,29(2):68-71.CAI Guang-cheng.Tracking the moving object from MPEG code[J].Journal of Kunming University of Science and Technology,2004,29(2):68-71.
[2]刘涛.智能型汽车行驶主动安全系统研究[D].重庆:重庆大学自动化学院,2003.
[3]张伟.智能车辆中的道路检测与识别[D].重庆:重庆大学,2006.
[4]郝宝青.智能车辆视觉导航中道路与行人检测技术的研究[D].哈尔滨:哈尔滨工业大学,2006.
[5]刘化胜,王友仁.车辆视觉导航系统中的实时道路检测[J].计算机测量与控制,2004,12(10):901-904.LIU Hua-sheng,WANG You-ren.Real-time lane detection for vehicle vision system[J].Computer Measurement and Control,2004,12(10):901-904.
[6]张伟.基于视觉的运动车辆检测与跟踪[D].上海:上海交通大学,2007.