一种新型车辆偏离车道预警系统的研究
2012-03-15郎明华简林莎袁绍鹏阎景波牛振乾
郎明华, 简林莎, 袁绍鹏, 阎景波, 牛振乾
(长安大学汽车学院,陕西西安 710064)
在基于图像处理的车辆预警系统中,通常采用预处理的方法来获取车辆周围环境信息,经过滤波、边缘检测等中间环节后将图像二值化,虽然这种方法在天气和道路条件好的情况下是可以接受的,但是在一些复杂的环境下对图像进行二值化就会造成大量信息的丢失,使得道路的识别增加了难度,而且对于实时性的要求也不能满足,因此对于应用预处理的方法要作进一步的改善和提高。
本文介绍了一种基于灰度图像的道路边界识别技术,首先是灰度图像的统计,然后用道路边界的灰度信息和边缘线的灰度梯度信息,综合其图像的一些特点建立标志函数,目的是看拟合质量的好坏,将标识线提取出来再判断产生偏离与否。此方法能够大大提高复杂环境下道路标志线识别的实时性,更加有效地降低事故的发生,增加汽车的主动安全性[1-2]。
1 系统结构和流程
该系统的主要功能和目的是有效地提取出车道标志线,提高实时性,在车辆偏离车道时发出报警提醒驾驶员,从而避免事故发生。该系统包括:
(1)基于灰度图像的车道检测执行系统。其主要的功能是先对录制的视频进行采集和存取,然后传入灰度图像处理装置并识别和检测出车道的标志线,对车道的标志线进行对比分析,判断是否偏离并发出预警信号。
(2)CCD摄像头。将其安装在汽车的正前方,在行驶过程中对车辆前方不断地采集视频,并传输到车道检测执行系统中进行分析处理。
(3)车载扬声器。其作用是将车道检测执行系统分析处理的结果进行接收,如果车道发生偏离就发出报警信号。
系统的结构和流程如下:首先将CCD摄像头安装在车辆的纵向中心线的前端上,将拍摄的图像经过传输线传到灰度图像的车道检测执行系统中,进行灰度图像的统计;然后用道路边界的灰度信息和边缘线的灰度梯度信息,综合其图像的一些特点,就可以将标志函数建立,利用Hough变换就可以得出车道线;通过摄像头的各个参数和在车辆纵向中心线上的安装位置相互综合来计算出车辆与车道的相互位置关系,如果达到了设定的偏离值时就会由执行系统发出指令使扬声器发声,以此来提醒驾驶员更改车辆行驶方向或修正行驶路线。系统的结构和流程如图1、图2所示。
图1 系统结构示意图
图2 系统实施流程图
由图1可知,智能车道标识线识别与报警装置和灰度图像处理是最为重要的环节。车辆前端纵向中心线上安装有摄像头,摄像头将采集到的图像传输到灰度图像处理模块,图像处理模块与偏离判断分析模块连接,然后偏离分析模块上又连着报警器。安装的CCD摄像头在对路面进行连续摄像后,将图像传输到灰度图像处理模块,灰度图像处理模块基于目标函数建立和拟合曲线的基础上,对采集到的图像进行灰度图像处理,然后找出车道标志线,对车道标志线进行偏离分析,最后发出预警响铃[3]。
2 建立模型与目标函数
2.1 建立道路边界的抛物线模型
现在通常所指的道路识别是在给定的笛卡尔直角坐标系中,用一条曲线精确地拟合道路边界,找到边界线在该笛卡尔直角坐标系中的代数方程,但是由于路面大多数是直线型,因此要考虑到道路有较小曲率的情况,另外还要考虑到实时性的要求,所以建立如图3所示的坐标系,其中使用的图片为320×240像素,1个像素代表1个单位长度。
图3 坐标系的建立
建立的方程模型为二次抛物线模型,即
从(1)式中可以明显地看到,a的值能反映出其大致的结构图形和变化趋势,如果a=0,说明代表的是直线边界;如果a>0,说明道路是向右转的;如果a<0,说明道路是向左转的。如果a无限接近于0,那么二次项是高阶无穷小,可以略去,所以b的值大致就可以说明图像底部道路边界的斜率。c的值说明了它与x轴的交点坐标,得到此交点位置能帮助得知c的值。
2.2 建立目标函数
要想建立目标函数就要在道路边界中搜索抛物线方程,找到最大的一条作为道路边界拟合曲线,所以搜索到目标函数是道路识别的关键问题。
(1)道路特征值分析。如图4所示为强光照射路面时的图像,图5所示为预处理后的图像。在图5中出现了大量的不规则的噪声,丢失了大量的可用信息,例如灰度梯度信息等等,因此道路边界特征就大量地丢失,而要在丢失大量信息后提取边界更是很困难的事情。
信息丢失的原因有2条:① 在图像预处理中,若阈值分割不当就导致整体图像的信息发生改变,就像路面和道路的边界上的噪声处理中,在二值化处理之后丢失了梯度的信息;② 预处理(此处预处理包括平滑处理、中值滤波、边缘检测、阈值分割)中的灰度图像不能考虑路面与边缘线的灰度相对值的大小[4]。因此要对道路特征进行分析处理,找到灰度特征和梯度特征。此外,目标函数要进行小块的统计和选取,通常选取的最小单位有3*3或5*5的小块,经过对比分析可以得出,采用5*5的小块来分割坐标轴。
图4 强光照射路面时的图片
图5 预处理后的图像
搜索到的待评价道路边界方程为:
为了更加容易计算,在坐标系上此抛物线的回击位置按照y坐标等间隔原则由x轴位置向上顺次取出50个点来作为统计小块的中心位置点,即各点坐标满足(2)式之后,在图像上抛物线位置间隔取出5*5的小块共n个[5-7]。
(2)提取灰度特征。道路边缘与路面间有着很明显的灰度差,即
其中,Mi为第i个小块灰度均值;Mr为路面平均灰度;ΔM(i)为第i个小块灰度均值与路面的平均灰度的差值。
灰度可以作为道路边缘的一个特征,这样在每一幅图像的识别过程中,在路面位置的中间底部选取均匀的一块统计灰度均值,然后将其滤波后作为路面的平均灰度Mr。
(3)提取梯度特征。路面与道路边缘的交界之处有着较为明显的灰度梯度,抽取道路边缘线处的子块,其内部的灰度均值之间就会存在着一个明显的差值,对于有大量噪声的情况,小块的图像梯度特征可能不明显,但是对于整个的道路边缘线,小块的内部差值特征是很明显的,因此可以提取出来。图6所示为小块内的左上半块和右下半块差值示意图,同理可得出左下半块与右上半块、上半块与下半块、右半块与左半块的示意图。
图6 左上半块与右下半块
提取方法如下:小块内的右上半块和左上半块间为T1(i),即
左下半块和右上半块间为T2(i),即
上半块和下半块间为T3(i),即
右半块和左半块间为T4(i),即
其中,T1(i)、T2(i)、T3(i)、T4(i)分别为分块情况下的第i个小块内2部分的灰度均值之差;Mleft-up、Mright-up、Mup、Mleft分别为第i个小块内灰色位置处(每个小块内的分块分为灰白2种颜色)的灰度均值;Mright-down、Mleft-down、Mdown、Mright分别为第i个小块内白色位置处的灰度均值。
(4)确立目标函数。通过梯度计算方法和上述分析,来讨论左右边界问题:① 在左边界上,通常左边界的小块上只有T1的特征比较明显,当b>2时,道路边界线接近水平,因此T1、T3的特征比较明显;当b<0.5时,道路边界线接近竖直的程度,因此T1、T4的特征比较明显。②在右边界上,通常右边界的小块上只有T2的特征比较明显,当b<-2时,道路边界线更加接近水平,因此T2、T3的特征比较明显;当b>-0.5时,道路边界线接近于竖直的程度,因此T2、T4的特征比较明显。
综合上述小块的灰度特征、块内的灰度均值差特征和统计的小块的信息,建立了评价目标函数,左边界的目标函数为(4)式。其中,β1~β4为对应权系数;ΔM(i)是抛物线上第i个小块的灰度均值与路面平均灰度值之间的差值;n为抛物线上的有效统计块数;T1(i)、T2(i)、T3(i)、T4(i)分别指抛物线上的第i个小块的4种块内灰度均值之差;α为权系数[8]。同理也可以得出右边界的目标函数。
特征权系数是为了推导出未知量而引入的一组不定系数,特征权系数α和β1~β4的选取对于目标函数的选取是极其关键的,通过各种试验和模拟来推算出权系数。在强光条件下其取值的范围如下:0.15<α<0.30,0.35<β2<0.60,0.20<β3<0.40;在夜晚光线极其不佳时的取值为:0.20<α<0.35,0.40<β2<0.54,0.25<β3<0.45。为适应各种复杂的工况,根据上述的实验结果选取了权系数为:α=0.2,β2=0.5,β3=0.3。
而左右边界上的识别权系数的确定方法是相似的,这样就确定了目标函数的权系数。左边界上:0.5≤b≤2时,α=0.4,β1=0.6;b>2时,α=0.2,β1=0.45,β3=0.3;b<0.5时,α=0.2、β1=0.45,β4=0.3。右边界上:-2≤b≤-0.5时,α=0.4,β2=0.55;b<-2时,α=0.2,β2=0.45,β3=0.35;b>-0.5时,α=0.2,β2=0.45,β4=0.3。
其中,道路边界的抛物线模型采用(1)式来表示,从而可以寻找目标函数中最大的抛物线参数a、b、c,使抛物线能够精确地拟合道路边界,并且利用蚁群算法来优化参数,这里不再阐述。
按照上述公式和算法并且基于Matlab平台处理,得出道路识别线[9-10]如图7所示,此张图片是在强光中拍摄的,能够清楚地识别出车道线,这比预处理图5所示的要清楚得多,而且信息量的丢失减少了。
图7 经灰度图像处理的图片
3 发出预警
执行控制系统将其参数提取出来后,根据所规定的原来的车道夹角来判断车辆是否发生偏离,采用车道的2个右侧同位角之和∂1+∂2来判断车辆是否偏移。在左侧的判断方法:∂1+∂2大于左侧临界角与右侧临界角的和时就发出报警信号;在右侧的判断方法:∂1+∂2小于左侧临界角与右侧临界角的和时就发出报警信号。
4 结束语
本文介绍了一种利用灰度图像的车辆偏离车道预警系统,它通过CCD摄像头采集图像并进行灰度图像的统计,用道路边界的灰度信息和边缘线的灰度梯度信息,综合其图像的特点建立标志函数,从而提取出车道标志线,然后利用偏离分析模块将其信息传到车载扬声器发出预警。此方法经过试验证明能够提高复杂环境下的道路标志线识别的实时性,比普通的图像预处理的识别效果要好得多,并且此装置结构简单、质量轻、效率高,不影响车辆行驶过程中的阻力和行驶速度,从而可以大大提高车辆行驶的主动安全性。
[1] 马 雷,武波涛,王连东.弯曲道路识别方法与目标函数选取的研究[J].汽车工程,2008,30(7):561-565.
[2] Gonzalez R C,Woods R E.数字图像处理[M].阮秋琦、阮宇智,译.第2版.北京:电子工业出版社,2003:235-236.
[3] 圣 华.车道线检测在车道偏离预警中的应用研究[D].合肥:合肥工业大学,2010.
[4] 马 雷,臧俊杰,张润生,等.基于DS证据理论的不同光照条件下道路边界识别[J].汽车工程,2011,33(8):707-712.
[5] 张 荣,王 勇,杨 榕.TM图像中道路目标识别方法的研究[J].遥感学报,2005,9(2):220-224.
[6] 王荣本,余天洪,郭 烈,等.基于机器视觉的车道偏离警告系统研究综述[J].汽车工程,2005,27(4):463-465.
[7] 董因平.高速汽车车道偏离预警系统研究[J].长春理工大学学报,2004,27(1):48-50.
[8] 李 旭,张为公.基于视觉的车道偏离报警系统的研究[J].仪器仪表学报,2008,29(7):1554-1558.
[9] Lee Joon Wong.A machine vision system for lane departure detection[J].Computer Vision and Image Understanding,2002,86(1):52-78.
[10] An Xianjing,Wu Mo,He Hangen.A novel approach to provide lane departure waning using only one forward-looking camera[C]//International Symposium on Collaborative Technologies and Systems.Las Vegas,USA,2006:357-361.