基于DSP的前方车辆位置关系辨识研究
2014-09-10刘永涛张亚岐
刘永涛,王 鹏,魏 朗,张亚岐
(1.长安大学 汽车学院,陕西 西安710064;2.东风汽车公司技术中心 电子电器部,湖北 武汉430056)
0 引 言
机器视觉图像包含大量信息,如车道线位置、前方车辆位置等,准确检测并识别前方车辆横向位置可以判断两车之间的相对车道关系,进而可确定两车是否存在交通冲突,是汽车纵向安全预警系统的重要组成部分。目前国内外学者用于确定前方车辆位置信息并判断是否存在自车运动障碍的方案主要有采用雷达和速度惯量传感器相结合[1]、机器视觉和微波雷达相结合[2]、毫米波雷达与光纤陀螺仪进行信息融合[3],通过比较目标车辆与左右车道线在图像中的横坐标的关系来判定是否与本车处于同一车道[4]等。但这些方案数据参数获取成本过高,不宜普遍推广,且前方车辆位置辨识效果易受道路环境干扰。
因此,为了提高前方车辆位置关系辨识效能,降低前方车辆位置参数获取成本,本文提出基于统计特性的图像识别算法进行前方车辆位置关系辨识。通过车载CCD实时采集道路图像,对图像进行处理,确定车道中线并识别前方车辆,计算目标车辆标识点至车道中线的距离,通过设定的阈值进行前方车辆位置关系的辨识。
1 图像获取
汽车前方图像的获取是后续图像处理的基础,本文通过车载CCD进行路面图像的采集。针对车辆行驶速度快及采集图像质量要求高等问题,图像采集系统选择水平清晰度为480线的1/3"SONY彩色摄像机和25mm的镜头,图像采集分辨率为752×582,信噪比大于48db,最大采集距离为80m。为了保证图像处理的实时性,主系统采用美国模拟器件公司 (ADI)生产的blackfin双核处理器ADSPBF561,内核频率为600MHz,具有很强的调度能力及超快的运行速度。硬件系统组成实物如图1所示。
图1 硬件系统实物
2 图像处理
2.1 图像预处理
受路面不平度以及车辆自身的机械振动干扰,采集到的图像连续性不强,在抓拍过程中如果存在车体有较大晃动,采集到的图像质量会大大降低。为从图像中获取有用信息,需对图像进行预处理[5-7]。彩色图像所包含的数据量大,为了提高图像处理速度,首先对彩色图像进行灰度化处理,接着采用中值滤波去除图像噪声和保护边缘,使用Sobel边缘检测算法增强采集图像中车道线的边缘,同时也有效降低噪声影响。经过Sobel边缘检测处理后,道路图像的对比度明显增强,为了提高车道线检测效率,使用最大类间方差法 (OSTU)进行阈值分割,得到二值化图像。
2.2 车道线识别
常用的车道线识别方法有基于最小二乘算法和基于Hough变换算法,由于Hough变换算法实时性不高,因此本文选择最小二乘法进行车道线识别[8]。
设车道线边缘特征点坐标为 (xi,yi),(i=0,1,2…n),纵横坐标满足函数y=F(x),设F(x)=kx+b,不是所有特征点都满足此函数关系,因而只需满足在特征点(xi,yi)上的残差平方和最小,即
求解出参数k、b,即可得到车道线参数方程。
3 弯道与直道判定
道路线形一般分为直道和弯道,其车道线在道路图像上的表征形式为两条直线和曲线。为了判断道路线形,本文把道路图像分为车道上、下标识线两部分[9],如图2所示。
图2 图像分割模型
由图2可以看出,标识线UL短于标识线LL,这是因为透视变换的影响,对应的实际车道线长度则UL大于LL,若前方出现弯道,则UL线可以表征道路曲率的大小。左右标识线LL相交于消失点Q,而左右UL线也相交于一点,根据这两点的位置关系可判别前方道路线形。
为了提高系统的实时性及缩短算法耗时,在判断车道线形时,通常只对单侧车道标识线进行处理。对单侧标识线UL、LL进行最小二乘法拟合并计算出其斜率kUL、kLL,根据kUL、kLL数值大小判断道路线形。
经过大量实验得出,kUL和kLL相差在10%范围内时,可判定前方道路为直道;当kUL、kLL相差大于12%,且kUL<kLL时,可判定前方道路为右弯道,在kUL>kLL时,前方道路为左弯道。
4 前方目标区域内车辆位置标定
车辆沿道路行驶时,前方目标区域内的车辆在道路中的位置是时刻变化的,但其横向位置可以以本车道线中线作为基准。如图3所示,把道路感兴趣区域均分为5部分,由于透视变换,表现在图像中从上到下是逐渐递增的。在确定车道两条标识线之后,可以算出两标识线与分割区域上下底边的交点,对同一分割线上的交点求平均值可以得出分割区域中点,利用最小二乘法对这些中点进行拟合,即可得出车道标识线的中线方程。具体计算过程如下:
(1)第五块图像的左右车道标识线相交于消失点m5,与图像的下边界相交于点l5,r5,则l5与r5的中点记为q5。
(2)连接中点q5与消失点m5交第四块图像的下边界于点q4,则q4为第四块图像上的车道标识线中线上的点,第四块图像车道标识线的消失点与m5重合,即m5=m4。连接中点q4与消失点m4交第三块图像下边界于q3,则q3为第三块图像车道中线上的点。
(3)依次向上搜素,连接中点q3与消失点m3交第二块图像的下边界为点q2,同理,可得到车道标识线中线上的序列点q0、q1、q2、q3、q4、q5,对这些中点进行最小二乘法拟合即可。
图3 车道中线确定
5 当前车道内车辆位置辨识
5.1 参数标定
本文现对上述算法予以说明。首先是相关模块的参数标定,本文选择的CCD采集图像分辨率为752×582,使用5×5方格标定板在MATLAB软件中的Toolbox模块里标定内参数,基于图像配准标定外参数[10],标定结果如下:
(1)内部参数:
图像中心坐标:(cu,cv)= [324.843,259.916]
焦距:(fu,fv)= [672.613,669.116]
(2)外部参数:
平移向量:t= [16.35 -3.42 56.78 ]T
5.2 车辆位置辨识
准确识别前方车辆是进行车辆位置辨识的关键步骤。车辆在运行过程中始终处在一列车队中,从宏观角度来看,当自车处在稳态的车队流中,车辆之间的相对距离基本保持一致,在这种情况下,自车与其它车道上的车辆位置关系相对单一,经过图像预处理能够基本确定目标车辆的相对位置。而在复杂的交通环境下,自车与目标车的相对位置关系存在易变性和偶然性,这种情况较为复杂。因此,本文此处只对复杂环境下的车辆关系进行讨论,现列举实例对本文提及的算法予以说明,图4是通过车载CCD随机抓拍的一张图像,从图4中可以看出,当前车道前方存在一辆大客车,大客车的右前方有一辆货车,这在图像中就会出现车A与车B重叠的情况,在这种情况下,A车的右边界和B车的左边界都难以准确标定。为此本文根据车道线对称性及基于统计特性的车辆识别算法来确定目标车辆的位置,首先是对原始图像经过图像去噪滤波处理,后经边缘提取,最终得到结果如图5所示,很显然,经过处理后,车道线的轮廓线能够准确的识别出来,在确定了车道中心线后,即可确定搜索前方目标车辆的起始位置。
图4 含目标车辆的原始图
图5 滤波及边缘提取处理
目前前方车辆检测算法有基于车辆阴影的检测[11],该算法计算量小,但易受光线的影响导致多个目标连为一体,虚警率较高。基于车辆对称性的检测[12],该算法的困难在于当车辆距本车过远或者过近的情况下对称性特征不明显。因此,为了提高前方车辆的检测效能,本文采用基于统计特性的图像识别算法,利用目标区域车辆边界的灰度值变化特性来辨识车辆轮廓。
选取目标车辆样本区域内的图像灰度值如图6所示,通过对样本区域的像素进行统计,结果如图7所示,从图7中可以看出,车辆边缘处的灰度值呈现出了双峰特性,根据背景色和车辆区域的颜色特征,确定目标车辆边界点像素灰度阈值为134。目标车辆的辨识规则为:沿着车道中线从下至上,依次往两边搜索,标记灰度突变的地方,即是车辆沿水平方向的边缘,计算车辆宽度,结合车辆先验知识如高宽比等,可以得到前方车辆的矩形轮廓,并以此可以确定目标车辆的对称轴,及对称轴与车辆尾部下边缘的交点 (车辆标识点),最终识别结果如图8所示。
从图8可以看出,就所选取的场景而言,本文所提及的算法能够准确的识别出前方的目标车辆,从图8中也可以看出采用预先设定的高宽比等先验知识,可以准确标定被客车遮挡的货车左边部分及排除右边缘受白色柱子的影响。
图6 目标车辆样本区域内的图像灰度值
图7 样本区域内灰度值频率分布
图8 基于图像统计特性的前方车辆识别结果
为验证算法的可靠性,本文利用ROC曲线 (受试者工作特征曲线)对算法的可靠性进行验证,测试结果如图9所示。图9中识别方法1是指一般的图像处理方法,识别方法2指的是本文所提及的基于图像统计特性的车辆识别方法。在不同的误判率情况下,本文所采用的识别方法始终具有最高的击中概率,由此可见,本文所提出的车辆识别方法能够较为准确的识别出复杂环境下目标车辆,且对树影、路面破损以及光照都有良好的适应性,具有一定的应用前景。
图9 ROC曲线测试结果
结构化道路上行车道宽度为3.75m,当车辆压线行驶时,以车辆在相邻车道上所占比例大小来确定所归属的行车道,结合CCD摄像头的内外参数及逆透视变换,计算得到前方车辆位置判定的临界值为车辆标识点至车道中线的距离,L等于28像素 (相当于实际距离的1.875m),当L小于28像素时,前方目标车辆在本行车道内,当L大于28像素时,前方目标车辆则在别的车道。
6 结束语
本文提出了一种利用图像统计特性辨识前方车辆位置关系的方法。借助车载CCD实时获取道路图像信息,通过图像处理标定本车道中线位置,基于图像统计特性进行前方车辆识别,计算车辆标识点至车道中线的距离,通过与设定的阈值进行比较来确定前方车辆与自车的位置关系。实验结果表明,系统识别率达到90%以上,说明该模型能够有效辨识前方车辆位置关系,可用来限制车辆纵向危险驾驶行为的发生。下一步可以在充分考虑车辆位于图像中的几何特征 (对称性)以及路面标识线的几何特征 (对称性)基础上,建立相应的特征向量,通过图像匹配,进一步提高识别模型的精度。
[1]Zhou X.Vehicle location estimation based on a magnetic sensor array [C]//IEEE International Conference on Sensors Applications,2013:80-83.
[2]Kusetogullari H,Celik T.Real time vehicle detection and driver warning system using computer vision [J].Electronics World,2010,116 (12):24-27.
[3]CHEN Daxing.Research on relevant target selection algorithm of adaptive cruise control system [D].Changchun:Jilin University,2011(in Chinese).[陈达兴.自适应巡航控制系统中前方有效目标识别算法研究 [D].长春:吉林大学,2011.]
[4]HUANG Wei.Design and implementation of vehicle obstacle ahead detection system based on radar and computer vision[D].Wuhan: Wuhan University of Technology,2010 (in Chinese).[黄伟.基于雷达和机器视觉的车辆前方障碍物检测系统设计与实现 [D].武汉:武汉理工大学,2010.]
[5]HUANG Tao,ZHANG Jing.Comparative study on road de-tection algorithms [J].Journal of WUT (Information & Management Engineering),2008,30 (2):185-188 (in Chinese).[黄涛,张静.道路线检测算法的比较研究 [J].武汉理工大 学 学 报 (信 息 与 管 理 工 程 版),2008,30 (2):185-188.]
[6]LIN Guangyu,WEI Lang.Detection for driver’s changing lines based on computer vision [J].Computer Engineering and Application,2009,45 (33):22-24 (in Chinese). [林广宇,魏朗.基于机器视觉的驾驶员换道行驶检测研究 [J].计算机工程与应用,2009,45 (33):22-24.]
[7]MA Lei,YU Fuying,LI Hao.Road boundary identification in complex conditions for intelligent vehicle based on monochrome image[J].Automotive Engineering,2010,32 (4):351-355(in Chinese).[马雷,于福莹,李昊.基于灰度图像的复杂环境下智能车辆道路边界识别 [J].汽车工程,2010,32 (4):351-355.]
[8]XU Huarong,WANG Xiaodong,FANG Qiu.Structure road detection algorithm based on B-spline curve model [J].Acta Automatica Sinica,2011,37 (3):270-275 (in Chinese).[许华荣,王晓栋,方遒.基于B样条曲线模型的结构化道路检测算法 [J].自动化学报,2011,37 (3):270-275.]
[9]LI Daxin.Lane detection and departure warning based on machine vision [D].Jinan:Shandong University,2012 (in Chinese).[李大新.基于机器视觉的车道线检测识别与车道偏离预警算法研究 [D].济南:山东大学,2012.]
[10]YANG Shaoqing,LI Wei,LIU Songtao.Camera outer parameter calibration based on image registration [J].Journal of Data Acquisition &Processing,2010,25 (12):92-96 (in Chinese).[杨绍清,李伟,刘松涛.基于图像配准的摄像机外参数标定[J].数据采集与处理,2010,25 (12):92-96.]
[11]MU Yongyun,WANG Rongben,ZHAO Yibing,et al.Study on detecting method of preceding vehicle based on multifeature fusion [J]. Application Research of Computers,2011,28 (9):3572-3575 (in Chinese). [幕永云,王荣本,赵一兵,等.基于多特征融合的前方车辆检测方法研究 [J].计算机应用研究,2011,28 (9):3572-3575.]
[12]WEI Wu,GONG Shufeng,GONG Shuchao.Improved video based vehicle detection and identification method [J].Computer Measurement & Control,2010,18 (1):20-22 (in Chinese).[魏武,龚树锋,龚树超.一种改进的基于视频的车辆检测与识别方法 [J].计算机测量与控制,2010,18(1):20-22.]