车道偏离实时预警系统的目标检测和识别

张凯欣,徐美华

(上海大学 机电工程与自动化学院,上海 200072)



车道偏离实时预警系统的目标检测和识别

张凯欣,徐美华

(上海大学 机电工程与自动化学院,上海 200072)

为解决各类道路环境车道线检测系统常用Hough算法计算量大，鲁棒性差和易受环境干扰等问题，文中通过选取图像感兴趣区域，采用时间模糊对图像增强，对边缘梯度图像进行分块阈值选取以及图像腐蚀，实现一种提取车道标示线中心线参数的改进的Hough算法.测试结果表明：在不同道路环境及复杂光照条件下设计的分层算法精确率能达到95.84%，每帧图像处理的时间大约为26ms，满足实时性要求，解决了Hough算法在车道线检测中存在环境干扰和冗余的计算造成的算法的运行效率低的问题.

车道线识别;图像增强;图像腐蚀;Hough算法

根据(美国)联邦公路局的估计，美国2002年所有致命的交通事故中44%与车道偏离有着直接或间接的关系[1].而据我国交通部门统计，汽车交通事故约有50%是因为汽车偏离正常行驶的车道引起的，所以车道偏离预警系统(LaneDepartureWarningSystem，LDWS)的研究具有重要的意义，LDWS能在偏离车道前0.5s内发出警报，为驾驶员提供更多的反应时间，减少了因车道偏离发生的交通事故.

目前为止，国内外车道偏离预警系统无一例外的采用具有价格低廉，结构简单，信息丰富，方便与其他传感器进行数据融合等优点的导航技术的机器视觉作为主要的感知方式.现如今已有大量基于视觉的车辆辅助驾驶技术的研究结果公诸于世，如美国俄亥俄州的伊顿(Eaton)公司研发的EatonVORAD系统[2]，该系统利用一个通过侧向雷达传感器来监测盲点区域来实现车辆安全变道的模块，其缺点是仅能对其他车道的车辆进行检测而无法有效识别车道标记;日本的决策支持系统(DriverSupportSystem，DSS)[3]，该系统通过一个主控制器根据识别的结果，结合驾驶人操作行为以及车辆状态传感器所获得信息，判断出车辆行驶状态，系统具有全面性以及准确性，然而该系统对数据在空间和时间的广度上有很高的要求，处理环境很难满足要求，计算量大导致实时性不是很好.吉林大学的智能车辆课题组研制出JLUVA系列视觉导航系统[4-5]，系统利用安装在汽车后视镜位置的CCD摄像头采集前方道路图像，通过图像处理获得当前车辆与两条车道线之间的相对距离来判断车辆是否即将超出车道线，最新的第四代智能样车上装备有世界先进水平的3D激光成像仪，采用了多传感器信息融合技术、人工智能、最优控制理论、安全车距保持等多种技术，虽然较好的实现了路径的自动跟踪，自动转向和自动行驶，同时也使得该系统成本偏高.从车道偏离报警系统目前研究的情况来看系统在实际运行时有很多局限性，如车辆行驶道路环境的多样性，单纯依靠车道线的一种特征，容易产生误检，计算量大导致系统实时性差或系统成本较高难以满足日常大量驾驶人的需求，以及系统需要在特定的道路环境、天气中才能较好的实现所需的功能等问题.因此，本文提出了一种在有效感兴趣区域内通过时间模糊得到清晰的车道线信息，然后进行目标检测和边缘增强以解决路面光照情况复杂，车道标记不明显等问题，最后利用改进的Hough变换提取车道线中心线参数的方法进行检测和识别，提高了Hough变换在各种道路及天气环境中的识别准确率以及实时性.并通过车道偏离预警机制进行报警.

1　车道偏离预警系统的设计与实现

车道偏离预警系统总体架构分为7部分，分别是：感兴趣区域的划分，图像灰度化，图像增强，感兴趣目标检测，车道线的检测与识别，车道线跟踪以及偏离决策.其系统框图如图1所示.

图1　车道偏离预警系统框图

1.1图像采集及预处理

智能车辆上的视觉系统通常首先通过车载相机获取车辆前方的道路图像，经过实时处理得到检测目标信息.本文采用速度较快，信号读取十分简单的CMOS图像传感器[6-8]作为车载摄像机，以达到实时性要求.为了获取较好的道路图像，相机的安装应当符合以下几点要求：① 在能看清一定距离的道路场景下，应当尽量增大道路的俯仰角，使得摄像头在采集的过程中能够尽量减少由于图像深度带来的影响.② 摄像头应当安装在室内，可以避免灰尘、雨雪、高温等带来的影响.③ 安装方便，应当尽量减少对车辆的改装.为了满足以上要求，将摄像头安装在汽车前方挡风玻璃中线处，这个位置视野开阔，能够很好的观测车辆前方的道路场景，有利于判断车辆偏离情况.

1.1.1感兴趣区域选取与图像灰度化

通过对原始图像进行裁剪提取出感兴趣区域，需要满足最大化的选择感兴趣区域，同时最大限度地减少外来物的干扰.对原始图像进行裁剪提高了车道检测系统的速度和正确率，速度的提高来源于在处理过程中图像尺寸的减少，然而精度的提高来源于消除了除感兴趣区域外其他和车道线有相同特征的干扰.目前，一些消失点到车辆引擎盖以上的部分被选为感兴趣区域.

在车道线检测系统中图像预处理首先就是要将彩色图像转化为灰度图像.图2为图像经过感兴趣区域提取及灰度化处理后的结果，其中图2(a)和图2(c)为道路原始图像，图2(b)与图2(d)是处理后的结果.

图2　感兴趣区域提取及灰度化处理结果

1.1.2图像增强

对获得的图像进行降噪，采用3×3大小模板的中值滤波[9],中值滤波去除孤立噪声点的过程仅是把邻域中的图像的像素按灰度等级进行排序，选择改组的中间值作为输出像素值.当需要消除噪音,又想尽量保留图像边缘完整,中值滤波器通常比简单的卷积更加有效.

对于车道检测，相比于城市交通车道标志，高速公路的车道更容易被检测，因为在高速公路上的车道线在图像中一般以一条长线来显示，而城市交通车道线是虚线根据不同的曝光时间在图像中可能是以一些断线或者许多点在出现的.本文采用时间模糊的方法，通过对输入的一些图像进行平均，然后创建当前的图像，将虚线车道标记近似看成一个实线车道标记.计算公式如下：

(1)

考虑到一个包含十帧图像的视频，每帧图像通过n进行编号，n∈ [1,N].I为从当前的图像中进行确定初始值，Δ为平均帧之间的大小，对i和Δ的值进行有效选择使于模糊图像时间只有几毫秒，可减少由于运动模糊所导致的重影.图3显示出时间模糊的结果，其中图3(a)为道路原图，正如预期的那样，图3(b)中车道为虚线，图3(c)中为实线.基于本文研究的直线道路上的车道线检测，相比于车辆前进的速度，车辆的侧向移动速度慢得多，因此，模糊对车道标记宽度的影响可以忽略不计.

1.1.3感兴趣目标检测

数字图像的边缘检测是图像分割、目标区域的识别、区域形状提取等图像分析领域中十分重要的基础，本文采用Canny算子进行道路图像边缘特征检测，Canny算子是一种寻找图像梯度局部最大值的边缘检测算子，目标是找到一种最优的算法它既能很好的对图像噪声干扰进行抑制，也能准确的定位图像的边缘，是一类具有优良性能的边缘检测算子，在图像处理领域内[10]得到了广泛的应用.

图3　时间模糊的结果

在阈值自动选取的方法上，采用Otsu提出的的最大类间方差法[11]来确定Canny边缘检测中所需的高、低阈值.这种方法的基本思想是按照图像的灰度特性选取最佳阈值对图像进行分割，使得背景与目标之间的类间方差达到最大.针对夜间等光线较暗的环境下，前景像素对应于直方图中比例较小，因此本文提出一种以Otsu为基础的边缘梯度图像分块阈值选取方法：将整幅图像分割为几个小块，然后在每个小块的图像区域中分别使用Otsu获得局部最佳阈值.并提出一种水平腐蚀算子对道路边缘图进一步处理以减少后续车道线检测模块所需要输入的车道特征点，加快运算速度.腐蚀算子的模板为相邻的两个像素.模板从图像的左上角开始从左往右，从上往下进行滑动.当在滑动的过程中，判断到两个像素同时为白色，说明在当前模板所在位置有两个水平方向上紧挨着的两个边缘点，因此可将其中一个像素置成黑色，滑动窗口继续向下滑.这样能够保证图像中不会有两个水平方向相邻的两个边缘点，很大程度上减少了图像中无关边缘点并细化了车道线边缘，提高了算法的速度.图4(a)为夜晚道路场景原图，图4(b)为经过Otsu局部分块阈值分割法以及道路图像形态学腐蚀后的处理结果.

图4　基于Otsu局部分块阈值分割及水平腐蚀结果

1.2车道线的检测与识别

由于Hough算法[12-15]检测车道线存在的一些鲁棒性差，易受环境干扰造成误检等缺点，为了提高算法实时性，本文提出了改进的Hough算法对车道线进行检测.首先，将应用自适应阈值获取的灰度图像拆分为左右两半，用以分别识别左右车道线.通常情况下，左车道线位于图像的左半平面，右车道线位于图像右半平面，如图5所示.

图5　图像拆分的相应部分

Hough变换是用极坐标来表示平面坐标，如直线方程

y=k·x+b

(2)

式中：(x,y)为原始边缘图像中处于一条直线上的边缘点的坐标；k为斜率；b为横截距.

表示为

ρ=x·cosθ+y·sinθ

(3)

式中：ρ为坐标原点到直线的距离；θ为直线与水平坐标轴之间的夹角，直线的Hough变换在极坐标系中转换成一个点.

建立坐标系,使原点为图像底边的中点,x轴的正向为水平向右,竖直向上为y轴的正向,如图6所示.采用的左、右道路标识线模型为

(4)

假设汽车是在车道内部行驶的,因此在每一半的图像中,只需要一个车道标记设置,在车辆变道时会出现两个车道标记同时出现在一个一半的图像中,如图6中,车辆向左变道,那么就有可能当前左车道和左车道2同时出现在左半图像中,那么这个方法不能保持即会存在缺陷.为了避免这种错误和误差,需要对左、右车道线与y轴所成的夹角设定一个合适的阈值来帮助检测车道标记,因此将其计算范围控制在15°～75°之间.由于车道线自身具有一定的宽度,而理想的识别结果是识别出车道线的中心线,Hough变换能提取出的车道线只是车道线的一条边缘.为了解决这个问题,以右侧车道线为例,首先要利用Hough算法同时识别右车道线的两个边缘.第一步求出图像中最长白线位置将其作为其中一条边缘,记其参数(ρr1,θr1),然后将边缘上的白点灰度值赋为0,接着再利用Hough算法在参数(ρr1±8,θr1±4)区间内重新求一条最长白线的位置作为右侧车道标识线的另一条边缘,记其参数(ρr2,θr2).通过一样的方法可以在同时求出左侧车道线的边缘.

图6　Hough变换图像坐标系

根据上述方法,获取了为(ρl1,θl1),(ρl2,θl2),(ρr1,θr1),(ρr2,θr2)的左、右车道线的边缘参数,求平均值即可得到左、右车道标识线的中心线参数(ρl,θl)和(ρr,θr).而根据参数(ρl,θl)和(ρr,θr),可以按式(5)和式(6)得到式(4)所示的左、右车道标识线模型中的参数(kl,bl)和(kr,br).识别结果如图7所示.

(5)

(6)

可以看出在车道线识别中能够取得较好的结果，并且左、右两半图像可以同时对左、右车道线进行识别，满足实时性要求.

图7　Hough变换提取车道标识线结果

1.3跟踪与偏离决策

采用卡尔曼滤波法[16-17]对车道线进行跟踪，其主要特点是误差准则为均方误差最小准则，并且采用递归计算，不需要知道状态历史值，用状态方程来描述状态变量的动态变化规律具有较高的鲁棒性和实时性.在车道线跟踪的过程中，需要不断的更新系统的观测值以得到最优估计值，所以要将每帧道路图像中的车道线检测值作为观测值送入滤波器进行迭代.为了达到平稳估计，减少路面抖动等情况下经常会出现的单帧检测出错等情况对整个系统决策的影响，需要将卡尔曼滤波器输出的预测值和检测值进行对比，如果误差在设定的阈值T以内，则认为此次跟踪有效，否则认定为误检，再将预测值作为观测值输入滤波器，完成下一次的预测.如果认定误检，则开始一个记录连续误检次数的计数器，如果连续20次系统均否定车道线检测值，则认为跟踪无效，重新对卡尔曼滤波器进行训练，进入新的车道线追踪迭代.通过卡尔曼滤波器，可以极大的平滑检测结果，使车道线检测过程中出现的明显的摇摆情况得到了良好的改善，并使车道线检测值的准确性以及稳定性等各项性能上都有极大的提升.

由于摄像机安装在汽车前方挡风玻璃中线处，因此可认为左右车道线对称的分布在道路图像的两侧，车道线的角平分线应该与坐标系y轴重合.将所拍摄的道路图像的中线，即坐标系y轴认为是当前车辆的行驶方向，y轴与左右车道线的角平分线夹角ω,称为系统偏航角.采用基于偏航角大小的偏离预警决策方式，即符合人类的思维方式又节约了硬件成本，并且操作实行简单准确.本文设定在以下两种情况的任何一种出现时进行报警：①如果将大偏航角的阈值设定过大，那么在车速较快的情况下驾驶人将无法及时调整车辆方向.但是阈值设定过小，在保证预警实时性的基础上会出现检测帧数太少则而影响预警系统的准确性.所以文中将大偏航角设定为10°，据实验经验证实合理可行.如果连续2帧图像ω检测到车辆位置处于大偏航角状态，则立即报警.如果ω<0,当前车辆行驶状态为左偏，反之为右偏.②同样根据实验经验将小偏航角的阈值设定为3 较为合理，车辆位置处于小偏航角的状态时，如果连续15帧图像检测到车辆位置处于小偏航角的状态， 绝对值大于3°且处于持续增大过程，则报警.如果ω<0,当前车辆行驶状态为左偏，反之为右偏.

2　测试结果和分析

根据上述算法，对采集的道路图像进行实验验证，图8为本实验过程中在各个路况条件下采用本文提出的车道偏离预警算法的处理结果.在跟踪过程中，每帧图像处理的时间大约26ms,能够满足实时性要求.

图8　不同路况条件下的车道线检测结果

图8(a)中车流量较大，当前车道被严重覆盖，车道线的识别较为困难；图8(b)为强光条件下，图像平均灰度值较高，车道线与路面之间对比度较低，增加识别难度；图8(c)是光线较好，但路面上有其他交通标志干扰信息以及多栏杆的道路环境中车道线的检测结果.

图8(d)为夜间环境下光线比较黯淡，车道线与路面反差不是那么明显，不过通过本文提出的基于分块Otsu阈值分割效果，使得在这种低对比度的道路图像中，也能很好的提取出车道线的边缘，使得车道线能够得以正确的被识别.经过实验结果统计，文中提出的车道偏离预警系统准确率为95.84%，达到准确性要求.本文设定在偏离预警时在图像上标记出相应的箭头表明偏离方向，图9(a)为正常行驶的检测结果，图9(b)为车辆向左偏的车道线检测结果以及报警结果.图9(c)为车辆向右偏的车道线检测结果以及报警效果.

图9　车道偏离检测与预警实验结果

3　结 论

1) 基于Hough算法的基础上，设计了一种具有鲁棒性和实时性的车道偏离预警系统.提出一种边缘梯度图像分块阈值选取方法并结合横向腐蚀算子，在复杂光照条件下更好的保留车道线信息.使用改进的Hough算法对车道线进行识别.

2) 与传统的Hough算法相比，改进算法处理每帧图像的时间可达到26ms,有效解决了原有的计算量大，实时性差的缺点.同时明显改善了受环境干扰带来的误差甚至错误检测的情况，在复杂光照条件下检测结果的准确率高达平均95.84%，验证了所提算法的稳定性和有效性.

3) 本文研究的车道线识别与跟踪方法主要是针对高速公路及市区车道具有标准车道线的道路图像信息不清晰的情况下，辅助过度疲惫或者长时间单调驾驶无法保持精神集中的驾驶人保持车辆在车道内行驶，并不适用于所有特殊路况条件下的车道线检测.进一步的研究工作将对弯道及陡坡道路环境下车道偏离预警进行深入的研究.

[1]ZHOUY,XUR,HUXF,etal.ALaneDepartureWarningSystemBasedonVirtualLaneBoundary[J].JournalofInformationScience&Engineering,2008,24(1):293.

[2]韩锋钢.商用车辆制动发展趋势[J].商用汽车,2000(6):36.

HANFenggang.CommercialVehicleBrakingTrends[J].CommercialVehicle,2000(6):36.(inChinese)

[3]MOTOYAMAS,OHTAT,WATANBET,etal.DevelopmentofLaneDepartureWarningSystem[R]//7thITSWorldCongress.Turin,Italy:TransportResearchLaboratory,2000.

[4]王荣本,徐友春,李兵,等.基于线性模型的导航路径图像检测算法研究[J].公路交通科技,2001,18(l):40.

WANGRongben,XUYouchun,LIBing,etal.StudyonLinearModelBasedImageRecognitionAlgorithmofNavigationRoute[J].JournalofHighwayandTransportationReseachandDevelopment,2001,18(1):40.(inChinese)

[5]WANGR,XUY,ZHAOY.AVision-basedRoadEdgeDetectionAlgorithm[C]//IntelligentVehicleSymposium,2002.Changchun:IEEE,2002:141.

[6]金宝智.图像传感器:CCD与CMOS的对比[J].现代电视技术,2005(5):80.

JINBaozhi.ImageSensor:CCDandCMOSComparison[J].AdvancedTelevisionEngineering,2005(5):80.(inChinese)

[7]朱钐.基于DSP的道路识别技术研究[D].武汉:武汉理工大学,2010.

ZHUShan.ResearchonTechnologyofRoadRecognitionBasedonDSP[D].Wuhan:WuhanUniversityofTechnology,2010.(inChinese)

[8]BOCK N,KRYMSKI A,SARWARI A,et al.A Wide-VGA CMOS Image Sensor with Global Shutter and Extended Dynamic Range[C]//IEEE Workshop on Charge-Coupled Devices and Advanced Image Sensors.Karuizawa,Japan:IEEE, 2005:222.

[9]朱志恩.中值滤波技术在图像处理中的应用研究[D].沈阳:东北大学,2008.

ZHU Zhien.Application Research on Median Filtering Technique in Image Processing[D].Shenyang:Northeastern University,2008.(in Chinese)

[10]CANNY J.A Computational Approach to Edge Detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1986(6):679.

[11]VALA M H J,BAXI A.A Review on Otsu Image Segmentation Algorithm[J].International Journal of Advanced Research in Computer Engineering & Technology,2013,2(2):387.

[12]李明,黄华,夏建刚.基于Hough变换的车道检测改进算法研究[J].计算机工程与设计,2012,33(4):1638.

LI Ming,HUANG Hua,XIA Jiangang.Research on Robust Lane Detection Algorithm Based on Hough Transform[J].Computer Engineering and Design,2012,33(4):1638.(in Chinese)

[13]宋晓静.基于Hough变换目标检测问题研究[D].秦皇岛：燕山大学,2014.

SONG Xiaojing.Study on Target Detection Based on Hough Transform[D].Qinghuangdao:Yanshan University,2014.(in Chinese)

[14]KARNIELI A,MEISELS A,FISHER L,et al.Automatic Extraction and Evaluation of Geological Linear Features from Digital Remote Sensing Data Using a Hough Transform[J].Photogrammetric Engineering and Remote Sensing,1996,62(5):525.

[15]PALMER P L,KITTLE J,PETROU M.An Optimizing Line Finder Using a Hough Transform Algorithm[J].Computer Vision and Image Understanding,1997,67(1):1.

[16]WAN E A,RONELL V D M.The Unscented Kalman Filter for Nonlinear Estimation[C]//Adaptive Systems for Signal Processing,Communications,and Control Symposium 2000,AS-SPCC,The IEEE 2000.OR,USA:IEEE,2000:153.

[17]EVENSEN G.The Ensemble Kalman Filter:Theoretical Formulation and Practical Implementation[J].Ocean Dynamics,2003,53(4):343.

(责任编辑、校对张立新)

TargetDetectionandRecognitionofReal-TimeLaneDepartureWarningSystem

ZHANG Kaixin,XU Meihua

(SchoolofElectromechanicalEngineeringandAutomation,ShanghaiUniversity,Shanghai200072,China)

Hough’salgorithmisoftenusedinthemulti-conditionslanedetectingsystem,butithasthedisadvantagesoflargeamountofcalculation,poorrobustnessandvulnerabilitytoenvironment.Inordertosolvetheseproblems,thepaperpresentsahierarchicalalgorithmforlanedetectionandrecognition.TheimprovedHough’salgorithmforextractingthecenterlineparametersofalanemarkinglinewasobtainedthroughselectingtheregionofinterest,usingtimeblurforimageenhancement,abstractingthethresholdvaluefromthedividededgegradientimage,andcorrodingtheimage.Theresultsshowthattheaccuracyrateofthehierarchicalalgorithmwhichwasdesignedunderthedifferentroadconditionsandcomplexlightingconditionscanreach95.84%andthattheprocessingspeedforeachframeisabout26ms/frame,meetingthereal-timerequirements.TheproposedalgrithmhassolvedtheproblemthatHough’salgorithmoperatswithlowefficiencyinthelanedetectionduetoenvironmentalinterferenceandredundantcalculation.

lanerecognition;imageenhancement;imagecorrosion;Houghalgorithm

10.16185/j.jxatu.edu.cn.2016.07.005

2016-05-29

国家自然科学基金项目(61376028);上海经济和信息化委员会项目(11XI-15)

张凯欣(1991-),女,上海大学硕士研究生.

徐美华(1957-),女,上海大学教授，主要研究方向为汽车电子与IC设计.E-mail:mhxu@shu.edu.cn.

中图号：U491.6A

1673-9965(2016)07-0539-06