基于道路特征的车道线检测方法综述
2017-05-20陈静思张爱军
陈静思 张爱军
摘 要:智能车辆安全驾驶是车辆工程发展的重要方向,其中一个重要的环节就是车道线检测。本文介绍了机器视觉中车道线检测方法并针对基于道路特征的车道线检测方法进行了分类,对各类方法中采用的不同技术进行了阐述。最后就该领域的当前技术难点和发展前景进行了简要论述。
关键词:车道线检测;道路特征;道路检测
中图分类号:TP391.41 文献标识码:A 文章编号:1671-2064(2017)08-0247-03
Abstract:Safety driving ofintelligent vehicle is an important direction for the development of vehicle engineering, and the lane detection is an essential part of it. The lane detection methods based on machine vision were introduced and classified according to the road features, and the different techniques used in the various methods were described as well. The current technical difficulties and the development trends in this field were discussed briefly in the end.
Key words:lane detection; road features; road detection
随着社会经济的快速发展,我国汽车保有量逐年增长,交通事故发生的频率也在逐年提高,交通安全问题引起了人们的高度关注。应运而生的智能车辆作为一种智能移动机器人,通过融合计算机、车载传感、自动控制、人工智能等多种技术从而实现人、车、路的智能信息交换,使汽车具备环境感知能力并达到智能驾驶。智能车辆一方面大大提高了车辆驾驶的安全性与舒适性,另一方面智能车辆作为汽车工业增长的动力及世界车辆研究领域的热点,促进了多学科的交流融合与共同发展[1]。
车道线检测是智能车辆驾驶辅助系统中的重要环节。快速且有效地检测道路图像中的车道线不仅有利于协助路径规划、进行道路偏移预警与车流分析等功能,并且能为精确导航提供参照。自20世纪60年代起,车道线检测方法就开始受到广泛重视,许多国家都投入了大量人力、物力和财力对其进行深入研究,并取得了丰硕的研究成果。
目前国内外广泛使用的车道线检测方法主要分为两大类:(1)基于道路特征的车道线检测;(2)基于道路模型的车道线检测。基于道路特征的车道线检测作为主流检测方法之一,主要是利用车道线与道路环境的物理特征差异进行后续图像的分割与处理,从而突出车道线特征,以实现车道线的检测。该方法复杂度较低,实时性较高,但容易受到道路环境干扰。基于道路模型的车道线检测主要是基于不同的二维或三维道路图像模型(如直线型、抛物线型、样条曲线型、组合模型等),采用相应方法确定各模型参数,然后进行车道线拟合。该方法对特定道路的检测具有较高的准确度,但局限性强、运算量大、实时性较差。本文着重介绍了当前基于道路特征的车道线检测方法,讨论了存在的問题及未来发展趋势。
1 基于道路特征的车道检测
基于道路特征的车道线检测方法主要是利用车道线与道路环境的物理特征的差异进行后续图像的分割与处理,以突出车道线特征,从而实现车道线的检测。根据提取的不同特征,可进一步分为基于颜色特征的检测方法、基于纹理特征的检测方法和基于多特征融合的检测方法。
1.1 基于颜色特征的检测方法
1.1.1 基于灰度特征的检测方法
该方法是利用从灰度图像中提取的灰度特征检测出道路边界及车道标识,其中的灰度图像既可以由系统直接采集,也可以由原始图像转换生成。该方法结构简单,应用广泛,尤其适用于车道线清晰且路面均匀的结构化道路。但当路面存在阴影或异物遮挡、光照变化强烈或非结构化路面等情况时,该方法一般无法达到理想检测效果。
传统灰度梯度检测方法[2,3]主要依赖于车道线与道路路面的区别,即在灰度图像中,车道线像素的灰度通常要远大于非车道线像素的灰度。因此可以通过选定合适的阈值来区分车道线像素与非车道线像素,之后利用车道线的梯度特征来检测车道线。传统方法虽然简单易操作,但在某些环境发生变化的情况下,很难确定出适应于整个图像的单一阈值。针对这个问题,目前有很多文献提出了改进方法。
文献[4]根据左右车道线的角度值采用不同的定向边缘抽取算子,对灰度图像和边缘图像进行双阈值二值化以减少环境因素的影响。为适应道路的动态变化及复杂明暗变化,对灰度图像阈值做了自适应调整,从而能准确滤除杂点并保留车道线像素。最后通过扫描和区域划分提取出车道线,并以THMR-V智能车为实验平台在多时段、多路段进行测试并获得了较高的平均识别率。
文献[5]基于车道线像素是由较暗区域包围明亮区域的假设,通过局部灰度阈值方法实现车道线特征提取,将均值滤波后的平滑图像与原图相减获得差分图像以进一步阈值处理,从而分割出车道线。
文献[6][7]对原始图像进行逆透视变换,通过车道线在道路环境下形成的Dark-Light-Dark特征提取单线DLD特征及双线DLDLD特征图像,从而获得车道线的候选区域。这种方法更适合于较为复杂的城市道路,简单易操作,但不可避免地存在一定噪声,通常需要和其他检测方法结合使用。
1.1.2 基于彩色特征的检测方法
该方法是利用序列图像中的色彩信息特征检测出道路边界及车道标识。由于色彩信息对图像或图像区域的大小、方向等特征变化不敏感,所以利用色彩特征不能有效地捕捉目标的局部特征。另外,当数据库很大时,若仅利用颜色特征查询,常会把大量不需要的图像也检索出来。
早期的代表方法,美国卡内基梅隆大学的SCARF系统[8]将图像中的像素点基于其各自颜色进行聚类,区分出道路类和非道路类,并根据道路在图像中表现为梯形的两条斜边的假设,利用Hough变换识别车道线。但由于受到梯形模型与车道区域的限制,该系统无法满足多车道行车以及避障操作的需求。
文献[9]根据边缘图像先估计出道路边界,确定后续道路检测中的统计区域,然后利用彩色图像中均值和方差的高斯分布检测出道路区域。文献[10]在RGB颜色空间中,利用先验信息对图像中与路面颜色差异较大且具有合理宽度的像素段的颜色进行辨识,并由辨识结果分别估计出黄色或白色车道线的颜色分割阈值,从而进一步检测车道线。该方法运算速度快,但局限于颜色特征较清晰的结构化道路。文献[11]利用RBG颜色空间及车道线亮度特性,优先针对白色、黄色像素进行处理,从而增加车道线像素的占有率,增强目标与背景之间的对比度。文献[12]利用HSV颜色空间将色彩分为色度、饱和度及亮度,设定车道线的对应阈值并据此对颜色进行归类,将其中占主导地位的对应颜色作为识别结果从而检测出车道线及其所属类型。
1.2 基于纹理特征的检测方法
该方法是在包含多个像素点的区域中对纹理强度和纹理方向进行统计计算,以获得满足车道线检测要求的结果,具有较强的抗噪能力。但当图像的分辨率改变时,统计计算结果可能会有较大偏差。另外,由于受光照等因素干扰,从二维图像中得到的纹理不一定是三维物体表面的真实纹理,这也对检测结果有一定影响。
文献[13]把道路区域与非道路区域的纹理特征和道路结构作为信息源,根据统计信息自动获取最佳候选结果从而划分出道路区域。文献[14][15]通过Gabor滤波器检测图像纹理方向进而估计出消失点位置。当直线方向和纹理方向一致时才被判定为车道线。该方法具有较好的鲁棒性,但在部分具有公路护栏的道路中会产生误判现象。文献[16]利用不同频率多方向的Gabor模板对采集到的道路图像进行变换分析,根据各个像素点的纹理强度以及方向特征值投票获得道路消失点,并利用从有效投票区域中提取的直线斜率建立通过消失点的道路方程,从而在非结构道路中划分出道路区域。文献[17]结合多尺度稀疏编码,在大尺度上使用道路局部纹理信息,在中小尺度上利用道路的上下文结构特征进行道路划分,从而更加有效地区分出道路与周边环境的相似纹理。该方法在宽幅路面、车辆遮挡和交叉路口等情况下都具有较好的识别效果,但在阴影遮挡及昏暗环境下识别率较低。
1.3 基于多特征融合的检测方法
针对单一方法的固有不足,逐渐产生了融合多特征进行车道线的检测方法,通过综合运用不同特征的特性来提高车道线检测效果。随着图像处理技术的不断发展,基于道路特征的车道线检测方法越来越多。
文献[18]分别针对采样图像的灰度图像和彩色图像进行特征提取,利用Sobel算子计算边缘强度、边缘强度因子、边缘方向和边缘方向因子,在HSV颜色空间中计算色调因子和亮度因子,根据图像饱和度进行对应切换,在饱和度高时使用色调因子,在饱和度低时使用亮度因子,并根据基础概率进行分配融合多特征信息,最终实现车道线检测。文献[19]利用光流法获取道路的平行特征,通过卡尔曼滤波与传统几何特征进行融合,从而最终提取道路边界。该方法能克服部分不利的气候条件,并提高车道曲率等参数估计的准确度。光流法实质上是利用图像上各点的灰度随时间的变化趋势快速检测出目标对象的方法,适用于动态场景,但计算复杂且耗时,难以充分满足车道线检测的实时性要求,一般需要有特殊硬件支持。文献[20]首先通过消失点和消失线分割道路区域,并对图像进行方向随动滤波处理,然后融合道路纹理方向、边界平行度、像素灰度值等多种特征进而综合构造出车道置信度函数,最后采用概率Hough变换提取车道线。该方法抗干扰能力较强,但对大曲率车道线检测跟踪的鲁棒性较低。
2 结语
目前,基于道路特征的车道线检测在车道偏离预警系统、车道保持辅助系统、自动泊车辅助系统、行车辅助系统等领域均得到了广泛应用。在民用上,可以辅助驾驶,提高行车安全性;在工业上,可以用于搬运货物,提高生产效率;在军事上,可以实现危险路段自动行驶,减少人员伤亡。从长远而言,基于道路特征的车道线检测方法的研究也具有重要的理论意义及实用价值,但同时仍需要克服以下技术难点:
(1)通用于结构化道路及非结构化道路的车道线检测。目前,基于道路特征的车道线检测主要针对单一道路进行车道线特征提取,尤其是对于具有清晰的道路标线的结构化道路,更易于检测并得到更高准确度,而对于没有明显道路标线的非结构化道路(诸如普通城市道路、乡村道路等),常常需要针对其道路特性采用特定方法进行处理。因此,提供一种能够对各类道路都能提取出有效特征的通用方法仍是一个难题,有待深入研究。
(2)恶劣环境下的车道线检测。目前,基于道路特征的车道线检测已有针对诸如阴影遮挡、光强变化、夜间行车等各类环境干扰因素的对应处理方法,但是只能单独解决其中有限干扰的问题,无法避免其他干扰,不具备足够的广泛适用性。
(3)市内拥堵环境下的车道线检测。当道路环境中有较多弱势交通参与者(行人、自行车、助动车等)时,路况复杂、随机性大,针对这种情况如何利用高效准确的方法提取道路特征有待进一步研究。
尽管现有基于道路特征的车道线检测方法仍存在一些问题,但随着人们重视程度的日益提高、相關技术的快速进步,以及研究的不断深入,这些问题终将逐步得到解决,并会进一步促进智能驾驶的发展与应用:
(1)车道线检测的可靠性、实时性、鲁棒性进一步提高。其中,可靠性包括更加准确地检测并识别道路环境中的车道线,排除无关干扰信息。实时性包括从算法上进一步提高及从硬件上进一步增强,从而更加快速完成检测任务,满足系统需求。鲁棒性包括对不同天气环境及复杂道路环境均具有良好的适应性。
(2)多特征信息及多传感器信息融合。通过多特征信息融合增强车道线检测的准确度和系统适应性。通过多传感器信息融合以获得更多道路特征信息从而增强对车辆周围环境的综合感知。
(3)多车的信息通讯及协同规划。随着车联网的快速发展,可利用车联网获取他车已知道路特征信息,如前后方道路特征信息、多车道行驶时他车道路特征信息等,为自车车道线检测提供更丰富有效的信息资源,从而促进安全驾驶。
参考文献
[1]《中国公路学报》编辑部.中国交通工程学术研究综述·2016[J].中国公路学报,2016,29(6):1-161.
[2]Sawano H, Okada M. A Road Extraction Method by an Active Contour Model with Inertia and Differential Features[J]. IEICE - Transactions on Information and Systems, 2006, E89-D(7):2257-2267.
[3]Nieto M, Salgado L, Jaureguizar F, et al. Robust multiple lane road modeling based on perspective analysis[C]. Image Processing, 2008. ICIP 2008. 15th IEEE International Conference on. IEEE, 2008: 2396-2399.
[4]李若皓,丁冬花.一种基于扫描线的车道线识别算法[J].微计算机信息,2008,24(16):244-246.
[5]Evangeline Pollard, Dominique Gruyer, Jean-Philippe Tarel, etal. Lane Marking Extraction with Combination Strategy and Comparative Evaluation on Synthetic and Camera Images[C]. 14th International IEEE Conference on Intelligent Transportation Systems, Washington DC,2011:1741-1746.
[6]Felisa M,Zani P. Robust monocular lane detection in urban environments[C]. Intelligent Vehicles Symposium (IV),2010:591-596.
[7]宋曉琳,高巧明,张伟伟.车道线提取及偏离预警方法[P].中国,发明专利,2012100853541,2012-03-28.
[8]Crisman J D, Thorpe C E. SCARF: a color vision system that tracks roads and intersections[J]. IEEE Transactions on Robotics & Automation,1993,9(1):49-58.
[9]Y He, H Wang, B Zhang.Color-based road detection in urban traffic scenes[J].IEEE Transactions on Intelligent Transportation Systems,2004,5(4):309-318.
[10]杨益,何颖.基于RGB空间的车道线检测与辨识方法[J].计算机与现代化,2014(2):86-90.
[11]陈涛,张洪丹,陈东,谭纯.基于优先像素与卡尔曼滤波追踪的车道线检测[J].汽车工程,2016,38(2):200-205,220.
[12]顾霄琳,杨明,王冰,王春香.基于环视的道路标线检测与识别[J].华中科技大学学报(自然科学版),2013,41(A1):233-236.
[13]Graovac S, Goma A. Detection of Road Image Borders Based on Texture Classification[J]. International Journal of Advanced Robotic Systems,2012,9(242):1.
[14]Kong H, Audibert J Y, Ponce J. Vanishing point detection for road detection[C]//IEEE Conference on Computer Vision & Pattern Recognition.2009:96-103.
[15]Kong H, Audibert J Y, Ponce J. General road detection from a single image.[J]. IEEE Transactions on Image Processing,2010,19(8):2211.
[16]刘富,袁雨桐,李洋.基于纹理特征的非结构化道路分割算法[J].计算机应用,2015,35(S2):271-273.
[17]李骏扬,金立左,费树岷,等.基于多尺度特征表示的城市道路检测[J].电子与信息学报,2014,V36(11):2578-2585.
[18]Chen C, Wang J,Chang H, etal.Lane detection of multi-visual-features fusion based on DS theory[C].Control Conference (CCC), 2011 30th Chinese.IEEE,2011:3047-3052.
[19]Gern A,Moebus R,Franke U.Vision-based lane recognition under adverse weather conditions using optical flow[C].Intelligent Vehicle Symposium,2002.IEEE.IEEE,2002,2:652-657.
[20]王科,黄智,钟志华.基于多特征融合的道路理解方法[J].中国公路学报,2013,26(4):176-183.