基于感兴趣区域模型的车道线快速检测算法

钱基德，陈 斌，钱基业，陈 刚

(1. 中国科学院成都计算机应用研究所 成都 610041；2. 中国科学院广州电子技术研究所 广州 510070；3. 国网重庆市电力公司电力科学研究院 重庆 江北区 401123；4. 中国科学院大学 北京 石景山区 100049)

高速公路具有道路结构化好、车流量大、车速度快等特点，提高了居民出行的便捷性。由于高速公路的这些特点，加上超速驾驶、违规变道、逆行、违停等危险驾驶行为，造成高速公路常有严重的交通事故发生。不断上升的交通事故发生率使道路交通安全受到大众的广泛关注，如何有效地改善高速公路交通状况，提升交通管理水平，一直是交管部门需要解决的重要课题。智能车载视频取证设备是安装在高速交通警务巡检车上，通过摄像机、雷达等多传感器进行数据采集，采用基于计算机视觉等技术实现车辆违章行为的自动识别与取证。其中，车道线的准确提取是智能车载视频取证设备实现智能化的关键环节，直接关系到违规变道、超速、违停等违章行为自动识别的效果。

目前国内外基于计算机视觉的车道线检测主要方法可分为两类：基于特征的分割方法[1-2]和基于模型的分割方法[3-4]。文献[1]提出基于颜色特征聚类的车道线检测方法，首先将彩色图像转化到CIE颜色空间，然后用K均值分割图像、提取特征，最后根据特征点采用二次曲线方法进行车道线拟合。文献[2]根据车道线的几何信息，提出了一种对参数进行限制的改进Hough变换车道线的检测方法。文献[5]先采用CHEVP方法预测消失点，进一步确定B-Snake车道模型的起始位置，然后基于道路模型，将车道线检测问题转换为确定样条曲线所需的控制点问题，最后采用最小均方误差方法更新曲线控制点实现车道线检测。

近年来，车道线识别技术得到很大的发展和进步[6-7]。在智能车载视频取证设备中，车道线检测的准确性直接关系到车道的定位以及对车辆违章行为的判定。由于采集到的道路图像受到强光照、磨损、车辆遮挡以及阴影等影响，这些都对车道线的准确识别产生较大的干扰；同时车道上的人行道、停止线、减速带和标识等都对车道线的准确识别都存在干扰。由于现场环境的复杂性，准确的车道线检测仍然具有较大的挑战性。因此，本文基于结构化高速公路具有道路平坦的特征，提出一种应用于高速公路巡检车智能车载视频，取证设备中车道线快速检测算法。该算法首先通过结构化道路的特点构造车道线检测模型；其次采用Sobelx方法检测车道线边缘极大的消除环境中的干扰边缘信；然后采用改进的Hough变换方法的进行双边缘车道线检测；最后，该算法将检测的车道线通过逆透视变换到世界坐标系中，通过车道线双边在世界坐标系具有相互平行的特点消除干扰与伪车道线，最终实现车道线的准确检测。

1 车道线检测模型

智能车载视频取证设备应用于高速公路中行驶车辆违章行为识别，要求车道线检测算法的效率高。因此，根据高速公路具有道路结构化好、路面近似平坦的特点，本文提出的基于感兴趣区域模型的快速车道线检测算法，该方法具体步骤如下：

1) 在采集图像中根据结构化高速公路特点，建立车道线兴趣区域模型，在根本上减少数据处理量，从而提高车道线检测效率的目的。

2) 采用Sobelx边缘检测算子，对输入图像进行车道线双边缘检测，在不影响车道线边缘的检测同时，有效地抑制了非车道线的边缘干扰。

3) 在检测出的车道线边缘基础上采用改进的Hough变换方法，对车道线的双边缘进行拟合，提取出可能车道线。

4) 将检测出的车道线通过逆透视变换到世界坐标系中，基于车道线的双边缘应满足在世界坐标系中相互平行的约束特点，消除伪车道线，最终完成车道线的准确检测。整个车道线检测算法流程图如图1所示。

图1 算法流程

2 图像处理

高速公路是一个具有规范化道路标识线与边界的结构化道路。其中道路边界标明了道路区域，车道线将道路区域划分成不同的车道，道路边界和车道线共同约定了车辆的驾驶区域，为实现基于视觉的智能车载视频取证设备在对车辆违章行为的判定，提供了准则。

现实的公路情况复杂多变，但可以凭借先验性知识约束道路模型，这样能极大地优化问题。首先，图像处理是一个大数据任务，而车载检测系统要在很短的时间内处理大量的数据，因此减少数据处理量是提高系统的效率的重要方法，感兴趣域的选择可以有效地减少处理的数据量。其次，实际公路并不都平坦，大部分道路会存在一定的坡度，在有限的视野范围内，结构化道路的路面可以近似平坦，简化了世界坐标与摄像机坐标系的对应关系。基于这两个先验知识约束，可以有效地减少系统运算量，提高设备的识别效率。

2.1 感兴趣区域

通过对车载摄像机采集到的车道图像分析发现，采集图中有包括车道两旁的房屋、树木、前方的天空等数据信息，这些信息基本不包含有车道信息。如果对采集图像直接进行处理，将增加检测算法的复杂性同时降低车道检测的效率，而且这些无关的信息也可能干扰车道线的准确提取。因此，有必要在进行车道线的检测前，提取有效的感兴趣的车道区域，过滤掉干扰信息。在结构化的高速公路上，车道线信息主要分布在图像的下半部分[8]，因此，本文感兴趣区域设置为如图2所示的0～H/2。感兴趣区域不仅有效的将数据处理量减少50%，同时能够排除前方天空和道路两旁树木房屋的干扰。

图2 车道感兴趣区域

2.2 逆透视变换

摄像机成像过程可以看作是小孔成像，图像采集是世界坐标系W映射到图像坐标系I的透视投影变换过程，如图3所示。经过透视变换，粗细均匀、平行的车道线在远方逐渐变细并且相交于消失点。为利于对车道线的检测和多车道的分割，需要对采集图进行逆透视变换。

图3 逆透视变换关系示意图

由于结构化的高速公路上，采集图像视野范围有限，且处理的感兴趣区域有限，可以认为道路平坦。因此透视变换映射过程可以简化，设(,)x y为图像坐标系I中的点，(,)X Y为世界坐标系W中的点，则透视映射可表示为：

式中，有：

H为透视变换矩阵，该变换包含8个参数。求解变换矩阵中的参数，需要世界坐标系和图像坐标系对应的4组图像坐标点。为优化求解过程，通常采用如图4所示的黑白相间棋盘格，手动标定4组坐标点对，即可求解出逆透视变换矩阵H。

逆透视变换还原了物体的真实世界特征，建立图像二维图像坐标系与三维世界坐标系之间的映射关系的过程。客观世界中，所有平行线投影到图像平面后会相交于消失点。因而，根据消失点的定义可知，图像中所经过消失点的直线在世界坐标系中相互平行的直线，据此特性可以通过消失点和检测的车道线，完成对结构化道路的车道分割。

图4 逆透视标定

3 车道线检测

本文的方法检测使用的图像都采集于道路结构化的高速公路或类似道路上，结构化的高速公路车道线有4个优点：路面平坦、左右车道线近似平行、道路平面与车道线的颜色对比度高、弯道曲率半径不低于650(感兴趣区域车道线可以近似为平行直线)[9]。

由于结构化的道路车道线具有对比度高的明显特征，因此基于边缘检测的方法可以很容易提取到车道线的边缘特征。在道路出现阴影、车道线受损的情况下或者车道线连续性差的情况下，也可以基于逆透视变换的方法和Hough直线检测方法很好地拟合出车道线。因此，基于边缘特征的车道线检测方法可有效地克服车道线残缺、路面阴影等外界环境的影响，在该环境下具有很好的鲁棒性。

3.1 预处理与去噪

彩色采集图像包含有大量的视觉信息，由于结构化的道路图像中车道线与路面的对比度高，在灰度图像中已经可以容易提取到完整地提取车道线，为加快检测速度，本文转换到灰度图像进行处理，有效地降低数据处理量提高车道线检测效率。

目前图像噪声处理方法主要分为空间域和频率域两大类。频率域的去噪方法根据图像的频率特性，将图像变换到频率域，通过构造滤波器滤除噪声频率，再将去噪图像转换回到空间域。空间域的去噪方法是根据像素点及邻域的像素点的关系进行噪声消除。由于智能车载设备系统对检测算法实时性要求较高，且采集图像质量稳定，本文采用基于中值滤波的空间域去噪方法。该方法对于脉冲噪声抑制效果明显，相对于高斯模糊的去噪方法可以更好地保存车道线边缘信息。

3.2 经典车道线检测方法

由文献[10]提出的Hough变换是一种常用的模型识别方法，常用于直线[11]、圆[12]等某些特定的形状的检测。因为Hough变换有很好的抗干扰能力，由于阴影、噪声、遮挡等原因而出现车道线残缺、间隙，可以通过Hough变换参数来拟合缺失的车道线，极大地提高了车道线检测的鲁棒性，在车道线检测方面得到广泛的应用。Hough变换原理找到了图像空间和参数空间包含的对应关系，其极坐标表示为：

式中，ρ表示是原点到直线的垂直距离；θ表示直线与X轴之间的夹角。而在车道线检测时，车道边缘点共线，那么在相应的参数空间中应该是一组交于同一点(ρ,θ)的直线。经典Hough变换车道线检测基本步骤如下：

1) 遍历图像所有边缘像素点，对边缘像素点采用式(5)求取极径ρ。

2) 对每一个(ρ,θ)单元投票累加，累加器A(ρ,θ) =A(ρ,θ)+1。

3) 设阈值，将阈值与累加值比较，小于阈值则置零。

4) 继续查找，高于阈值的暂存，再置零，重复步骤3)。

5) 直到所有累加值为零，得票超过阈值的累加单元即为检测车道线。

ρ∈ [ 0,r]，r表示为图像对角线长度，θ∈ [ 0,180)。从上述算法描述中可知，该算法的检测准确性与速度主要受以下因素影响：1) 行驶车辆、树木、阴影、减速带等非车道线边缘信息干扰车道线检测准确性。2) 边缘点的数量与极角变化步长直接影响基于Hough变换的车道线检测速度。

3.3 车道线检测

针对经典的Hough变换在车道线检测方面存在的问题，本文从以下两个方面提出了改进方法：1) 改变边缘检测算法，减少行驶车辆树木、阴影、减速带等环境中，非车道线边缘点信息。2) 建立车道线检测兴趣区域模型，减少Hough变换过程中边缘点扫描数量，提高直线检测速度。

3.3.1 车道线边缘提取

目前在车道线边缘检测中常采用基于Canny算子边缘提取的方法。Canny边缘提取方法能获得较完整的车道边缘，但同时该方法也完整提取出行驶车辆树木、阴影、减速带等干扰物体的边缘信息，这些边缘信息不仅降低车道线检测效率同时干扰车道线准确识别。高速公路车道线以直线为主，且路面与车道线的对比度高，且在弯道部分曲率半径不低于650，车辆前方的车道线都可以近似为直线，因此，本文提出采用基于Sobelx算子的车道线边缘提取方法。

通过分析车辆巡检过程中采集到的路面的图像，可以发现采集图中车道线方向与车辆行驶方向一致，而环境中的干扰边缘方向具有随机性，检测到与行驶方向垂直的线条都是非车道线；其次，由于车道线与环境的对比度高。因此本文提出采用式(6)的Sobelx边缘检测算子，即：

图5 边缘检测效果对比

从图5不同边缘检测方法效果可以看出，Canny边缘检测方法能检出较完整的车道线边缘，但同时也检出非常多的干扰边缘。与标准的Sobel和Canny边缘检测方法相比较，本文采用的Sobelx边缘检测方法在基本不影响车道线边缘检测的情况下，能够明显地减少行驶车辆、减速带、阴影等干扰边缘的检出，并且使检出的干扰物体边缘大多呈现不连续。

3.3.2 改进的车道线检测

针对本文应用场景提出的前面提出改进的车道线边缘提取方法，一方面减少非车道边缘信息对车道线检出，降低对车道线检测的干扰；另一方面，通过减少非车道线的边缘信息点达到提高Hough变换效率。前面已经分析过与通常情况下车道线有关的信息都集中在如图2所示的0～ /2H感兴趣区域。进一步分析采集的车道线图像，可以发现在结构化道路中，车道线基本都分布于图像左右两边，且左右车道线都分别在这两个区域不会出现大的偏移现象。因此，本文建立如图6兴趣区域的车道线检测模型，该模型通过感兴趣区域减少车道线检测搜索空间范围，而且根据结构化道路特点进细化成左右车道线，进一步优化Hough变换车道线检测范围，提高车道线检测效率。

图6 车道线检测模型

基于以上车道线模型，本文提出基于此模型的改进Hough变换的车道线检测方法：

1) 根据上面建立的车道线模型，将待检测的缘点划分成左右两个边缘点集UL和UR。分别将其作为待检测点集U。

2) 遍历边缘点集合U，若U=∅，检测结束。否则，进行Hough变换，设置累加器A(ρ,θ)=A(ρ,θ) + 1。

3) 设阈值T，若A(ρ,θ)≤T，重复步骤2)。若A(ρ,θ)＞T，则可以检测到当前搜索空间中的一条车道线L。

4) 将集合U中直线L上的边缘点移除，重置累加器，重复步骤2)。

图7 车道线检测

通过上述的Hough车道线检测方法，在本文提出的车道线模型中，每个候选车道线区域可能检测出多条车道线，如图7所示。经过Hough直线检测过后，可以看到对于每个车道线都检测出一个直线对。由于客观世界中的所有平行线投影到图像平面后，会相交于消失点，因而检测出的车道线直线在世界坐标系中是相互平行的直线。根据此原理通过前面所求的逆透视变换矩阵H，将检测到的车道线转换到世界坐标系中，根据车道线双边缘在世界坐标系中具有相互平行的约束性特点，就可以实现准确的车道线检测，同时能够消除干扰边缘与伪车道线，完成车道线的精确定位。

4 实验结果与分析

为验证本文提出的车道线检测算法的有效性与鲁棒性，选取来自KITTI数据中的高速公路数据集，作为本文车道线检测的测试数据，该数据集中包括高速公路中可能出现的各种各样的道路情况，如树木阴影、应急车道、车辆干扰等情况。在测试数据集KITTI中高速公路环境下，图8显示采用本文提出的车道线检测方法下的车道标注。表1显示在相同一个的智能车载视频取证设备中的实验结果对比，本文的算法平均每帧检测耗时仅为12.9 ms，成功车道检测的准确率达到99.36%，由此可知，本文的方法在效率和准确率都得到了明显的提升。

表1 算法性能对比

图8 车道线检测

5 结束语

基于模型的车道路线检测方法中，车道模型的选择和检测方法高效的关键需要很好的平衡算法复杂性和实时性之间的关系。本文提出了一种基于结构化道路模型的快速稳定的车道线检测方法。首先，基于结构化道路的特点建立车道线的感兴趣区域；然后，通过Sobelx方法检测道路边缘；最后，通过改进的Hough方法进行车道线检车，并使用逆透视变换进行车道线标定与伪车道线的判定。实验结果表明，本文提出的算法模型简单、算法高效、检测精度高，且对噪声等干扰具有很好的鲁棒性。

[1]MA Chao, XIE Mei. A method for lane detection based oncolor clustering[C]//Third International Conference on Knowledge Discovery and Data Mining. Phutet： IEEE Computer Society, 2010： 200-203.

[2]DONALD J B, Mc FRANZ J. Application of the hough transform to lane detection in motorway driving scenarios[C]//Proceedings of the Irish Signals and Systems Conference. Ireland： [s.n.], 2001.

[3]许华荣, 王晓栋, 方遒. 基于B样条曲线模型的结构化道路检测算法[J]. 自动化学报, 2011, 37(3)： 270-275.XU Hua-rong, WANG Xiao-dong, FANG Qiu. Structure road detection algorithm based on B-spline curve model[J].Acta Automatica Sinica, 2011, 37(3)： 270-275.

[4]LIM K H, SENG K P, ANG L M. River flow lane detection and kalman filtering-based b-spline lane tracking[J].International Journal of Vehicular Technology, 2012, (2012)：465819.

[5]WANG Y, TEOH E K, SHEN D G. Lane detection and tracking using B-Snake[J]. Image & Vision Computing,2004, 22(4)： 269-280.

[6]梁广民. 一种新的自动驾驶轨迹规划方法[J]. 电子科技大学学报, 2017, 46(4)： 600-606.LIANG Guang-min. Novel trajectory planning method for autonomous driving[J]. Journal of University of Electronic Science and Technology of China, 2017, 46(4)： 600-606.

[7]JANAI J, GÜNEY F, BEHL A, et al. Computer vision for autonomous vehicles： Problems, datasets and state-ofthe-art[EB/OL]. [2016-09-11]. http：//arxiv.org/abs/1704.05519.

[8]PERRONNIN F, MENSINK T, VERBEEK J. Image classification with the fisher vector： Theory and practice[J].International Journal of Computer Vision, 2013, 105(3)：222-245.

[9]刘华军. 面向智能车辆的道路环境理解技术研究[D]. 南京： 南京理工大学, 2006.LIU Hua-jun, Researeh on road scene interpretation techniques for intelligent vehicles[D]. Nanjing： Nanjing Universisy of Seience and Technology, 2006.

[10]HOUGH V, PAUL C. Method and means for recognizing complex patterns： United States, US3069654[P]. 1962.

[11]陈勇, 刘亨立. 新型的无人机自主着陆地标设计与研究[J]. 电子科技大学学报, 2016, 46(6)： 934-938.CHEN Yong, LIU Heng-li. Novel landmark design of autonomous landing in unmanned aerial vehicle[J]. Journal of University of Electronic Science and Technology of China, 2016, 46(6)： 934-938.

[12]DAVIES E R. A modified hough scheme for general circle location[J]. Pattern Recognition Letters, 1988, 7(1)： 37-43.