基于投影变换的快速行道线检测∗

李 强 徐峰磊 任明武

（南京理工大学计算机科学与工程学院 南京 210094）

基于投影变换的快速行道线检测∗

李 强 徐峰磊 任明武

（南京理工大学计算机科学与工程学院 南京 210094）

行道线检测是无人车辆自主驾驶系统中的一项关键技术。尽管行道线检测方法层出不穷，但是由于车载系统的局限性导致算法的时间复杂度不能过高，因此限制了许多算法在车辆嵌入式设备上的应用。为此，论文提出了一种快速行道线检测方法。该方法采用基于积分图的投影变换提取行道线候选点，然后通过基于方向过滤的霍夫变化方法粗定位候选行道线，最后利用消失点估计、对比度过滤等过滤器对行道线进行精定位。基于积分图的投影变换可以高效率地计算多尺度上的投影变换，同时给每个像素点建立局部投影变换，使得该像素点与整幅图的亮暗无关，提高了检测的鲁棒性，可有效解决遮挡问题。实验表明，对于典型路面图像，在i7处理器上中达到了10 ms每帧的速度。

行道线检测；ADAS；投影；霍夫变换

1 引言

随着经济发展、道路设施的完善，汽车保有量迅速增加。近10多年来，基于视觉导航的车辆自动或者辅助驾驶系统［1］一直是科技领域的研究热点，Google、特斯拉、Apple等公司引领了新的潮流。无人驾驶系统致力于通过图像处理的方法来检测可通行区域来保证车辆能够安全地行驶在正确的车道上，并能对一些异常状况进行及时处理。实现这类系统面临的首要关键问题就是如何实现快速准确地从车载传感器获取的视频图像中检测到车道［2］，使得车辆能够按照交通规则行驶在道路上。为了解决这个问题，国内外很多研究人员都进行了深入研究并取得了很多可喜的研究成果，这些研究具有很大的潜在应用价值。

无人车系统中的一些经典行道线图像如图1所示。正常路面是指普通道路环境，无外界其他干扰；其余几种路面则为普通检测算法中比较常见的干扰情况：斑马线干扰、强逆光干扰以及阴影遮挡。斑马线干扰是指因为斑马线与行道线的一些相似性会导致后者的误检率增大。强逆光环境则会在正午阳光直射的情况下形成光柱，形成虚假行道线。阴影遮挡则会减小行道线在环境中的对比度，从而增大了行道线检测时的漏检率。

图1 正常路面（左上）、斑马线干扰路面（右上）、强逆光路面（左下）、阴影遮挡路面（右下）

Broggi等［3］基于平路面假设，提出了逆投影映射的方法来消除透视效果，透视效果即实际中的两条平行线在视觉中变成了两条相交线。然后充分利用道路的几何特征来检测、定位行道线。该算法的优势在于定位精确，但是计算量巨大，需要一些特定的硬件来配合实现。

Goldbeck等［4］提出了基于感兴趣区域（ROI）的行道线检测算法。该算法以空间和时间连续性作为限制，将算法的处理区域由整幅图像缩减为车辆前方的某一特定区域，在此区域中可以有效的进行检测。但是，ROI的定位算法选取至关重要，选择不当将导致算法完全失效。

Wang等［5］提出了一种基于B样条的行道线检测方法。得益于样条函数对轮廓表达的任意性，该算法能够准确地识别直道和弯道，并对路面阴影有一定的鲁棒性。较好的检测效果原因在于B样条的多次迭代，这无法满足无人系统的实时性要求。

在机器学习领域，Kim［6］提出了一种车道线提取方法。其详细的讨论了几种主流分类方法对行驶标记检测的准确性和实时性。为提高算法的实时性，作者放弃了具有最佳分类性能的SVM，导致改算法的正确率只有80%。

本文提出了一种新的应用于无人车辆自主驾驶系统［7］中的行道线检测方法。首先，本文采用基于投影变换的方法提取行道线候选点，然后通过基于方向过滤的霍夫变换进行行道线粗提取，得到候选行道线，最后利用消失点估计、对比度等约束条件过滤对行道线进行精定位。流程图如图2所示。

图2 算法流程图

针对上文所述的几种的经典行道线干扰情况，在提取行道线候选点时，本文首先选择对斑马线进行检测，使得最终行道线检测阶段可以去除斑马线的干扰。而阴影遮挡或光照不均等干扰则在投影阶段进行过滤。本文最后通过对行道线检测的初步结果的精提取来对强逆光环境下的光柱进行排除。

2 基于投影变换的行道线候选点提取

当原始图像分辨率过高时，在原始图像上直接求取行道线会变得十分缓慢。所以一般的行道线检测算法首先会对原始图像进行特征点提取的方法来降低处理时间。

行道线检测算法使用最多的是基于边缘检测的行道线检测算法，边缘检测算法能够检测到行道线的边缘特征，但是对于斑马线、路面指示箭头等干扰不能很好的进行处理。

本文所述的投影变换能够将图像中相对于周围较亮的区域提取出来，而由于行道线区域相对于路面区域是较亮的，所以本文用投影变换能够提取到行道线的候选点。根据分段的大小，提取到的行道线候选点一般不超过1000个。

算法效率方面，本文利用基于积分图的方法实现了投影计算的快速实现，利用分段投影的方法实现了多尺度变窗口的投影计算。

2.1 候选点提取

如图2所示，行道线候选点的提取分为3大步骤：分段投影变换，投影曲线分界面的分割和候选点的去斑马线干扰。

投影是在某个方向上的所有像素的灰度值之和，或者直线L上的所有像素点的灰度值之和。而因为投影采用的是加法运算，比如一个班级的成绩累加之和，突出的是这个班级的整体水平，所以投影具有非常好的鲁棒性。本文所用垂直投影变换公式如下。

垂直投影（某一列上的所有像素的灰度之和）：

其中，g(x，y)为图像某一点的灰度值。

图3 上图为投影图像，下图为原始图像

图3 为一幅行道线局部图像及其垂直投影图像。在其垂直投影变换图像中，可以发现标准且明显的行道线间隙，因为行道线是白色的，所以其投影值较大，而路面投影值较小。本文利用图6中投影值的大小变化关系，提取出波形图中的波峰区域，可以提取到对光照不均较为鲁棒的行道线候选区域。

分段投影变换是指将原始图像灰度化后进行分段化处理，每段分别进行垂直投影变换。针对行道线图像而言，若对整个图像进行垂直投影变换，则得到的是图像的整体灰度分布信息，这显然无法得到想要的信息，因为在行道线图像的不同行上，行道线的宽度都是不一样的，同时视觉图像的“近大远小”现象也决定了投影需要分段进行。

本文将行道线图像非均匀且非重叠地划分为若干个宽度为图像宽度的图像块，每个图像块的高度不同，每个图像块做各自的垂直投影变换，每个图像块的高度取决于相机的分辨率、相机的架设位置和行道线的实际宽度等［8］，分段情况如图4所示。

图4 分段示意图

分段进行投影变换后，将得到若干个投影曲线，投影曲线中投影值较大说明此区域较亮，投影值较小则说明此区域相对于周围较暗。因行道线较周围较亮，故本文需要对投影曲线的波峰进行提取，即对投影曲线进行分割。本文所采用的为基于背景估计的分界面分割算法。如图5为分界面分割示意图，白色线段为原投影曲线，高于灰色线段的区域即为本文的兴趣区域。

图5 白色为投影曲线，灰色为分割线

在对每条投影曲线进行分界面分割后，本文得到了如图6所示的行道线候选点区域，白色区域为高于分界面的区域合集，本文将此图像称之为RL（游程，Run-length）图像，图像中的每一个白色矩形区域称之为RL块。

将原始图像转化为RL图像后，这样就大大减少了行道线的描述信息，将原图像像素信息变换为有限的几百个RL块，使得后续提取行道线的计算变得十分迅速。同时因为使用的是加法运算，使得本文提取到的RL块对于环境具体良好的鲁棒性，能够在不受光照、阴影等的影响下将包含行道线的RL块全部找到。

图6 行道线候选区域

在图6所示RL图像中，下半部分较宽的白色矩形块为斑马线，如果单独观察，斑马线的每条线段与行道线的特征非常相像，宽度、颜色等都十分相似，这会对于本文的行道线检测做出巨大干扰。反之若从整体观察，斑马线具有高密集型、等间隔性等明显区别于行道线的特征［11］，利用这些整体特征，本文在行道线提取前对斑马线进行鉴别检测并加以排除。

在RL图像中，利用斑马线RL块等间距等长的特征，可以较易寻找到斑马线的候选区域，如图7中所示绿色区域。然后进一步根据斑马线候选区域的位置信息对之进行筛选合并，最后得到斑马线检测结果，如图7中所示矩形框区域。在后文的霍夫变换处理中，本文将行道线候选区域用点来替换，即取一块行道线候选区域的中心坐标点来当作一个行道线候选点。至此，本文完成了行道线候选点的提取过程。

图7 灰色为斑马线候选区域，框内为斑马线

2.2 基于积分图的快速和变窗口的投影变换实现

积分图的概念最早是由Paul Viola等［9］提出的，并被应用到实时的图像检索框架中。对于一个灰度图像而言，其积分图也是一张图，只不过积分图与普通的灰度图不同，该图上任意一点（x，y）的值是指从灰度图像的左上角与当前点所围成的矩形区域内所有像素的灰度值和。对于求（x，y）处的积分，通过递推实现，共需要2个加法，1个减法，如图8和式（2）。

图8 积分图示意图

其中，s(x，y)代表该像素点的积分值，g(x，y)代表该像素的灰度值。

式（3）则用来在已知积分图中计算指定区域m×n个像素点灰度之和，只需要2个减法和1个加法。

在式（3）中，当m=1时，sum就变成了x列上[y-n，y]之间的垂直投影，当n=1时，sum就变成了y行上[x-m，x]之间的水平投影。

2.3 基于背景估计的分割

通过垂直投影变换，得到了如图3的峰谷明显的投影曲线图，此时需要寻找一个分界面，使之能够分割出波峰，即相对周围较亮的区域。本文分界面的分割算法基于背景估计，具体使用高斯滤波［10］，高斯滤波是一种线性平滑滤波，能够有效地消除噪声。

各个投影曲线图均可以认为是一个个一维数组，利用高斯卷积函数计算每个点的高斯卷积值，如图5中的计算结果，灰色的线段上的每个值是由相对应的白色线段上相邻投影值高斯卷积计算得到的结果，从中可以观察到灰色线段十分平滑。此种方法也常用于图像处理领域的背景估计、背景建模等。

若得到的投影曲线中的投影值高于分界面，则认为这个点的灰度值较周围较高，若存在这样的区域，使得存在连续的点均高于分界面，则本文将此区域标识为行道线候选区域。对每个投影曲线均做如上分割处理，本文就得到了如图6所示的黑白二值图，白色区域表示行道线候选区域。

2.4 候选点结果

以本文引言中所述的四幅经典的行道线图像类型为例，图9为经过分段投影、分界面分割和斑马线过滤后得到的各自的行道线候选点。从图中可以观察得到基于投影变换的行道线候选点检测到阴影、斑马线都具有很强的抗干扰性。

图9 四幅行道线图像的行道线候选点

3 基于角度加权的霍夫变换的行道线检测

本文采用了基于角度加权的霍夫变换方法对行道线候选点进行直线提取。霍夫变换是一种在图像中检测直线的有效方法［12］。它是先把直角坐标系的目标点映射到极坐标系上进行累积，即先使直角坐标系平面上任一直线上的所有点均累积到极坐标系的同一点集合去，然后通过寻找极坐标系中点集的峰值，来发现经过点最多的直线。

而本文在传统的霍夫变换基础上对每个投票点引入了角度加权信息，即每个点在投票环节只对与自身角度相近的直线进行投票，这样做可以充分利用点与点之间的空间关系，跟传统的霍夫变换相比不仅加快了运算速度，同时又大大降低了误判率，可以取得比较好的直线提取结果。

3.1 行道线粗提取

在RL图像中，相同行的RL块具有相同的高度，本文对相邻行的大小相近的RL块进行连线，若此连线经过较多的与自身相近的RL块，则标记该直线的角度方向作为该连线上所有RL块的角度方向。如图10所示，箭头为该候选点的角度信息。

基于角度加权的霍夫变换方法将带有角度信息的候选点进行投票计算，每个候选点只对角度与自身相近的直线进行投票，得到了如图11的直线结果。此时的行道线集合既囊括了正常的行道线，同时也包含了路面上常见的白印等容易与行道线混淆的物体。图中路线线段为提取结果，红色点为候选点。

图10 行道线候选点的角度信息

图11 基于角度加权的霍夫变换结果

3.2 行道线精定位

图11 中的行道线粗提取结果中包含了比较多的干扰项。本小节在此基础上，对干扰线段进行层层筛除。具体利用到行道线的各种颜色、纹理、亮度和方向等特性进行筛选。

行道线具有白色或者黄色的特征，而在灰度图中，两者的灰度值都很大，而道路背景的灰度值一般比行道线的灰度值低很多。基于这个事实，本文统计了每个候选行道线线段上的灰度值平均值和行道线两旁的灰度值平均值。若两旁的灰度值都大于行道线的灰度值，则本文认为此行道线为虚假行道线。下图是过滤前后的照片，从中可观察到路面的一些印记大部分被消除。

图12 对比度过滤前后的直线

消失点估计是一种利用道路的全局约束属性来提取道路边界的方法，其在各种复杂道路环境下表现出较强的鲁棒性，其核心思想是：在结构化道路上的行道线会在图像中相交于一个消失点［13］。如图12所示，经过霍夫变换等一系列操作后，图中存留的候选行道线占据大部分，这样就可以利用行道线在图像上方相交于一点的特性来反向过滤未相交于消失点的虚假行道线。

但是在实际使用中，由于霍夫变换后的直线跟真实道路方向存在轻微偏差，所以本文需要定义消失点相交的偏差范围。同时本文对行道线的消失点相交位置进行限定，使得消失点只能出现在图像的中上部分，即视野中道路可能的尽头位置。

图13为消失点过滤器前后的图像，上方图像中一些与行道线方向不符的线段被去除。

图13 消失点过滤前后的直线

经过消失点估计过滤器后，剩下的线段基本为真实行道线，但是由于霍夫变换时的角度轻微偏差问题，导致存在相似相近线段重叠现象。本文通过遍历直线两两的相交角度、相交位置、与图像下界形成面积来确定线段是否可以合并，若两直线之间相交角度很小、相交位置靠近图像下方且与图像下边界形成面积较小，则将这两个线段进行合并为一条长线段。最后结果如下图所示。

图14 线段合并后的直线，最终结果图

4 实验

本文的本地测试环境编译器采用VS2012，运行内存为4GB，CPU为i7处理器，编译环境为Re⁃lease+x64。

本文的测试数据集分为两个部分，KITTI数据集和车载相机拍摄图像数据集。前者本文选取了200张直道图像，后者本文选取了2000张从车载相机拍摄到的图像。

KITTI是德国卡尔斯鲁厄理工学院和芝加哥丰田技术研究所联合创办的一个算法评测平台，旨在评测对象（机动车、非机动车、行人等）检测、目标跟踪等计算机视觉技术在车载环境下的性能，为机动车辅助驾驶应用做技术评估与技术储备。本文使用的测试集为“Road/Lane Detection Evaluation 2013”灰度图像，如图15，处理结果如图16所示。

图15 KITTI数据集图像

图16 KITTI数据集处理结果

在本地测试环境中，本文对从无人车采集到的各种环境下的连续图像序列进行算法处理，算法处理结果的各项参数如表1所示，无人车各种环境下图像如图17所示。图17中左上角为城市环境道路，行道线十分明显；右上角为乡村环境道路，行道线时有磨损；左下角为有树木阴影遮挡等环境，环境条件比较复杂；右下角为强逆光环境，太阳光直射相机，易形成光柱影响实验结果。

图17 车载相机拍摄到的行道线原始图像

表1 车载相机各种环境下的检测算法结果

从表1中可以观察得到，本文算法在良好的城市环境以及树阴遮挡道路上具有较低的漏判率和误判率，当出现树阴遮挡时，RL块会增多，算法运行时间会略有变长，当出现强逆光时，算法检测效果不是非常理想，主要是由于相机曝光等原因导致行道线十分昏暗。

本文算法在无人驾驶汽车中满足实时性运行要求，且行道线检测单帧检测准确率达到90%。

5 结语

本文利用机器视觉的方法对无人车系统中的行道线检测提出了一种新的基于投影的解决方案。此方案结合了投影变换、霍夫变换等方法，完成了满足实时性要求的行道线检测算法。

但是由于霍夫变换只能检测直线的局限性，本文对于弯曲行道线的检测并未做特殊处理，后续工作将侧重于对弯曲行道线的检测。

［1］Figueiredo，L，Jesus，I，Machado，J.A.T.Towards the development of intelligent transportation systems［C］//In⁃telligent Transportation Systems，Proceedings IEEE，2001，1206-1211.

［2］刘华军.面向智能车辆的道路环境理解技术研究［D］.南京：南京理工大学，2006.LIU Huajun.Research on Road Environment Understand⁃ing Technology for Intelligent Vehicles［D］.Nanjing：Nan⁃jing University of Science and Technology，2006.

［3］Broggi A，Berte S.Vision based road detection in automo⁃tive systems：A real time expectation driven approach［J］.Journal of Artificial Intelligence Research，1995，3：325-348.

［4］Goldbech J，Huertgen B，Ernst S，et al.Lane following combining vision and DGPS［J］.Image and Vision Com⁃puting，2000，18（5）：425-433.

［5］Wang Y，Teoh E K，Shen D.Lance Detection and tracking using B-snake［J］.Image Visual Compute，2004，22（4）：268-280.

［6］Kim Z W.Robust lane detection and tracking in challeng⁃ing scenarios［J］.IEEE Transactions on Intelligent Trans⁃portation System，2008，9（1）：16-26.

［7］付永春，戚国庆.单目视觉结构化道路车道线检测和跟踪技术研究［D］.南京：南京理工大学，2012.FU Yongchun，QI Guoqin.Research on Monocular Visual Structured Lane Detection and Tracking Technology［D］.Nanjing：Nanjing University of Science and Technology，2012.

［8］路红亮，张志佳.机器视觉中相机标定方法的研究［D］.南京：南京理工大学，2013.LU Hongliang，ZHANG Zhijiang.Research on Camera Cal⁃ibration Method in Machine Vision［D］.Nanjing：Nanjing University of Science and Technology，2013.

［9］Paul Viola，Michael Jones.Rapid Object Detection Using a Boosted Cascade of Simple Features［J］.Computer Vi⁃sion and Pattern Recognition，2001，Volume 1，8-14.

［10］Deng G，Cahill L W.An adaptive Gaussian filter for noise reduction and edge detection［C］//IEEE Nuclear Science Symposium and Medical Imaging Conference，San Francisco，CA，1993，3：1615-1619.

［11］Se S.Zebra-Crossing Detection for the Partially Sighted［C］//2013 IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society，2000：2211-2211.

［12］张会章，张利霞，郭雷.用霍夫变换来提取目标边界［J］.计算机应用，2003，23（s1）：117-119.ZHANG Huizhang，ZHANG Lixia，GUO Lei.Hough transform is used to extract the target boundary［J］.Jour⁃nal of Computer Applications，2003，23（s1）：117-119.

［13］Simond N，Rives P.Homography from a vanishing point in urban scenes［C］//Proc of the 16th IEEE/RSJ Int Conf on Intelligent Robots and System 2003.Piscataway，NJ：IEEE，2003：1005-1010.

Fast Lane Line Detection Based on Project

LI Qiang XU FengleiREN Mingwu
（School of Computer Science and Engineering，Nanjing University of Science and Technology，Nanjing 210094）

Lane detection is a key technology in the automated vehicle system.There are many methods of lane detection，but the limitation of vehicle system leads to the time complexity of the algorithm is not too high，so it limits the application of many algo⁃rithms in vehicle embedded devices.In this paper，a fast lane detection method is proposed.Firstly this method extracts the candi⁃date points in the lane image by projection transformation based on SAT.Then paper uses the Hough transform based on directional filtering to extract the line，it's just a coarse positioning.Finally，paper uses the vanishing point estimation and contrast filter to lo⁃cate the line.Projection transformation based on SAT can improve the execution efficiency of the algorithm on multi scale.Using a lo⁃cal projection transformation to each pixel can make the pixel point is not responsible to the brightness of whole image，so it im⁃proves the robustness of detection and solves the problems in the shadow of lane.Experimental results show that 10 ms per frame in the i7 CPU environment in typical pavement images.

lane line detection，ADAS，project，hough transform

Class Number TP391.41

TP391.41

10.3969/j.issn.1672-9722.2017.12.038

2017年6月8日，

2017年7月30日

李强，男，硕士研究生，研究方向：图像处理、模式识别。徐峰磊，男，博士研究生，研究方向：图像处理、模式识别。任明武，男，教授，博士生导师，研究方向：无人驾驶车辆、图像分析与处理。