基于双向窗口特征提取技术的车道线检测算法

范延军，张为公

(1.东南大学仪器科学与工程学院，南京210096;2.中国计量学院计算机科学与技术系，杭州310018)

基于双向窗口特征提取技术的车道线检测算法

范延军1，2，张为公1

(1.东南大学仪器科学与工程学院，南京210096;2.中国计量学院计算机科学与技术系，杭州310018)

为提高车道线检测算法的准确性与稳定性，提出一种基于双向窗口特征提取技术的车道线检测算法。融合运用Hough变换与边缘分布函数技术得到车道线的直线特征点;运用双向窗口特征提取技术获得所有车道线特征点，包括直线部分与弯曲部分。获得直线与双曲线相结合的车道线模型:在近视场，应用直线车道线模型能获得较好的鲁棒性;在远视场，使用双曲线模型可有效检测出车道线的弯曲部分。实验结果表明，相较于已有的车道线检测算法，该方法可有效提高多种场景下车道线检测的准确性和稳定性。

车道线检测;双向窗口特征提取技术;Hough变换;车道线模型

0 引 言

基于视觉的车道线检测技术［1-5］已经被广泛应用于众多应用领域，比如智能车辆［6-9］、先进辅助驾驶系统(ADAS)［10-12］、和汽车主动安全［13］等。在这些应用场景中，稳定的车道线检测算法是一项关键步骤，关系到整个系统的优劣。截至目前，世界范围内众多的研究者已经提出了许多基于视觉的车道线检测算法。然而，由于实际应用环境变化巨大，如阴影、车辆遮挡、车道线磨损、车辆自身运动、光照变化、雨雪等多种情况均会给检测结果带来意想不到的影响。所以，截至目前，基于视觉的车道线检测技术仍然是世界范围内的一个研究热点。

目前，基于视觉的车道线检测方法主要分为两类:基于模型的方法和基于特征的方法。基于模型的方法［14-16］被广泛用来解决车道线检测问题。在这些方法中，直线、曲线或样条曲线模型经常被用来拟合道路边界。通常，诸如直线之类的简单模型并不能很好地拟合实际车道线，但它们能有效抑制图像中噪声的干扰。另一方面，复杂的车道线模型(曲线或样条曲线)虽然能得到较精确的拟合结果，但它们对噪声也异常敏感。在基于特征的方法［17，18］中，边缘等图像特征首先被提取出来，然后按照某种筛选规则选出特征点组成车道线标记特征。基于特征的方法最大的优势在于它对车道线的形状不敏感，并且具有较强的鲁棒性。Lee等［19］提出了一种基于特征的车道线检测方法，边缘分布函数被用来确定车道线标志的位置，实验结果表明，该方法具有很强的抗噪声干扰能力。然而，由于基于Hough变换计算，所以在检测曲线车道线时，边缘分布函数(EDF:Edge Distribution Function)方法往往会失效。Jung等［20］提出了一种改进的边缘分布函数方法，应用于车道线检测与跟踪。在车道线跟踪阶段，他们使用了直线与抛物线相结合的车道线模型，从而实现了对弯曲车道线的跟踪。

在Lee等［19］或Jung等［20］的研究工作中，Hough变换用来检测车道线边缘。然而，对于弯曲车道线部分，如何提取特征点的问题至今仍未得到有效解决。如果能在车道线检测阶段尽早检测出任何形状(包含直线、曲线)车道线的特征点，则将为车道线跟踪阶段带来更为精确的计算结果。笔者根据车道线的梯度分布特性，提出了一种新的车道线检测算法，该检测算法能同时提取出直线和曲线部分的车道线特征。在该算法中，每帧图像都是独立处理的，并未用到相邻帧之间的时域相关性。其目标是:不仅在没有环境因素影响的理想条件下能否提取车道线特征点，而且在大量诸如阴影遮挡、光照条件变化、车道线磨损等噪声影响条件下也要求能稳定地检测出车道线。

1 基于双向窗口特征提取技术的车道线特征点提取算法

图1 图像坐标系与近视场、远视场定义Fig.1 The coordinate system and the definition of the near and far fields

1.1 近视场与远视场

首先，图像的坐标系如图1所示，接近摄像机的车道线往往呈现类似直线的形状，而远离摄像机的车道线有可能包含类似曲线的形态。因此，为了处理这两种不同情况，将图像分割成近视场和远视场两部分，如图1所示。

1.2 边缘分布函数

边缘分布函数是依据梯度方向生成的边缘梯度幅度的累积直方图。图像I(x，y)的梯度幅度和方向可表示为

则边缘分布函数的定义如下

图2 边缘分布函数Fig.2 The edge distribution function

其中n(d)表示梯度方向角为 d的像素点的数量，▽I(x，y)表示(x，y)点处的梯度幅度值。为计算方便，设定梯度方向角 θ(x，y)的取值范围为［0，180°］，并且量化为90个子间隔区间(每个区间覆盖2°的范围)。这样，即可预先得到一简单的查找表(每个Gy/Gx值对应相应的角度)，用来查找 θ(x，y)的值，从而避免了式(2)的反正切计算。

图2是对图1边缘分布函数的计算结果。可以看出，在EDF图中存在一组局部极大值。这些局部极大值中的最大值所对应的梯度角θ就是图像中一条车道线的方向角，而另一条车道线的方向角可运用对称性获得。如图2所示，这些局部极值中的最大值(θ1=62°)对应于图1中的左车道线，与其对称的局部极值(θ2=133°)对应于图1中的右车道线。

1．3 图像预处理

首先，应用Canny边缘检测算子得到灰度图像的边缘信息;然后，依据式(3)计算出图像的边缘分布函数，进而运用边缘分布函数方法确定左、右两条车道线的方向角。因此，具有不同梯度方向角的边缘点将会被滤除(见图3)。

图3 图像预处理结果Fig.3 The illustration of the image preprocessing

从图3b中可以发现，使用车道线方向角滤除后的结果看起来似乎是近视场区域内的车道线的直线部分。事实上，通过在这些点集上应用Hough变换，确实可得到车道线的近似直线拟合模型。

1.4 Hough变换

图4为左、右车道线参数之间的关系。利用Hough变换，可以获得直线参数ρ，θ的候选值:如果边缘点满足直线方程ρ=x cosθ+y sinθ，则将候选值ρ，θ的计数加1。通常为简化计算，θ和ρ一般会作量化处理，就得到计数数组A(ρm，θn)。统计结束后，A(ρm，θn)中的极大值就可以确定一条直线，这条直线就是车道线的直线部分。

从图4中可得出结论:Hough变换中的参数θ等于对应车道线边缘的梯度方向角。因此，只需寻找另一个参数ρ的极大值ρm即可。如果ρθ1是数组A(ρ，θ1)的极大值，则图1左车道线在近视场中的直线部分可表示为

得到两条车道线的直线拟合模型(见图5)后，可以确定算法中一些参数的初始值，如起始扫描的图像行、道路宽度(在图像场中的)、道路的中心点和每条车道线的方向角。

图4 左、右车道线直线参数之间的关系 Fig.4 The relationship between parameters

图5 利用EDF方法进行直线拟合后的结果Fig.5 The result of line fitting based on EDF the orientation of lane boundaries

在图像场中，假设左车道直线模型的起始行是dl行，而右车道直线模型的起始行从dr行开始。

则寻找车道线的起始扫描的图像行是d，车道宽度w以及车道的中心点v计算如下

进而，每条车道线的方向角可以使用θ1和θ2作为初始值。

1．5 双向窗口特征提取技术

笔者采用采用双向窗口技术提取直线和曲线车道线的特征点。显然，如果某条车道线是直线，则所有这条车道线上边界点的梯度方向角的值将围绕着某个常量波动。图1中左车道线边界点的梯度分布曲线如图6所示。从图6中可以得到:1)在车道线的直线部分内，梯度方向角的值一直围绕着一个中轴线(即常量值，在图中用虚线表示)在一定范围内上下波动;2)当道路向右方弯曲时，梯度方向角的值逐渐变小，直到又在一个新的范围内上下波动(因为右转弯后，左车道线又呈类似直线状)。依据车道线的梯度方向分布特征，提出一种基于双向窗口技术的车道线特征提取算法，并将它应用于车道线识别与跟踪。

图6 图1中左车道边界点的梯度方向特征分布图Fig.6 The gradient orientation distribution of left lane edge points

基于双向窗口技术的车道线特征提取方法描述如下。首先，选用水平方向上的滑动窗口(HSW: Horizontal ScanningWindow)从下至上扫描每行图像，确定每条车道线上的特征点。在滑动窗口内的所有边缘点，只有梯度方向角与出现位置满足特定条件的边缘点才被提取作为车道线的特征点。同时，沿车道线方向另选一个滑动窗口LBDSW(Lane-Boundary-Directional Sliding Window)，计算选出的特征点的梯度方向角的平均值，然后用这个平均值作为衡量下一行水平窗口内边缘点的梯度方向角是否是车道线特征点的基准。

双向窗口特征提取技术如图7所示，算法描述如下。

1)对各个参数进行初始化。对应于左、右车道线的水平HSW的中心点为。左、右车道线的方向角分别用θL和θR表示，并且初始化为。

图7 双向窗口特征提取技术Fig.7 The illustration of bi-directional sliding window technique

2)取T为梯度方向角的差异阈值，取Wh为水平HSW的宽度。在实验中，取T=5，Wh=15。

3)分别在左、右车道线上使用笔者提出的车道线检测算法。现以左车道线为例介绍该算法:从d行开始，在水平HSW中，从中心点CL向右侧逐个扫描每个像素点，直到找到满足条件的边缘点P，则跳转到步骤 6)。此处，θP是 P点的梯度方向角。

4)继续从CL向左寻找满足条件的边缘点P，则跳转到步骤6)。

5)设ΔL为下一行水平滑动窗口中心点的增量值(ΔL的初始值取0)，则ΔL累积为，且下一行的水平滑动窗口中心点，跳转到步骤7)。

7)假定右车道线用同样的算法处理后，得到下一行右车道线对应水平滑动窗口的中心点为，更新车道宽度 w和车道中心点，。

8)令d=d-1，跳转到步骤3)，循环处理，直到w≤0或到达图像的顶部。其中阈值T和水平滑动窗口的宽度Wh需随行数d的变化而自适应调整。通常，Wh的值应随行数d的减小而逐步变小，而阈值T在近视场内可保持不变，在远视场内阈值T的值需要适当增加，以适应弯曲车道线的情况。

双向窗口特征提取技术的算法流程图如图8所示(以左车道为例说明)。

图8 双向窗口特征提取技术的算法流程图Fig.8 The flow diagram of bi-directional sliding window feature extraction

2 直线与双曲线相结合的车道线模型

在第1节，使用双向窗口特征提取技术获得了车道线的特征点，只要选用合适的车道线模型，用车道线模型拟合这些特征点，计算出车道线模型中的待定参数，就可得到最终的车道线检测结果。在本文中，车道线模型采用分段模型，在近视场区域选用直线模型对车道线特征点进行拟合，而在远视场选用双曲线模型对车道线特征点进行拟合。在近视场，采用基于直线模型提取近视野车道线参数，同时采用基于双曲线模型提取远视野车道线参数。

2．1 基于直线模型的近视场车道线参数的提取

近视场车道线可用直线模型表示。采用Hough变换检测直线，其基本思想是利用点与直线的对偶性。Hough变换采用投票机制，即输入空间中的每个点对对应的输出空间的某些参数组合进行投票，获得票数最多的参数组合胜出。

如图9所示，图像中属于该直线上的任一点(x，y)，被映射成为参数空间(θ，ρ)内的一条正弦曲线。而直线上的所有点，将通过同一(θ，ρ)点。通过检测(θ，ρ)的累积分布求得具有最大值的(θ，ρ)点，进而求得参数方程，得到该直线的参数描述。

对图10中的车道线边缘特征点图像进行Hough变换并提取票数最多的两个参数，得到其左侧车道线参数为θl=42，ρl=86，右侧车道线参数为θr=-46，ρr=42。

图9 Hough变换原理图 Fig.9 The illustration of Hough transform

图10 近视场直线参数Fig.10 The linear parameters in the near far fields

2．2 基于双曲线模型的远视场车道线参数的提取

Kluge在文献［21］中提出一种模型，认为每条车道边缘线在图像中呈一条双曲线。像平面中的车道边缘线表示为

其中h为地平面消失线在像平面中的纵坐标，k、b和vp为弯道参数。

由于该模型能较好的表征曲线车道线形状且具有数学形式简单的特点，笔者采用该模型表示远视场的车道线。世界坐标系下的车道线是平行的，因此像平面上代表远视场车道线的曲线是一个双曲线对，且该双曲线对之间具有一定的约束关系，通过文献［21］可知，它们具有相同的k、h和vp。所以，远视野车道线可表示为

其中参数h控制车道消失点远近，vp控制车道线的水平位移，由bl和br共同控制车道的宽度变化及角度偏移，k控制道路的转向。

因为远视野区域的车道线是近视野区域车道线的延续，因此，利用近视场求得的直线模型参数可以很容易地确定双曲模型中的参数b、h以及vp。由近视场中左右车道线直线参数容易求得其相交点

至此，对双曲模型参数的求解就是简化为参数k的确定。从双曲线对模型中可以看出:当道路为直线时，k为零;当前方道路为左转时，k为负值;当前方道路为右转时，k为正值。

通过观察，发现当道路有较大曲率时，参数k的值将达到103数量级，而在曲率较小时，k仅在10～102数量级。因此，笔者对k的值进行非线性分隔，以加快搜索速度。基于以上原则，定义

搜索间隔α=1°。

因此，可知每个k值对应一个双曲线对。此处采用双曲线上对应边缘点的个数作为评价指标，落在曲线上的边缘点越多，则认为该k值所表征的双曲线对和车道线越接近。

以图11a为例，通过近视场车道线直线模型，得到 bl=0．899 7，br=-1．034 7，h=183，vp=322。依照式(10)对落在不同k值上的边缘点进行统计，得到边缘点统计图。

从图12中可发现，当α=-24°时，有最多的边缘点落在曲线上，从而得到双曲线模型

原始图像和原始图像上标记出双曲线模型曲线，如图11所示，双曲线模型统计图如图12所示。

图11 远视场车道线双曲线模型Fig.11 The hyperbolamodels in the far fields

3 实验结果与分析

笔者使用车道线检测算法在众多的车道线图像上进行了大量的实验，这些车道线图像包括弯曲的车道线、虚线车道线、车道线被树荫或车辆遮挡等多种情况。实验结果证明，该车道线检测算法拥有较为理想的检测准确性和稳定性，在噪声干扰、车道线突然弯曲等复杂情况下，仍能获得准确的检测结果。为与已有算法进行比较，选用了公用的车道线图像库，该图像库包括158幅256×240色的图像(http://vasc.ri.cmu.edu//idb/htm l/road/may30_ 90/)。该算法存在6个错误识别结果和4个检测失败结果，错误检测率3.8%，检测失败率2.53%，正确检测率93.67%。而在文献［16］中，应用B样条曲线的方法检测车道线的正确检测率为82%，错误检测率为13%，检测失败率为5%。在文献［15］中，应用改进的EDF方法，获得的正确检测率为88%。

在图13中，最左侧一栏是原始图像;中间靠左一栏是应用EDF获得的车道线直线模型结果，中间另一栏是应用双向窗口特征提取技术提取出的车道线特征点结果;而最右侧一栏是运用直线与双曲线相结合的车道线模型对特征点拟合后的车道线检测结果。图13a展示了车道线向右弯曲的情况，并且车道线还受到阴影的干扰。尽管阴影产生的噪声点有时也满足车道线标记的检测条件，但是，笔者的算法依然能准确地检测出车道线以及弯曲部分。图13b是车道线突然向左方大幅度弯曲的情况，这种情况在文献［15］中根本无法得到左车道线的特征点，而笔者的算法依然能清晰地检测出左、右车道线。图13c的车道线被阴影干扰严重，从实验结果可以看到，尽管存在大量杂乱的点，但利用车道宽度限制，笔者算法仍然能得到稳定的检测结果。图13d中的车道线形态包括实线和虚线，显然，笔者提出的算法能有效地处理这两种情形。图13e中的车道线被行驶车辆遮挡，但笔者提出的算法依然能有效地检测出车道线边缘。

图12 双曲线模型统计图Fig.12 The statistical diagram of the hyperbolamodels

图13 实验结果Fig.13 Some of the experimental results

4 结 语

笔者提出了一种基于双向窗口特征提取技术的车道线检测算法。采用边缘分布函数和Hough变换技术获得车道线的直线特征点;基于这些车道线直线特征点，应用双向窗口特征提取技术获得出车道线的特征点，包括直线部分和曲线部分;在近视场区域内，使用直线模型对近视野车道线特征点进行拟合，同时采用基于双曲线模型对远视野车道线特征点进行拟合，获得最终的车道线检测结果。

实验结果表明，笔者提出的方法是一种鲁棒的车道线检测算法，能在各种复杂环境下稳定的检测出的车道线。今后，在运用笔者提出的基于双向窗口特征提取技术的车道线检测算法的基础上，将进一步重点研究车道线跟踪技术、车道偏离预警策略和前车检测技术在汽车安全辅助驾驶方面的应用。

［1］YENIKAYA S，YENIKAYA G，DUVEN E.Keeping the Vehicle on the Road-A Survey on On-Road Lane Detection Systems［J］.ACM Computing Surveys，2013，46(1):43.

［2］YOU F，ZHANG R H，ZHONG L S，et al.Lane Detection Algorithm for Night-Time Digital Image Based on Distribution Feature of Boundary Pixels［J］.JOpt Soc Korea，2013，17(2):188-199.

［3］BAR HILLEL A，LERNER R，LEVID，et al.Recent Progress in Road and Lane Detection:A Survey［J］.Machine Visionand Applications，2014，25(3):727-745.

［4］FERNANDO S，UDAWATTA L，HORAN B，et al.Real-Time Lane Detection on Suburban Streets Using Visual Cue Integration Regular Paper［J］.Int JAdv Robot Syst，2014，11:20.

［5］WU PC，CHANGCY，LIN CH.Lane-Mark Extraction for Automobiles under Complex Conditions［J］.Pattern Recognition，2014，47(8):2756-2767.

［6］BERTOZZIM，BROGGIA.GOLD:A Parallel Real-Time Stereo Vision System for Generic Obstacle and Lane Detection［J］. IEEE Transactions on Image Processing，1998，7(1):62-81.

［7］HOFMANN U，RIEDER A，DICKMANNS E D.EMS-Vision:Application to Hybrid Adaptive Cruise Control［C］∥Proceedings of the IEEE Intelligent Vehicles Symposium 2000.［S.l.］:IEEE，2000:468-473.

［8］BERTOZZIM，BROGGIA，CELLARIO M，et al.Artificial Vision in Road Vehicles［J］.Proceedings of the IEEE，2002，90(7):1258-1271.

［9］韵卓，陈龙冬，刘富.基于飞思卡尔单片机的智能电动小车设计［J］.吉林大学学报:信息科学版，2013，31(3): 272-278. YUN Zhuo，CHEN Longdong，LIU Fu.Design of Intelligent Electric Vehicle Based on Freescale Microcontroller［J］.Journal of Jilin University:Information Science Edition，2013，31(3):272-278.

［10］ENKELMANNW.Video-Based Driver Assistance-from Basic Functions to Applications［J］.International Journal of Computer Vision，2001，45(3):201-221.

［11］BIFULCO G N，PARIOTA L，BRACKSTIONE M，et al.Driving Behaviour Models Enabling the Simulation of Advanced Driving Assistance Systems:Revisiting the Action Point Paradigm［J］.Transp Res Pt C-Emerg Technol，2013，36:352-366.

［12］DAZA IG，BERGASA L M，BRONTE S，et al.Fusion of Optimized Indicators from Advanced Driver Assistance Systems (ADAS)for Driver Drowsiness Detection［J］.Sensors，2014，14(1):1106-1131.

［13］裴晓飞，齐志权，王保锋，等.汽车前向主动报警/避撞策略［J］.吉林大学学报:工学版，2014，44(3):599-604. PEIXiaofei，QIZhiquan，WANG Baofeng，et al.Vehicle Frontal Collision Warning/Avoidance Strategy［J］.Journal of Jilin University:Engineering and Technology Edition，2014，44(3):599-604.

［14］WANG Y，SHEN D G，TEOH E K.Lane Detection Using Spline Model［J］.Pattern Recognition Letters，2000，21(8): 677-689.

［15］TRUONG Q B，LEE B R，HEO N G，et al.Lane Boundaries Detection Algorithm Using Vector Lane Concept［C］∥2008 10th International Conference on Control Automation Robotics＆Vision.Hannoi，Vietnam:IEEE，2008:2319-2325.

［16］XU H R，WANG X D，HUANG HW，et al.A Fastand Stable Lane Detection Method Based on B-Spline Curve［C］∥2009 IEEE 10th International Conference on Computer-Aided Industrial Design＆ Conceptual Design.［S.l.］:IEEE，2009:1036-1040.

［17］BERTOZZIM，BROGGIA IEEE.Real-Time Lane and Obstacle Detection on the Gold System［M］.New York:IEEE，1996.

［18］LEE JW，YIU K，BAEK K R.A Cumulative Distribution Function of Edge Direction for Road-Lane Detection［J］.IEICE Trans Inf Syst，2001，E84D(9):1206-1216.

［19］LEE JW，KEE C D，YIU K.A New Approach for Lane Departure Identification［C］∥IEEE Iv2003:Intelligent Vehicles Symposium，Proceedings.［S.l.］:IEEE，2003:100-105.

［20］JUNG C R，KELBER C R.A Lane Departure Warning System Based on a Linear-Parabolic Lane Model［C］∥2004 IEEE Intelligent Vehicles Symposium.［S.l.］:IEEE，2004:891-896.

［21］KLUGE K.Extracting Road Curvature and Orientation from Image Edge Points without Perceptual Grouping into Feature［C］∥Proceedings of the Intelligent Vehicles'94 Symposium.Paris，France:［s.n.］，1994:109-114.

(责任编辑:张洁)

Lane Detection Algorithm Based on Bi-Directional Sliding Window Feature Extraction Technology

FAN Yanjun1，2，ZHANGWeigong1

(1.School of Instrument Science and Engineering，Southeast University，Nanjing 210096，China; 2.Department of Computer Science and Technology，China Jiliang University，Hangzhou 310018，China)

In order to enhance the accuracy and stability of lane detection，a lane detection algorithm based on bi-directional sliding window technology is proposed.Firstly，a combination of EDF(Edge Distribution Function) and Hough transform is used to obtain the linear models of lane boundaries.Secondly，bi-directional sliding window feature extraction technique is applied to detect real lanemarkings.Finally，a linear-hyperbolic lanemodel is used:in the near vision field，a linearmodel is used to obtain robust information about lane orientation;in the far vision field，a hyperbolic function is used，the curved parts of the road can be efficiently detected. Experimental results indicate that the proposed method can enhance the adaptability to deal with the random and dynamic environment of road scenes，such as curved lane markings，sparse shadows，object occlusions and bad conditions of road painting.

lane detection;bi-directional sliding window feature extraction;hough transform;lanemodel

TP391.41

A

1671-5896(2015)04-0485-09

2014-10-22

范延军(1977— )，男，河南洛阳人，中国计量学院讲师，东南大学博士研究生，主要从事机器视觉、汽车辅助驾驶技术、汽车主动安全技术、计算机图像处理研究，(Tel)86-13989811495(E-mail)fanfyi@seu.edu.cn;张为公(1959— )，男，杭州人，东南大学教授，博士生导师，主要从事无人驾驶车辆技术、新型传感器技术、汽车试验用机器人技术研究，(Tel) 86-13809031886(E-mail)zhangwg@seu.edu.cn。