基于边缘分布及特征聚类的车道标记线检测

易世春,李克强，郭君斌，高秀丽

(1.清华大学，汽车安全与节能国家重点实验室,北京 100084； 2.中国农业大学车辆人机工程与智能控制研究室，北京 100083)

前言

车道线特征提取是车道线识别的基础，其目的在于通过图像处理，挑选出具有车道线特征的特征集，为后续的车道线拟合提供输入。特征提取的准确性直接影响到车道线拟合的精度和稳定性，因此深受研究者重视。根据使用特征的不同，车道线特征点提取方法主要可分为3种类型：基于边缘特征的方法、基于区域特征的方法和边缘-区域混合特征的方法。

基于边缘特征的方法通过提取图像边缘来定位车道线特征点。文献[1]中仅使用水平sobel提取车道线边缘，文献[2]中则使用水平和垂直sobel算子进行图像增强，并通过迭代阈值分割出车道线边缘。文献[3]中先通过高斯滤波平滑图像，然后使用直方图拉伸突出车道线边缘，并采用canny算子提取车道线边缘。文献[4]中使用分时空方向可调滤波器，根据边缘方向计算边缘强度。并对路面灰度进行采样，计算出边缘强度阈值和车道线灰度阈值，只有边缘强度和对应像素点灰度都大于阈值时才认为是车道线特征。

基于区域的方法则通过灰度或颜色等信息将图像分割为背景与车道线。文献[5]中用到3个阈值进行图像分割，首先利用自组织聚类算法区分出图像中的路面类和非路面类，并得到路面类的平均灰度值，作为第一分割阈值。考虑到图像近处对比强烈，而在远处车道线与路面灰度的对比度会有所下降，所以计算图像每一行的平均灰度值作为第二阈值。第三阈值是固定阈值，在通常情况下取10。文献[6]中采用局部灰度阈值法提取车道线特征，通过尺寸可调滤波器对图像做均值滤波，得到平滑图像并与原图相减得到差分图像，进一步采用固定阈值将差分图像做二值化处理即可分割出车道线。

基于边缘的方法对光照和车道线颜色不敏感，计算量较少，定位准确，应用最为广泛。但是此类方法主要依赖图像局部特性，容易受图像噪声、路面阴影和反光等影响。基于区域的方法受图像噪点、道路亮度等影响较小，但是当路面存在大量阴影或反光时，往往不能得到满意的分割效果。针对边缘和区域方法的优缺点，部分学者综合使用两种方法，以提高车道线特征提取的准确性和稳定性。文献[7]中提出一种新颖的多特征车道线提取方法，采用车道标线边缘特征、道路边界特征、路面颜色特征和非路面颜色特征。这些特征通过KL距离和贝叶斯统计进行最优组合，根据道路情况选择最佳的特征组合提取车道线。文献[8]中提出基于多特征融合的车道线检测方法，首先通过sobel算子计算边缘强度因子与边缘方向因子。然后将图像转换至HSV空间，计算色调因子与灰度因子，根据图像饱和度进行切换，饱和度低时使用灰度因子，饱和度高时使用色调因子。最后，通过D-S理论将上述因子进行信息融合，实现车道标记线检测。

上述方法虽然可提高车道线特征点提取的稳定性，但是一方面存在计算量大、实时性差的问题；另一方面，当车道线被阴影部分遮挡，或车道线内部有破损或污物时，车道线特征点定位精度会受到严重影响，甚至出现错误的识别结果。

为此，本文中提出一种基于边缘分布和特征聚类的车道线标记线检测方法，首先采用可变窗口计算车道线局部灰度阈值，结合图像梯度提取出有效边缘。根据不同工况下车道标记线的边缘分布特性，将车道标记线分为4类，分类进行边缘分布匹配，提取车道标记线特征点。然后利用车道线连续性对特征点进行聚类处理，将特征点归类为不同的直线段，进一步排除离散的特征点，为后续的车道线拟合提供车道标记线方向信息，提高拟合精度和稳定性。

1 算法结构

车道线灰度高于路面灰度是车道线的一个重要特征，能有效排除路面阴影和车轮印记等干扰。受光照和道路交通情况等影响，使用全局阈值很难在复杂工况下实现准确的车道线分割[9]，因此采用局部阈值来表示车道线的灰度范围。为提高车道标记线在边缘不清晰，或被阴影部分遮挡时的识别率，首先利用图像灰度变化挑选出具有一定边缘强度和边缘宽度的上升沿和下降沿，再统计不同工况下的车道线边缘分布特性，将上升沿和下降沿分类匹配，得到车道特征点。

由于同一车道标记线上的特征点在图像中的位置和方向是连续的，且可通过分段直线来近似表示曲线的方向变换，因此通过直线假设对特征点进行聚类处理，一方面排除离散的特征点，另一方面也能进一步获取车道标记线的方向信息，为车道线拟合提供更全面的输入，提高拟合精度。算法结构如图1所示。

2 基于边缘分布的特征提取

2.1 局部灰度阈值

受透视变换影响，图像中车道线宽度随距离增加而减小，若采用固定窗口计算灰度阈值，则满足近视场要求的计算窗口在远视场会覆盖大量道路区域，降低灰度阈值的准确性。而满足远视场要求的计算窗口在近视场则仅能覆盖很小范围的道路区域，不能有效消除环境噪声干扰。因此，本文中采用可变窗口的局部灰度阈值计算方法求解车道线灰度阈值，其公式为

(1)

式中：Gth(x0,y0)为点(x0,y0)处的灰度阈值；I(x,y)为图像(x,y)处的灰度值；w、h分别为计算窗口的宽度和高度，其值随区域位置y而变化。定焦摄像头采集的图像与地面坐标之间的转换关系为

(2)

式中：(x,y)为图像坐标；(X,Y)为地面坐标；C1、C2为摄像头固定参数；H为摄像头安装高度；θ为摄像头的俯仰角。

由式(2)不难得知，图像上车道标记线的宽度与其真实宽度的比值和车道标记线到摄像头的纵向距离成反比，由此确定计算区域尺寸w、h与区域中心在图像中的纵坐标y关系为

(3)

式中：Wm为计算区域的实际宽度，取其为5倍最大车道线宽度。令车道线灰度阈值TG为

TG(i,j)=Gth(i,j)+20

(4)

原图通过TG二值化后的结果如图2所示。

图2中左侧护栏的阴影之间道路灰度明显强于其两侧的阴影区域，若仅采用边缘特征，则可能将之误识别为车道标记线。局部灰度阈值充分考虑了道路中局部区域的灰度分布，能够有效排除此类由于阴影或车轮印记引起的误识别。

2.2 基于灰度变化的边缘检测

sobel算子是最常用的车道线边缘提取方式，其计算简单，但是仅根据相邻2个像素或4个像素的灰度差值来计算灰度梯度，在车道线不清晰时，车道线边缘灰度梯度较小，sobel算子无法提取出车道线边缘。图3为隧道中车道线边缘分布的一个示例。

图3中右侧图像是将左侧灰度图像中白线所在行做sobel增强的结果。可看出由于右侧车道线边缘较模糊，其对应的边缘强度较低，难以识别。采用灰度变化提取车道线边缘，改善车道线边缘不清晰时的特征提取效果。在灰度图像中按照从左向右的方向统计灰度分布，识别有效上升沿和有效下降沿。对有效上升沿做如下定义：

(5)

式中：x0和x1分别为边缘起始位置和边缘结束位置；Te为边缘强度阈值；de为边缘长度阈值。

式(5)定义有效上升沿(x0,x1)内右侧像素的灰度值高于左侧，上升沿起始灰度和终止灰度差值大于阈值Te，以排除弱边缘。边缘起始位置和终止位置的间距小于de，且上升沿顶部灰度值大于局部阈值TG。同理可以定义有效下降沿为

(6)

Te越大，要求车道线与道路的对比度越大，能够减少路面干扰，但在车道线清晰度不高时容易出现漏检。经统计不同工况下车道线与路面的灰度差异，取Te为15。de的取值则决定对车道线边缘清晰程度的限制，de越小要求车道线边缘清晰度越高，根据统计取为16个像素，所得边缘分布结果与sobel算子的对比结果如图4所示。

在图4中竖直虚线所在位置，车道线灰度分布较平滑，采用sobel算子计算的灰度梯度很小，而采用灰度分布的边缘统计方法则可以在这种情况下提取出车道线位置。

2.3 基于边缘分布的特征提取

从图4可看出，典型的车道标记线由左侧的上升沿和右侧的下降沿组成，边缘距离在车道线有效宽度范围内，且两侧边缘的强度相似，这是大多基于边缘特征的车道线特征提取方法所采用的约束。但是，当车道线有破损或车道线被阴影部分遮挡时，车道线的灰度分布如图5所示。

对图5(a)所示车道线破损的情况，可能误识别出两个车道线特征。而图5(b)所示车道线被阴影部分遮挡时，车道线内部又存在一个上升沿或下降沿，可能出现特征定位偏移，若右侧边缘距离较近时，甚至会导致不能识别。为此，将车道线特征分为4类，如表1所示。

表1 车道线特征分类

对每个有效下降沿，分析其左侧最近邻的两个边缘和右侧最近邻边缘信息，提取车道线特征并按表1分类。令(dm,dM)为有效车道线宽度范围，构成车道线特征的上升沿和下降沿间隔应在有效宽度范围以内。定义下降沿右侧dc距离为破损阈值，若在dc范围最近邻的边缘是与下降沿强度相似的上升沿，认为是车道线破损产生的干扰边缘对，根据类型Ⅱ匹配边缘。反之，判断其左侧(dm,dM)范围内有无满足类型Ⅰ约束的上升沿，若不存在满足约束的上升沿，则进一步按照类型Ⅲ和类型Ⅳ匹配边缘。通过上述边缘分布匹配提取车道标记线特征的结果如图6所示，右图黑色区域即为识别的车道标记线。

3 基于直线约束的特征聚类

通过特征提取得到的车道线特征点集，虽然已通过局部灰度阈值和边缘匹配方法排除了部分车轮印记、路面阴影等干扰，但依然存在部分由栅栏和车辆等带来的噪声。另一方面，车道线特征点仅包含特征位置、特征宽度和特征灰度等信息，而除此之外，车道标记线还有方向这一重要参数，这是离散的特征点所不能具备的。因此，提出基于直线约束的特征点聚类方法，不但可以有效排除干扰，还能进一步获得车道线方向信息，为后续车道线拟合提供更准确和更全面的输入。

令特征点F(x,y,w,g)表示基于边缘分布方法提取的特征点，(x,y)为特征位置，w为特征宽度，g为特征灰度。特征段B(xs,ys,xe,ye,k,b,w,n)表示由一系列特征点组成的车道标记线段信息，其中，(xs,ys),(xe,ye)分别为特征段起始和终止位置，k、b为特征段的直线拟合参数，w为特征段平均特征宽度，n为特征段中包含的特征数量。新的特征段由于缺少先验知识，只能通过车道线连续性判断特征点是否属于特征段。但是对于具备一定特征数量的特征段，则可根据已有的特征点预估特征段方向，更准确地匹配特征点。因此定义Nf为拟合阈值，分两种情况进行特征段匹配。

3.1 车道线连续性匹配

当特征段包含的特征点数少于Nf时，通过车道线位置、车道线宽度的连续性来进行匹配。首先，特征点与特征段终止位置在纵向上的间隔应小于设定阈值，即

|F(y)-B(ye)|

(7)

式中：rM为最大纵向间隔，其值随纵向距离增加而减少。其次，特征点与特征段终止特征点的宽度应该具有一定的重叠，以保证属于特征段在横向上的连续性，也即

|F(x)-B(xe)|<(F(w)+B(w))/3

(8)

式(8)要求特征点与特征段终止位置的横向距离小于其宽度之和的1/3，该距离随纵向距离的增加而减小。此外，特征段中的特征点宽度相似，且随距离增加而减少，即

sm·B(w)

(9)

式中：sm和sM分别为最小宽度系数和最大宽度系数。根据上述匹配准则进行特征点-特征段匹配的结果如图7所示。

图7中灰色区域为特征宽度，黑色方块为特征中心位置，黑色方块中数字表示该特征所属的特征段编号。可以看出，由于编号为2的特征点与底部编号为1的特征点不满足横向距离连续性约束，因此与特征段1不匹配。特征点3虽然与特征段1满足纵向和横向位置连续性约束，但其宽度明显远大于特征段1，因此同样与特征段1不匹配。若特征点满足式(7)～式(9)所示约束，则计算其匹配误差为

e=w1·(|F(x)-B(xe)|+(F(w)-B(w)))

(10)

式中：w1为误差权重，取为1.2。

3.2 直线约束匹配

若新特征段特征点数不小于Nf，则认为特征段已经包含的特征点可以表示特征段方向，采用最小二乘法拟合特征段直线参数，并根据特征点与特征直线的距离来判断横向位置的连续性。令特征段的拟合直线方程为

x=B(k)·y+B(b)

(11)

式中：(x,y)为特征段中的特征点坐标；n为特征点数量。横向位置约束修改为

|F(x)-B(k)·F(y)-B(b)|

(12)

式中：d为特征点最大偏移距离。由于图像透视效应，d随距离增加而减小。采用该约束的特征匹配结果如图8所示。

若采用式(8)基于横坐标距离的判据，第一行中标记为2的特征点与特征段的横向距离小于标记为1的特征点，该特征点将会被添加到特征段中，这显然是不符合车道线分布特性的。而通过特征段1底部4个特征点可以得到其拟合直线，即图中的灰色直线。若车道线为理想直线，则其在第一行中的特征点应位于黑色圆形所在位置。显然右侧特征与该理想点的距离更小，因此右侧特征点将会被添加到特征段1中。对满足连续性约束的特征段，其匹配误差为

e=w2·(|F(x)-B(xe)|+(F(w)-B(w)))

(13)

与式(10)相比，特征点在这种情况下匹配的可信度更高，因此误差权重w2更小，本文中取w2=1.0。当特征点同时与多个特征段匹配时，根据匹配方式的不同，采用式(10)或式(13)计算相应的匹配误差，选择匹配误差最小的特征段作为匹配结果，并将该特征点添加到这个特征段中。若特征段包含的特征点数量大于设定阈值，则将之作为有效特征段，最终得到的聚类结果如图9所示。

4 实验结果

为验证该方法的有效性，选择不同工况下采集的道路图像组成测试库，测试车道标记线识别效果。记识别的特征点中有效的车道标记线特征数量为TP，不是有效车道标记线特征的数量为FP，则TP的大小表示特征提取算法对车道线特征的检测效果，TP越大，检测率越高。而另一方面，TP的增大通常也会导致FP增大，因此采用正确因子来评价检测结果中有效特征的占比，即

(14)

手动标记出测试库中车道线的位置，若检测的特征点在车道线内，则认为是一个有效的特征点，反之则为误检测。图10为4种不同工况下的车道标记线检测和聚类结果，可以看出，所提出的车道标记线检测方法在存在大量阴影、强烈反光和车轮印记时也能有效检测到车道标记线。通过特征聚类处理，大部分误识别结果都被消除，且特征段方向与车道标记线一致，能够反映车道标记线的位置和方向。

将上述工况下分别采用sobel算子，本文中提出的特征提取方法，以及该方法加特征聚类提取车道标记线特征，统计其TP和ε结果见表2和表3。

从表2和表3中可以看出，3种方法的有效特征数量相当，但是在复杂工况下，本文中采用的特征提

表2 有效特征数量TP

表3 正确因子ε

取方法正确因子ε更高，加入聚类处理后，正确因子有明显提升，虽然TP值略有下降，但仍然维持较大的数值，可见基于边缘匹配和特征聚类的车道标记线检测方法在保证特征检测率的基础上，能有效排除误检，提高后续车道线识别的精度和稳定性。

5 结论

提出一种基于边缘分布及特征聚类的车道线标记线检测方法，首先采用可变窗口计算车道线局部灰度阈值，结合图像梯度提取出有效边缘。根据不同工况下车道标记线的边缘分布特性，把车道标记线分为4类，分类进行边缘分布匹配，提取车道标记线特征点。然后利用车道线连续性对特征点进行聚类处理，将特征点归类为不同的直线段，进一步排除离散的特征点，为后续的车道线拟合提供车道标记线方向信息，提高拟合精度和稳定性。实验结果证明，该方法在各种工况下都能检测出车道标记线，其聚类结果可排除大量干扰，且能准确表示车道标记线位置和方向，为后续车道线识别提供充分支持。

[1] Liu Jingfu, Su Yifeng, Ko Mingkuan, et al. Development of a Vision-Based Driver Assistance System with Lane Departure Warning and Forward Collision Warning Functions[C]. Proceedings of Digital Image Computing: Techniques and Applications, Canberra, ACT, December 1-3,2008:480-485.

[2] 陈军,赵玉凡,徐友春,等.基于启发式搜索的车道线识别算法研究[J].计算机工程与应用,2007,43(31):206-209.

[3] Truong Quoc Bao, Lee Byung Ryong, Heo Nam Geon, et al. Lane Boundaries Detection Algorithm Using Vector Lane Consept[C]. Proceedings of the 10th International Conference on Control, Automation, Robotics and Vision, Hanoi, Vietnam, December 17-20,2008:2319-2325.

[4] 郭磊.基于机器视觉的智能汽车行驶环境感知系统[D].北京:清华大学,2007.

[5] 周欣,黄席樾,刘涛,等.高速公路分道线识别与重建[J].重庆大学学报,2003,26(8):52-55.

[6] Evangeline Pollard, Dominique Gruyer, Jean-Philippe Tarel, et al. Lane Marking Extraction with Combination Strategy and Comparative Evaluation on Synthetic and Camera Images[C]. Proceedings of 14th International IEEE Conference on Intelligent Transportation Systems, WashingtonDC, USA. October 5-7,2011:1741-1746.

[7] Apostoloff N, Zelinsky A. Robust Vision Based Lane Tracking Using Multiple Cues and Particle Filtering[C]. Proceedings of IEEE Intelligent Vehicles Symposium, June 9-11,2003:558-563.

[8] Chen Chao, Wang Junzheng, Chang Huayao, et al. Lane Detection of Multi-visual features Fusion Based on D-S Theory[C]. Proceedings of 30th Chinese Control Conference, Yantai, China, July 22-24,2011:3047-3052.

[9] Thomas Veit, Jean-Philippe Tarel, Philippe Nicolle, et al. Evaluation of Road Marking Feature Extraction[C]. Proceedings of the 11th International IEEE Conference on Intelligent Transportation Systems, Beijing, China, October 12-15,2008:174-181.