成像模型约束非均匀B样条曲线拟合车道线检测

穆柯楠，王会峰，赵祥模

(1.长安大学 电子与控制工程学院，陕西 西安 710064；2.长安大学 信息工程学院，陕西 西安 710064)

0 引言

当前无人驾驶技术是智能交通领域的研究热点，国内外众多科研院所、企业的大量科研投入大大推进了无人驾驶技术的迅猛发展。车道线作为车辆进行车道保持、变道等驾驶行为的必要信息，是无人车行车环境感知中的一项重要环境数据，因此车道线检测方法的性能优劣对无人车环境感知系统性能乃至整个无人车驾驶系统的安全性有着不可忽视的影响。

车道线检测的主要目的是从视频图像中提取车道线的位置信息。目前常用的车道线检测方法大致可分为基于区域、基于特征和基于模型3类[1-3]，其中基于模型的车道线检测方法通常基于结构化道路的车道线走向可用特定的数学模型来逼近这一思想，针对直线型、抛物线型、蛇型等不同走向的车道线采用直线、抛物线、双曲线、样条曲线等数学模型来拟合，从而在保证车道线检测准确性的同时大大降低检测成本[4-10]。样条曲线由分段多项式表达，可精确拟合任意形状的曲线，因此在车道线检测中得到了广泛应用[11-14]。Berriel等[15]深入研究了B样条曲线在描述更广泛类型车道线曲线拟合中的应用。Cao等[11]基于三阶B样条曲线模型，采用随机样本共识算法对车道线的曲线进行拟合，并对曲线进行了拟合评估和曲率半径计算。唐涛[12]在车道线特征点聚类的基础上，为更好地描述高速公路车道线形状，采用三次B样条曲线作为车道线模型。周慧子等[13]利用三次样条曲线的二阶连续性，结合已知的车道信息实现了车道线检测。穆柯楠[14]进一步考虑非均匀B样条曲线在描述车道线方面的优越性，在根据车道线边缘信息确定样条曲线控制点的基础上，制定车道线分类策略，基于非均匀B样条(NUBS)曲线模型匹配实现了车道线的检测、分类与跟踪。Li等[16]采用二进制粒子群优化求解B样条曲线模型参数实现了车道线检测。张嘉明等[17]分区域对车道线边缘点进行Hough变换来拟合直线，根据分区中的直线确定控制点并使用三次均匀B样条曲线拟合了车道线。分析以上研究可知，控制点的确定是B样条曲线拟合车道线的关键，然而车辆遮挡、树荫、建筑物阴影、路面破损等干扰，为模型控制点的提取增加了不少难度，从而影响车道线拟合的准确性甚至导致拟合失败。

针对上述问题，本研究在“相机光轴与道路平面平行”及“左右车道线平行”的假设基础上，提出一种成像模型约束下的非均匀B样条曲线拟合车道线检测方法，在相机几何成像模型的基础上，推导车道线-相机成像模型约束下的控制点估算模型，从而提高非均匀B样条曲线控制点提取方法的鲁棒性，准确拟合出车道线。

1 车道线边缘检测

考虑到车道线图像采集过程中可能存在的环境亮度变化、相机抖动等因素造成图像灰度分布不均、模糊、噪点等现象，在进行车道线边缘检测之前，首先对图像进行中值滤波以减少椒盐噪声，然后进行直方图均衡化处理以增强图像的亮度和对比度，从而突出边缘特征。

由于结构化道路的车道线通常由边界清晰的连续直线、曲线或短划线构成，因此采用Canny边缘检测算子提取图1(a)所示的车道线的边缘特征，结果如图1(b)所示。为在提高边缘连续性的同时降低背景干扰，得到更为纯净的车道线边缘图像，对车道线边缘图像进行如下2步后续处理。

图1 车道线检测结果Fig.1 Lane marking detection result

(1)形态学处理：弥合间隔小于3的边缘线段，以提高边缘连续性。

(2)Hough直线检测：结合“近视场的车道线边缘呈直线型”的特点，对车道线边缘图像进行Hough直线检测(图1(c))，只保留那些包含直线检测结果的边缘，据此进一步消除那些由背景建筑、树荫、障碍物、路面孔洞、裂缝等形成的干扰边缘。经上述2步处理得到的车道线边缘如图1(d)所示。

2 基于成像模型的非均匀B样条曲线车道线拟合

控制点确定是采用B样条曲线模型进行车道线拟合的重要环节。为了降低车辆遮挡、树荫、建筑物阴影、路面破损及各种非车道线路面标线对控制点确定造成的干扰，基于相机几何成像模型，在“相机光轴与车辆行驶道路平面平行”及“左右车道线平行”的假设基础上，提出一种成像模型约束下的控制点提取方法，从而实现车道线拟合。

2.1 成像模型约束建立

已知世界坐标系(x,y,z)和图像坐标系(u,v)。如图2所示，已知相机最大水平视角为α，最大垂直视角为β，相机安装位置在世界坐标系中的坐标为C(d,0,h)，其中h为相机安装高度，即相机在世界坐标系z轴上的值，d为相机安装水平偏移，即相机在世界坐标系中x轴上的值。相机光轴与车辆行驶道路平面平行，与车道线夹角为γ。根据相机几何成像模型，可知世界坐标系中路面上某点P(x,y,0)与图像坐标系中相对坐标点Q(u,v)的映射模型为[18]：

图2 相机在世界坐标系中的位置示意图Fig.2 Schematic diagram of camera’s position in world coordinate system

(1)

(2)

(3)

(4)

式中HI和WI分别为相机成像后图像的水平、垂直分辨率。

根据相机成像原理可知，成像后图像中车道线线段长度是随着世界坐标系中车道线线段与相机距离的增加而缩短的，即在世界坐标系中路面上长度相等的车道线线段，在近视场中成像得到的车道线线段较长，而在远视场中成像得到的车道线线段较短。同理，在世界坐标系中路面上相同的左右车道线间距，在近视场中成像得到的车道线间距较宽，而在远视场中成像得到的车道线间距较窄。根据这一成像事实，结合前述相机成像模型，可推导出在世界坐标系中长度为Δy的车道线线段对应的图像坐标系中第u列中的线段长度Δv为：

(5)

式中Δy=yi+1-yi；yi+1和yi分别为线段Δy两端点的纵坐标。

而在世界坐标系中，宽度为Δx的左右车道线间距对应的图像坐标系中第v行中的间距宽度Δu为：

(6)

2.2 非均匀B样条曲线控制点提取2.2.1 非均匀B样条曲线模型

样条曲线的数学模型由分段式多项式表达，各子式所对应曲线之间的连接点称为控制点。当采用样条曲线模型进行车道线拟合时，需通过确定控制点来对当前车道线对应多项式的参数进行估计，从而求解出曲线模型。B样条曲线数学模型如下[19]。

假设B样条曲线S由n+1个控制点集合{P0,P1,…,Pn}构成，则曲线S上的各点满足：

(7)

式中，Bi,m(o)为基本B样条函数，2≤m≤n+1；tmin≤u≤tmax，tj(j=0,…,i+m)为节点，当各节点tj之间等距时，称该B样条曲线为均匀B样条曲线，否则为非均匀B样条曲线。

非均匀B样条曲线的数学模型表达过程比均匀B样条曲线复杂，但前者能够更准确地表达和重构各种形状的车道线曲线且拟合结果鲁棒性更高，因此采用非均匀B样条曲线模型进行车道线拟合。

2.2.2 控制点确定

为了求解NUBS曲线模型参数，需要首先确定合适的控制点。采用的控制点确定方法为：从车道线边缘图像底部开始，以“对应世界坐标系中Δy的长度”在图像中按成像模型约束设置扫描线，每条扫描线与左右车道边缘的交点即为1对控制点，如图3所示。该过程的数学描述如下：从车道线边缘图像底部开始，在vi行设置水平扫描线Linei(1≤i≤m)，在Linei与左右车道线的交点处得到控制点对(Li,Ri)，其中Li的坐标为(ui,vi)，Ri坐标为(u′i,vi)。由于车道线在图像中整体呈纵向延伸趋势，各控制点对的纵坐标依次减小，该趋势不受相机光轴与车道线夹角γ影响，因此为简化计算过程忽略γ的值，根据成像模型约束定义vi计算式为：

图3 控制点确定过程示意图Fig.3 Schematic diagram of control point determination process

(8)

根据式(2)，(4)，(5)，再推导出：

(9)

式中v1和Δv1为预设值。将式(9)代入式(8)即可依次求出vi的值。由此可求出第i条扫描线Linei所确定的控制点纵坐标等于vi。从扫描线中点分别向左右两边搜索边缘点，得到的第1对扫描线与左右车道线的交点即为控制点，进而可得知该控制点对的横坐标，从而确定其坐标(ui,vi)(u′i,vi)。

图4和图5所示的不连续车道线边缘的控制点确定过程如图6所示。由于背景干扰导致左车道线边缘部分缺失或者虚假边缘，扫描线Line 2与左车道线无交点或存在错误交点，从而导致控制点定位失败。为了正确拟合车道线，需要计算出正确的控制点横坐标。针对上述问题，在前述控制点确定方法的基础上，结合“左右车道线平行”的假设，求解第i条扫描线Linei所确定的控制点Li和Ri的横坐标ui和u′i。根据成像模型约束及式(6)推导出Δui+1与Δui的关系式为：

图4 因车辆遮挡导致车道线边缘不连续的情况Fig.4 Cases of discontinuity of lane marking edge caused by vehicle occlusion

图5 左车道线为虚线导致车道线边缘不连续的情况Fig.5 Cases of discontinuity of lane marking edge caused by left dashed lane marking

(10)

u′i=ui+Δui，

(11)

式中相机光轴与车道线夹角γ的计算式为[20]：

(12)

图6 考虑不连续或虚假边缘情况的控制点确定过程示意图Fig.6 Schematic diagram of control point determination process considering discontinuity or false edge

2.3 车道线拟合

由2.2节所述控制点确定方法得到了车道线边缘控制点信息，就可利用NUBS插值方法对左右车道线进行拟合。根据NUBS插值法可知：若已知m(m≥3)对控制点，则车道线可用m-1阶多项式函数进行拟合；若能够确定4对控制点，则可采用三阶多项式函数进行NUBS插值从而拟合出车道线；若只确定了3对控制点，则可采用二阶多项式函数拟合车道线。

图7为对一幅车道线图像进行NUBS车道线拟合的结果。图7(b)共设置了5条扫描线，确定出5个左车道线控制点分别为{(140,21), (120,46), (100,78), (80,117), (57,167)}；4个右车道线控制点分别为{(172,21), (193,46), (216,78), (245,117)}。然后根据NUBS插值算法，采用三阶多项式函数进行NUBS插值，得到的拟合曲线显示在图像坐标系中,如图7(c)所示。

图7 车道线拟合结果Fig.7 Result of lane marking fitting

图8为对一幅左车道线部分缺失的车道线图像进行NUBS车道线拟合的结果。图8(b)共设置了5条扫描线，确定出3个左车道线控制点分别为{(15,167), (39,117), (59,78)}；5个右车道线控制点分别为{(253,167), (213,117), (181,78), (155,46), (134,21)}。根据式(10)～(12)估算出左车道线缺失的2个控制点坐标分别为(75,46)，(88,21)。然后根据NUBS插值算法，采用四阶多项式函数进行NUBS插值，得到的拟合曲线显示在图像坐标系中如图8(c)所示。由于该图中左右车道线近似直线,因此控制曲线与拟合曲线高度重合。

图8 左车道线边缘部分缺失情况下的车道线拟合结果Fig.8 Lane marking fitting result in the case of part of left lane marking edge is missed

3 试验结果及分析

验证算法性能所采用的图像数据库由卡内基梅隆图像数据库中的车道线标准图像库(以下简称CMU，共160帧，图像大小240×256)及长安大学“信达号”智能车采集的车道线图像样本集(以下简称CAU，共525帧，图像大小204×745)构成，其中包含受树荫干扰、路侧设施阴影干扰、障碍车辆遮挡的车道线及虚车道线等情况。根据车道线受干扰程度不同，将图像库分为I，II，III，IV共4个等级，等级越高车道线受干扰越严重，划分结果见表1。试验参数设置：扫描线数量为5，即i∈(1,5)，v1=0，Δv1=20。根据不同图像库中图像大小，可手动预设扫描线数量和Δv1的值，并根据式(8)～(9)计算得到各扫描线位置。不同的参数设置决定扫描线的数量和位置，扫描线数量越多，车道线拟合结果越逼近真实车道，但带来的计算量也越大。算法程序基于MATLAB R2017a开发，运行环境为：操作系统Windows 10，CPU Intel (R) i7，主频2.8 GHz，内存8 GB。

表1 根据受干扰程度得到的图像数据库划分结果(单位：frame)Tab.1 Image database division result based on degree of interferences (unit: frame)

采用本研究算法对I，II，III，IV共4种干扰等级的图像进行车道线检测的部分结果见图9。图9(a)为图像无干扰(I类图像)情况下的车道线检测结果，图9(b)为左右车道线被障碍车辆遮挡(II类图像)情况下的车道线检测结果，图9(c)为存在转向标志干扰(III类图像)情况下的车道线检测结果，图9(d)～(e)为左右车道线被大量树荫遮挡(IV类图像)情况下的车道线检测结果。从试验结果的直观展示可看出，本研究算法的检测结果对不同等级的干扰具有较高的鲁棒性。然而如图9(e)所示，由于阴影边缘干扰导致扫描线Line 3左右控制点定位失败，Line 5左控制点定位失败，右控制点定位错误。采用本研究算法定位出4个左车道线控制点和3个右车道线控制点，且定位误差较大导致拟合效果不佳。

图9 部分典型图像的车道线检测结果Fig.9 Lane marking detection result based on some typical images

为进一步全面验证论文算法的性能，将本研究算法与其他2种相关性较大的算法在检测率、检测精度和实时性进行对比。算法1仅基于第2节所述边缘检测算法进行车道线检测；算法2在第2节所述边缘检测算法基础上采用传统NUBS算法进行车道线检测；算法3即为本研究算法，即在第2节所述边缘检测算法基础上，采用成像模型约束的NUBS改进算法进行车道线检测。表2为3种算法的性能指标对比结果，其中检测率定义为实际定位到的控制点数量与应定位到的控制点数量之比：

(13)

式中k∈{1,…,K}，K为I，II，III，IV 4种干扰等级的图像总帧数；Mk为第k帧图像中实际定位到的控制点数；Nk为第k帧图像中应该定位到的控制点数。

检测精度为正确定位的控制点数量与实际定位到的控制点数量之比：

(14)

式中Qk为第k帧图像中正确定位到的控制点数。

本研究算法中认为定位误差在±5个像素位移的控制点是正确定位的。考虑到实时性受图像尺寸的影响较大，表3中对以上种算法处理4种干扰等级的图像时的运算时间分别进行了统计对比。通过分析表2和表3可以得到如下结论：

表2 算法1，2和3的检测率和检测精度结果对比(单位：%)Tab.2 Comparison of detection rates and detection accuracies among algorithm 1, algorithm 2 and algorithm 3 (unit: %)

表3 算法1，2和3时间成本对比结果Tab.3 Comparison of time costs among algorithm 1, algorithm 2 and algorithm 3

(1)算法3的检测率最高。这是由于一些采用算法1和2可能定位失败的控制点，通过算法3中式(10)～(12)可以估算进而成功定位。算法1和2的检测率相等，这是因为2种算法的控制点定位均完全依赖于章节2所述的边缘检测算法，导致一些控制点因干扰而定位失败。

(2)检测精度随着图像干扰等级的升高而降低，而算法3与算法1和2相比检测精度最高。

(3)算法3的实时性最低。这是由于算法3包含的数学运算最多，但该实时性可以通过算法编写优化和硬件升级实现大幅度提升从而满足实时性应用需求。

(4)3种算法处理CAU图像库的时间成本均高于处理CMU图像库的时间成本，这是由于CAU图像库中的图像尺寸较大。对同一种算法而言(如算法3)，处理干扰等级III和IV图像所需的时间略低于处理干扰等级I和II的图像所需的时间。这是由于随着干扰等级的增加，实际定位到的控制点数量呈减少趋势，计算量减少从而运算时间减少。

4 结论

非均匀B样条曲线因可精确拟合任意形状的曲线而在车道线检测中得到了广泛应用。影响样条曲线模型拟合车道线准确性的关键因素是控制点的确定。然而车辆遮挡、树荫、建筑物阴影、路面破损等干扰为控制点的提取增加了不少难度，从而影响车道线拟合的准确性甚至导致拟合失败。本研究在“相机光轴与道路平面平行”及“左右车道线平行”的假设基础上，提出一种成像模型约束下的非均匀B样条曲线拟合车道线检测方法。通过对I，II，III，IV 4种受干扰等级的图像进行车道线检测，对检测结果进行检测率、检测精度和实时性3个指标计算及同其他2种相关算法的对比验证了本算法的综合性能。试验结果分析表明，本算法能够显著提高B样条曲线控制点检测率和检测精度，从而提高算法的检测成功率和对干扰的鲁棒性。由于算法基于上述2个假设提出，该算法不适用于车道线急转弯、路面明显起伏和横向车道线等使得假设不成立的情况。因此本算法的适用场景主要为无急转弯、坡道、交叉路口的普通高速公路和城市环线等。后续研究工作包括：(1)优化算法提高运行效率；(2)算法在长安大学“信达号”无人车感知处理模块的集成；(3)增加多特征融合机制以提高算法在不同天气条件下车道线检测的鲁棒性。