基于消失点的非结构化道路识别及导航预警

丁伟利，李 勇，王文锋



基于消失点的非结构化道路识别及导航预警

丁伟利a，李 勇a，王文锋b

( 燕山大学 a. 电气工程学院；b. 车辆与能源学院，河北秦皇岛 066004 )

针对非结构化道路图像，本文提出了一种基于消失点信息的道路检测及智能预警算法。算法首先利用直线信息、竖直包络线分割、分组策略及聚类算法估计道路图像的消失点；然后基于消失点信息利用边界多特征软投票的方法提取道路区域；最后，根据非结构化道路区域的特点提取导航线，并根据汽车偏航角、偏航距离及偏航时间制定预警决策方案，从而对车道偏离智能预警。实验结果表明，本文提出的算法能快速有效的提取非结构化道路的道路区域，同时，根据预警参数可以有效的进行车道偏离预警。

机器视觉；消失点；道路检测；智能预警

0 引 言

基于单目视觉的智能导航与预警是汽车辅助驾驶、机器人导航以及无人驾驶的关键技术，具有广泛的应用价值，而车辆的智能导航、预警等都依赖于道路的准确提取[1-2]。目前，国内外学者已经提出了大量算法。大体可分为基于道路边界和基于区域分割两种算法。基于道路边界的方法主要利用边缘、颜色等特征提取道路的边界线或消失点获取道路区域。如：He[3]等人利用车道线的颜色信息和边界线投票方法进行城市道路区域检测；王科[4]等人利用图像逆透视变换及相机参数，提出了基于不定Bezier变形模板的城市道路检测算法。而对于非结构化道路，Konghui[5]等人利用Gabor小波提取道路图像的纹理信息，进行消失点估计，再基于消失点利用纹理、颜色等信息进行投票提取道路区域。基于区域分割的算法[6-7]主要通过对道路图像进行区域分割聚类等方法，再利用道路的颜色、纹理等多特征信息融合，将道路区域分割出来。如方浩[6]等通过对道路图像进行过分割、区域融合，进而利用区域空间位置的相邻性以及小波纹理特征的相似性，将过分割区域再融合提取道路区域。

目前，大多数算法主要针对高速公路以及车道线明显的结构化道路进行道路偏航预警，如戴斌[8]等提出利用逆透视投影对车道线进行估计，从而对车道偏离时间进行在线估计；吕柯岩[9]等通过对图像预处理，利用基于相位编组的改进Hough变换RHT进行车道线检测，并根据偏离车道线的情况及偏离时间进行预警决策；这些方法一般通过对图像滤波、边缘检测等预处理进行边界线检测，从而根据车道线对高速公路等结构化道路环境进行偏离预警，算法预警策略比较单一。目前对非结构化道路的导航及偏航预警的研究一般是针对农机具，缺乏广泛的实用性，如高国琴[10]等人利用颜色特征信息，引入K-means聚类分割，并利用Hough变换拟合出导航线。在军事应用中，军车导航多数在环境较为复杂的非结构化道路中行驶，此外，在无人驾车中，为了使无人车具有更广泛的适用性，对非结构化道路进行导航也十分必要。

针对以上问题，本文对非结构化道路的检测、导航与偏离预警进行了研究，提出了一种基于消失点的非结构化道路检测及智能预警算法。算法首先计算图像道路区域的直线信息，估计道路消失点，再根据消失点信息进行边界软投票，从而提取道路区域。然后，定义非结构化道路的导航线，并根据导航线信息及针孔摄像机成像模型进行参数求解，制定预警模型，从而对车道偏离进行智能预警。

1 消失点估计

在文献[11-12]中，提出了基于垂直包络线的消失点检测算法，其过程分为三步：

1) 直线检测：按文献[12]进行直线检测，检测的直线记为：，其中表示图像中包含的直线个数。

2) 基于竖直包络线提取道路区域直线：定义道路三角形为，利用文献[11]中方法检测竖直包络线(如图1中的蓝线所示)，将图像粗略分割为道路区域、竖直区域和天空区域(如图1)，进而获取道路区域中的所有直线，假如为道路区域直线数量，则道路直线组定义为

(2)

图1 竖直包络线

2 基于边界软投票的道路检测

2.1 候选道路边界线提取

首先，在如图2所示的图像坐标系中，分别计算两组道路区域直线中的每条直线的中点的横坐标距图像边界线的距离M1和G2={l}(1<≤k2)中的每条直线的中点的横坐标距图像边界线=的距离M2。然后，按照以下判据对道路区域直线进行筛选：

其中：G1和G2即为筛选后的道路边界线，1和2分别为M1和M2的标准差，S1和S2判别式如下：

(4)

图2 道路边界及交点提取(a) 边界线与图像边界交点在图像内; (b) 边界线与图像边界交点在图像外

2.2 基于软投票的边界选取

本文采用多信息融合的边界软投票方法，分别对两组道路区域候选边界线按以下规则投票：

区域颜色亮度投票规则：将彩色图像I转换成HSV模型，并定义V分量为HSV。对任意筛选后的道路边界直线，分别提取该直线两端弧度大小为5°的弧形区域，每个区域的平均亮度为

其中：mean( )为求平均值的函数，则投票函数为

(6)

直线角度投票规则：对任意筛选后的道路边界直线，定义该直线方向为，且直线上的每个点的坐标表示为：，其中为该直线段的长度。角度投票函数为

直线长度投票规则：对于任意一条筛选后的道路边界直线，该直线的长度为，图像对角线长度的一半为，则直线长度投票函数为

(8)

基于以上投票函数，分别得到两组边界线的投票结果，并定义每组投票数最大的直线为边界线，即：

(10)

其中：l为G1中边界线第l条直线，r为G2中边界线第r条直线。本文设置。

2.3 全局道路区域提取

基于上述投票方法获得两条边界线后，利用最小二乘法将其拟合成两条直线，即l和r。两条道路边界线交于消失点，如图2(a)，直线l和r分别与图像边界直线分别交于点l(l，)和r(r，)。如图2(b)，当l<0，左侧边界线与交于点，且与图像边界线=0交于点l(0，l)，由于点超出图像范围，因此左侧交点取l；当r>，右侧边界线与交于点，且与图像边界线交于点r(，r×+r)，由于点超出图像范围，因此右侧交点取r。两条边界线lc和rc与图像边界线包围的区域即为道路区域ROI，如图2中的红色区域。

3 基于道路导航线的智能预警

3.1 道路导航线及偏航角度计算

如图3所示，点为光心在图像中所对应的位置即主点。方向为道路行驶的方向，c和c为道路的两条边界线，区域Dc为本文提取的道路区域，c为道路中心线，夹角T为道路中心线与行驶方向的夹角，本文定义该夹角为偏航角，道路导航线(中心线)方程设为：=c×+c，方程参数求解如下：

其中：消失点坐标为(V,V)，点坐标为(C,C)=(l(,)+r(,))/2。通过求解摄像机的焦距及主点的坐标(X，Y)。由图3可知，直线与c的交点为，由于、为图像的中心线上的点，同时，为c上的点，为图像中直线上的点，因此，点的坐标为(X，c×X+c)，点坐标为(X，)。从而，得到直线和的长度，即L=X×(1-c)-c，L=C-X。由此可知，偏航角T求解如下：

(12)

图3 道路导航线及偏航距离求解模型(a) 道路成像面模型; (b)针孔相机成像模型

3.2 车头距汽车行驶方向的道路边界线距离及偏离时间计算

在单车道道路情况下，本文定义道路中心为汽车的导航线，即引导汽车行驶的线。因此，导航线c与当前汽车行驶的方向线的夹角T，结合汽车行驶的参数进行道路偏航的智能预警。参数计算如下：

Step 1)：设置摄像机外参：本文规定摄像机安装在汽车前方挡风玻璃的正中央，摄像头距离地面高度为，即ho，摄像头轴线与路面的水平面的夹角为，即∠o¢。

Step 2)：对于摄像机内部参数，利用文献[13]的标定方法，求解摄像机的焦距即o。

Step 3)：根据道路边界线方程求解行驶方向线与道路边界的交点坐标，本文以左侧边界线为例，即汽车为向左偏离。左侧道路边界的直线l与行驶方向线o相交于点，求解可得(o,l×o+l)。

Step 4)：求距离h¢=×tan(∠ho¢)。其中：

已知汽车行驶速度v(m/s)，车头距行驶方向道路边界线为h¢，本文假设汽车行进时，车轴相对地面的速度是v(m/s)，车轮最上面那一点相对地面的速度为0=2v(m/s)。则车轮偏离时间与车轮转速的关系为

(14)

3.3 智能预警决策方案

如图3所示，图中道路方向为c，行驶方向为，因此，该图为向左偏航的情况，此时L<0，所以T<0。即：当T<0时，为左偏；T>0时，为右偏。本文定义当|T|<T时进行偏离预警，T为偏离预警角度阈值。根据人工驾驶经验可知，即便是熟练的驾驶员也并不是一直沿车道中心行驶，而且会有一定的偏离，只要在一定的偏离范围内，则认为是合理的偏离角度[8]。由于车道偏离系统不同于紧急制动情况，只要车道偏离的预警时间能够使驾驶员对汽车及时的进行调整即可，考虑到本文的距离及时间的计算是估计值，并且预警时间阈值较小容易造成误判，为使预警更加有效，本文参考现有研究结果，规定当车速v<12 (m/s)时，提前0.5 s(p<0.5 s)对道路偏离进行报警，当v>12 (m/s)时，提前1 s(p<1 s)进行偏离预警，并通过T的正负判断偏离方向，对驾驶员进行智能预警。

4 实验结果与分析

4.1 道路检测结果及分析

为了检验提出算法的性能，本文对Konghui[5]提供的道路数据库以及实际拍摄的非结构道路图像进行分析，选择138幅道路图像作为样本，并将其标准化为图像大小180×240，在CPU 3 GHz的计算机，Windows 7环境下，利用Matlab2010(b)进行仿真实验，其中，100幅非结构化道路图像(单车道道路83幅)，38幅复杂城市道路图像。本文与Konghui算法和文献[7]算法进行了仿真实验与对比分析。图4为部分道路检测结果对比，其中(a)、(b)、(c)中的第一、二和三行分别为本文算法、Konghui和文献[7]算法的检测结果。图4(a)为道路状况较为复杂的非结构化单车道道路，图4(b)为非结构化单车道道路。由4(a)和4(b)可知，本文算法能够较为准确的检测出非结构化道路区域，多幅图像用Konghui的算法检测的道路区域偏多或者偏少。由图4(c)可知，本文算法也能检测结构化道路图像中的全局道路区域。与文献[7]相比，本文算法稳定性更好，而文献[7]对一些复杂道路图像存在大量漏检和过检现象。

图4 道路检测结果图

此外，本文对光照强度不同的图像和不同的道路场景进行了测试，如图5、图6。图5中的第一、二、三行分别为本文、Konghui和文献[7]算法的检测结果。由图5可知，在亮度明暗不同的各类场景中，本文算法依然有效，且道路提取的效果好于Konghui与文献[7]算法。因此，不同的光照场景对本文算法影响较小。由图6可知，本文算法可有效提取不同道路场景中的道路区域，对不同情形的车道具有较好的适用性。

图5 不同光照场景下道路检测结果(a) 不同光照场景下非结构化道路; (b) 不同光照场景下城市道路

图6 不同道路类型的检测结果(a) 道路较宽; (b) 道路较窄; (c) 道路有起伏; (d) 道路区域有行人; (e) 沙漠道路

为定量说明所提算法的准确性，本文统计了40幅非结构化道路图像，利用本文算法与Konghui算法和文献[7]算法进行道路识别的正确率(pr)以及错误率(pr)对比。由图7可知，本文算法的道路识别正确率(具体计算方法见文献[14])高于Konghui算法和文献[7]算法，而道路识别错误率(具体计算方法见文献[14])低于Konghui算法和文献[7]算法。具体而言，本文算法道路识别正确率平均值(见图7(a)实线)为93.04%，道路识别错误率平均值(见图7(b)实线)为8.82%，而Konghui算法道路识别正确率平均值(见图7(a)点画线)为88.57%，道路识别错误率平均值(见图7(b)点画线)为12.16%。文献[7]算法道路识别正确率平均值(见图7(a)虚线)为92.93%，道路识别错误率平均值(见图7(b)虚线)为11.49%。此外，本文还统计40幅图像不同算法的道路检测所用的时间，并进行对比，对比结果如图7(c)所示。由图7(c)可知，本文算法效率于与文献[7]算法相差不多，但本文算法效率是Konghui算法效率的40倍以上。

4.2 导航线提取及车道偏离预警结果与分析

本文选择了40幅典型的非结构化道路图像进行了导航线提取，并计算了导航线及偏航角的参数。如图8所示，其中第一行红色直线为手动标记导航线，第二行红色区域为本文算法提取的道路，蓝色直线为本文算法提取的导航线。由图可知，本文算法提取的导航线与手动提取的导航线偏差较小。为进一步验证本文提取导航线与真实导航线的误差及车道偏离预警中的偏航角的准确性，本文计算了图8中利用所提算法提取的导航线与真实导航线的直线参数及偏航角，如表1所示。其中，为导航线的斜率，为导航线的截距，T为导航线的偏航角。由表可知，的误差在2.5以内，偏航角误差在5°以内，误差范围是在可接受的范围内，因此，本文算法对导航线提取以及车道偏离预警的偏航角求解可以满足要求。表1与图8对比可知，每幅图像的导航线及偏航方向与所求值相对应。

图8 导航线检测结果图

表1 导航线参数

5 结 论

本文提出了一种针对非结构化道路的基于消失点信息的道路检测及智能预警算法。算法对大多数非结构化道路和结构化道路的道路提取具有良好的效果，运行速度是经典的Konghui算法的30倍以上，道路提取范围准确性也可以满足要求。此外，本文根据非结构化道路的特点可以提取道路导航线，并依据偏航角、偏航距离及时间等参数实现偏离预警。下一步工作主要考虑处理更加精确地分割道路区域，并进行多车道及复杂道路场景的当前行驶车道快速提取，提高运算速度，实现更精准的智能预警功能。

参考文献：

[1] 李勇，丁伟利. 基于暗原色的农机具视觉导航线提取算法 [J]. 光学学报，2015，35(2)：0215001.

LI Yong，DING Weili. Navigation Line of Vision Extraction Algorithm Based on Dark Channel [J]. Acta Optica Sinica，2015，35(2)：0215001.

[2] Aharon Bar Hillel，Ronen Lerner，Dan Levi，Recent progress in road and lane detection：a survey [J]. Machine Vision and Applications(S0932-8092)，2014，25(3)：727-745.

[3] HE Yinghua，WANG Hong，ZHANG Bo. Color-Based Road Detection in Urban Traffic Scenes [J]. IEEE Transactions on Intelligent Transportation System(S1524-9050)，2004，5(4)：309-319.

[4] 王科，黄智，钟志华. 基于不定 Bezier 变形模板的城市道路检测算法 [J]. 机械工程学报，2013，49(8)：143-150.

WANG Ke，HUANG Zhi，ZHONG Zhihua. Algorithm for Urban Road Detection Based on Uncertain Bezier Deformable Template [J]. Journal of Mechanical Engineering，2013，49(8)：143-150.

[5] KONG Hui，AudibertJean-Yves，PONCE Jean. General road detection from a single image [J].IEEE Transactions on Image Processing(S1057-7149)，2010，19(8)：2211-2220.

[6] 方浩，贾睿，卢嘉鹏. 基于颜色和纹理特征的道路图像分割 [J].北京理工大学学报，2010，30(8)：934-939.

FANG Hao，JIA Rui，LU Jiapeng. Segmentation of Full Vision Image Based on Color and Texture Features [J]. Transactions of Beijing Institute of Technology，2010，30(8)：934-939.

[7] 王文锋，丁伟利，李勇，等. 一种高效的基于平行边缘的道路识别算法 [J]. 光学学报，2015，35(7)：0715001.

WANG Wenfeng，DING Weili，LI Yong，. An Efficient Road Detection Algorithm Based on Parallel Edges [J]. Acta Optica Sinica，2015，35(7)：0715001.

[8] 戴斌，裘伟. 逆透视投影下车道偏离时间的在线估计 [J]. 计算机工程与应用，2007，43(21)：235-238.

DAI Bin，QIU Wei. Online estimation of lane departure time under IPM [J]. Computer Engineering and Applications，2007，43(21)：235-238.

[9] 吕柯岩，朱明，贺柏根，等. 单目智能车道偏离预警系统 [J]. 液晶与现实，2012，27(4)：545-550.

LÜ Keyan，ZHU Ming，HE Bogen，. Monocular Aptitude Lane Departure Warning System Design [J]. Chinese Journal of Liquid Crystals and Displays，2012，27(4)：545-550.

[10] 高国琴，李明. 基于K-means算法的温室移动机器人导航路径识别 [J]. 农业工程学报，2014，30(7)：25-33.

GAO Guoqin，LI Ming. Navigating path recognition for greenhouse mobile robot based on K-means algorithm [J]. Transactions of the Chinese Society of Agricultural Engineering，2014，30(7)：25-33.

[11] 丁伟利，李勇，王文锋，等. 基于垂直线包络和平行线对的城市道路图像消失点检测算法 [J]. 光学学报，2014，34(10)：1015002.

DING Weili，LI Yong，WANG Wenfeng，. Vanishing point detection algorithm for urban road image based on the envelope of perpendicular and parallel lines [J]. Acta Optica Sinica，2014，34(10)：1015002.

[12] DING Weili，LI Yong. An Efficient Vanishing Point Detection Method in Complex Urban Road Environments [J]. IET Computer Vision(S1751-9632)，2015，9(4)：549-558.

[13] 冯以浩. 基于真实头模型的电极定位及可视化[D]. 秦皇岛：燕山大学，2012：25-53.

FENG Yihao. Electrode Positioning and Visualization Based on the Realistic Head Model [D]. Qinhuangdao：Yanshan University，2012：25-53.

[14] Jose M Álvarez，Antonio M López，Theo Gevers，. Combining Priors，Appearance，and Context for Road Detection [J]. IEEE Transactions on Intelligent Transportation System(S1524-9050)，2014，15(3)：1168-1178.

An Effective Unstructured Road Navigation and Intelligent Warning System Method Based on Vanishing Point

DING Weilia，LI Yonga，WANG Wenfengb

( a. School of Electrical EngineeringCollege of Vehicles and EnergyYanshan UniversityQinhuangdaoHebeiChina

For unstructured road image, a road detection and intelligent warning algorithm is proposed based on vanishing point information. Segmentation algorithm firstly employed the straight line information, vertical envelope, grouping strategy and path clustering algorithm to estimate the vanishing point. Then soft voting method is proposed to extract road region based on the boundaries and vanishing point information features. Finally, according to the features of unstructured road region, the navigation line is extracted, and yaw distance and yaw time warning decisions are depended on the vehicle yaw Angle. Thus, the intelligent lane departure warning algorithm can be achieved. Experimental results show that the proposed algorithm can quickly and efficiently extract the road region of unstructured road.At the same time, the algorithm can be effective for lane departure warning according to early warning parameters.

machine vision; vanishing point; road detection; intelligent warming system

1003-501X(2016)10-0063-07

TP249

A

10.3969/j.issn.1003-501X.2016.10.011

2015-11-12；

2016-01-26

河北省自然科学基金(F2012203185)；燕山大学青年教师自主研究计划(15LGA014)资助课题。

丁伟利(1979-)，女(汉族)，辽宁沈阳人。博士，副教授，主要从事计算机视觉方面的研究。E-mail: weiye51@ysu.edu.cn。

李勇(1991-)，男(汉族)，河北秦皇岛人。硕士，主要从事计算机视觉方面的研究。E-mail: 842384077@qq.com。