无人装备野外场景自适应道路识别技术

华 夏，王新晴，俞垚魏，孟凡杰，马昭烨，王 东，邵发明

(中国人民解放军陆军工程大学, 南京 210018)

现阶段的道路检测算法主要分为基于特征、 基于模型、基于机器学习三大类。基于特征的算法[1-3]主要是识别出道路的某些特征对道路进行检测，在具有清晰道路标识，特征差异明显的结构化道路上取得了较好的识别效果，但是它抗干扰能力较差，对于复杂环境下的道路识别效果较差；基于模型的算法主要是先建立道路参数模型，然后根据图像分析确定对应的模型参数，从而得到道路的边缘和走向信息，对于常见的结构化道路，该种算法对道路边缘的拟合简单迅速，但对边界复杂的道路，模型过于复杂、计算量大，无法保证其全局的优化性和识别的精确性；基于机器学习的方法[4-6]利用神经网络的学习特性进行道路检测，它的识别精度高，抗干扰能力和鲁棒性强，但训练集的及时更新和算法的实时性仍是当前的关键难点问题。

由于非结构化道路存在着路面环境复杂、 路面特征易受天气、光照变化的干扰等客观原因，实现精确、实时的非结构化道路检测仍然是一个极具挑战性的难题[1]。本文提出了一种野外场景自适应道路识别算法，与现有道路识别算法相比具有较高的道路检测精度和较好的实时性，能够实现对野外非结构化道路精准有效识别。指定数据库检测结果表明，本文算法道路识别精度达91.9%，单帧图像处理用时0.98s。

1 图像自适应预处理

根据先验知识并结合工程实际， 本文中的道路识别算法基于以下假设：道路颜色特征和纹理特征的变化是渐变的，极少会出现特征突变的情况；相机拍摄视角的正前方为道路区域，道路区域从图像的底端向上延伸；道路区域为一块大的连通区域。

1.1 道路样本区域动态选取

车辆在行驶过程中，在通道宽度内，当视觉系统安装固定且沿车辆轴向时，恒定视野区域始终为可靠的道路区域[2]。在道路类聚类中心(超像素种子块)的选取上融合了车前最小左右转弯半径交叉覆盖范围内，必定为路的先验知识(参考下文)，既提升了对野外“车走路变”的自适应性，又避免了随机选取道路类超像素种子块可能引起的训练偏差和效率降低。

环境图像道路区域示意图如图1。可以确定道路图像中，车前以略大于车宽的尺寸D为底边长，高为l的等腰三角形区域，作为图像中道路类超像素种子块选取最佳区域。依据几何学知识可以求得高为：

(1)

式(1)中：D为车宽对应在图像中的尺寸；r为汽车最小转弯半径对应图像中尺寸；R为汽车最大转弯半径对应图像中尺寸。

1.2 自适应道路图像分类

在野外复杂环境下对非结构化道路检测产生干扰最为严重的就是阴影遮挡和强光影响两大因素。 为了消除这两种干扰，需要对环境图像进行检测分类。依据先验知识，可以将野外非结构化道路分为三类，如表1所示。

表1 图像类别及特点

1.2.1 分类指标

定义了两个分类指标：颜色值(Color valuecv)、颜色均匀度(Color uniformitycu)。

定义1 颜色值

依据人类对图像颜色的感知，图像中占有比重大的颜色对图像语义的贡献也大，本文定义这种颜色为主色。

图像中每个像素点的颜色由R、G、B三个颜色分量共同决定，本文通过人眼对颜色感知的心理学公式，有：

cv=0.30×r+0.59×g+0.11×b

(2)

对这三种颜色分量进行加权线性融合可以在图像的每个像素点获得一个代表该点颜色的数值，本文将其定义为颜色值cv。各点的颜色值构成了一个与图像等大小的二维矩阵，定义为颜色值矩阵(Color value matrixcm)。本文通过数理统计的方式，统计获得了cm中各元素的频率，将频率最大的cv值认为是代表主色的颜色值。在提取主色值的过程中通过去相关对比度拉伸法，放大图像的颜色特征。通过颜色加强可以使图像中的主色更加容易被区分。

定义2 颜色均匀度

如图2所示，将图像的道路区域等分为三块长为l1、l2、l3宽为20的长方形区域，l1、l2、l3由式(1)可得。分别统计得主色值为cv1、cv2、cv3，由式(4) 两两进行比较。

(3)

(4)

对于比较的结果，本文定义主色的最大差值为道路区域颜色均匀度，衡量道路区域颜色均匀程度。统计实验结果如表2所示。

表2 道路颜色均匀度

1.2.2 分类依据

通过对主色值取值范围的划分准确判别第二和第三类道路图像，通过两个指标的融合判定第一类道路图像。受阴影影响严重的图像，阴影的颜色值就是图像的主色值；受强光影响严重的图像，强光的颜色值就是图像的主色值。如表3所示。

表3 不同类型图像主色值选取范围

仅通过主色值判定第一类图像的效果并不理想。复杂环境下与阴影相似度较高的颜色会对主色值的选取造成极大干扰。为了解决这类问题，结合道路区域颜色特征均匀这一假设，对可能的第一类道路图像进行进一步检测。分类结果如表4所示。

表4 不同类型图像主色值选取范围

1.3 各类环境图像的针对性预处理

1) 第一类道路图像的针对性预处理

当检测出环境图像属于第一类道路图像时，采用HSV颜色空间的Retinex结构光图像增强法[7]增强图像的颜色特征，同时有效减小阴影遮挡对道路检测的影响，可以使图像中原本被阴影所淹没的道路变得清晰可见，有利于后续对非结构化道路的提取与编码[8]。

2) 第二类道路图像的针对性预处理

当检测出道路图像受强光影响时，采用了一种快速Gammar校正算法降低强光对道路的干扰[3]。通过Gammar校正法处理强光图像可以使原本被强光遮盖的道路图像变得更加清晰，有利于后续的非结构化道路提取与编码。

3) 第三类道路图像的针对性预处理

图像经过检测，如果不属于受到光照和阴影强烈影响的图像，则通过去相关对比度拉伸法(decorr stretch) 放大图像各部分的颜色特征。经过颜色加强后，原本颜色特征相近的道路和周围环境颜色差异被放大，道路区域更加容易通过颜色进行区分。

1.4 图像的锐化

用限制对比度直方图均衡(Contrast Limited Adaptive histgram equalization/CLAHE)提升图像的对比度，该算法更适合于改进图像的局部对比度，以及获得更多的图像细节，算法能有效限制放大图像中相同区域的噪音。CLAHE法提升对比度能够有效降低雨、雾等因素造成的对道路的遮蔽干扰，大大提高了图像质量。自适应预处理过程如图3所示。

2 超像素块多特征融合

超像素将图像从像素级划分成区域级，将图像划分为同质的区域再进行分类，可以提高图像分割的效率。采用SLIC(Simple Linear Iterative Cluster)算法进行超像素块分割。SLIC算法与传统超像素分割方法相比处理速度更快、占用内存更小、边缘吻合度更高，可以将图像划分为均匀的小块区域，邻域特征比较容易表达，且保留物体的边缘和轮廓等重要信息。

为了获得区分性较好的视觉特征，通过多种特征融合的方式来描述超像素块。结合野外非结构化道路场景图像特点，本文提取以下4类特征构成视觉特征集。

2.1 超像素块颜色特征提取

颜色对图像的视角、方向、尺寸没有依赖性，具有更好的鲁棒性和更低的复杂度。野外道路场景图像的颜色信息非常丰富，一般天空会呈现天蓝色、灰白色或者白色，道路则是褐色或者红褐色，只有垂直物的颜色变化比较大，但是绿色最为常见。Lab色彩模型是由亮度L和有关色彩的a，b三个要素组成，致力于感知均匀性，它的L分量密切匹配人类对亮度感知，对阴影和光照有较强的鲁棒性。所以本文在HSV(色调、饱和度、明度)和Lab这2种颜色空间下提取颜色统计特征。提取超像素在Lab颜色空间下2个颜色通道a，b的均值(mean)、方差(variance)、斜度(skewness)以及在HSV颜色空间下的色度直方图和饱和度直方图[4]。

2.2 超像素块纹理特征提取

采用灰度共生矩阵(Gray Level Co-occurrence MatrixGLCM)来描述超像素块的纹理特征[9]。一般选取基于灰度共生矩阵的14个纹理特征中的4 个互不相关的纹理特征描述图像纹理，既便于计算又具有较高的分类精度。这 4 个特征分别为：

能量(二阶矩)：

(5)

熵：

(6)

对比度：

(7)

相关：

(8)

描述矩阵中行或列元素之间的相似程度，是对灰度线性关系的度量。图像中纹理沿着哪个方向，则该方向上的灰度矩阵相关值较大。

求得f1、f2、f3、f4后，求得对应的均值m1、m2、m3、m4和对应的标准差sq1、sq2、sq3、sq4，以向量T1={m1,m2,m3,m4,sq1,sq2,sq3,sq4} 作为最终8维纹理特征。

2.3 超像素块位置与形状特征提取

野外非结构化道路场景中超像素块的坐标和形状能够为超像素块分类提供很强的几何布局线索。

由图4超像素块的分割结果可以看出，因为道路区域纹理、颜色等多种特征融合复杂，所以分割形成的超像素块形状并不均匀，与天空、水坑等特征均匀区域的均匀六边形超像素块对比明显。采用基于Hu不变矩[10]的方法提取形状特征， 即归一化的超像素不变矩和离心率值。

依据一定的模型和先验知识，针对非结构化道路识别问题，车辆在行驶过程中，在通道宽度内，当视觉系统安装固定且沿车辆轴向时，恒定视野区域始终为可靠的道路区域。因此超像素块的位置信息同样具有较好的区分度，提取超像素块位置特征[11]，即归一化的超像素块中心像素位置。综合超像素块的位置和形状特征即可得到特征向量T2。

3 Lap SVM超像素块分类

拉普拉斯支持向量机(LapSVM)算法是一种基于流形正则的半监督分类算法，研究如何同时利用少量的有标识样本和大量的未标识样本进行训练和分类[10]。通过引入样本流形正则项[10]，LapSVM算法的学习模型中将包含样本的固有几何结构信息。LapSVM加入了未标识样本的流形结构信息，并将这一信息以Laplacian流形正则项的方式加入SVM，学习过程中充分考虑了样本间的局部几何结构，使蕴含在样本中局部的鉴别信息得以体现，可以得到更加准确的分类结果。

3.1 Lap SVM原理

样本集合S={xi,i=1,…,n}，xi代表第i个样本，n表示样本的个数。集合L={xi,i=1,…,m}表示标识样本，m表示标识样本的个数，U={xi,i=1,…,u} 表示无标识样本的集合，u表示未标识样本的个数。用yi表示第i个样本所属类别，yi∈{-1,1}。LapSVM模型定义为

(9)

(10)

(11)

式(11)中：I是单位矩阵；L是Laplacian矩阵；Y∈Rm×m是由标识样本yi，i=1，…，m组成的对角矩阵；JL∈Rm×m是由标识样本与未标识样本形成的分块矩阵[I0]；β是Lagrange乘子，即

(12)

(13)

(14)

从上面的定义可以看出，LapSVM算法中涉及许多矩阵的运算和转换，当无标记样本很多时，需要很大的内存空间和很长的 CPU 占用时间，甚至引起内存溢出等问题。可以通过原始优化加速训练过程，将LapSVM的模型式重新定义为

(15)

式(15)中，b为SVM定义中的阈值。

3.2 道路区域标识样本预选取

利用LapSVM算法进行分类，标识样本数量越少，则分类结果误差越大。本文通过上文动态选取道路区域标识样本，选取那些在确定道路区域里面或者附近的超像素块样本，即可能属于道路区域的超像素块样本加入训练样本集，舍弃了离确定道路区域较远或在图像四角位置的无标记样本，使得参与训练的无标记样本提供更丰富的启发信息。

3.3 结合动态道路预选取样本的超像素块分类

结合动态道路预选取样本的Lap SVM超像素块分类算法，首先对全部无标记样本选取少量含启发信息更为丰富的m个无标记样本，假设有l个标记样本，以及预选取m个无标记样本，以l+m个样本建立k近邻图，然后，在此图上构造目标函数f实现分类。

算法基本流程如下：

1) 输入标识样本集合L={xi,i=1,…,m}和无标识样本的集合U={xi,i=1,…,u}

2) 从u个无标记样本中预选取含启发信息更为丰富的m个无标记样本；

3) 利用高斯核函数，计算核矩阵Kij=K(xi,xj)；

5) 选取合适的权重γA，γI；

通过对标识样本和无标识样本的超像素块特征向量进行训练学习，可以得到Lap SVM分类器，即可用于对野外复杂非结构化道路图像进行道路区域检测与识别。

4 验证

为了验证本文算法对野外复杂场景下非结构化道路识别的有效性。实验测试了多种典型复杂非结构化道路，并与文献[3]中的算法以及文献[5]中的算法效果进行比较，对实验结果采用定性和定量评价方法分析。

实验以四核Intel i7处理器，8.0 G 内存PC 机为硬件平台，在 Windows 7操作系统下以 Matlab R2014a作为开发工具。实验所用非结构化道路图像数据取自于DGC(DARPA Grand Challenge)场景分割数据库和在南京珠山采集的非结构化道路数据库以及互联网上经过筛选得到的典型复杂非结构化道路图像，将所有实验图像进行尺寸归一化为640像素×480像素。

为了能够对各个算法的道路边缘检测质量进行定量比较，本文采用精准度τ来评价各算法边缘检测精度，τ越小检测精度越低，反之检测精度越高。

(16)

式(16)中：Bt是人工标定的道路区域像素集；Bo是算法检测出的道路区域像素集；Bt∩Bo表示二者交集，即共同部分；Bt∪Bo表示二者并集。

在实验中定性及定量地对比了本文和文献以及文献提出的非结构化道路边缘检测算法的检测性能，检测结果如图5所示，其中第一列为原图，第二列为文献[3]算法道路分割效果图，第三列为文献[5]算法道路分割效果图，第四列为本文算法道路分割效果图。不同类型图像主色值选取范围如表5所示。

表5 不同类型图像主色值选取范围

从图5以及表5可以看出，在以上复杂野外环境场景下，由于具有特征自学习及在新场景下自动调整的能力，文献[5]和本文算法均具有极好的道路分割效果，优于传统基于颜色纹理特征的方法。对于本文选取的图像数据库，本文道路检测算法的精准度τ总体达到了91.9%，相比文献[3]的基于特征的传统算法，检测精准度提升67%，且相比于文献[5]的基于DCNN及自编码器的道路分割算法，算法处理效率提升63.8%，具有较高的道路检测精度和较好的实时性。

5 结论

通过实验验证，本文道路检测算法的精准度τ总体达到了91.9%，精度略低于基于深度学习的道路识别算法，但运行效率远高于它，提升了63.8%；与基于人工构造特征的道路识别算法相比较，尽管处理速度略慢，但精度却远高于它，提升67%。本算法在检测的实时性与精准度问题上的合理协调，具有较高的道路检测精度和较好的实时性，能够实现对野外非结构化道路精准检测。

[1] 王明东， 王天祥.新概念武器的现状与发展趋势[J].四川兵工学报，2014(6)：1-5.

[2] 孟凡杰,王新晴,吕高旺,等.基于多特征准则改进区域生长的非结构化道路识别[J].电脑知识与技术,2016,12(35):200-202.

[4] 邓燕子,卢朝阳,李静,等.采用多层图模型推理的道路场景分割算法[J].西安交通大学学报(自然科学版),2017,51(12):62-67.

[5] 王海,蔡英凤,贾允毅,等.基于深度卷积神经网络的场景自适应道路分割算法[J].电子与信息学报,2017,39(2):263-269.

[6] 龚建伟,叶春兰,姜岩,等.多层感知器自监督在线学习非结构化道路识别[J].北京理工大学学报,2014,34(3):261-266.

[7] 秦绪佳,王慧玲,杜轶诚,等.HSV色彩空间的 Retinex结构光图像增强算法[J].计算机辅助设计与图形学学报,2013,25(4):488-493.

[8] 刁彦华,孟子钰,王晓君.基于 Hu不变矩的图像形状特征提取研究[J].网络安全技术与应用,2017(10):46-47.

[9] 高程程,惠晓威.基于灰度共生矩阵的纹理特征提取[J].计算机系统应用,2010,19(6):196-198.

[10] 王晨,樊养余,熊磊.利用LapSVM的快速显著性检测方法[J].中国图像图形学报,2017,22(10):1392-1400.

[11] COSTEA A D,NEDEVSCHI S.Fast traffic scene segmentation using multi-range features from multi-resolution filtered and spatial context channels[C]//IEEE Intelligent Vehicles Symposium Proceedings.Piscataway,NJ,USA:IEEE,2016:328-334.