基于机器学习的车辆路面类型识别技术研究

王世峰， 都凯悦， 孟颖， 王锐

(长春理工大学 光电工程学院 光电工程国家级实验教学示范中心, 吉林 长春 130022)

基于机器学习的车辆路面类型识别技术研究

王世峰， 都凯悦， 孟颖， 王锐

(长春理工大学 光电工程学院 光电工程国家级实验教学示范中心, 吉林 长春 130022)

当车辆在各种不同的路面上行驶时，获知路面类型信息将有助于提高乘车人的安全性和舒适性，不同的路面类型将对车辆的加速、制动及操控等驾驶策略产生影响。基于机器学习的基本原理，提出一种使用加速度传感器和相机特征数据融合对路面类型进行分类的方法，并与单独使用其中一种传感器进行了比较。使用垂直加速度和车速数据并利用车辆动态模型还原路面轮廓，进而完成特征提取和路面类型分类；对相机采集的路面图像数据进行特征提取和分类；将两类传感器的数据特征进行融合，完成路面类型识别任务。实验结果表明：使用两种传感器数据特征融合的方法，不但识别精度有所提高，而且其可靠性和适应性也都优于单独使用加速度数据或路面图像数据。

控制科学与技术； 路面类型识别； 加速度传感器； 相机； 机器学习

0 引言

近年来，无人驾驶技术得到了迅猛发展，自主行驶技术是无人车技术体系中的重点与难点问题，从技术架构上分析，环境感知是实现无人驾驶技术的前提。车辆行驶过程中，即时获知所行驶的路面类型，可以为车辆的安全性、舒适性和燃油率的优化提供重要信息[1]。不同的路面类型，其对应的车辆相关参数，如摩擦系数、侧滑角和操控性能也有所不同，再由这些参数实现对燃油率、循迹控制系统、自动和半自动悬架系统以及防抱死系统的有效调节。这种即时获知所行驶路面类型的技术可应用于车辆辅助安全驾驶系统中，或应用于无人驾驶车辆平台中。

在对行星探测地面小车和小型移动机器人的研究中，前人已经提出了一些路面类型分类方法。Manjanna等[2]根据不同路面类型的步态情况实现了六足机器人的独立行驶。根据不同的路面类型和运行速度构成惯性测量样本以及其反馈信号，再使用非监督机器学习的分类算法对路面类型进行分类。但多足机器人和轮式机器人与地面接触方式不同，产生的纵向振动信号也有所不同。Ward等[3]用加速度传感器成功地对柏油路、铺砖路和碎石路进行了分类。首先给动态车辆模型一个加速度信号，并提取当前路段的空间频率分量，识别并躲避前方车辙和坑洼，最后采用监督学习支持向量机(SVM)实现路面类型的分类。但是，当路面粗糙程度相似时，仅仅用加速度数据区分路型是不够的。Bekhti等[4]使用相机采集路面图像，并提取特征对路面类型进行分类。相机将前方路面拍摄下来，测量其分形维数，估计路面的纹理特征，高斯回归过程做逼近函数，并计算路面纹理特征和振动情况的相关性。由此仅根据图像信息就能预测前方路面的振动情况。但是这种方法具有一定局限性，比如当背景照明强度发生明显变化时或者路面是被雪覆盖的石子路，这些特殊环境就会影响到其检测稳定性。

上述所提的工作实验平台大多是小型轮式地面小车，这种机器人在实验中被当作刚体对待。本文实验中所使用车辆具有一套包含气轮胎的完整套悬架系统，并且车辆的车速在一定范围内变化。Ward等[3]给出的算法使用钢性轮的低速机器人进行实验，由于气轮胎悬架的固有参数能够吸收高频噪声，在更大的速度范围内具有更好的动态效应，因此本文中使用的是具有动态特性的弹性系统，而非刚体系统。

1 路面类型估计

1.1 车辆模型

本文使用标准四分之一车辆动态模型[5]，如图1所示，包括四分之一车体的悬挂质量ms及其垂直速率vs，非悬挂质量mu及其垂直速率vu，悬架弹簧系数Ks和阻尼系数Bs，气轮胎的弹性系数Kt、阻尼系数Bt，两根弹簧的长度Ds和Du.

图1 四分之一车辆的动态模型Fig.1 Quarter car model

根据文献[5]可知：

(1)

由文献[3]可知：非悬挂质量的垂直速率与路面类型的传递函数[3]为

(2)

表1给出了该模型的相关参数。其中气轮胎和悬架系统相当于一个带通滤波器。假定该模型有一个点连接路面和轮胎，但实际上由于形变的原因这个点并不存在。虽然实验希望能够得到相互独立的速度数据(也就是估计路面类型所需的特征值)，但由于所使用的模型导致事实并非如此。比如当该模型在形如小山坡这样的长波状路面上行驶时，数据特征不明显，而这种特征数据的不明显会影响模型的使用。另外，由于本模型对于高频特征值有一定的削弱作用，这将会增加对某些路型的判别难度，比如柏油路和石板路[3]。但尽管如此，它仍然可以估计不相关的速度特征值。

表1 参数值

1.2 路面类型

本文采用文献[3]中的方法对路面类型进行估计。用制动防抱死系统(ABS)的霍尔传感器测车速，用装置在后轮的加速度传感器测垂直加速度。

如图2所示，用截止频率为150 Hz的低通滤波器把加速度数据中的非真值和高频噪声提前处理之后，再处理霍尔传感器数据，得到车速。由于需要使用单片机对霍尔传感器在连续时间区间内进行累计计数，所以无法得到较高帧频车速采样。最终设计将速度数据以10 Hz的频率进行采集并发送给上位机，同时，再以1 kHz的频率对加速度数据进行取样。为了实现路面类型的预测，要使加速度数据和速度数据具有相同的取样频率，所以需要对速度数据进行插值。

图2 加速度数据处理流程图Fig.2 Flow chart of accelerometer data processing

根据表1中的参数在时域内重写方程(2)式，得

(3)

式中：acc(t)为测得的加速度数据。

只要给出垂直加速度和车速数据，就能够通过四分之一车辆动态模型计算出路面轮廓数据。

2 路面类型特征提取

2.1 加速度传感器数据

2.1.1 路面类型

虽然加速度数据和速度数据都以相同的取样频率进行了取样，但由于车速的变化会导致路面轮廓的x轴方向并没有表现为相同的取样频率。当车速较缓慢时路面类型的样本间隔很小，高速时样本间隔却很大。为了解决这个问题，采用Lomb[6]的周期图法，在最小二乘法下匹配路面类型的正弦和余弦来获取每个频率分量的能量谱，周期内任意两个频率分量之间的高度相关性用于减少谱引起的均匀采样插值的变形扭曲。使用该算法能够将x轴方向的路面轮廓数据排布均匀。

2.1.2 路面类型分解

把路面分割成若干段，每段的长度和车的长度相等(4 m)。考虑到路面类型信息是时变信号，需要先计算完功率谱之后再把每部分信号进行傅里叶变换。根据多次实验经验，取初始频率0周/m，终止频率150周/m，步长为1周/m. 需要说明的是，此处的空间频率周/m和时间频率Hz有所不同：时间频率的横轴为时间，而空间频率的横轴为车辆行驶过的路径距离。所以空间频率的单位是周/m，而时间频率的单位是Hz. 接下来再把每部分的空间频率分量按照(4)式的形式写出矩阵Y[3]. 在这个矩阵中，每一列代表分割好的每一段路程，行代表按照上述步骤提取出来的特征值(频率分量)。

(4)

用主成分分析法(PCA)对矩阵Y进行标准化变换，再经过计算之后降低矩阵Y的维数，得到几个综合变量[7]。PCA能够把可能存在相关性的变量转换为不相关变量。而分类器所需的主成分的个数取决于实验。本文中，用神经网络分类器测试了不同数目的PCA分量，结果表明采用62个分量时既能够保证分类精度，还能够保证计算量不至过大。

2.2 图像数据

如图3所示，将相机安装于车辆尾部，且镜头朝下拍摄车辆途经的路面图像。相机使用火线接口与PC104机进行数据传输。图像信息、加速度数据和速度数据通过以太网同步记录。接下来介绍图像信息的特征提取方法。

图3 相机安装示意图Fig.3 Installation diagram of camera

2.2.1 纹理特征

本文使用灰度共生矩阵(GLCM)计算路面纹理[8]。在特定的空间关系中，GLCM能够计算灰度值分别为i和j的两点间的相关性。定义该空间关系为兴趣像素点和与它相邻右侧(水平相邻)的像素点之间的关系，同时也明确知道这两个像素点之间的其他空间关系。使用了20个特征值来描述纹理特征。

2.2.2 图像直方图特征

早期有实验用灰度水平直方图成功捕捉到了某场景的强度分布[9]。需要注意的是，要先把相机采集到的彩色图转化为灰度图像后再转换为灰度直方图。使用了8个特征值来描述直方图特征。

本文将纹理和图像直方图结合起来共同生成图像特征矩阵，再用PCA降低维数。根据多次实验最终选则14维。

根据美国学者格赖斯（H.P.Grice）（1975）提出来会话的合作原则（Cooperative Principle），出于需要，人们有时会故意违背合作原则，产生“特殊会话含义”，从而更好地表达会话者的某种意图，或者“言外之意”。

2.3 路面类型数据和图像数据的结合

如图3所示，把相机安装在车尾处，加速度传感器安装在后车轮上，二者之间距离为1.2 m. 数据采集时在空间上有一定的距离，在后续处理时要把这个偏移量计算回来，保证图像信息和加速度数据是路面上对应的是同一段路面。

由加速度数据和图像数据构成的特征值经过标准化之后构成类似(4)式的特征矩阵，PCA进行降维之后最终得到的维数是120.

3 分类

本文进行分类的机器学习工具包WEKA[10]，是一款易于使用高度集成的机器学习工具包。本文选用的分类器是神经网络分类器，其符合经典的贝叶斯最优分类器，它的优势是简单稳定。并且在文献[11]中已经证实它比SVM更适合应用于路面类型分类任务。

4 实验结果

4.1 实验平台

实验车辆装有加速度传感器、相机、车速传感器以及两台通过以太网连接的PC104计算机，此外还有一个电池组提供电源。

如图4所示，加速度传感器(美国JEWELL公司LCF-200型, 测量范围±50g)中的模拟信号由PCI数据采集卡(16位分辨率，1 kHz取样频率)转化为数字信号。ABS的霍尔传感器信号输出给光隔离器，然后再到PIC单片机上进行数字化。单片机采样速率为10 Hz，并通过RS-232接口将采集到的车速数据传输给1号PC104机。相机以15帧/s的帧频采集路面图像，并将图像数据实时传输给2号PC104机。最后，这两台PC104机所采集的数据同时记录时间戳，并通过以太网进行同步。

图4 系统的硬件组成示意图Fig.4 Hardware structure of system

4.2 实验环境

数据采集实验在温度23 ℃，湿度60%的晴天天气中开展。如图5所示，为4种不同路面类型，考虑到安全性和实际需求，不同路型上的行驶速度并不相同：柏油路和水泥路上的行驶速度为20～50 km/h，草地为10～20 km/h，碎石路为10～30 km/h.

4.3 实验结果

对所采集数据进行解算，经处理后形成路面类型信息的振动特征。如图6所示，4种类型路面其可视化的空间频率分布各有不同，使用这些数据组成的特征矩阵给分类器进行机器学习的训练与识别。

4.3.1 基于加速度数据的分类实验

为提高测试结果的稳健性和可靠度，采用K折交叉验证法，且K值取5. 以上4种路面类型的数据分为训练和测试两个阶段，使用加速度数据进行的路面类型识别实验结果在表2中给出，识别平均正确率为67%.

图5 4种路型表面Fig.5 Surfaces of four terrains

图6 不同路型的空间频率特征Fig.6 Spatial features of four terrains

表2 基于加速度数据路面类型识别结果

从表2中可以看出，柏油路和水泥路(或者草地和碎石路)之间存在较为明显的分类错误。例如表2的第1行数据为在柏油路的路面类型，分类的正确率达到了68%，而有20%的样本被错误的识别为水泥路面。产生这种结果的原因可以用图6(a)和图6(b)来解释：柏油路和水泥路空间频率特征某种程度的相似，功率谱主要集中在2～6 Hz的频率范围内，所以造成了这种让分类器“困惑”的识别结果。同样的错误也发生在水泥路面，有30%的样本被错误的分类成柏油路。

从目前情况看，使用单一加速度数据进行路面类型分类，具有一定的局限性，当道路表面粗糙度相似时，仅仅使用加速度数据区分路面类型是不完善的。

4.3.2 基于图像的分类实验

如表3所示，是使用图像数据进行特征提取和路面类型分类的实验结果，识别平均正确率为88%. 与使用加速度数据相比，能更有效地识别出不同路型纹理的区别，图像特征能提供更好的分类精度。

表3 基于图像数据路型识别结果

从表3中可知，使用单一图像数据提取特征能够将识别正确率从加速度数据的67%提高到88%，但是还有一些分布在各个类别中的分类错误。通过对这些错误数据的原始图像数据进行人工辨别，发现这些路面样本的原始图像数据没有得到良好的采样成像。

图7为部分采样出现问题的路面图像。从图7中可以看出：由于车辆在高速行驶时，相机成像的曝光时间并没有随之缩短，所以造成了图像的拖影现象，而导致路面图像无法呈现其纹理特征；有的图像是由于背景光过强，造成了相机的电荷耦合器件大部分像元饱和，最终呈现了整体发白的图像；还有的是由于路面图像对比度过强，相机无法良好和快速地自适应调节参数，造成最终的图像亮度不均衡而无法提取纹理特征。另外，显而易见的是，路面的成像质量在夜晚环境下将受到大幅度的限制。

图7 部分非正常图像采样Fig.7 Abnormal image sampling

使用图像数据的提取特征进行路面类型识别方法与使用加速度数据相比，前者优势在于在良好成像环境下，且路面表面纹理特征区别明细的样本有较好识别效果，而后者是对路面的表面轮廓更加敏感。可以推断，如果能够将两类数据中提取的特征值加以融合再进行分类任务的话，可以进一步提高路面类型识别的正确率。

4.3.3 使用加速度数据或图像数据的比较

从表2和表3的比较来看，针对实验所采样的4种路面数据，虽然单独使用加速度数据进行路面类型分类的整体正确率小于使用图像数据，但其不受行车环境的背景光影响；而后者在良好光照条件下虽然正确率高，但对图像数据进行预处理、特征提取及分类，其运算量要远大于使用加速度数据，对后期实现实时在线路面识别工作造成一定的压力。

4.3.4 基于加速度数据和图像数据的分类实验

将加速度数据提取的特征值和图像数据提取的特征值分别进行归一化后结合起来构成新的特征矩阵，然后再次利用神经网络分类器对融合后的特征矩阵进行分类，实验结果如表4所示，识别平均正确率为90%.

表4 基于加速度和图像路型识别结果

表4是上述模拟行车实验的识别结果统计，可以看出整体分类结果正确率上升到了90%. 这表明融合加速度数据和图像数据二者的特征值的确可以改善分类结果，降低识别错误率，提高系统可靠性。

然而并非所有融合后的识别率都非常理想地得到提高，如表4所示草地的识别率73%虽然稍高于单独使用图像数据的72%，但低于单独使用加速度数据的76%. 由于草地路面的振动特征更容易区分与其他路面类型，而同时恰恰在草地上进行图像采样时车辆具有更剧烈的振动，所以图像质量更容易受到影响。由此受到启发，后续的研究工作可以考虑对振动特征更有区分度的路面类型使用加速度数据，而其他路面类型则继续使用融合的方法进行。

图8展现的是使用采集的数据模拟车辆在不同路面行驶之后的识别结果。将加速度数据和图像数据提取的特征值融合后进行的分类结果，模拟了一段车辆从柏油路到水泥路、碎石路和草地的连续路程。由图8可见，错误结果分布在不同的路段。有些由于振动模糊引起，有些是由于图像质量太差引起。

图8 模拟行车的分类结果Fig.8 Classification results of simulated driving vechicle

5 结论

本文开发了一种用于车辆辅助安全驾驶的多传感器融合的路面类型识别的方法。实验结果表明：

1)由于柏油路和粗糙水泥路的振动效果较相似，所以单独使用加速度数据进行分类的效果不是很好。

2)单独使用图像数据进行分类的精度虽然有所提高，但是这种方法有它固有的局限性，那就是对车辆行驶速度及环境背景光比较敏感。

3)本文提出的用提取的加速度数据和图像数据特征进行融合的分类方法不仅能提高分类精度，而且具有更强的可靠性和适应性。

在此基础上，今后的工作重点将放在进一步提高识别正确率上：1)在提取图像纹理特征前首先判断图像是否饱和或模糊，从而决定是否剔除该图像数据；2)尝试使用深度学习等分类器进行对比；3)开展在线实时路面类型识别的研究工作。

References)

[1] 王红岩，王钦龙，芮强，等. 车辆行驶路面的数字化建模方法研究[J]. 兵工学报, 2016, 37(7):1153-1160. WANG Hong-yan, WANG Qin-long, RUI Qiang, et al. Research on digitized modeling method of riding road of vehicle[J]. Acta Armamentarii, 2016, 37(7): 1153-1160.(in Chinese)

[2] Manjanna S, Dudek G, Giguere P. Using gait change for terrain sensing by robots[C]∥2013 International Conference on Computer and Robot Vision. Regina, Saskatchewan, Canada:IEEE, 2013: 16-22.

[3] Ward C C, Iagnemma K. Speed-independent vibration-based terrain classification for passenger vehicles[J]. Vehicle System Dynamics, 2009, 47(9): 1095-1113.

[4] Bekhti M A, Kobayashi Y. Prediction of vibrations as a measure of terrain traversability in outdoor structured and natural environments[C]∥Proceedings of 7th Pacific-Rim Symposium on Image and Video Technology. Auckland, New Zealand:Springer International Publishing, 2015: 282-294.

[5] Wong J Y. Theory of ground vehicles[M]. 4th ed. NY, US: John Wiley & Sons, 2008: 45-49.

[6] Lomb N R. Least-squares frequency analysis of unequally spaced data[J]. Astrophysics and Space Science, 1976, 39(2):447-462.

[7] Jolliffe I. Principal component analysis[M]. 2nd ed. NY, US: Springer-Verlag, 2002: 25-27.

[8] Haralick R M, Shanmugam K. Textural features for image classification[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1973, 3(6): 610-621.

[9] Gonzalez R C. Woods R E. Digital image processing[M]. 2nd ed. NY, US: Prentice Hall, 2002:125-129.

[10] Bouckaert R R, Frank E, Hall M A,et al. WEKA-experiences with a java open-source project[J]. Machine Learning Research, 2010, 11(5): 2533-2541.

[11] Decatur S E. Application of neural networks to terrain classification[C]∥International Joint Conference on Neural Networks. San Diego, CA, US:IEEE, 1989: 283-288.

Machine Learning-based Road Terrain Recognition for Land Vehicles

WANG Shi-feng， DU Kai-yue， MENG Ying， WANG Rui

(National Demonstration Center for Experimental Opto-Electronic Engineering Education, School of Opto-ELectronic Engineering,
Changchun University of Science and Technology, Changchun 130022, Jilin, China)

The acquisition of information about the road terrain helps to improve the passengers' safety and comfort when a vehicle runs on different road terrains. Different road terrains have significant impacts on the driving acceleration, braking and manipulation of vehicle. A machine learning-based recognition method is proposed, which is to recognize the road terrain by fusing the feature data from accelerometer and camera. The road profile is estimated by using acceleration and vehicle speed data. The spatial features are extracted from the road profile for terrain classification. The texture features extracted from terrain images captured by a camera are used for the same classification task. And the task of recognition of road terrain is accomplished by fusing the data features from two sensor data sets. The experimental results show that the proposed method is used to improve the accuracy of road terrain recognition, and the reliability and comfort of passengers in vechile.

control science and technology； road terrain recognition; accelerometer; camera; machine learning

2016-12-02

吉林省自然科学基金项目(20150101047JC)

都凯悦(1990—)，女，硕士研究生。E-mail:dukaiyue0510@126.com

王世峰(1978—)，男，副教授，博士，硕士生导师。E-mail:sf.wang@cust.edu.cn

O235

A

1000-1093(2017)08-1642-07

10.3969/j.issn.1000-1093.2017.08.023