基于高斯混合- 隐马尔可夫模型的速差转向履带车辆横向控制驾驶员模型

王博洋， 龚建伟， 高天云， 陈慧岩， 席军强

(北京理工大学 机械与车辆学院， 北京 100081)

基于高斯混合-隐马尔可夫模型的速差转向履带车辆横向控制驾驶员模型

王博洋， 龚建伟， 高天云， 陈慧岩， 席军强

(北京理工大学 机械与车辆学院， 北京 100081)

为解决基于离合器转向机的履带车辆在无人行驶条件下的横向控制问题，采用一种基于高斯混合- 隐马尔可夫模型的统计学习方法构建驾驶员模型，以实现对驾驶员跟踪控制操控经验的表述。利用经过大量试验采集获得的经验驾驶员操控数据对模型进行训练。以基于高斯混合模型表征的车辆速度和航向偏差作为隐马尔可夫模型的观测状态参量，并利用高斯混合模型对左右操纵杆位置进行转向模式划分，以转向模式作为隐马尔可夫模型的隐藏层状态参量，通过对模型的训练最终实现对于驾驶员操控经验以及车辆特性的统计学描述。利用上述模型对跟踪控制过程中的期望转向模式进行预测分析，结果表明该模型能够较准确地对转向模式进行预测。

兵器科学与技术； 履带车辆； 横向控制； 驾驶员模型； 高斯混合- 隐马尔可夫模型； 机器学习； 运动基元

0 引言

无人驾驶车辆是多领域科学技术的集成运用平台，在众多方面有着潜在的应用价值[1]。车辆的路径跟踪控制是无人车运动控制层面上研究的核心问题之一。离合器转向机结构简单、成本低廉、经久耐用并且使用维护方便，其结构形式与二级行星转向机类似。这两种转向机构仍然大量装备于现有履带车辆上，但其转向运动可控性差，给平台的无人化改造带来了困难。相对于阿克曼转向车辆，基于离合器转向机的速差转向履带车辆在转向运动层面存在很大的不确定性，这种不确定性主要由两个因素构成，分别是转向执行机构的不确定性和履带与地面接触受力关系的不确定性[2]。因此，很难从动力学的角度对这一横向与纵向强耦合不确定系统进行建模分析。此外，不同于阿克曼转向车辆的无级转向特性，基于离合器转向机的速差转向车辆存在3种常用的转向工况(制动转向、部分制动转向和分离转向)，分别对应不同的转向特性。因此，如何利用驾驶员的操控经验，依据期望路径生成适当的转向模式序列，是横向控制的关键。

目前对无人车横向控制问题的研究受到国内外许多研究机构的重视。借助驾驶员“预瞄- 跟随”理论，丁海涛等[3]引入侧向加速度增益值，实现了车辆横向控制与纵向控制的解耦。李红志等[4]通过对车辆未来状态的预测引入相应的优化函数，实现了对预瞄时间的自适应寻优。郭景华等[5]利用横向模糊控制器表征驾驶员的操控经验，并基于遗传算法实现了对算法的优化。段立飞等[6]利用遗传算法对驾驶员模型进行了离线优化，并引入神经网络在线整定方法实现了在线优化。此外，文献[7-10]以车辆动力学模型为出发点，实现了跟踪控制过程中控制量的优化求解。

为了解决驾驶员经验的融入问题以及车辆状态的预测问题，部分学者采用相应的机器学习方法完成模型的构建。Meiring等[11]介绍了机器学习算法在驾驶行为辨识与分析中的运用，并指出模糊逻辑(FL)、隐马尔可夫模型(HMM)和支持向量机(SVM)在驾驶员行为辨识中的效果最优。Yao等[12]利用真实的驾驶员超车数据，从轨迹层面对多车交互的驾驶员超车行为进行了分析。Gadepally等[13]利用大量的真实行车采集数据，通过混合状态系统(HSS)-HMM对路口车辆的行为进行了预测，并将预测结果用于无人车路口决策与控制。

综上所述，各国学者在解决车辆的横向控制问题以及利用真实驾驶数据进行建模预测方面取得了显著的成果，但在横向控制问题中主要涉及了具有无级转向能力的车辆，对基于离合器转向机这种非线性和不确定性更强的车辆横向控制问题研究较少。此外，虽然各国学者对真实驾驶数据在无人车中的应用问题开展了广泛研究，但主要涉及驾驶行为预测与车辆轨迹预测层面，对于操控序列的预测研究较少。因此，本文针对基于离合器转向机的速差转向履带车辆的横向控制问题，提出一种基于高斯混合- 隐马尔可夫模型(GMM-HMM)的横向控制驾驶员模型，使用大量的经验驾驶员操控数据对该模型进行训练，从统计学的角度对驾驶员经验和车辆动力学特性进行表述，并最终利用上述模型实现对期望转向模式序列的预测。

1 无人速差转向车辆系统

1.1 车辆结构介绍

经过改造后的基于离合器转向机无人履带平台如图1所示。由图1可以看出，该平台的纵向系统由经过改造后的电子调速柴油机和自动变速箱(AMT)组成，横向系统由改造后的基于液压伺服驱动的连杆机构组成。车辆的传动与转向系统结构如图2所示(为了简化起见，图2中省略了部分内部结构)，发动机提供整车行驶所需的功率，经分动箱分动后，一部分功率用于驱动传动系统，另一部分功率用于驱动转向泵，转向泵为液压伺服驱动的连杆机构提供需求功率。

1.2 数据同步采集系统

整车所搭载的感知传感器位置布局如图1所示，为了采集环境信息、导航定位信息、车辆姿态信息和驾驶员操纵信息的同步数据，设计了如图3所示的车辆网络通讯系统。整个网络由上层的以太网与底层的CAN网组成，并通过记录整车控制器向以太网和CAN网同步发送的时间标记实现上下层网络时间的关联，最终实现整车全传感器数据的同步关联记录。

1.3 横向控制驾驶员模型表述

本文所研究的横向控制驾驶员模型如图4所示，其中：v1、v2和v3表示速度序列；θ1、θ2和θ3表示航向偏差序列。模型以驾驶员的经验操控数据为训练数据集，以等时间间隔分布的速度与航向校正偏差序列表述行驶路径并作为观测量输入GMM-HMM，最终实现对隐状态参量转向模式序列的预测输出。

2 高斯混合- 隐马尔可夫模型

HMM在揭示多个时间序列之间的关联关系方面具有显著优势。本文选取基于GMM的车辆速度和航向变化偏差作为HMM的观测状态量，以操纵杆的实际位置GMM聚类标签作为HMM的隐藏层状态参量。最终训练得到1～4挡的车辆横向控制转向模式预测GMM-HMM. 在线使用过程中，以实时的车辆速度和航向偏差观测序列作为相应挡位GMM-HMM的观测变量值，预测与其最匹配的转向模式隐状态序列值。

2.1 基于GMM的参量聚类

依据离合器转向机的结构特点所划分的转向工况操纵杆区间并不能与以转向模式所指代的操纵杆区间建立一一对应的关系，原因如下：

1)转向工况是基于转向机构的分离与结合状态划分的，但驾驶员操控数据明显表明车辆在部分制动这一工况下，转向操纵明显存在敏感区域，整个区间并非等概率分布。

2)速度和挡位对于车辆的实际转向效果有一定的影响，仅以基于转向工况划分的操纵杆区间作为依据，无法反映上述参量变化带来的影响。

3)左右两侧转向执行机构加工、装配以及使用磨损带来的不对称性，无法通过转向工况划分的操纵杆区间体现出来，但实际驾驶数据能够反映两侧机构的不对称性。

本文使用GMM分别对左右两侧各挡位下的行进间转向操纵杆区间进行聚类分析，得到操纵杆转向全区间连续概率密度函数，对整个区间内的转向敏感区域进行统计概率描述，以最佳GMM的拟合个数作为转向模式的划分依据。需要注意的是，由于制动转向(只针对1挡、2挡)和直驶这两个工况的特殊性，在最终的聚类结果中增补这两种模式，以便于后续HMM的构建。

对于车辆速度和航向偏差这2个连续的观测状态变量值，也利用GMM对其在整个区间内的概率密度函数进行表述。

多变量GMM如(1)式和(2)式所示：

(1)

(2)

式中：G(x)为变量x的高斯模型；k为高斯模型的数目；pi为各高斯模型的先验概率值；μi为高斯模型的中心点矩阵；Σi为高斯模型的协方差矩阵；d为变量x的数据维度。

利用极大似然估计并结合期望最大化(EM)算法，可分别求得车辆速度、航向变化偏差以及操纵杆位置各高斯模型的参数，并使用贝叶斯信息判据确定高斯模型的最佳数目kb，贝叶斯信息判据的表达式如(3)式所示：

(3)

式中：BIC的数值越大，证明模型的拟合能力越强；τ为当前所选的高斯混合模型；n为变量x的数据长度。设αj(xi)为某点xi属于第j个高斯模型的后验概率值，

(4)

式中：任一时刻操纵杆位移si的聚类标签序列D的求解过程为

(5)

2.2 基于HMM的转向模式序列预测

HMM可以被定义为一个五元组，如(6)式所示：

λ=(D,O,π,A,B)，

(6)

式中：D为操纵杆聚类标签序列，包含左右两侧操纵杆的组合关系；O为模型的观察序列；π为初始状态概率矩阵；A为状态转移矩阵，描述了操纵杆状态参量之间的转移概率；B为混淆矩阵，表征了每一个操纵杆状态参量中速度和航向变化偏差的分布概率。

O由车辆速度序列v(t)与航向变化偏差序列θ(t)组成，如(7)式所示：

O(t)={v(t),θ(t)}.

(7)

每一个隐状态参量j下，观测量Ot的连续概率密度bj(Ot)如(8)式所示：

(8)

式中：cj,l为隐状态j下第l个高斯模型的先验概率值；μj,l和Σj,l分别为隐状态j下第l个高斯模型的中心点矩阵和协方差矩阵；M为隐状态j下高斯模型的数目。

运用Baum-Welch算法，针对每个不同的挡位值，依次训练得到GMM-HMM转向模式预测模型，进而得到优化后的状态转移矩阵和混淆矩阵。继而运用前向- 后向算法，计算相应挡位下对应于当前观测参量的操纵杆状态参量可能性，选取产生概率最大的状态作为当前的操纵杆状态值，即预测转向模式序列值。

3 试验数据处理

3.1 试验工况简介及数据处理流程

为全面采集驾驶员的操控数据，试验车辆累计测试里程达到近300 km，试验场景尽可能覆盖车辆在1～4挡行车速度下的各种转向模式，数据采集周期为100 ms. 受制于试验场地条件，数据采集仅针对硬质土路面展开。

在完成数据采集后，试验数据处理及建模流程如图5所示。从试验数据中提取车辆速度、航向变化偏差、左右两侧操纵杆位置以及车辆挡位数据作为训练的原始数据，并对除车辆挡位数据之外的其余连续变化参量进行数据平滑滤波及异常值处理；在完成数据预处理后，开展GMM数据聚类以及HMM的训练工作，并最终得到面向硬质土路面条件下的转向模式预测模型。

3.2 基于GMM的转向模式统计分析

通过GMM对数据进行聚类分析，可以得到各挡位下两侧操纵杆全区间的概率密度分布，以及航向变化偏差和车辆速度组成的车辆运动基元组合概率密度分布。

1～4挡的左侧操纵杆全区间概率密度分布如图6所示。

转向操纵杆位置聚类结果如表1和表2所示，其中：表1给出了1挡左侧的转向模式分类结果，表2给出了4挡左侧的转向模式分类结果。

3.3 基于HMM混淆矩阵的转向不确定性统计分析

通过对HMM混淆矩阵的分析，对基于离合器转向机的速差转向车辆特性进行描述。限于篇幅，在此仅以1挡和4挡的工况为对象，研究转向模式与运动基元(航向偏差、速度)组合之间的对应关系，从统计学习的角度阐述车辆转向动力学。

3.3.1 直驶特性

通过对图7中运动基元的概率密度分布进行分析，可以得到如下车辆特性分析结果：

1)当两侧操纵杆都处于完全结合位置时，车辆存在直驶偏移现象，在1挡时直驶航向偏差处于[-0.06 0.06]区间内，在4挡时处于[-0.1 0.1]区间内。

2)车辆左右两侧的直驶航向偏差并非对称分布，车辆在直线行驶时具有小幅右偏的特性。

3.3.2 1挡行进间转向与原地转向对比分析

1挡行进间转向模式3与原地转向模式的运动基元概率分布如图8所示。从速度基元的角度分析可知，无论是原地转向还是行进间转向，转向常用的速度基元主要集中在均值为3 km/h的基元中，对应的发动机转速区间为800 r/min，即发动机处于怠速工况。

速差转向车辆的转向机理是力差，因此从力矩的产生到速差的形成必然存在一定的延迟，即操纵杆已经到位后经过一定时间才进入稳态转向。在这一状态中必然存在过渡过程，从而导致同一速度下航向校正偏差概率密度的多峰分布现象。

通过上述分析可以得到如下车辆特性：

1)转向模式的切换顺序不同，所对应的过渡过程不同，产生的转向效果也不同。

2)操纵杆到位后转向的过渡状态是影响车辆转向不确定性的一个因素。

上述分析结果进一步凸显了解决速差转向车辆横向控制问题的时序模型分析的重要性。

3.3.3 4挡行进间转向分析

4挡下两种行进间转向的运动基元概率分布如图9所示。从速度基元的角度来看，4挡车辆转向常用的速度基元集中在均值为35 km/h的基元中，所对应的发动机转速为2 000 r/min. 由于4挡时发动机的当量负载较大，考虑到发动机的实际带载能力，选用高转速进行转向，可有效避免发动机熄火。这一结论与驾驶员的驾驶经验相一致。

4挡的运动基元概率分布情况与1挡相类似。需要强调的是，4挡校正能力最强的运动基元尖峰概率点所对应的航向校正偏差为0.45°/0.1 s，航向校正能力明显弱于1挡情况下的1.3°/0.1 s.

4 转向模式辨识预测模型验证

为了验证GMM-HMM辨识的效果，选取未作为训练集的驾驶数据对模型进行验证。验证过程中选取的时间间隔同样为100 ms.

由于GMM-HMM是基于最大期望值的统计学算法，本文在利用GMM-HMM对转向模式进行预测时，为转向模式设置了最大似然度门槛值，即只有当转向模式产生的概率超过所设定的似然度门槛值时，才被判断为转向模式辨识正确。

1挡和4挡工况下的转向模式预测结果如图10和图11所示。通过分析图10和图11可以得到如下结论：

1)相对于传统的无人车预瞄跟踪转向模式生成算法，本文提出的驾驶员模型无论是预测延迟还是准确度都有明显的提升，平均预测延迟缩短300 ms，置信度提升18.4%.

2)无论是1挡还是4挡，车辆的稳态转向模式预测结果都有很高的置信度与准确性，1挡工况下的置信度为89.6%，4挡工况下的置信度为84.5%.

3)当转向模式处于切换状态时，驾驶员模型输出的结果为：在300～400 ms时段内置信度较低，1挡工况下的平均预测延迟为300 ms，4挡的平均预测延迟为400 ms.

5 结论

本文提出了一种速差转向履带车辆横向控制驾驶员模型，在利用统计学习算法对驾驶员操控经验以及车辆特性进行表述的基础上，实现了对于路径跟踪过程中转向模式的预测。本文的贡献及所得结论如下：

1)利用GMM对各挡位下转向操纵控制量进行了聚类分析，以聚类结果为依据实现了对转向模式的划分，并以区间均值和区间标准差表征转向模式，实现了各挡位下行进间转向模式的统计学描述。

2)利用HMM的混淆矩阵，分别针对各转向模式生成运动基元概率分布函数，实现了对车辆特性的统计学表述。

3)在硬质土路面条件下，利用本文所提出的横向控制驾驶员模型，转向模式预测的综合置信度比传统预瞄跟踪算法提升18.4%，预测延迟缩短300 ms；1挡低速情况下的预测模型综合置信度比4挡高速工况下高5.1%，平均预测延迟缩短100 ms；预测模型对于3 Hz以上变化频率的信号适应性较差，预测模型的综合置信度仅为56.9%. 综合而言，横向控制驾驶员模型能够以86.7%的置信度以及330 ms的平均延迟时间，实现对转向模式的预测，模型可信度较好。

)

[1] 陈慧岩,熊光明,龚建伟，等. 无人驾驶汽车概论[M]. 北京:北京理工大学出版社,2014.

CHEN Hui-yan, XIONG Guang-ming, GONG Jian-wei, et al. Introduction to self-driving car [M]. Beijing: Beijing Institute of Technology Press, 2014. (in Chinese)

[2] 王钦龙,王红岩,芮强. 基于多目标遗传算法的高速履带车辆动力学模型参数修正研究[J].兵工学报,2016,37(6): 969-978.

WANG Qin-long, WANG Hong-yan, RUI Qiang. Research on parameter updating of high mobility tracked vehicle dynamic model based on multi-objective genetic algorithm[J]. Acta Armamentarii, 2016, 37(6): 969-978. (in Chinese)

[3] 丁海涛,郭孔辉,李飞，等.基于加速度反馈的任意道路和车速跟随控制驾驶员模型[J].机械工程学报, 2010, 46(10): 116-125.

DING Hai-tao, GUO Kong-hui, LI Fei, et al. Arbitrary path and speed following driver model based on vehicle acceleration feedback[J]. Journal of Mechanical Engineering, 2010,46(10): 116-125. (in Chinese)

[4] 李红志,李亮,宋健，等.预瞄时间自适应的最优预瞄驾驶员模型[J].机械工程学报, 2010, 46(20): 106-111.

LI Hong-zhi, LI Liang, SONG Jian, et al. Optimal preview control driver model with adaptive preview time[J]. Journal of Mechanical Engineering, 2010, 46(20): 106-111. (in Chinese)

[5] 郭景华,胡平,李琳辉，等.基于遗传优化的无人车横向模糊控制[J].机械工程学报, 2012, 48(6): 76-82.

GUO Jing-hua, HU Ping, LI Lin-hui, et al. Study on lateral fuzzy control of unmanned vehicles via genetic algorithms[J]. Journal of Mechanical Engineering, 2012, 48(6): 76-82. (in Chinese)

[6] 段立飞,高振海,王德平.驾驶员对汽车方向的自适应控制行为建模[J].机械工程学报, 2011, 47(8): 121-125.

DUAN Li-fei, GAO Zhen-hai, WANG De-ping. Modeling of driver’s adaptive control behavior for vehicle direction[J]. Journal of Mecha-nical Engineering, 2011, 47(8): 121-125. (in Chinese)

[7] Kang J, Kim W, Lee J, et al. Skid steering-based control of a robotic vehicle with six in-wheel drives[J]. Proceedings of the Institution of Mechanical Engineers Part D: Journal of Automobile Engineering, 2010, 224(D11): 1369-1391.

[8] Ji J, Khajepour A, Melek W, et al. Path planning and tracking for vehicle collision avoidance based on model predictive control with multi-constraints[J]. IEEE Transactions on Vehicular Technology, 2017, 66(2): 952-964.

[9] 曾庆含,马晓军,魏巍，等.分布式电驱动履带车辆驱动力协调控制策略研究[J]. 兵工学报, 2017, 38(1): 9-19.

ZENG Qing-han, MA Xiao-jun, WEI Wei, et al. Research on coordination control strategy of driving force of distributed electric drive tracked vehicle[J]. Acta Armamentarii, 2017, 38(1): 9-19. (in Chinese)

[10] 廖自力,阳贵兵,高强，等. 多轮独立电驱动车辆转向稳定性集成控制研究[J]. 兵工学报,2017,38(5): 833-842.

LIAO Zi-li, YANG Gui-bing, GAO Qiang, et al. Research on integrated control of steering stability of multi-wheel independent electric drive vehicle[J]. Acta Armamentarii, 2017, 38(5): 833-842. (in Chinese)

[11] Meiring G A M, Myburgh H C. A review of intelligent driving style analysis systems and related artificial intelligence algorithms[J]. Sensors, 2015, 15(12): 30653-30682.

[12] Wang C, Zeng Q, Lin Y, et al. On-road vehicle trajectory collection and scene-based lane change analysis: part Ⅱ[J]. IEEE Transactions on Intelligent Transportation Systems, 2017, 18(1): 206-220.

[13] Gadepally V, Krishnamurthy A, Oezguener U. A framework for estimating driver decisions near intersections[J]. IEEE Transactions on Intelligent Transportation Systems, 2014, 15(2): 637-646.

SteeringControlDriverModelofSkidSteeringVehicleBasedonGaussianMixtureModel-HiddenMarkovModel

WANG Bo-yang， GONG Jian-wei， GAO Tian-yun， CHEN Hui-yan， XI Jun-qiang

(School of Mechanical Engineering， Beijing Institute of Technology， Beijing 100081， China)

In order to solve the unmanned lateral control problem of the skid-steering vehicle based on clutch and brake steering structure, the GMM-HMM model is used to predict the steering mode. The skilled driver's steering operation data acquired from the numerous filed tests is applied to establish the model. The observation states of the HMM model are made up of the velocity and the heading deviation based on the GMM model. The hidden states of the HMM model are made up of the cluster labels of the steering stick position including both of the left and the right sides. The driver-vehicle interaction model of the skid-steering vehicle based on clutch and brake steering structure is established from data training. The driving skills and the vehicle dynamics are described in the statistics way. The model is applied to estimate the steering mode, and the results have proved that the steering mode can be estimated properly based on the driving skills.

ordnance science and technology； skid steering; steering control; driver model; Gaussian mixture model-hidden Markov model; machine learning; motion primitive

TJ810.1

A

1000-1093(2017)12-2301-08

10.3969/j.issn.1000-1093.2017.12.002

2017-07-20

武器装备预先研究项目(ZLY2015315)

王博洋(1991—)，男，博士研究生。E-mail：wbythink@163.com

陈慧岩(1961—)，男，教授，博士生导师。E-mail：chen_h_y@263.net