面向模拟驾驶训练的驾驶意图识别方法

刘志强，杨培培，倪 捷，冯新颖

(1.江苏大学 汽车与交通工程学院，镇江 212013;2.南京南车浦镇城轨车辆有限责任公司，南京 210031)

公安部交通管理局数据显示:2013年我国车辆和驾驶人数量保持快速增长，截至2013年底，全国机动车数量突破2.5亿，机动车驾驶人数量近2.8亿;全国有31个城市的汽车数量超过100万，机动车构成比例发生改变，汽车成为构成主体，我国已快步进入汽车社会［1］。但在我国汽车经济快速发展的同时，道路交通事故频发，交通参与者的安全意识、规则意识、文明意识仍比较薄弱，还存在大量安全隐患。

道路交通系统是一个有人参与的复杂系统，人在其中的行为决定了相当一部分系统的性能［2］。所以，为预防和减少交通事故，必须对交通参与者尤其是驾驶人的行为进行规范和教育。近年来，基于虚拟现实技术的驾驶模拟器已经在很多国家的汽车研发、教育研究和驾驶训练等领域得到了广泛应用。其中，模拟驾驶训练是现代培训方式的一种。模拟器可以仿真危险场景，如车辆碰撞、酒后驾驶等。通过模拟器可综合分析不利于行车安全的交通要素变化规律，建立相应的虚拟交通场景。利用驾驶模拟试验平台能对驾驶人进行有针对性的培训，有效提高驾驶人技术水平并规范其驾驶行为。但目前的培训大都是针对特定交通场景等客观条件，并没有考虑到驾驶人的主观驾驶意图。然而，相关统计表明:90%左右的道路交通事故发生的原因与驾驶人的操作失误有关［2］。若能将驾驶意图识别与模拟驾驶培训结合起来，在进行模拟驾驶训练时实时识别出驾驶人的驾驶意图并判断其是否危险，做到及时提醒，则会加深驾驶人对危险驾驶状态的认识和理解，提高模拟驾驶训练的效果。

国内外研究机构和学者也对驾驶意图识别做了大量研究工作。文献［3］提出了一个基于概念模糊集合理论(conceptual fuzz set，CFS)的驾驶意图识别模型，用于识别左转、右转及直行3个驾驶意图。W.Takano等基于隐马尔可夫理论(hidden markov model)提出了一种用于驾驶员转向驾驶意图辨识的智能识别方法，该方法包含数据分段、数据标号、意图辨识以及产生驾驶行为模式等部分［4］。X.Zou等应用HMM建立了驾驶员在十字交叉路口的操作行为模型，把汽车的运动数据作为可见观察序列，预测车辆在十字路口的运动［5］。总体来说，目前大部分研究只针对单一的驾驶意图，很少综合考虑制动、变速、换道等复合驾驶意图，也很少将驾驶意图识别应用于模拟驾驶训练。

本文提出了一种面向高速公路场景驾驶人操作行为训练的驾驶意图识别方案。针对高速公路场景中几种常见的驾驶意图，分别建立了对应的隐Markov模型;实时采集驾驶模拟器相关操作数据作为观察序列;对在进行模拟驾驶训练的驾驶人意图进行识别;将识别到的危险驾驶意图及时反馈给驾驶人，以加深驾驶人对危险驾驶意图和驾驶行为的认识和理解。在驾驶模拟器上的实验证明:该复合隐Markov模型能对几种常见的驾驶意图进行准确识别，并具有一定的自适应学习能力。

1 驾驶意图识别模型

驾驶意图是一种思维活动，难以直接获取，只能依靠驾驶操作行为、姿态和车辆自身状态、车外环境等信息进行间接推测和估计。而一旦识别出驾驶人的驾驶意图，便可结合当前的车辆状态和交通环境，判断当前驾驶行为和驾驶状态的安全性。反映驾驶意图的复杂驾驶操作行为能被分割为由多个简单的短时操作行为片段组成的序列，并且这些片段操作行为是依特定的时间次序先后发生的。把这些顺序发生的片段的驾驶操作行为链接起来就实现了特定的驾驶人驾驶意图［6］。

基于贝叶斯理论的隐Markov模型(hidden markov models，HMM)能针对时间矢量序列进行统计决策，近几年被广泛应用于驾驶人意图识别［7］。HMM是一种特殊的贝叶斯网络，它具有双重随机特性，包含了一个Markov链和一般随机过程。其中，Markov链表示的状态序列是不可见的，是模型内部的隐状态序列;而隐状态序列通过一般随机过程产生了可见序列，这样的二层结构就形成了HMM。基于Baum-Welch算法，利用各类的可见序列样本进行学习，产生代表每类的HMM参考模型，再基于统计判别理论，运用基于递归思想的Baum-Eagon算法、Viterbi算法等，对于可见序列、隐状态估计和模型参数估计，可对待识别的可见序列进行分类识别［8］。

基于HMM统计决策基础，适用于处理时间序列的特性，模块化建模思想以及模式识别的功能［9－16］，本文构建了一种复合的隐 Markov 模型(complex hidden markov model，CHMM)。该复合模型包含顶层和底层2个子模型层，分别用来识别驾驶人的驾驶意图和相应驾驶意图下的短时段内的驾驶操作行为。该CHMM结构框图如图1所示。

图1 复合隐Markov模型结构框图

图1中，底层即驾驶操作行为层为隐Markov模型，包含3个HMM模型库，分别对应驾驶人对加速、制动踏板的操作，对转向盘的操作和汽车转向灯信号。对于库中的每个HMM，Markov链用来描述短时驾驶操作行为的状态转移，它的状态序列是不可见的。一般随机过程则是描述操作行为与车辆相关部件动作实时数据和信号的关系，用短时操作行为的状态对可见状态的产生概率进行描述，即观察到的车辆动作数据与短时驾驶操作行为通过一组概率分布相联系。

顶层即驾驶意图层为隐Markov模型，包含6个HMM，分别对应高速公路驾驶环境中6种不同的驾驶意图，也构成一个模型库。在这些HMM中，Markov链用来描述驾驶意图的状态转移;一般随机过程则是描述驾驶意图与短时段驾驶操作行为间的关系;用驾驶意图状态对驾驶操作行为状态的产生概率进行描述。在顶层HMM中，作为观察值的短时驾驶操作行为序列是底层HMM的识别结果。即在CHMM中，底层HMM的识别结果将作为顶层HMM的可见状态序列。

把数据处理后的加速、制动踏板和转向盘数据以及转向灯信号作为观察序列，在不同短时驾驶操作行为下，分别训练4个单涉及加速和制动的HMM模型和3个单涉及转向的HMM模型。在对一定驾驶时间内的观察序列进行分段、数据预处理后，输入到上述训练好的HMM模型库里，逐段识别，计算出各模型对该段观察序列的产生概率，基于最大似然法得到对应上述驾驶时间内观察序列的制动与加速操作、转向盘操作和转向灯信号处理3组驾驶操作行为的识别结果。

根据驾驶人在高速公路驾驶环境的驾驶规律，在不同驾驶意图情形下，把CHMM底层(驾驶操作行为层)HMM的这3组识别结果作为顶层(驾驶意图层)HMM的观察序列，分别离线训练高速环境下对应正常从左侧超车、正常驶离高速公路、非正常从右侧超车A(开启转向灯情况)、非正常从右侧超车B(不开启转向灯情况)、非正常从左侧超车和加速跟车行驶6个HMM模型。这样就形成了复合的隐Markov模型结构，用于识别高速公路驾驶场景下的驾驶人驾驶意图，进而判断当前驾驶状态危险与否，是培养和提高驾驶人安全意识的训练方案的前提和核心。

1.1 驾驶操作行为层

正常驾驶时，制动踏板和加速踏板的操作行为相互独立，并按时间顺序先后进行。采集驾驶人对2个踏板的操作数据，构建踩加速踏板、松加速踏板、保持加速踏板位置、踩制动踏板共4个单一涉及制动与加速操作行为的HMM，用于识别驾驶人的制动与加速操作行为。对于制动与加速操作模型库中每个HMM，可见序列都可用下列向量来描述［8］:

其中x1(t)和x2(t)分别为加速踏板行程和制动踏板行程。

采集方向盘转角和方向盘角速度的数据构建左转方向盘向左变道、右转方向盘向右变道、直线行驶3种情况下的转向操作行为的HMM，每个HMM的观察序列也可用向量形式描述:

其中:y1(t)为方向盘转角;y2(t)方向盘角速度。

在Matlab软件中导入HMM工具包，并利用该工具包中的Baum-Welch算法，通过递归方式对模型库中每个HMM的更新参数进行估计，得到驾驶人对两踏板和转向盘的单一操作行为HMM的模型参数。

对于这些单一驾驶操作行为的HMM，Baum-Welch算法中的前向和后向递归式如下:

其中:αj(t)为前向变量，表示系统在时刻t处于隐状态uj，同时产生可见状态序列v前t个可见状态的概率;βi(t)为后向变量，表示系统在时刻t位于隐状态ui，并产生了时刻t之后(不包括t时刻)可见状态序列v的概率;m为隐状态的个数;aij为隐状态vi转移到uj的转移概率;bjk为隐状态uj产生可见状态vk的概率。

模型参数都优化完成后的7个仅涉及单一驾驶操作的HMM便构成了驾驶操作行为层的HMM模型库。基于最大似然估计思想，应用前向算法(Baum-Eagon算法)，针对实时采集的驾驶操作相关数据序列，分别计算模型库每个HMM产生这些可见序列的概率，选择产生概率最大的那个模型，即似然度最大的HMM作为识别结果。

同时，采集转向灯信号，分左右侧，按开启和关闭标注实时状态，构成一段时间序列，作为转向灯操作识别结果。这样，便得到了驾驶行为层的识别结果，即一定时间内，驾驶人对制动与加速踏板、转向盘和转向灯的操作行为序列，也用向量形式表示:

其中:u1(t)为制动与加速操作行为识别结果;u2(t)为转向盘操作行为识别结果;u3(t)为转向灯信号操作识别结果。

1.2 驾驶意图层

通常在特定驾驶环境中，实现驾驶意图的驾驶行为呈现一定的规律性。例如，高速公路上正常从左侧超车的驾驶意图，有以下驾驶操作行为序列:先开启左转向灯，然后左转方向盘，踩油门踏板加速行驶，在左侧车道完成超车后，再开启右转向灯，再右转方向盘回到原车道，松油门踏板，再关闭转向灯。高速公路驾驶环境下的几种常见驾驶意图和对应的驾驶行为序列如表1所示。

表1 高速公路环境中几种常见驾驶意图及其对应驾驶操作行为序列

对高速公路场景下不同的驾驶意图，把前面得到的驾驶操作行为层HMM的识别结果u(t)(制动与加速、转向盘和转向灯操作行为操作序列)，作为驾驶意图层HMM的观察序列，分别训练相应的HMM。

由于底层将操作行为分割为短时操作行为片段，使得驾驶意图层HMM为离散模型。对于顶层HMM，前向变量αi(i)和后向变量βi(i)的迭代公式可修改为:

同时，在Baum-Welch递归算法中，状态转移矩阵的重估公式和初始概率无需修改，只将可见序列概率矩阵的计算公式修改为

这样，驾驶意图层中的HMM可由式(9)表示。

式(9)中:P为驾驶意图层中相应HMM的初始概率;A2为相应HMM的状态转移矩阵;B1为制动与加速操作可见序列概率矩阵;B2为方向盘操作可见序列概率矩阵;B3为转向灯操作可见序列概率矩阵。在高速公路驾驶场景下对应正常从左侧超车、正常驶离高速公路、非正常从右侧超车A(开启转向灯情况)、非正常从右侧超车B(不开启转向灯情况)、非正常从左侧超车和加速跟车行驶6种情况的模型参数，可通过上述Baum-Welch算法递归迭代优化分别得到。

综上，复合隐Markov模型(CHMM)的训练过程如图2所示。

图2 复合隐Markov模型的训练过程

2 试验数据的采集与处理

借助江苏大学汽车工程研究院实验室的动感型汽车驾驶模拟器(QJ－4B1型6自由度交通工程模拟试验机)，模拟我国标准双向6车道高速公路场景，如图3所示。

选取7名驾驶员在模拟器上以初始速度分别为80、90和100 km/h的车速做正常从左侧超车、正常驶离高速公路、非正常从右侧超车A(开启转向灯情况)、非正常从右侧超车B(不开启转向灯情况)、非正常从左侧超车、加速跟车行驶6个驾驶场景的模拟驾驶试验，每个场景每人重复做10次试验。在每名驾驶员的试验数据中随机选择7组作为复合隐Markov模型的训练样本，余下的3组作为待识别检验样本。

图3 江苏大学QJ－4B1动感型汽车驾驶模拟器试验平台及试验场景

对于每组采集到的数据，分别截取6种驾驶意图场景下的数据并对其进行分段;然后，对这些段时片段内的驾驶操作数据进行滤波;再用t－检验法剔除异常的操作数据［17］，即计算每个短时片段内的驾驶操作数据相对于该段数据的统计量Tm。当Tm大于临界值Tp时，则认为该操作数据为异常并将其剔除。Tm和Tp的计算公式分别为:

式(10)和(11)中:xm为数据片段中的一个样本值;¯x为该数据片段中不含xm的所有数据样本的平均值;s为不含xm的所有数据样本的标准差;n为数据片段中的样本个数;tp(n－2)为自由度为n－2的t分布的p分位数，可通过查表获得。

3 复合模型的识别验证

复合隐Markov模型(CHMM)的底层和顶层HMM的所有参数训练完成后，将得到的参数导入Matlab软件，对剩下的3组试验数据进行识别验证。即对采集到的制动、加速踏板和转向盘、转向灯的操作数据序列，应用前向算法(Baum-Eagon算法)，分别计算底层和顶层模型库中的每个HMM产生该可见序列的概率值，再选择似然度最大的作为识别结果。其中，底层的识别结果为顶层的待识别序列，而顶层的识别结果即为当前的驾驶意图。

经过实验对比，在底层HMM训练和识别中，按0.5 s为时间片段单位来分割驾驶操作数据，得到的识别率相对较高。以正常从左侧超车驾驶情形为例，图4为采集并进行预处理后的驾驶操作数据，驾驶行为层HMM和驾驶意图层HMM的识别结果如图5所示。

图4 预处理后的驾驶操作数据

图5 复合隐Markov模型的识别结果

4 结论

1)底层HMM的识别结果为短时间片段内驾驶人对车辆的操作行为;顶层HMM的识别结果为一段时间内的驾驶意图。在驾驶人完成驾驶意图对应操作的同时，复合隐Markov模型识别出驾驶意图类型，根据识别结果可判断在当前驾驶环境下该驾驶状态是否危险，并应用于模拟驾驶训练，实时提示危险驾驶状态。

2)当识别结果为加速跟车行驶时，可结合安全车距模型，通过车距来实时判断当前驾驶状态的安全性，这样可以训练并增强驾驶人保持安全车距的意识。

3)复合隐Markov模型可扩展到其他驾驶环境，在考虑新驾驶环境中的驾驶意图时，如需要采集另外的数据，只需在底层中增加相应的HMM模块，而无需重新训练整个模型，从而节省工作量。

4)在进一步的研究中，可以考虑与其他算法相结合并进行改进，缩短识别时间，实现对后续驾驶操作行为的预测，并将模型应用于车载预警系统的研究开发中。

［1］公安部交通管理局.2013年道路交通安全形势总体平稳［EB/OL］.［2014 －01 －28］.http://www.mps.gov.cn/n16/n1252/n1837/n2557/3986343.html.

［2］王武宏，孙逢春.道路交通系统中驾驶行为理论与方法［M］.北京:科学出版社，2001.

［3］Ohashi K，YAMAGUCHI T，Tamai I.Humane automotive system using driver intention recognition［C］//SICE annual conference.USA:［s.n.］，2004:1164 －1167.

［4］Takano W，Matsushita A，Iwao K，et al.Recognition of human driving behaviors based on stochastic symbolization of time series signal［C］//Intelligent Robots and Systems.USA:［s.n.］，2008:167 －172.

［5］Zou X，Levinson D M.Modeling Pipeline Driving Behaviors:Hidden Markov Model Approach［J］.Transportation Research Record:Journal of the Transportation Research Board，2006，1980(1):16 －23.

［6］宗长富，王畅，何磊，等.基于双层隐式马尔科夫模型的驾驶意图辨识［J］.汽车工程，2011(8):701－706.

［7］Berndt H，Emmert J，Dietmayer K.Continuous driver intention recognition with hidden markov models［C］//Intelligent Transportation Systems.USA: ［s.n.］，2008:1189－1194.

［8］孙即祥.现代模式识别［M］.2版.北京:高等教育出版社，2002.

［9］史笑兴，王太君.二阶隐马尔可夫模型的学习算法及其与一阶隐马尔可夫模型的关系［J］.应用科学学报，2001，19(1):29 －32.

［10］李荣，胡志军，郑家恒.基于遗传算法和隐马尔可夫模型的Web信息抽取的改进［J］.计算机科学，2012，39(3):196－199.

［11］朱旭东，刘志镜.基于主题隐马尔科夫模型的人体异常行为识别［J］.计算机科学，2012(3):251 －255，275.

［12］余龙华，王宏，钟洪声.基于隐马尔科夫模型的人脸识别［J］.计算机技术与发展，2012(2):25－28.

［13］黄静，孔令富，李海涛.基于傅里叶－隐马尔科夫模型的人体行为识别［J］.计算机仿真，2011(7):245－248.

［14］何邵灿，高宏力，许明恒.基于隐马尔科夫模型的机床部件故障预警技术［J］.机械设计与制造，2012(8):159－161.

［15］刁进军，曾静，赵海龙.基于马尔科夫链的导弹部队生存状态分析［J］.四川兵工学报，2011(7):141－142.

［16］谢锋云.基于隐马尔科夫模型的机床轴承热误差状态表征［J］.机床与液压，2012(17):31－34.

［17］刘国伟，尹洪宗，何锡文.不确定度评定中离群值的检验及计算机编程［J］.冶金分析，2004，24(4):1 －1.