高速场景相邻前车驾驶行为识别及意图预测

张海伦，付 锐

(长安大学汽车学院，西安710064)

0 引 言

相邻前车的驾驶行为(换道/切入)对后车的行驶安全产生较大影响[1].据统计，大量的交通事故都是由驾驶人的误判或误操作引起，这些事故中较多是发生在换道过程[2].此外，在换道过程中，国内外转向灯开启率普遍较低，这对后车的安全行驶形成挑战.因此，先进驾驶辅助系统(ADAS)需对相邻前车的驾驶行为进行识别并预测其驾驶意图，以便提前对本车进行预警，同时为预测前车行驶轨迹提供支持.

国内外学者对驾驶行为和意图并未进行严格区别.驾驶行为识别是指换道、超车等驾驶行为已经发生，并在行为过程的早期阶段进行准确识别；驾驶意图预测是指驾驶行为并未发生，需根据周围环境信息或驾驶人视觉信息预测车辆未来的行为.

近年来，机器学习方法在驾驶人行为识别领域应用较为广泛，深度学习方法在语音识别、图像分类等领域同样取得较大突破.刘志强等[3]以驾驶人注视参数和车路参数作为指标，设计了基于HMM和SVM的级联算法.祝俪菱等[4]提出基于支持向量机的驾驶行为识别方法，测试结果表明识别效果较好.倪捷等[5]建立了一种基于模糊神经网络的驾驶人换道意图识别模型.深度学习方法在处理时序问题时具有较强的泛化能力.驾驶行为亦是一种时变、连续过程.因此，采用深度学习方法预测驾驶意图受到越来越多学者的关注，Alex Zyner等[6]采用循环神经网络方法推断车辆在穿过无信号灯交叉路口时的意图.针对RNN 方法的梯度缺陷，文献[7]以驾驶人头部运动姿态作为参考特征，构建RNN-LSTM框架预测驾驶行为.

以上研究大多是针对本车驾驶行为的识别，其结果不能直接应用于前方车辆换道行为识别.本文受语音识别的启发[8]，基于隐马尔可夫模型(Hidden Markov Model,HMM)和长短时记忆网络(Long Short Term Memory,LSTM)，分别设计双层连续隐马尔可夫模型—贝叶斯生成分类器(Two Layer Continuous Hidden Markov Model-Bayesian Generation Classifier,CHMM-BGC)，以及双向长短时记忆(Bi-directional Long Short Time Memory Network,Bi-LSTM)网络的行为识别模型识别相邻前车换道行为并预测其换道意图，所需的信号可由本车上安装的传感器获取.采用NGSIM 自然驾驶数据对两种行为识别模型的识别率及预测性进行验证.

1 语音识别框架及换道场景

传统语音识别过程通过对语音库中的每个单词波形进行参数提取，得到语音向量，基于机器学习方法或深度学习方法学习训练模型M.对观测输入序列进行特征提取获得特征向量序列，解码得到最终识别结果，如图1所示，其中wordn表示语音库中的第n个单词.

图1 语音识别系统框架Fig.1 Speech recognition system framework

以语音识别框架为例，将前车行为(换道、保持)对应为不同的语音单词，由于相邻前车的运动信息和周围环境车辆的运动信息同为连续的时变过程，以不同长度的单词，对应不同驾驶风格的驾驶人换道持续过程不同，因此采用语音识别模型可以较好地应用于识别前车的换道行为.图2为换道过程和车道保持过程场景示意图，其中车辆R为本车，车辆T 为相邻前方车辆，RF 为本车的前车，TF为相邻前车的前车.

图2 换道和车道保持场景Fig.2 Lane change and lane keep

不同的驾驶行为是由驾驶人与周围环境交互后产生，因此环境信息可以对驾驶人的行为和意图产生影响.为了识别并预测车辆T的驾驶行为和意图，模型的输入分别为

式中：为行为识别模型的输入；为意图预测模型的输入；t为时间；为车辆T 的运动信息；为周围环境信息.T 车的运动信息和与周围环境的相对运动信息为

式中：为车辆T的绝对速度；为车辆T的横向速度；为车辆T 的加速度；为车辆T 的横向位移；为车辆T 与本车R 的相对距离为车辆T 与本车R 的相对速度；为车辆T 与车辆RF 的相对距离；为车辆T 与车辆RF 的相对速度；为车辆T与车辆TF的相对距离；为车辆T与车辆TF的相对速度.

2 模型理论

2.1 双层CHMM-BGC

HMM 由马尔科夫链生成不可观测的状态随机序列和一个观测随机序列过程组成，可对任意长度的时间序列进行建模.双层CHMM-BGC算法结构如图3所示，其中，ask,sk状态转移概率，Sk为状态的集合.

图3 双层CHMM-BGC 行为识别算法结构Fig.3 Structure of two-layer CHMM-BGC behavior recognition algorithm

高斯混合模型(GMM)可对连续观测序列进行概率建模，由多个高斯分布叠加构成.概率分布模型为

式中：αk是系数，为第k个高斯分布密度，θk为第k个模型参数，θk=(μk,σ2k)，μk,σ2k分别为高斯分布的均值和方差；y为观测数据；K为模型数量.采用EM 算法估计高斯混合模型的参数θk.

本文采用的隐马尔可夫模型为从左至右结构，模型参数可表示为

式中：A表示状态转移概率矩阵，A=[aij]N×N，aij表示状态qi到状态qj的转移概率，N表示可能的状态数；B表示观测概率矩阵，B=[bj(k)]M×N，bj(k)表示在状态qj时的观测vk的概率，M表示可能的观测数；π为初始状态概率向量，π=(πi)，πi表示在初始时刻状态qi的概率.

令M表示分类数，wi为各类别，p(wi)为各类别的先验概率，p(X|wi)为类条件密度，X为样本.类条件密度模型为隐马尔可夫模型，先验概率p(wi)通过极大似然估计法得到，通过贝叶斯公式计算待测样本属于各类别的概率，输出类别的概率最大者为最终分类结果.

2.2 Bi-LSTM网络

LSTM网络通过门结构特征解决了梯度消失或爆炸的问题，可以实现对任意时间序列进行建模并识别[7]，同时考虑了时间序列前后时刻的关联，状态从前往后传递，即当前状态只能通过过去的状态和当前的输入才能获取，解决了长期依赖问题，而Bi-LSTM网络从序列的两端出发，考虑了反向时序的影响，模型泛化能力增强，LSTM算法为

式中：为当前时刻输入向量；为系统遗忘门输出；表示单元内状态更新；表示当前时刻输入门值；为当前时刻的输出；为上一时刻的输出；q(iτ)为输出门；分别为遗忘门的输入偏置，输入权重和循环权重；分别为输入门的输入偏置，输入权重和循环权重；分别为输出门的输入偏置，输入权重和循环权重；σ为sigmoid 激活函数；tanh 为双曲正切函数；i,j为细胞数，i,j=1,2,…,n；τ为时刻.基于Bi-LSTM网络的行为识别模型结构如图4所示，其中x(τ)、h(τ)和s(τ)分别为LSTM单元在τ时刻的输 入、输出和状态更新，h(τ-1)和s(τ-1)分 别 为LSTM单元在上一时刻输入和状态更新

图4 基于Bi-LSTM 的意图识别模型Fig.4 Intention recognition model based on Bi-LSTM

3 实验与分析

模型验证及测试采用公开的NGSIM 数据集.数据中包含了车辆速度、加速度及位置等信息，采样频率为10 Hz.

3.1 数据提取

为了凸显环境信息对驾驶人换道意图的影响，需提取包含相邻前车及周围环境车辆的运动信息.所提取数据包括本车所在车道及相邻车道车辆信息，如图2所示.换道过程按照以下步骤提取：

(1)识别换道或切入车辆的编号.

(2)搜寻目标车辆跨道时刻tlc.

(3)以tlc作为起点，反向提取目标车辆在跨道时刻前的换道动作时间序列Tts.

(4)标记目标车辆换道时刻tac.

(5)提取目标车辆周围环境车辆在时间Tts内的运动信息.

需要注意的是：NGSIM 原始数据具有一定的噪声和误差，采用局部加权散射图平滑算法(LOWESS)对样本进行滤波处理；步骤(3)中的时间序列Tts涵盖了目标车辆在换道时刻tac前的时间序列，如图5所示；步骤(4)中的换道时刻点tac标记方法为，以目标车辆的横向位移数据为参考，采用MATLAB 中findpeaks 函数寻找到峰值点，该点为局部最大值，如图6所示，横向位移轨迹为NGSIM 数据集中I-80 路段04：00-04：15，2285 号车辆的横向位移，倒三角为findpeaks 函数寻找到的峰值点，以此作为换道时刻点，圆点为跨道时刻点，虚线为车道线.

经过以上提取过程，共提取到1 090段换道样本.定义相邻前车长时间在某车道行驶、无换道动作为车道保持过程，同样提取1 090段车道保持样本.对换道过程和保持过程进行分类，模型识别过程本质上为二分类问题.

图5 目标车辆换道时间序列提取示意图Fig.5 Schematic diagram of target vehicle lane change time series extraction

图6 换道过程横向位移示意图Fig.6 Lateral displacement diagram of lane change process

3.2 模型训练

将提取样本的80%作为训练集，20%作为测试集.GMM 的数量K将通过贝叶斯信息标准(BIC)确定.表1为不同K值对应的BIC 值，BIC 值越小越好[9]，故选取K=4.

表1 不同K 值对应的BIC 值Table1 BIC values for different K values

采用Baum-Welch算法对λ的参数进行估计.

Bi-LSTM网络由4层Bi-LSTM堆叠组成，Dropout 率为0.2，每层隐藏单元数为128，全连接层的激活函数为ReLU，采用Adam优化器，学习率为0.001，衰减置为0.9.

分别训练行为识别模型Mbeh-CHMM和Mbeh-BiLSTM，意图预测模型Mint-CHMM和Mint-BiLSTM，其中Mbeh和Mint的输入分别为和.

3.3 结果分析

分别以识别率、行为识别时刻和意图预测时域对所提方法的有效性和预测性进行分析.

3.3.1 识别率

识别率是指得到的正确分类样本占总样本的比例，亦称准确率，该结果基于行为识别模型Mbeh-CHMM和Mbeh-BiLSTM得到.双层CHMM-BGC 模型识别结果如表2所示.可以看出，该模型对换道过程的识别率较高，对保持过程识别率相对较低，但也达到了81.19%，原因可能是所提取的车道保持样本中部分数据存在一定的波动，使模型误判别为换道过程.平均识别率为88.07%.

表2 双层CHMM-BGC 模型识别结果Table2 Two-layer CHMM-BGC model identification results

基于Bi-LSTM网络模型识别结果如表3所示.该模型采用深度学习的方法，从识别率可看出，识别率较双层CHMM-BGC模型有较大提升，尤其是车道保持过程的识别，识别率上升到98.62%，换道过程的识别率达到100%.平均识别率为99.31%，相较于双层CHMM-BGC模型提升了11.24%.

表3 Bi-LSTM网络模型识别结果Table3 Bi-LSTM network model identification results

图7为受试者工作特征曲线(ROC)，其中，点划线为假正例率(FPT)为5%，对应的CHMM-BGC的真正例率(TPR)为84.1%，Bi-LSTM 的TPR 为98.6%，说明两种模型都具有较好的识别性能，但基于Bi-LSTM的行为识别模型泛化性能优于双层CHMM-BGC行为识别模型.

图7 受试者工作特征曲线Fig.7 Receiver operating curve

3.3.2 行为识别时刻

为了最大限度利用数据，采用滑动时间窗口方法，如图8所示.步长设置为0.1 s，即前后窗口中的有Tw-0.1 s 项是相同的.考虑到滑动时间窗口设置过长会影响到模型计算速度和内存占用，经对比后将Tw设置为1.8 s.

图8 滑动时窗Fig.8 Slide time window

行为识别时刻是指模型识别出换道行为时滑动窗口所处时间点，通过分析该指标可判别模型的识别能力.为了验证模型是否具有能够在换道过程早期阶段识别换道行为的能力，将测试集中的换道过程从换道时刻tac处截取，保留从换道时刻tac至跨道时刻tlc的时间序列，仅考虑目标车辆运动信息，采用Mbeh-CHMM和Mbeh-BiLSTM识别相邻前车驾驶行为.

令Treg=treg-tac，treg为识别时刻，此时该时间点处于tac之后.Treg为模型自换道动作发生后到正确识别出结果所需的时间.测试集中不同换道过程时间长度不同，对识别时间进行归一化处理.图9为所提两种模型对换道过程的识别时间统计，其中，矩形为频率，折线为累计频率.由图9可以看出，近90%的换道行为都能够在0.0～0.2 s 被识别，说明本文所提的两种模型均可在相邻前方车辆换道过程的早期时刻正确识别.

3.3.3 意图预测时域

为了凸显环境信息在一定程度上对相邻前车驾驶意图产生的影响，并可通过环境信息预测出驾驶人换道意图，考虑相邻前车与周围环境车辆的交互作用，采用Mint-CHMM和Mint-BiLSTM预测相邻前车的意图，此时模型的输入为，Tw与前一致.

由于加入环境信息，此时模型的换道识别时刻treg将出现在换道时刻tac之前.令Tpre=tac-treg为预测时域，即预判时间.图10为所提两种模型得到的预测时域统计，矩形为预测时域Tpre的频率，折线为累计频率，横坐标表示预测时域Tpre.图10中，双层CHMM-BGC 模型预测时域超过50%集中在1～2 s，1～3 s 累计频率近80%，说明该模型可较好地在换道开始前1～3 s 预测出前方目标车辆的换道意图；Bi-LSTM 模型的预测时域有近60%集中在1～2 s，但1～3 s 为70%，低于双层CHMM-BGC模型在该时间段的预测样本比例，该模型在1～2 s可较好地预测前方目标车辆的换道意图，但预测性能相较于前者不具备优势，同时发现，在0～1 s所占比例为25.5%，反应出部分换道样本仅能在换道时刻前的较短时间内识别到换道意图.两种模型在长时域预测上频率较低，这是因为较早时刻周围环境不满足换道要求，无法有效预测，与实际情况相符合.

图9 换道识别时刻Fig.9 Recognition moment of lane change

3.3.4 模型计算时间

在正常行驶时，系统需具有实时计算的能力.通过tic和toc函数获得Mint-CHMM和Mint-BiLSTM计算时间，结果如表4所示.表4可以看出，两种模型的平均仿真识别时间数量级分别为10-3和10-2，驾驶人处理突发事件的所需反应时间一般为0.2～0.4 s，因此所提模型均可满足系统实时计算要求.

图10 预测时域Fig.10 Prediction horizon

表4 模型仿真识别时间Table4 Model simulation recognition time

4 结 论

对相邻前车的驾驶行为和意图预测进行了研究，提出了一种双层CHMM-BGC行为识别模型和一种基于Bi-LSTM 的行为识别模型，并测试了两种行为识别模型的识别率及预测性能.结果表明：基于Bi-LSTM的行为识别模型在识别率上有较大优势，识别泛化能力更好；两种模型在识别时间上均可在前车换道早期阶段识别到换道行为；双层CHMM-BGC 行为识别模型可在换道时刻前预测到目标车辆驾驶人的换道意图，基于Bi-LSTM 的行为识别模型在预测时域上相较于前者不具备优势.本文所提模型应用于ADAS，可为后车驾驶人预留出宝贵的反应时间，同时为后续预测周围车辆行驶轨迹打下基础.