基于Residual BiLSTM网络的车辆切入意图预测研究*

郭景华，肖宝平，王靖瑶，罗禹贡，陈 涛，李克强

（1.厦门大学航空航天学院，厦门 361005；2.清华大学，汽车安全与节能国家重点实验室，北京 100084；3.中国汽车工程研究院股份有限公司，重庆 401122）

前言

据统计有90%以上的交通事故都是由于人为操作失误造成的，其中有18%的交通事故发生在换道的过程中［1］，且在未来的很长一段时期内，自动驾驶车辆将长期在人工驾驶车辆与自动驾驶车辆混合的环境下运行。针对实际交通环境的复杂性和人工驾驶风格的多变性，预测车辆的切入意图有利于自动驾驶车辆理解周围的复杂交通场景，可以提高自动驾驶车辆的决策能力和安全性能。

目前针对换道意图预测已有不少研究。尤其从机器学习的角度研究换道意图预测越来越受关注［2］。文献［3］中提出一种基于Bayesian Networks的驾驶行为预测方法，包括车辆切入在内的27种驾驶行为预测。文献［4］中采用Binary Logistic Regres⁃sion的方法建立车辆换道模型，并进一步分析了影响车辆换道的因素。文献［5］中采用HMM和SVM级联的算法对驾驶意图进行辨识，结合HMM和SVM算法的优势，提高了驾驶意图识别率。文献［6］中设计并训练了PSO算法优化的BP Neural Net⁃works换道模型，以识别驾驶员意图。然而传统机器学习没有充分利用驾驶数据，且在长时域范围内的预测精度低，难以有效预测目标车辆的换道意图。

随着计算机计算能力的提升和大数据技术的发展，深度学习网络取得了突破性进展。深度学习网络在换道行为模型的构建精度上高于传统机器学习［7］，且深度学习能更灵活和准确地描述人类复杂的驾驶行为［8］。文献［9］中建立LSTM预测模型，并根据自车位置、速度和航向信息来预测交叉路口的驾驶员意图。但以上研究主要集中在针对自车的状态来预测自车的换道行为，而没有考虑车辆间交互信息来预测周围车辆的换道意图。

据此本文中提出了基于Residual BiLSTM网络的车辆切入意图预测模型。首先，通过滤波器平滑自然驾驶数据集，并使用滑动窗口的方法提取车辆轨迹序列，以构建模型训练样本库。接着，在考虑车辆间的交互信息基础上提出Residual BiLSTM车辆切入意图预测模型。最后，在测试集上对模型的预测性能进行测试，并与LSTM模型相对比，验证了所提出的车辆切入意图预测模型的有效性。

1 自然驾驶数据的采集与处理

采用“中国汽研自然驾驶数据研究（CAERI⁃NDS）”项目采集的自然驾驶数据，试验车配备摄像头、毫米波雷达和GPS等传感器［10］。试验车采集自车与周围车辆的运动状态信息，采样频率为25 Hz，视觉模块实现车道线检测、周围车辆检测分类、红绿灯检测和标志牌检测等功能，毫米波雷达模块采集周围车辆的方向角、相对位置信息、相对速度和相对加速度等信息，GPS模块采集自车的全球定位信息，而自车的运动状态信息由车辆底盘传感器获得。针对我国的道路复杂多样，试验车分别在高速、城市、乡村等路段采集数据，采集路段如图1所示。

本文中所研究的车辆切入意图预测是一种多分类问题，典型的车辆切入意图如图2所示，包括左车道保持、左车道插入、右车道插入和右车道保持4类切入意图。从自然驾驶数据筛选出车辆切入片段的数据，同时过滤掉切入异常的片段，例如车道线不清晰、光线不足、数据缺失等异常片段，最后筛选出2 523条车辆切入轨迹数据。

自然驾驶数据集的轨迹数据存在一定的噪声，因此这些数据不能直接使用。本文中采用Savitzky⁃Golay滤波器对其进行平滑处理，具体步骤如下。

在原始数据x附近取M个采样点，并在x周围构建一个2M+1个采样点的窗口来拟合i阶多项式Yn，即

其中-M≤n≤M，i≤2M+1。

拟合误差E为

通过最小化拟合误差E来获得更好的拟合效果，所以令E对ar的偏导为0，即

则

其中r=0，1，…，i，求得ak即可确定拟合多项式Yn，完成对数据的平滑拟合。

Savitzky⁃Golay滤波器的多项式阶数i设为4，M设为10，其中车辆速度和加速度的平滑效果如图3所示。

图3 数据平滑效果

2 车辆切入意图预测模型

2.1 车辆切入数据集

根据车辆横向位移曲线的曲率确定车辆切入开始和结束时间点［11］，并对数据标注相应的标签，左车道保持标注为0、左车道插入标注为1、右车道插入标注为2和右车道保持标注为3。数据集中每辆车的轨迹数据是连续的，采用固定长度的滑动窗口去分割时序数据，以更好地利用数据和提取特征。如图4所示，设定滑动窗口的大小1.92 s，滑动步长为0.96 s，即50%的重叠率，并将滑动窗口的最后一个时刻点的标签标记为此序列的标签，图中的实线滑动窗口正处于右车道保持的位置，而虚线滑动窗口处于右车道插入的位置。基于以上方法，从切入轨迹数据中筛选出样本序列总数为48 140，其中左车道保持13 404个序列、左车道插入2 584个序列、右车道插入5 620个序列和右车道保持26 532个序列。由于筛选出的各类数据不平衡，从而会产生过拟合的问题［12］，所以各类数据统一选取2 584个序列，并将其中的80%作为训练集，20%作为测试集来测试预测性能。

图4 滑动窗口分割过程

2.2 模型输入参数

选取切入车辆的横向坐标、横向速度、加速度、方向角和方向角速度作为切入车辆的基本输入特征。车辆间的交互作用是影响车辆切入意图的因素之一［13］。模型输入也考虑切入车辆与自车的相对位置和相对速度关系。模型输入包括切入车辆的运动状态信息及与自车的相对运动状态信息：

其中

式中：th为输入的历史序列长度，所设时间步长为1.92 s；S t为切入车辆的运动状态信息；M t为切入车辆和自车的相对运动状态信息。

式中：yt为切入车辆的横向坐标；为切入车辆的横向速度；at为切入车辆的加速度；θt为切入车辆的方向角；θt为切入车辆的方向角速度；Δxt、Δyt和 Δvt分别代表切入车辆与自车的纵向相对距离、横向相对距离和相对速度。

2.3 LSTM网络结构

LSTM（long short⁃term memory）是一种特殊的RNN结构，车辆切入意图预测属于轨迹时序问题，LSTM网络非常适合处理这种时序数据的预测分类问题。如图5所示，LSTM单元由输入门i t、输出门o t和遗忘门f t组成，分别实现对信息的写、读和重置作用。

图5 LSTM单元结构图

为更深入理解门的作用，显示如何通过上一时刻的输出h t-1来计算当前时刻的输出h t，其具体的公式定义如下：

式中：e t为t时刻的输入；W和b分别为权重和偏置项；g t为t时刻的候选单元状态；c t和c t-1分别为t时刻和t-1时刻的单元状态。

LSTM车辆切入意图预测模型如图6所示，它由时间序列输入层、切入意图预测层和意图概率输出层3部分组成，将切入车辆及与自车的交互时间序列E作为模型输入，利用堆叠LSTM结构预测分类的结果，并通过softmax层将分类结果转变为概率分布，最后输出车辆切入意图的概率，以最大的类别输出概率作为预测的类别。最终采用的LSTM模型由3层LSTM堆叠，各层间Dropout率为0.75，每层隐藏单元个数为32，采用Adam优化器，学习率0.000 7。LSTM预测模型的公式为

图6 LSTM车辆切入意图预测模型

式中：LSTM函数代表LSTM单元的所有计算；Y为模型输出；P i(i=0，1，2，3)分别为左车道保持、左车道插入、右车道插入和右车道保持的意图概率。

2.4 Residual BiLSTM网络结构

BiLSTM网络是在LSTM网络的基础上添加另一反向LSTM层，可以进一步处理反向信息，即由前向fw LSTM和后向bw LSTM结构组成。BiLSTM网络的双向特性，不仅能更好地改善长期依赖问题，且增加神经网络的数据量，提高了预测精度［14］。BiLSTM车辆切入意图预测模型如图7所示，也是由3部分组成，与LSTM预测模型不同的是在切入意图预测层中加入反向的LSTM单元，并将正、反向LSTM单元最终的输出拼接（concat）起来。

图7 BiLSTM车辆切入意图预测模型

然而，深层的BiLSTM预测模型易出现优化瓶颈和梯度消失的问题，导致不能有效地提高预测精度［15］。深度残差网络（residual network）的残差连接很好地解决这些问题，因此文中进一步设计了Residual BiLSTM车辆切入意图预测模型，如图8所示。在BiLSTM预测模型中加入Residual连接，并将BiLSTM层的输入和输出连接起来。最终采用的Residual BiLSTM模型由3层Residual BiLSTM堆叠组成，Dropout率为0.75，每层隐藏单元数为32，采用Adam优化器，学习率为0.000 7。Residual BiLSTM预测模型的公式为

图8 Residual BiLSTM车辆切入意图预测模型

3 试验验证

为测试所提出的车辆切入意图预测模型的性能，本文对比LSTM和Residual BiLSTM两种模型在测试集上的各个性能，并分析车辆切入的案例。

3.1 切入意图预测结果分析

将训练好的两种切入意图预测模型分别对测试集的517个序列进行预测。采用混淆矩阵图来分析模型预测结果，混淆矩阵的横坐标为预测意图，纵坐标为真实意图，如图9所示。由图9可知，LSTM模型不能很好地区分车道保持和插入的序列，而Residual BiLSTM模型改善了很多，在4种切入意图的预测效果优于LSTM模型。

图9 混淆矩阵

LSTM和Residual BiLSTM的意图识别评价指标如表1和表2所示。可以看到LSTM模型的准确率为85.2%，而Residual BiLSTM模型的准确率为93.4%，准确率提高了8.2个百分点，且在精确率、召回率和F1⁃分数都达到89.7%以上，可知所提出的Residual BiLSTM模型有较好的意图预测能力。

表1 LSTM意图识别评价指标 %

表2 Residual BiLSTM意图识别评价指标 %

3.2 ROC曲线分析

接收器工作特性（receiver operating characteris⁃tic，ROC）曲线和ROC曲线下面积（area under ROC curve，AUC）广泛应用于分类性能评价［16］，本文中使用ROC曲线和AUC进一步评价LSTM模型和Resi⁃dual BiLSTM模型的整体预测性能，如图10所示。ROC曲线越靠近左上角，假正例率越小，真正例率越大，即AUC值越大，则模型的平均预测性能就越好。从图10可以看出，LSTM和Residual BiLSTM的左车道保持、左车道插入、右车道插入和右车道保持的AUC分别为［0.973，0.977，0.966，0964］、［0.992，0.995，0.976，0.972］。从而可以得出，Residual BiL⁃STM模型各类切入意图预测上的预测效果显著优于LSTM模型。

图10 ROC曲线

3.3 实例分析

定义车辆切入时间（time to cut⁃in，TTC）是车辆从当前位置到达车道线的时间间隔。越早预测出车辆切入意图就越有利于车辆的决策。图11示出基于Residual BiLSTM的车辆切入案例，模型预测到周围4辆车的切入意图。从图11（a）中可以看到，当TTC=2.8 s时预测模型已经预测到车辆1的切入意图，切入概率为22.19%，而车辆2正完成切入过程，其他2辆车保持当前车道行驶，说明预测模型能较早地预测出车辆的切入意图。随着车辆1驶向车道线，车辆1的切入概率逐渐提高。图11（b）中，当TTC=1.96 s预测车辆切入概率达96.99%，而图11（c）中，当TTC=0.2 s时车辆1切入概率高达99.99%，说明预测模型能准确预测出车辆的切入意图。

图11 Residual BiLSTM车辆切入案例

4 结论

提出Residual BiLSTM车辆切入意图预测模型，综合考虑了影响车辆切入的因素，模型采用的双向结构能更好地提取车辆轨迹序列的特征，Residual连接有效地改善梯度消失的问题，从而提高了模型的训练精度。最后在真实的自然驾驶数据集上进行训练和测试。试验结果表明，所提出的Residual BiLSTM车辆切入意图预测模型有效提高了网络的预测能力，预测准确率高达93.4%，且能较早预测出车辆切入意图，提高车辆的感知能力和安全性能，进一步为自动驾驶车辆提供良好的决策基础。