基于LSTM概率多模态预期轨迹预测方法*

高镇海，鲍明喜，高 菲，唐明弘

（吉林大学，汽车仿真与控制国家重点实验室，长春 130022）

前言

为使自动驾驶汽车安全有效地在复杂的交通场景中行驶，需要具备预测周围车辆意图和未来轨迹的能力［1-4］。由于车辆未来的预测空间具有多样性，即不同的车辆在相同的场景下有不同的表现，即未来有多种可能性的结果，预测未来的不确定性问题导致轨迹预测存在多模态属性（一般性换道、加速换道、车道保持），使得轨迹预测成为一个具有挑战性的问题。

为解决动态环境下长时域预测准确度低的问题，基于深度学习在轨迹预测方面受到广泛学者的关注。张晓宁［5］基于LSTM 构建了高速公路下车辆轨迹预测模型，考虑位置、加速度、横摆角速度等因素进行预测。张一恒［6］主要通过Bi-LSTM 构建驾驶意图识别模型，并针对驾驶人员的驾驶风格进行具体分析。李亚秋等［7］基于EKF 的BP 神经网络构建了高速公路数据训练模型，但仅识别换道和车道保持两种意图。Xie等［8］仅基于LSTM 神经网络构建的车道变换的数据驱动模型，没有考虑车道保持等驾驶行为对模型的影响。Lin 等［9］基于时空注意力LSTM 着重分析了历史轨迹和相邻车辆对目标车辆的影响，缺乏对驾驶意图的可解释性。Xiao 等［10］基于UB-LSTM 构建了高速公路的车辆行为意图模型和轨迹预测模型去预测车辆未来单模态轨迹，能有效识别车辆未来的行为意图但模型输出的轨迹与真实轨迹有较大的误差，须进一步通过优化的方式拟合车辆轨迹。

近期大量学者为模拟未来轨迹的不确定性以及充分表示预测空间，通过学习潜在变量［11］来表现轨迹的多模态属性，例如VAES［12-13］和GANS［14］。Tang等［11］通过引入潜在变量和并行的神经网络来构建模型架构捕获多模态属性。同时大量工作聚焦于光栅或者栅格图像处理环境建模交互，应用卷积网络［15-19］和循环神经网络提取环境信息。Deo 等［20-22］提出基于卷积社交池的LSTM 网络模型，该方法预测了未来交通车辆行驶轨迹的分布情况，但忽略了交通车辆间交互作用的影响。Cui 等［23］将每个参与者的周围环境编码为栅格图像，作为深度卷积网络的输入。

然而，前期基于数据驱动构建的轨迹预测模型均是通过历史时域信息预测未来单模态轨迹，没有充分表征目标车辆的未来预测空间和分析驾驶行为意图对模型的影响。并且基于栅格图像的方法预测车辆的多模态属性，导致所提出的模型产生两大问题：（1）造成稀疏卷积，浪费计算资源；（2）很难具有解释性。

因此，为充分表示车辆行为预测空间，减轻模型复杂度，解决预测的固有不确定性，减少运动规划的安全问题，本文通过深度提取环境特征信息提出一种基于概率密度的多模态预期轨迹预测（probabilistic multi-modal expected trajectory prediction，PMETP）模型。该模型从历史环境信息直接生成多种可能发生未来行为（左换道，车道保持，右换道，左加速换道，右加速换道）。PMETP 是基于Seq2seq 编码器-解码器架构构建，包含交通车辆行为意图识别模块和轨迹预测模块。同时在PMETP 模型中对自动驾驶交通车辆及其所处驾驶场景进行具体化意图预测，可为自动驾驶车辆安全高效地决策规划提供先验知识。

1 运动预测理论阐述

本文将预期轨迹预测表示为通过目标车辆和其周围交通车辆的历史特征信息预测车辆每一时间步未来位置的概率分布。PMETP 旨在为处于复杂高动态环境中的交通车辆生成多条可能的且具有安全的轨迹，充分表示未来预测空间。

1.1 环境特征信息

在复杂的动态交通环境中，自动驾驶交通车辆轨迹预测不仅考虑被预测车辆的运动状态，而且还应考虑被预测车辆的环境信息，即周边交通车辆的特征信息、被预测车辆与周边交通车辆以及周边交通车辆之间的交互作用特征信息。为使运动预测模型理解车辆间的交互式行为，输入信息包括被预测车辆历史特征信息及环境特征信息，输入信息如式（1）所示。

图1 被预测车辆方位示意图

1.2 驾驶行为意图分类

无人驾驶车辆在驾驶过程中会产生直线行驶、左换道、右换道、转向等多种驾驶行为，在无人驾驶车辆行驶过程中，被预测车辆的具体驾驶行为影响本车认知所处复杂的交通行驶环境。换道场景示意图如图2 所示。图2（a）中表征当被预测车辆发生正常换道时，本车无人驾驶决策可进行车道保持和左右换道等驾驶策略。图2（b）中表征当被预测车辆产生加速换道的驾驶行为时，本车行驶策略基于此驾驶行为判断本车与被预测车辆之间碰撞风险程度增大，造成严重的交通事故，因此本车的行驶策略避免发生车辆碰撞产生保持现状或者向右换道的驾驶行为。无人驾驶车辆在动态交通环境中行驶时，换道行为的产生一般是由两种原因造成：（1）为了获取更大的行驶空间，满足车辆的高效行驶；（2）为了避免碰撞风险，降低车与车之间的事故发生率。因此，在本文中，针对左、右换道具体驾驶行为意图划分为加速换道和一般换道，即驾驶行为意图分为左换道、车道保持、右换道、左加速换道和右加速换道5 种类别，如图3 所示。当预测时域内的平均速度大于历史时域平均速度7.2 km/h，则定义为加速换道，反之，车辆意图为正常行驶状态下的左、右换道。

图2 换道场景示意图

图3 驾驶行为意图示意图

2 概率多模态预期轨迹预测模型

2.1 模型架构

本文提出的PMETP 由驾驶行为意图识别模块和交通车辆预期轨迹预测模块组成，如图4 所示。自动驾驶交通车辆驾驶行为意图识别模块基于车辆历史编码状态信息输出当前时刻车辆在车道保持、左换道、右换道、左加速换道和右加速换道等5 种驾驶行为概率。交通车辆预期轨迹预测模块基于历史编码信息以及驾驶行为意图概率输出未来时域车辆轨迹的概率分布。

图4 PMETP架构

基于LSTM 和MLP 构建的自动驾驶交通车辆行为意图识别模块，输入交通车辆的历史特征信息，通过归一化指数函数（Softmax 函数）计算各驾驶行为意图的概率。LSTM［24］是门控循环神经网络，包含遗忘门、输入门、输出门以及与隐藏状态形状相同的记忆细胞。设自动驾驶交通车辆当前时刻整体环境的历史状态特征信息M为车辆运动预测模型的输入向量，C=(c1，c2，c3，c4，c5)为驾驶行为意图识别模块输出的意图类别向量，c1～c5分别代表车道保持、左换道、右换道、左加速换道、右加速换道5 种驾驶意图类别。驾驶意图类别概率向量为

式中ωi=P（ci|M）为驾驶意图为ci的概率，i=1，2，3，4，5。

交通车辆预期轨迹预测模块由全连接层、编码器、解码器、MLP 和MDN 网络构成，全连接层网络提取交通车辆历史状态的特征信息作为编码器的输入，编码器为提高当前状态的前后关联性采用循环神经网络LSTM将输入的特征信息编码成上下文向量，并采用双向LSTM和单向LSTM结合方法增强提取前向过程中的环境特征信息。编码器生成的上下文向量和驾驶行为意图识别模块输出的行为识别向量生成车辆轨迹信息中间向量并作为解码器的输入。MLP网络和MDN 网络输入解码器的输出向量，使模型在基于意图识别的基础上，预测未来轨迹的概率分布。

2.2 交通车辆行为意图识别模块

交通车辆行为意图识别模块根据被预测车辆及其周边交通车辆的运动状态和交互作用信息理解其运行规律，能准确识别车辆当前状态的驾驶意图，模型框架见图4。整个模型由MLP 和LSTM 层组合搭建完成。历史状态信息M首先经过具有128 个神经元、激活函数为Leaky Relu 的全连接层（fully connected layers，FC），编码后的向量传递至深层循环神经网络中，深层循环神经网络采用双层LSTM网络结构，隐藏特征为256，Dropout 比率为0.5。每一时间步LSTM 单元读取当前时间步的输入特征信息M和历史时间步的隐藏状态Ht-1，更新当前时间步的隐藏状态Ht，即Ht=f(Ht-1，M）。最后经过MLP神经网络和Softmax 函数输出车道保持、左换道、右换道、左加速换道和右加速换道5 种驾驶意图类别概率矩阵C。softmax函数为

式中：zn为第n个驾驶行为意图的输出值，驾驶行为意图多分类的输出值在［0，1］范围内且和为1 的概率分布；m为驾驶行为意图分类的类别数量。

车辆行为意图识别模块采用多分类交叉熵作为损失函数，采用Adam 优化器，学习率为0.000 2。车辆行为意图识别模块损失函数为

式中：Lc为行为意图识别模块损失函数；yn是第n个样本标签的独热编码；pn为第n个预测样本的类别概率。

2.3 编码器与解码器

交通车辆预期轨迹预测模块是由全连接层、编码器、解码器、MLP 和MDN 网络构成，其中，编码器由双向深层循环神经LSTM 网络、单向深层循环神经LSTM 网络组成，解码器的输入是编码器输出的中间向量以及经过全连接层特征提取后的行为意图识别模块输出的概率向量Ω组成。车辆当前时间步的状态不仅与之前历史时刻的时序状态有关，还和未来的状态有关。被预测车辆当前时刻的特征信息通过双向深度循环神经LSTM 网络同时获得历史时刻的时序信息和未来时刻的时序信息，组成上下文信息去判断车辆当前的状态特征。

历史状态信息M经过两个具有256 个神经元、激活函数为Tanh 的全连接层，分别传入双向深层循环神经LSTM 网络、单向深层循环神经LSTM 网络，隐藏特征为512，Dropout 比率为0.5。最后由MDN和MLP网络输出被预测车辆6 s后预测的轨迹数据。

2.4 混合密度网络

MDN 是1960 Christopher Bishop 提出用高斯混合模型和神经网络解决多值映射问题。为使交通车辆更符合驾驶行为多样性和体现预测未来轨迹的不确定性，通过MDN 网络预测未来轨迹坐标的概率分布。本文选择6 个高斯函数的组合作为MDN 的核函数，则MDN层输出的轨迹分布概率为

式中：x为输入特征参数；o为车辆某一时刻的位置；n为混合核函数的个数；αi(x)为模型权重系数；μi(x)为第i个核函数的中心。

确保模型权重系数总和为1，且各项均大于0，同时指数运算保证σi为正。

使用极小化负对数的极大似然函数损失函数为优化目标。损失函数为

式中：Xobs为所预测车辆的历史轨迹序列；Ck为驾驶行为预测阶段预测出的驾驶行为；G为轨迹预测阶段预测出的车辆未来轨迹的高斯分布。

3 基于HighD数据集试验分析

3.1 数据集

本文选取德国亚琛工业大学汽车工程研究所发布的HighD［25］自然车辆轨迹数据集用于训练、验证和测试。HighD 轨迹数据采样频率为25 Hz，为符合试验场景并减少计算成本，将HighD 数据集采样频率定为8 Hz，HighD数据集场景图如图5所示。

图5 HighD数据集场景图

3.2 数据预处理

自动驾驶交通车辆行为意图识别模块共提取HighD 数据集27 137 条轨迹数据，其中203 139 条车道保持、29 361 条左换道、35 820 条右换道、4 102 条左加速换道、4 715 条右加速换道驾驶轨迹，并添加相对应的标签（0，1，2，3，4）。每次采样序列的步长为3 s，预测序列的步长为6 s。车辆的换道轨迹分类步骤如下。

（1）提取轨迹与车道线的交点，作为换道点。

（2）计算其轨迹点的偏航角θ

式中：xt、yt是车辆t时刻的横纵坐标；xt+1、yt+1是车辆t+1时刻的横纵坐标。

（3）|θ|＜θb（换道起始点航向角阈值），定义为直线行驶，反之定义为换道。

（4）确定换道时域、换道起始点以及换道结束点，换道轨迹示意图如图6所示。

图6 换道轨迹示意图

（5）确定换道轨迹。将HighD 中80%作为训练集、10%作为验证集、10%作为测试集。最后，需要对所有提取的数据做标准化处理，以便于神经网络进行训练。

3.3 交通车辆行为意图识别模块性能分析

交通车辆行为意图识别模块的精度对车辆输出轨迹具有至关重要的作用。采用负对数似然损失（negative loglikehood loss，NLL）为模型的损失函数。车辆行为意图分类器采用的评价指标为精确率、召回率、F1-score、准确率。输入历史轨迹时域3 s，由表1 可知，行为意图识别性能指标均较好，车辆驾驶行为精确率p均达到90%以上；直线行驶、左换道和右换道驾驶行为召回率达到97%以上，左加速换道和右加速换道驾驶行为达到81%以上；F1-score 反映了精确率和召回率的平均水平，直线行驶、左换道和右换道驾驶行为F1-score 达到97%以上，左加速换道和右加速换道驾驶行为达到85%以上；准确率反映了模型的好坏程度，模型的准确率达到了98%以上，表明车辆行为意图识别模块具有较好意图识别能力，满足车辆运动预测模块的要求。

表1 行为意图识别性能度量

3.4 完整模型性能分析

图7 中显示在直线行驶和换道两种场景下车辆不同时域的多模态预测结果。每个图都显示了车辆过去3 s的历史轨迹和未来6 s的预测轨迹。图7（a）中主要展现了直线行驶场景下PMETP 的影响。基于当前驾驶环境及目标车辆的历史轨迹，PMETP 预测目标车辆将继续保持直行状态。然而，在预测过程中，PMETP 基于历史轨迹信息预测目标车辆的行为意图和未来轨迹均不会发生换道。图7（b）和图7（c）主要展现了换道场景下相邻车道和同车道的车辆对PMETP的影响，间隔0.84 s。由图中可以看出，被预测车辆处于拥挤的最右侧车道，中间车道的车速高于右侧车道。图7（b）表明基于当前环境和车辆的历史轨迹，目标车辆没有发生明显的换道（转向）行为，然而，PMETP 除了预测最高的概率为继续保持在当前车道上，仍然能预测出较小的概率为向中间车道移动，并且能距离换道点5.16 s 处判断车辆有换道行为。图7（c）中被预测车辆有略微的转向行为趋势，车辆历史轨迹继续朝向中间车道，PMETP基于当前环境和历史轨迹信息预测目标车辆未来轨迹主要走向是一致的，但在未来时域的后期预测两条中间车道的轨迹，并且能距离换道点2.64 s 处判断车辆有换道行为。通过HighD 的测试集可以看出，本文提出的PMETP 在预测多模态分布中具有良好的表现。

图7 PMETP模型多模态轨迹预测

本文以6 s 预测轨迹和真实轨迹均方根误差（root mean square error，RMSE）和负对数似然（negative log likelihood，NLL）函数作为PMETP 预测结果的评价指标。对多模态分布的轨迹预测模型，通过最大的概率轨迹计算RMSE。通过模型生成的轨迹分布和真实轨迹的NLL比较单模态和多模态分布的优劣。

本文对比以下几个模型在6 s 内的RMSE 和NLL以检验模型的有效性。

（1）constant velocity（CV）：采用定速卡尔曼滤波器作为基础模型。

（2）social LSTM（S-LSTM）：该方法由Alahi 等提出。每辆车都通过LSTM 建模交互，隐藏状态在每次迭代中使用社会池化层进行池化，在输入轨迹坐标的基础上，增加车辆速度、周车信息。

（3）XY-LSTM：基于本文架构，输入被预测车辆和周围车辆的位置特征信息。

（4）V-LSTM：在XY-LSTM 基础上增加车辆的速度特征信息。

（5）E1-LSTM：在V-LSTM 基础上增加被预测车辆和周围车辆的交互作用信息。

（6）E2-LSTM：在E1-LSTM 基础上增加周围车辆之间的交互作用信息。

（7）PMETP：本文描述的完整模型，包括行为意图识别和编码器-解码器生成的多模态预测模型。

图8 和图9 分别表示基于HighD 数据集的各模型RMSE 和NLL 比较结果。可以看出，考虑被预测车辆和周围车辆的交互作用特征信息的模型（SLSTM、E1-LSTM、E2-LSTM、PMETP）的RMSE 要明显低于XY-LSTM 和V-LSTM，说明车辆间的交互作用对运动预测是很重要的因素之一。并且在短时域内基于CV 模型和基于LSTM 模型的RMSE 值接近，表明基于模型的预测方法只适合应用在较短时间内需要预测的自动驾驶车辆，也证明了LSTM 在长时域预测具有较强的优势。同时，根据所提出的基于HighD 数据集各个模型之间的RMSE和NLL对比，6 s内RMSE 的平均误差PMETP 依次降低了45.93%、3.72%、34.76%、29.6%、10.7%、5.51%，6 s 内NLL的平均误差PMETP 依次降低了5.04%、28.29%、22.49%、16.06%、8.7%。由此表明本文提出的PMETP 在评价指标中均低于其它模型，且生成的多模态概率分布更符合真实的轨迹，具有明显的优势。

图8 基于HighD数据集的各模型RMSE比较结果

图9 基于HighD数据集的各模型NLL比较结果

4 结论

为充分表示车辆行为预测空间，解决预测的固有不确定性，本文提出一种基于概率密度的多模态预期轨迹预测模型。

（1）不仅考虑被预测车辆的运动状态，而且还考虑被预测车辆的环境信息，即周边交通车辆的特征信息、被预测车辆与周边交通车辆以及周边交通车辆之间的交互作用特征信息，同时基于偏航角提取车辆的分类标签，为PMETP 模型提供了数据支撑。

（2）通过驾驶行为意图识别模块预测目标车辆在车道保持、左换道、右换道、左加速换道和右加速换道的驾驶行为概率。并通过MDN 高斯核函数预测未来轨迹位置的概率分布。

（3）通过精确率、召回率、F1-score、准确率评价指标对驾驶行为意图识别模块进行分析，模型的准确率达到了98%以上。同时本文比较所提出的PMETP 和不同模型的RMSE 和NLL。6 s内RMSE 的平均误差PMETP 依次降低了45.93%、3.72%、34.76%、29.6%、10.7%、5.51%，6 s 内NLL 的平均误差PMETP 依次降低了5.04%、28.29%、22.49%、16.06%、8.7%。

后续将进一步研究地图、交通状态等因素在多模态轨迹预测方面的应用。