基于贝叶斯优化LSTM的S型道路车辆轨迹预测

1 概述

在过去的几十年中，通过全球定位系统（GPS）和来自相机、直升机或无人机的高分辨率数字图像等技术的进步，已经收集了详细的车辆轨迹数据[1]。随着这些数据的积累，车辆轨迹预测在道路交通上就引发了很大的关注[2]。

深度学习是机器学习领域中一个新的研究方向，随着深度学习在人工智能领域取得的成功，训练深层网络成为了一个重要发展方向。Lei Lin基于注意力的长短时记忆模型，用于混合流交通环境中的纵向轨迹预测[3]；孟宪伟利用连续隐马尔可夫模型进行意图检测，再建立LSTMAdaBoost模型进行换道轨迹预测[4]。

虽然以上几种方法在精度上已经较传统模型提升了精度，但是超参数的确定都是根据人为判断。

因此，根据超参数优化算法与深度学习模型所结合，提出一种基于贝叶斯优化LSTM模型的车辆轨迹预测方法。

1.1 LSTM算法

LSTM的控制门有遗忘门，更新门和输出门三种，其中遗忘门控制输入和上一个隐藏层输出被遗忘的程度大小，更新门决定输入中新的有价值的信息被加入，输出门控制输出和当前计算的状态更新到记忆单元的程度，示意图如图1。

图1 LSTM流程图

LSTM数学表达式：

式中，σ是sigmoid函数，Wf表示遗忘门的权重矩阵，bf表示遗忘门的偏置项，[ht-1，xt]表示将两个向量组合成一个更长的向量。

输入门根据上一次的输出和这一次的输入在计算当前的单元状态c˜t：

Wi和bi表示输入门的权重和偏置，Wc和bc表示构造候选向量时的权重和偏置，最后由输出门决定输出值，将旧状态与ft相乘，丢弃确定需要丢弃的信息。

最后，运行sigmoid函数来确定细胞状态的输出值：

1.2 贝叶斯优化算法

Bayes优化算法模型具体流程如图2所示。

图2 Bayes优化模型

1.2.1 高斯过程

高斯过程是概率论中的一种随机过程，在机器学习中用途广泛，高斯过程主要包括协方差函数和均值函数：

1.2.2 采集函数

采集函数按照最大化采集函数的方式，选取下一次尝试的（fxma）x，表达式为：

式中，（fx）为目标函数值，φ（*）为分布函数，μ（x）为均值、σ（x）为方差，σ则代表超参数，一般将σ=0使得值收敛于（fxma）x，避免出现局部最优。本文利用贝叶斯优化LSTM模型参数步骤为：①设定优化目标为均方根误差并给定参数范围；②Bayes算法优化隐藏层数和初始学习率；③返回结果最好的RMSE的超参数作为最终参数。

2 贝叶斯优化参数的LSTM模型

该模型在运用LSTM进行基预测的基础上，使用贝叶斯算法得到模型最优参数，提高预测的准确度，主要优化的参数为InitialLeranRate以及NumHiddenUnits，超参数约束条件如表1所示。

表1 参数约束范围

运用贝叶斯优化LSTM网络超参数，进而应用LSTM网络对车辆行驶轨迹进行预测。

3 实验分析

3.1 评价指标

模型准确度评价指标使用均方根误差（RMSE）对轨迹预测精度进行评价[5]。RMSE的表达式如下所示：

其中，n是样本数量，yi和yˉi是第i个样本的网络预测值和初始值。

本文计算最优超参数的所有验证结果的RMSE值。

3.2 数据集准备

3.2.1 NGSIM数据集简介

本文使用NGSIM数据集的I-80路段对轨迹预测模型进行训练和测试。

3.2.2 车辆筛选及实验过程

为了验证模型有效性，从数据集中提取特殊行驶轨迹车辆，输入参数为车辆横纵坐标、速度、加速度，此过程通过Python完成NGSIM筛选，按9:1的比例拆分为训练集和验证集，创建LSTM回归网络，指定LSTM层的输入、输出、隐含单元个数，指定训练选项并训练LSTM网络，利用验证集的轨迹验证所训练网络的有效RMSE。

3.3 设置网络结构

LSTM网络结果如表2所示。

表2 LSTM网络参数表

3.4 实验结果及对比

3.4.1 模型训练结果

模型超参数经过迭代择优，找到了LSTM超参数最优解，当初始学习率为0,01057，隐藏层数为456时最小，RMSE_Y为0.9694，RMSE_X为1.0673。模型训练损失变化结果如图3。

图3 优化超参数LSTM训练损失变化

3.4.2 数据集验证

对NGSIM数据集预处理后，截取其中S型行驶车辆片段进行局部轨迹预测，在进行轨迹预测时LSTM网络的起始输入量应该具有一定的长度，输入量长度过短会使得输入量特征不明显，影响预测效果；预测轨迹时域过长会导致轨迹末期出现精度下降的情况，所以要使用滚动预测，即不断地重复更新LSTM模型。图4和图5分别为该场景下轨迹预测横向和纵向误差以及实际行车轨迹与预测轨迹对比。

图4 横纵向误差

图5 实际轨迹与预测轨迹

3.5 对比分析

为了进一步说明预测方法的可行性和有效性，选取传统回归预测模型SVM和AdaBoost分别不考虑变道意图影响的LSTM轨迹预测模型，使用统一数据进行预测，以评测参数优化后的LSTM预测效果。其余三种方法均使用RMSE评价指标，表3所示为具体对比结果。

表3 模型RMSE对比分析表

由表3可见相比表现最好的改进模型Bi-LSTM精确率提升了13.4%。

4 结论

通过贝叶斯优化对LSTM模型的隐藏层数和初始学习率进行优化，将此组超参数在验证集上的RMSE作为目标函数，其他子集进行训练，最后计算训练函数的RMSE平均值并返回结果。使用Pandas框架提取NGSIM数据集中S型行驶车辆数据，以0.1s为单次帧的连续帧数车辆数据，最终输出预测轨迹与测试集对比。通过验证与其他算法进行对比，证明贝叶斯超参数优化算法具有更好的表现。