EA-GRU模型在城市交通行程时间预测中的应用

2022-07-12李永义谢晶晶

南京工业大学学报(自然科学版) 2022年4期

张明,李永义,谢晶晶

(1.华设设计集团股份有限公司,江苏南京 210014;2.南京工业大学交通运输工程学院,江苏南京 211800;3.交通运输部智能交通技术和设备行业研发中心,江苏南京 210014)

高德地图在2018年中国主要城市交通分析报告中指出[1]:全国近五分之一的城市会处于拥堵状态,城市交通拥堵形势较严峻。如何准确对城市交通行程时间进行预测是研究解决城市交通拥堵问题的热点和难点。智能预测城市交通行程时间的算法主要分为两类:模型驱动类和数据驱动类。模型驱动类通过建立虚拟道路交通网络、仿真城市动态交通流特征,研究交通流参数之间关系来预测行程时间;宏观和微观交通流模型是较为常见的两种模型驱动理论,宏观交通流模型[2]常常被用来模拟高速公路交通流运行,以宏观模型输出的速度为基础计算行程时间,能够满足实际规模路网的实时计算要求;交叉口是开展城市道路交通行程时间预测时一大难点,而微观交通流模型[3]真实模拟交叉口排队、交叉口内转向等现象,充分考虑了交叉口延误;但是模型驱动类依靠的大量起讫点(OD)交通需求很难获取,且用来建立虚拟交通网络和模拟交通流的仿真软件价格昂贵,因此该方法不能被广泛使用。数据驱动类通过研究大量历史行程时间数据及相关变量(速度、占有率、交通流量等)数据变化规律,借助数学模型和算法来实时预测行程时间;差分整合移动平均自回归(ARIMA)[4]、线性回归[5]、K最近邻法[6]、卡尔曼滤波[7]、支持向量机[8]、梯度提升回归[9]等都是一些经典的行程时间预测算法,除上述算法外,研究者越来越青睐使用神经网络预测行程时间;Mane等[10]考虑了一天时段、工作日与非工作日、历史行程时间等因素对行程时间的影响,建立拥有双层前馈网络的人工神经网络预测高速公路行程时间,取得了良好的效果;于泉等[11]针对传统神经网络行程时间预测模型预测精度不足的缺陷,提出在小波神经网络中引入粒子群优化算法,构建高速公路行程时间预测模型,加快了收敛速度,预测精度有所提高;Duan等[12]发现高速公路行程时间获取延迟和行程时间特征不明显等问题,通过建立基于长短期记忆神经网络(LSTM)的深度学习模型,该模型考虑行程时间序列间相关性,提高了行程时间预测精度。而门控循环神经网络相比于上述神经网络主要优点在于:结构简单、参数较少、训练时间短、过拟合可能性低等。

既有文献将门控循环神经网络(GRU)模型应用于时间序列预测,Shen等[13]研究了基于GRU的时间序列预测模型,并与LSTM对比发现其有着相近的表现;刘松等[14]依托高速公路收费站卡口数据,构建GRU行程时间预测模型,并与BP神经网络进行对比分析,证明GRU具有更高的预测精度;张铭坤等[15]根据行程时间数据间相关性重构时间序列,应用GRU结构的循环神经网络构建预测模型,通过仿真实验证明其收敛速度更快;陆俊天等[16]建立基于GRU神经网络的公交到站时间预测模型,证明其算法效率高于传统LSTM神经网络的算法效率;综上可以发现:研究大多基于高速公路收费站刷卡数据和检测器数据,而针对城市道路研究较少;对于神经网络而言,优化网络参数、简化网络结构、提高训练速度、缩短预测时长对于提高行程时间预测精度至关重要,而门控循环神经网络的出现恰逢其时;但是门控循环神经网络模型在行程时间预测方面的应用才刚刚起步,需要不断探索。近年来,传统循环神经网络开始逐步引入注意力机制,在众多的输入信息中聚焦于对当前任务更为关键的信息,降低对其他信息的关注度,过滤掉无关信息,从而解决信息过载问题,提高任务预测效率和准确性。故本文在已有GRU模型基础上引入注意力机制,进而改善GRU模型捕捉历史数据有效特征的能力。

1 方法综述

1.1 门控循环神经网络

2014年循环神经网络(RNN)变体之一门控循环神经网络被学者提出,因其简单、易理解而逐渐被应用于交通参数预测领域。为了克服传统RNN无法解决长期依赖问题而提出长短期记忆神经网络[17],GRU作为LSTM改进版,借助“门”结构有选择性地保留和丢弃一些信息,在某些情况下能产生同样优异的表现。但是GRU结构中只有两个门:更新门和重置门,其中更新门相当于LSTM输入门和遗忘门;GRU没有细胞状态,直接计算输出,但依然具有对历史时刻隐含层状态信息的记忆功能;实验表明,GRU相比于LSTM具有结构简单、训练时间少、预测时长短以及过拟合概率低等优点[18]。

更新门zt用于控制前一时刻的状态信息被带入到当前状态中的程度,更新门的值越大说明前一时刻的状态信息带入越多,更新门的计算公式为

zt=σ(Wzxt+Uzht-1+bz)

(1)

式中:σ为sigmoid函数,将更新门和重置门限制在0和1之间;xt表示t时刻输入；ht-1为上一时刻(t-1时刻)隐含层输出;Wz、Uz分别为更新门输入层权值和更新门隐含层输出；bz表示更新门偏置误差。

重置门rt的作用是决定当前时刻的待定状态输出是否受上一时刻状态信息影响以及影响程度如何[19]。重置门是由上一时刻隐含层输出ht-1和当前时刻输入xt相加后使用sigmoid函数进行激活。重置门的计算公式为

rt=σ(Wrxt+Urht-1+br)

(2)

式中:rt表示t时刻待定状态输出受t-1时刻状态信息影响程度;Wr、Ur分别为重置门输入层权值和重置门隐含层输出;br为重置门偏置误差。

(3)

(4)

由式(4)计算出当前时刻隐含层状态输出ht,并进一步得到GRU网络模型的输出

y=σ(Wyht)

(5)

式中:y为网络输出值;Wy为隐含层到输出层的权值。

门控循环神经网络的内部结构如图1所示。

图1 门控循环神经网络结构Fig.1 Structure of gated recurrent neural network

1.2 基于遗传算法的改进注意力机制

注意力机制(AM)可以快速提取稀疏数据的重要特征,减少对外部信息的依赖,擅长捕捉数据的内部相关性[20]。近年来,传统循环神经网络开始逐步引入注意力机制,在众多的输入信息中聚焦于对当前任务更为关键的信息,降低对其他信息的关注度,过滤掉无关信息,从而解决信息过载问题,提高任务预测效率和准确性[21]。本文在GRU模型隐含层和输出层之间加入注意力层,对经过GRU隐含层得到的特征进行处理,主要目的是对每个时刻的训练样本有差异化的融合数据,为重要的隐含层特征向量分配更多权重,提高行程时间预测准确性。设GRU模型隐含层输出的特征向量集合H=(h1,h2,h3,…,ht),注意力机制实现过程如下。

首先计算注意力数值et,用来衡量GRU上一时刻隐含层状态值ht-1对当前时刻隐含层状态的影响。使用tanh作激活函数,Uh是上一时刻隐含层状态赋予的权值,bh为偏置误差;

et=tanh(Uhht-1+bh)

(6)

其次利用softmax函数对注意力数值进行归一化处理,得到隐含层输出状态值权重分布βt;

βt=softmax(αtet)

(7)

最后将权重分布和隐含层状态加权求和得到t时刻模型输出st。

(8)

大部分文献研究中,注意力层权值是和神经网络参数一起学习得到的,由于参数较多使得训练速度下降,预测效果不佳。遗传算法是一种通过模拟生物遗传和进化过程,全局搜索最优解的优化方法。本文提出基于遗传算法的思想对注意力层权值进行独立训练寻优,克服了GRU网络训练方法中权值初始值随机性较大的缺点,且有较好的收敛特性,进而提高预测精度。

(9)

图2 遗传算法实现过程Fig.2 Process of genetic algorithm implementation

2 基于EA-GRU模型的行程时间预测

2.1 数据预处理

为检验本文所构建模型的预测效果,对珠海市香洲区彩虹路行程时间进行预测,行程时间基础数据是从彩虹路浮动车轨迹中提取而来。为了提高预测精度,需综合考虑影响行程时间的多种因素,本文主要是日期属性因素(工作日、非工作日)。

将历史行程时间数据和日期属性作为GRU神经网络输入时,为消除奇异样本数据导致的不良影响,将预处理的数据限定在[0,1]之间,故使用Min-Max标准化公式对输入数据进行归一化处理,即

(10)

式中:X为归一化处理后的输入数据;x为实际输入数据;xmax、xmin分别为实际输入数据最大值和最小值。

输入特征属性选择与预测日相关性最大的前3天以及当天行程时间,主要包括对应预测日预测时刻t前3天的第t-1时刻、第t时刻、第t+1时刻以及当天第t-2时刻、第t-1时刻、第t时刻共12维行程时间;日期属性因素主要包括预测日前3天以及预测日当天的日期属性共4维数据,日期属性分为工作日和非工作日2种,工作日的日期属性取值为1,非工作日的日期属性取值为0;预测模型输入共计16维输入变量。

2.2 模型预测流程

假设数据时间窗步长为p,使用输入向量X=(x1,x2,x3,…,xp)来预测输出向量(xp+1,xp+2,xp+3…xp+q),令q=1时,该模型为单步预测模型。具体算法过程如下(见图3)。

Step1 将数据集划分为训练样本和测试样本,对输入数据归一化处理,得到当前t时刻输入值;

(11)

Step2 初始化GRU神经网络超参数和权值,利用网格搜索算法调参,训练GRU模型;

Step3 将均方误差作为适应度函数,基于遗传算法对注意力层权值寻优;

Step4 步骤3中算法迭代循环,直到适应度函数达到最优值终止计算,获得注意力层最优权值;

Step5 计算得到隐含层输出状态值权重分布β=(β1,β2,β3,…,βt),与各隐含层输出的状态向量ht加权求和,反归一化处理得到预测值;

Step6 将测试样本数据输入训练好的EA-GRU模型,输出行程时间单步预测值。

图3 基于EA-GRU的行程时间预测框架Fig.3 Travel time prediction framework based on EA-GRU

3 实证分析

3.1 数据来源

本文选取珠海市香洲区彩虹路2019年3月1日～2019年5月31日浮动车轨迹数据作为原始数据,进行数据清洗和地图匹配,分别以5和15 min间隔提取行程时间数据,实验以前87天数据为历史训练样本,后5天数据为测试样本。在构建特征向量过程中,本文选取了当前时刻前3天对应时段的行程时间数据,故预测时段应从第4天开始。本文预测彩虹路行程时间的数据单位为s。

图4为3月份某个工作日24 h行程时间图,由图4可以看出,全天行程时间呈现“双峰分布”,具有早晚高峰拥堵、其他时段顺畅的特征。从浮动车轨迹提取的行程时间,能够如实反映彩虹路1 d行程时间分布情况,可以证明该数据的可靠性。

图4 1 d行程时间分布Fig.4 Distribution of travel time within 1 d

3.2 GRU神经网络参数

构建的GRU神经网络中,输入层神经元个数设为12,输出层神经元个数设为1,dropout设为0.001;在网络模型训练过程中,使用Adam函数进行优化,取迭代次数为100。本文采用网格搜索方法优化时间步长、隐含层层数和批量训练大小,其中参数初始候选值和最佳值如表1所示。

表1 GRU神经网络参数

3.3 评估指标

为了评价本文构建模型预测性能优劣,采用均方根误差(RMSE,用来衡量观测值同真值之间的偏差)、平均绝对误差(MAE,反映预测值误差的实际情况)和平均绝对百分误差(MAPE,衡量一组数自身的离散程度)作为评估指标,评估指标值越小,代表预测精度越高。计算公式分别为

(12)

(13)

(14)

3.4 预测结果及分析

本文利用训练好的EA-GRU模型预测彩虹路5月份最后5 d的行程时间,并与GRU、LSTM、KNN(K最邻近法)和SVM(支持向量机)4种数据驱动算法预测值进行对比,对比结果如图5所示。

图5 行程时间预测结果Fig.5 Results of travel time prediction

图5(a)、图5(b)分别为5种方法在5 d验证数据中随机抽取1 d的白天时段单步预测值、夜晚时段单步预测值与其实际值的比较曲线,无论白天时段还是夜晚时段,5种方法在各时段行程时间预测趋势上是一致的。本文分别计算5种方法预测值的RMSE、MAE和MAPE,以此来量化各种模型的预测精度,同时对比EA-GRU模型与其他4种方法的优劣。表2为5种方法在5 d验证数据中预测效果最好1 d误差指标值和平均误差指标值。

表2 行程时间预测误差指标值

由表2可以看出,本文提出的EA-GRU模型5 d平均绝对百分误差(MAPE)均低于10%,预测精度较高且对于随机性很强的交通系统来说,10%以内的误差基本可以满足交通控制及诱导需求,故EA-GRU模型用于城市干道行程时间预测是可行的。

通过与其他4种方法的误差指标值比较,EA-GRU预测性能优于其他4种方法,具有更高的预测精度。引入改进注意力机制的GRU模型相比于GRU模型平均绝对百分误差减少了41.4%,进一步说明了注意力机制在捕捉历史数据时间相关性特征方面对行程时间预测的重要性。

为了进一步突出EA-GRU预测性能,本文利用5和15 min间隔统计的数据对EA-GRU和GRU两种模型分别进行预测,并计算预测误差指标值,如表3所示。两种模型在5 min时间间隔采集数据下的预测误差表现均低于15 min,表明随着训练数据量的减少,预测误差在增大。EA-GRU模型在两种时间间隔采集数据中的误差表现均低于GRU模型的误差表现,同时GRU模型在训练数据量变化过程中,其误差变化大于EA-GRU模型的误差变化,例如在表3平均误差值一栏中,数据量减小后EA-GRU平均绝对误差增加0.47%,而GRU平均绝对误差增加4.74%,说明EA-GRU模型表现受数据量变化波动影响较小,体现了其良好的预测性能以及模型良好的适用性和扩展性。