多头图注意机制的深度学习地铁客流预测方法

张 阳，陈燕玲

（1.福建工程学院 交通运输学院，福建 福州 350118；2.福建工程学院 智能交通系统研究中心，福建 福州 350118）

0 引言

地铁具有运送能力强、运行效率高且节能环保等优势，一直受到城市居民和建设运营部门的青睐。随着城市化进程的提速，城市人口的逐年增加，地铁系统所承受的客流压力也在不断加大，部分线路和站点时常发生客流拥堵，不仅对乘客的出行体验产生不利影响，甚至会带来极大的安全隐患[1]。客流信息的及时发布以及面向客流变化的智能管控和调度技术能够有效地帮助乘客制定合理的出行计划，同时能够帮助运营部门制定合理的列车运行时刻表，是避免乘客拥挤、维护地铁运营稳定性的重要方法[2]。而准确的地铁客流预测则是实现这些重要方法的基础和关键。

经典客流预测方法较多关注客流量的时间关联性，因而有较多学者利用客流量在时间上的变化特性进行预测。此类方法可以在一定程度上提高对客流量预测的精度。较具有代表性的预测方法有时间序列法、支持向量机回归[3]、卡尔曼滤波[4]、自回归移动平均法(ARIMA)[5]、Holt-Winter[6]等多种方法。此类方法能够充分考虑客流量数据在时间上的变化特性。然而客流量的变化是复杂的，尤其是受天气因素、大型活动的影响等，地铁客流量极易发生变化，使得预测结果产生较大的偏差。目前越来越多的学者尝试利用深度学习的方法来解决此问题。在此类方法中，具有代表性的模型有卷积神经网络(Convolutional Neural Networks，CNN)[7]、长短时记忆神经网络(Long Short-term Memory，LSTM)[8]以及深度信任神经网络[9]等多种模型。而以上模型大多只考虑了客流量的单一特征，利用单一的时间特性进行客流预测。为了进一步增强预测方法的泛化性，越来越多的学者使用组合模型进行客流量预测。在多特征时间序列的预测上组合模型的预测精度比单一模型提高较多，应用在客流预测中较为具有代表性的有蝙蝠算法优化LSTM模型[10]、GA-BP神经网络模型[11]、小波-ARMA组合模型[12]、EMDPSO-LSTM组合模型[13]等多种组合模型。这些组合模型中，主要考虑了客流量的时间关联性。由于客流量在地铁网络空间上也存在一定的关联性，为了进一步提升预测精度，已有部分学者开展了地铁客流空间关联性的相关研究，Feng等[14]设计了全局时空分量，可以有效地分析局部时空相关性。Yang等[15]提出多图时空卷积神经网络(MGSTCN 网络)，构造3 个图来提取不同的客流变化模式，并通过图卷积运算从多个角度获取空间特征。Huang 等[16]提出了一种基于多分量融合的时空图模型MS-GAT提高处理多维数据的效率和实现自我注意力机制的便利性。傅成红等[17]提出将深度信任网络与支持向量机进行结合，输入影响因素数据后进行逐层学习，提取关键信息，从而进行预测。赵建东等[18]提出使用时间序列分解与门控循环单元相结合，将模型预测过程分为3 个阶段进行预测，同时将客流量划分为3 类进行预测。这些研究有效地提升了预测精确度。然而，与地铁站点客流量的时间关联性相比，地铁网络的客流数据在空间上的相关性更为复杂且难以准确捕捉，如何准确量化目标站点与关联站点群之间的空间关联强弱性，如何在空间关联性中更好地结合客流的时间关联性等问题都亟待解决。

为了解决上述问题，研究提出一种多头图注意机制的深度学习地铁客流预测方法。为了同时实现多个与目标站点相关联的地铁站点群的客流时空数据学习，构建一种面向地铁网络的多头图注意力机制，实现目标站点与关联站点群之间的空间关联强弱性的准确量化。同时，将面向地铁网络的多头图注意力机制模型融入LSTM预测模型，在量化空间关联性输入数据的同时捕捉客流数据间的时间关联性，进一步提升客流预测的精度，以期能够获得较为优质的预测结果。

1 面向地铁的多头图注意力机制

城市地铁网络中，客流的交通特性不仅在时间上存在关联性，在起讫站点上也存在着空间关联性。假设预测的目标站点为讫点，则其客流量的预测值和历史客流数据相关，且和潜在的起点站点客流相关。而在复杂的地铁网络中，潜在起点数量较多且几率上存在较大的差异性，存在量化困难。在地铁网络中，潜在起点对讫点的客流影响程度存在一定的差异。通常，不同起点对讫点的空间影响大小会与距离成正比。但是，由于地铁站周围土地属性的差异，在同一空间距离内，各站点之间的客流影响程度并不完全一致。为了解决这一难题，构建了一种面向地铁网络的多头图注意力机制来学习获取不同潜在起点的实际影响权重。考虑到图神经网络与注意力机制相结合的图注意力机制网络模型对空间数据学习能力较强，研究使用该框架进行模型构建。针对地铁网络存在多站点的问题，需要能够重复多次执行注意力机制，因而对图注意力机制网络模型进行改进，通过构建多个块层实现能够重复多次执行注意力机制的多头图注意力机制，学习地铁网络的客流数据得出重要程度的差异性，从而为每一个潜在的起点站点分配不同的权重。块层结构如图1所示。

图1 块层结构Fig.1 Block layer structure

将地铁网络视为一个加权有向图，表示为公式⑴。

其中V为顶点集，为各地铁站点。V=｛V1，V2，…，Vn｝即为顶点个数，是研究范围内地铁站点的个数。E代表边集，用于表示节点连通性的邻接矩阵。

构建多头图注意力机制的构建块层，其中h=｛h1，h2，…，hn｝hn∈nF为注意力层输入特征。h′ =为注意力层输出特征。使用多头图注意力机制得到映射a：通过映射a计算各节点的系数，计算公式如下。

式中：eij为节点i相邻节点j的重要程度；W为线性变换权重矩阵，W∈RF× RF′，F为各节点的特征数量。

对eij进行归一化操作，使其能够更好地描述不同节点之间的权重。计算公式如下。

式中：aij为各节点的系数，即各级节点的权重比例；LeakyReLU为非线性激活函数；‖ 用于表示权重矩阵之间的串联操作。

使用可训练的神经网络构建a( )，并通过整体结构训练进行优化。图注意力机制中对中间层采用拼接、对最后一层采用求平均值的方法，利用公式⑷、公式⑸进行注意力权重聚合邻节点特征，其中中间层使用拼接方式计算过程如公式⑷，最后一层使用平均方式计算过程如公式⑸。

式中：为各个节点输出权重；Ni为站点i的相邻节点数量；为注意力机制计算后的权重；σ为非线性激活函数。

a为大小2F’的权重向量，因而相乘后可得到一实数，则该实数即为注意力系数。eij通过权重矩阵a→进行参数化，使用LeakyReLU函数激活。eij通过softmax函数进行归一化操作，在归一化过后使得注意力权重产生非对称性，从而能够更好地进行周边站点影响力的分析。

与经典的注意力机制不同，改进的多头注意机制构建多个块层能够重复多次执行注意力机制，从而能够得到多个关联站点与目标站点间的差异化权重aij，这些权重是独立互不干扰且能量化目标站点与关联站点间的空间关联性，使数据的学习更加有侧重性。

2 地铁客流预测模型构建

LSTM 在数据时间序列的规律性分析上性能优越[19]。将研究提出的面向地铁网络的多头图注意力机制融入LSTM 中，构建融合多头图注意机制的LSTM 地铁实时客流预测模型。在量化站点间空间关联强弱性的基础上利用LSTM来学习地铁站中客流量的时间关联性，使该方法既能侧重于空间关联性较强的站点间客流关联性的学习，同时也能捕捉站点自身客流数据时间上的关联性，从而提升地铁客流量的预测精度。

2.1 融合多头图注意机制的地铁客流预测模型构建

为了兼顾算法的时间关联学习能力，模型采用LSTM 深度学习框架，用多头图注意机制替换传统LSTM 中的矩阵乘法，融合多头图注意机制的LSTM 地铁实时客流预测模型(以下简称“S-GATLSTM”)结构如图2所示。

图2 S-GAT-LSTM结构Fig.2 S-GAT-LSTM structure

在地铁实时客流预测中，传统的LSTM预测模型能够较好地学习客流量的时间特性，但是对于客流量在空间上的关联性学习上仍存有一定的不足。针对这一问题，将面向地铁网络的多头图注意力机制融入LSTM中，以期在考虑时间关联性的同时关注客流量的空间关联性。S-GAT-LSTM 结构组成主要有输入门、输出门、遗忘门。其中输入门及记忆单元是用于学习历史数据的时间特性，遗忘门则是用于对无关数据的淘汰，S-GAT-LSTM用于提取客流量空间关联性，输出门用于传递客流量历史数据的时间、空间特性。融入面向地铁网络的多头图注意力机制后，其计算公式如公式⑹至公式⑾所示。

式中：不同的下标中f，i，o分别表示LSTM 的遗忘门、输入门和输出门；其中，σ为Sigmoid 层(遗忘层)激活函数，其输出值在0~1之间，即表示遗忘层中的信息通过量；Ct-1，Ht-1，xt为上一时刻值，Ct，Ht为输出值；tanh 层输出值范围为-1~1；F*用于丰富隐藏表示的多头图注意力机制；k为注意层数，同时也是隐藏状态和块层状态的维数。

2.2 S-GAT-LSTM地铁客流预测模型实现步骤

利用城市交通IC 卡采集研究所需要的刷卡时间、刷卡站点等客流量数据信息，对该数据集进行分析和预处理，从而实现融合多头图注意机制的LSTM地铁实时客流预测。预测模型实现步骤如下。

步骤1：采集地铁客流量样本数据，主要包括目标地铁站点过去一个月的历史刷卡数据，包括乘客进出站点刷卡时间，周边地铁站点与目标站点的距离，周边地铁站点的乘客进出站刷卡时间等。对数据进行预处理，主要进行数据清洗、数据集成等，以去除数据中的噪声及无关数据。将所得地铁客流量数据按5 min 聚合，使其符合预测模型输入数据格式要求。

步骤2：通过端到端学习平台(Tensorflow)构建融合多头图注意机制的LSTM地铁实时客流预测模型，对预测模型的显隐层结构进行初步设计，初步设定隐层层数、显隐层的结构节点数等相关参数指标。

步骤3：选取目标研究地铁站点的历史客流量数据及周边相关地铁站点群的历史数据作为模型输入数据进行训练学习，将输入数据划分为训练集和测试集。利用训练集训练预测模型，根据上述计算目标地铁站周边空间特性对其客流量的影响，使用公式⑴将地铁网络视为加权有向图。根据公式⑵计算各节点的重要程度，使用公式⑶对各节点系数进行归一化操作，使用公式⑷至公式⑸进行计算并输出各节点特征。根据公式⑹至公式⑾实现数据的时间关联性和站点的空间相关性学习，分别输出工作日和周末地铁客流量预测值。

步骤4：利用测试集测试训练好的预测模型，根据测试结果多次调整模型参数，计算相关指标，直至预测精度达到最好，从而在一定程度上提高模型预测效果。

步骤5：将地铁客流量历史数据作为真实值，使用模型预测所得结果与之进行对比，以确定模型预测精度是否能够达到预期目标，若符合模型输出标准则输出模型预测结果，若未达标则返回步骤3，对模型结构的相关参数指标进行修正，观察模型输出预测值的变化，直至模型预测精度达到预期标准。

3 实验结果与分析

3.1 研究范围

上海市共有地铁线路20 条，设有车站508 座。本次实验以徐家汇站为例，徐家汇站为地铁1 号线、9 号线、11 号线换乘站点。徐家汇站周边节点分布图如图3所示。

图3 徐家汇站周边节点分布图Fig.3 Distribution of nodes around Xujiahui Station

使用相关地铁刷卡信息，经分析和预处理得到2019年4月1日至4月30日5：00—23：30共30 d实验研究范围内所需的上海地铁一卡通刷卡数据，并将其作为实验样本设置，样本时间粒度为5 min，将数据集划分为训练集、测试集和验证集。考虑到地铁网络的工作日客流量与周末客流量存在一定的时空差异性，其中工作日有明显的早晚高峰时间段，周末有较为明显的站点客流量。因此将4 月前24天中的工作日时段和周末时段作为模型2个训练样本集用于训练模型。分别对工作日时段和周末时段进行了地铁站点的客流量预测，进行实证分析，以验证所提出的预测模型的预测精确度。将4 月26 日(周末)与4 月27 日(工作日)地铁客流量数据作为预测模型中的测试集，用于测试多头图注意机制的深度学习地铁实时客流预测模型的预测性能。

3.2 指标选取

为使融合多头图注意机制的地铁实时客流预测模型的精确度得到较好的评估，选取平均绝对误差(MAE)[20]、相关系数R2及均方根误差(RMSE)[18]作为评价指标。

式中：xi为在时刻i的真实值；为在时刻i的预测值；为测试集平均数；N为预测数据的总量；i为样本数量。

3.3 图注意机制对预测性能的影响

为了评估图注意机制对模型预测性能的影响，将融入图注意力机制预测模型(S-GAT-LSTM)与不含图注意力机制的LSTM预测模型的预测性能进行对比，使用相关指标验证S-GAT-LSTM 模型预测准确性。

在本次研究中，所有神经网络均通过Tensorflow构建，并选择Adam[21]作为模型优化器来更新模型中的参数。为了能够更为准确地对比图注意机制对模型预测性能的影响，研究使用相同的学习率和迭代次数下进行实验。由于模型之间参数的不同选择会对模型精度产生一定影响，故文中不同模型的其他参数均采用该模型最优参数。实验在前10 次迭代的学习率设置为0.01，每迭代10 次学习率减少0.1，所有模型在迭代30 次后停止。训练融合多头图注意机制的地铁实时客流预测模型以及研究所需的其他相关模型，并根据地铁网络的客流量数据进行预测。

分别对工作日和周末2 个时间段进行地铁站点的客流量预测，并与真实值做对比。工作日预测结果对比如图4所示，周末预测结果对比如图5所示。工作日预测结果指标对比如表1 所示，周末预测结果指标对比如表2所示。由图4、图5、表1、表2可知，在工作日时间段与在周末时间段，所提出的SGAT-LSTM模型预测精度均优于传统的LSTM预测模型。由此可见，面向地铁网络的多头图注意机制的深度学习地铁实时客流预测方法是切实可行的，能够有效提高地铁网络中站点的客流量预测精度。

表1 工作日预测结果指标对比Tab.1 Comparison of weekday forecast results

图4 工作日预测结果对比Fig.4 Comparison of weekday forecast results

图5 周末预测结果对比Fig.5 Comparison of weekend forecast results

3.4 与经典算法对比

将S-GAT-LSTM 与其他经典的深度学习预测模型、相关改进DBN模型和STL-GRU组合预测模型进行对比，各模型均采用3.2 所选取的指标。各模型分别在工作日和周末进行预测，工作日与经典模型预测结果对比如图6 所示，周末与经典模型预测结果对比如图7 所示。工作日与经典模型预测结果指标对比如表3 所示，周末与经典模型预测结果指标对比如表4所示。

表3 工作日与经典模型预测结果指标对比Tab.3 Comparison of weekday and classical model forecast result indexes

图6 工作日与经典模型预测结果对比Fig.6 Comparison of weekday and classical model forecast results

图7 周末与经典模型预测结果对比Fig.7 Comparison of weekend and classical model forecast results

根据图6、图7、表3、表4 可以得知，与其他经典预测模型以及经典改进模型相比，S-GATLSTM 模型在工作日和周末的预测效果均有较大程度的提高。结果表明，S-GAT-LSTM 模型能够兼顾地铁站点中客流量的时间关联性，以及多个与目标站点相关联的地铁站点群客流的空间相关性，因而模型预测精度要优于仅考虑了地铁客流量时间关联性的LSTM预测模型和仅考虑地铁客流量空间相关性的DBN-SVR 预测模型。因此，在实际地铁客流量的预测应用中，同时考虑客流量的时间关联性和空间相关性有利于提升模型的预测精度。同时，S-GAT-LSTM 模型在周末的预测准确性优于工作日，这表明在训练数据较少的情况下，S-GATLSTM模型的预测精确度不会产生较大的影响。

4 结束语

研究提出一种同时考虑客流量时间关联性和站点空间相关性的地铁站点客流预测方法，根据地铁客流量的特征构建面向地铁网络的多头图注意机制以学习潜在起点对研究站点的影响权重大小，构建融合多头图注意力机制的LSTM预测模型，根据该预测模型学习地铁周边情况与相邻站点对目标站点的客流空间的影响系数，以及地铁客流量在时间上的变化特性，从而学习客流的时空特征，使用该模型学习周边站点对目标站点的空间影响，得出周边站点的节点特征。根据该节点特征与空间相关性，进行地铁站点的客流量预测。通过地铁客流量历史数据进行全面验证可以得出，所提出的面向地铁网络的多头图注意机制地铁客流量预测方法预测精度优于其他经典的深度学习预测模型及其经典的改进模型。