基于图动态注意力网络的多站点风速预测

李博录，吴利，王晓英，黄建强，曹腾飞

基于图动态注意力网络的多站点风速预测

李博录，吴利，王晓英*，黄建强，曹腾飞

（青海大学 计算机技术与应用系，西宁 810016）（ ∗ 通信作者电子邮箱 wxy_cta@qhu.edu.cn）

时空序列预测任务在交通、气象、智慧城市等领域有着广泛应用。站点风速预测作为气象预测中的主要任务之一，需要结合降水、气温等外部因素，学习不同数据的时空特征。气象站点的不规则分布和风本身的固有间歇性成为实现高精度风速预测的挑战。为考虑多站点空间分布对风速的影响以获得准确可靠的预测结果，提出一种基于图的动态转换注意力网络（Graph-DSAN）风速预测模型。首先，利用不同站点之间的距离重新构建它们的连接；其次，使用局部采样的过程建模不同采样大小的邻接矩阵，实现图卷积过程中邻居节点信息的聚合与传递；接着，将时空位置编码（STPE）处理后的图卷积结果加入动态注意力编码器（DAE）和转换注意力解码器（SAD）以实现动态注意力计算，从而提取时空相关性；最后，利用自回归的方式形成多步预测。在纽约州15个站点的风速预测实验中，将所设计模型与ConvLSTM、图多注意力网络（GMAN）、时空图卷积网络（STGCN）、动态转换注意力网络（DSAN）和时空动态网络（STDN）进行比较，Graph-DSAN的12 h预测均方根误差（RMSE）分别降低了28.2%、6.9%、27.7%、14.4%和8.9%，验证了Graph-DSAN风速预测的准确性。

风速预测；动态注意力网络；图卷积；注意力机制

0 引言

风速预测是天气预测重要组成之一，准确的风速预测对于经济、商业和管理非常重要，它会影响相关部门的决策过程和资源部署，不仅可以用于预测自然灾害，还可以为气候变化分析提供指导［1］。由于受温度、海拔、地形、气压等因素的影响，风能具有波动性、随机性和不稳定性的特点［2］，因此准确的风速预测面临很多挑战。

到目前为止，天气预报通常依赖于数值天气预报（Numerical Weather Prediction， NWP）模型求解复杂的数学方程，尽可能地模拟现实世界的大气、流体和热力学［3］。这种方法需要巨大的计算能力，即使使用当前的技术设备和工具，也可能需要几个小时才能完成处理［4］。机器学习模型的应用为天气预报任务提供了一种新思路。与NWP模型相比，机器学习模型能够显著减少处理时间，近年来已成功应用于气象领域的各个方面［5-8］。

当前深度学习模型已经被应用在图像和自然语言处理等许多领域。由于基于深度学习的模型在训练期间学习自己的特征参数，因此使得最终的网络模型在输入和输出之间能达到较高契合程度，已被用于预测气候数据［9-10］。此外，基于卷积神经网络（Convolutional Neural Network， CNN）的深度学习方法也成功应用于天气预报问题［11-12］；但是基于CNN的方法是在规则矩阵的前提下进行卷积操作，而风速站点分布呈不均匀状态，难以在保证空间信息关联性不变的前提下进行规则排列，所以一般的卷积网络中无法捕获气象站之间的空间关系。

由于生活中很多数据都不具备规则的空间结构，如推荐系统、气象站点和社交网络等，它们都可以抽象为图，对于这些不规则的数据对象则需要更为普适的卷积结构，而图卷积网络（Graph Convolutional Network， GCN）可以将CNN推广到图上而不是规则网格上［13］。尤其是它能够包含邻接关系信息，例如通过图的邻接矩阵可以在GCN中完成类似CNN在规则网格上的卷积操作以实现信息的聚合和传递。在风速预测中GCN也已经得到了应用和发展［14］。

本文将站点之间的距离作为构建邻接矩阵的标准，以站点为图的顶点，站点之间的连接为图的边，将不规则站点分布转化为图结构，将不同时间步长的气象站数据及其相应的天气变量（例如温度、风速、气压等）值视为时空图数据。利用时空图卷积网络（Spatio-Temporal Graph Convolutional Network， STGCN）［15］和动态转换注意力网络（Dynamic Switch-Attention Network， DSAN）［16］架构改进并得到基于图的动态转换注意力网络（Graph-based Dynamic Switch-Attention Network， Graph-DSAN）模型。该模型的输入采用张量数据，在构建的图连接中利用切比雪夫多项式近似的GCN提取局部空间信息，结合多空间注意力（Multi-Space Attention， MSA）机制建立不同节点之间的注意力分数后进行动态注意力计算和转换，从而达到预测未来风速的目的，并使用自回归模型进行多步预测，最后通过实验分析验证了本文模型的有效性和优势。

1 相关工作

1.1　基于CNN和GCN的时空气象预测

对于气象预报任务，卷积通常与长短期记忆（Long Short-Term Memory， LSTM）网络一起使用。LSTM是一种特殊类型的递归神经网络，与标准前馈神经网络不同，它包括反馈连接，为网络提供先前信号的某种记忆，使它能够从经验中学习特征并且适合使用时间序列数据进行预测［17］。利用这一点，Shi等［18］首次将CNN与LSTM相结合以创建用于降水预测的ConvLSTM模型。Wang等［19］通过堆叠多个ConvLSTM的并添加额外的内存状态连接，实现了空间信息的有效流动，提出了PredRNN模型。与此同时，Trebing等［20］使用U-net架构［21］在加入注意力机制和深度可分离卷积后完成降水预测任务。在风速预测领域，廖雪超等［22］将注意力机制与LSTM相结合实现了短期风电功率预测模型。虽然以上工作在CNN的基础上进行时空预测任务，但是对于气象背景下的各个数据采集站点来说并不适用，因为站点的不规则分布导致CNN在非欧氏空间进行特征提取受到了阻碍。

基于GCN的方法可以处理非网格数据，包括形成图的气象站之间的空间关系，并且可以有效地聚合邻居节点的状态。Wilson等［23］引入了加权图卷积LSTM体系结构，将LSTM与单个可学习邻接矩阵的图卷积代替了矩阵乘法并预测了温度和风速值。Seo等［24］将来自编码器的图形的潜在表示与来自LSTM结构的输出相结合，并用其中的模型框架预测了温度。祁柏林等［25］利用GCN提取网格化监测站之间的空间特征，使用LSTM提取时间特征，最后给出了空气质量的预测结果。

图神经网络（Graph Neural Network，GNN）［26］最近在分析图数据方面获得了普及，它的变体，即图卷积网络（GCN）［27］通过使用图数据在保持卷积架构的同时，也在非欧氏空间提取信息的聚合与传递获得了推广。虽然GCN的大多数变体主要处理需要已知图数据的顶点和边信息的节点分类任务，但在Gao等［28］工作中已经存在具有可学习邻接矩阵的GCN。由于Vaswani等［29］介绍的Transform架构，注意力机制也获得了很多普及并已纳入了GNN框架。图注意力网络（Graph Attention Network， GAT）［30］使用类似Transform模型中的自注意机制计算图顶点之间的注意力系数，并且它的很多变体已成功用于图时空数据预测。即使GCN可以将卷积扩展到非规则排列的图形数据中，但是气象因素具有一定的区域性和随机性，所以在本文中，目标节点的预测会更加注重它周围较亲密节点的影响，但是为了将较重要的较远节点也考虑在内，采用局部采样的方式对目标周围的节点进行采样，并使用动态注意力提取节点和节点之间的空间相关性，从而使预测任务更加集中在目标区域范围内，减少误差的传播。

1.2　卷积在图上的扩展

2 本文方法及模型

图1　Graph-DSAN模型结构

本文模型框架中，将不规则分布的气象站点数据特征按照经纬度和时间顺序组成包含时空关系的数据流，然后用改进的基于图卷积的GCN完成空间特征的聚合，基于邻接采样算法的时空位置编码来区分时空顺序偏差，最后加入动态注意力编码器和转换注意力解码器以完成最后的预测。

2.1　时空数据流和图的构建

图2（a）是10个节点的不规则分布。将该图中的节点看作图的顶点，然后按照顶点之间的位置计算距离，将固定权重矩阵作为顶点之间的连接方式构成图2（b）所示的空间结构。为了考虑节点聚合时也包含自身的特征，向每个节点加入自环，因此具体的表示为：

其中：和是用于调整W的分布和稀疏度的超参数；表示节点i和节点j之间的距离。

然后按照时间将不同节点之间的特征作为数据，组成由时间序列构成的时空数据流如图3所示。

图3　时空数据流

其中：表示历史时空网络序列的长度；表示要预测的目标时空网络序列的长度。

2.2　切比雪夫多项式近似

2.3　时空位置编码（STPE）

图卷积的特征提取结果要在MSA机制中同时和等效地参与时空信息的处理，所以模型无法学到不同空间和时间的顺序关系，因此也就不知道它们的相对位置和时间偏差。为了解决这个问题，加入STPE作为指示位置和时间信息的特定偏差。

为了和输入对应，在全图中分别以每个顶点为中心进行图的采样，具体采样方法是按照带权邻接矩阵进行的。

首先计算时间段内采样子图的相对位置编码（SPE），因为这样能够显式地对输入序列中任意两个亲密节点的位置关系进行建模。使用不同频率的正弦和余弦函数计算给定相对顶点坐标的SPE：

其中：是在图中顶点i的编码维度序号为l的向量，d是每一个位置向量的维度，使用类似自然语言处理（Natural Language Processing， NLP）的相对位置编码将最终结果表示为相对位置信息。在计算了所有维度之后，，在此编码中给定不同，经过编码后的、和的SPE都是静态的，可以再训练之前提前进行计算以节约模型训练过程中的计算时间。

2.4　动态注意力编码器和转换注意力解码器

由于DSAN是经典的时空预测模型，所以本节采用和DSAN模型相同的总体设计框架［16］，具体结构如图5所示，动态注意编码器（DAE）从全局输入中提取相关的信息。由于MSA机制通过截断时空进行注意力计算，在不同的子空间中留下了分离的结果，然后通过转换注意力解码器（SAD）转换DAE的输出来转移注意力，并进一步跨子空间执行MSA以计算最终输出。

图5　DAE和SAD的构成及连接

在DAE和SAD中使用MSA分别进行注意力计算，结构如图6所示。将Query、Key、Value作为MSA输入，MSA通过缩放点积方式计算注意力加权输出。在MSA中计算多头注意力时，第个注意力头执行的关注机制可以表述为：

图6　MSA的结构

3 实验与结果分析

3.1　实验数据集描述

实验中选取自美国纽约州15个站点监测数据（https：//rda.ucar.edu/datasets/ds472.0/）［36］，站点分布如图7所示。其中包括KDSV、KITH、KFZY、KALB、KFOK、KELM、KPEO、KGTB、KGFL、KFRG、KELZ、KRME、KIAG、KMGJ和KISP共15个基站。数据集中包括2018年和2019年全年的数据。数据中包括风向、风速、温度、露点、云量、气压和降水多个因素的采集数值，数据每隔1 h采集一次并以站点名称和采集月份为文件名生成12个月份的数据集，每个站点有自己的经纬度值以生成权重矩阵。实验中使用2018年的数据按照8∶2的比例划分为训练集和验证集，并且将2019年的每个季度的第一个月作为最终的测试集来模拟真实情况的风速预测。

3.2　数据预处理

站点数据包含缺失值，主要是传感器采集数据时造成的。通过对数据的初步处理和分析，云量的气象因素缺失数量较多，每个站点的缺失数据站总体数据的98%，所以实验过程中会删除此类数据。对于风向、风速、露点和降水等气象指标缺失较少，通过线性插值的方式进行数据填充。完成数据处理后，根据气象站点位置提取不同站点的时序数据。采用滑动窗口的方式对所有数据进行切片，滑动窗口的数据使用过去一周和未来12 h分别作为历史输入数据和未来预测数据，每次滑步长度为1。这样就对所有的实验数据完成了切片。最后使用线性函数对训练数据和测试数据进行归一化。

3.3　实验设置

为了找到最优预测结果的模型，本文对于GCN层数、FCN层数、动态注意力编码器和转换注意力解码器的层数、注意力头的数量进行了不同参数下的验证。具体结果如表1所示，n_Decoder、n_Encoder、n_Layer分别表示编码器、解码器、GCN和FCN的模块名称，在1～6不同模块层数下预测1 h的RMSE，其中GCN和FCN在变化时是一致的。可以看到，四个部分在层数为3的时候得到预测的结果最优。n_Head是在编码器和解码器中测试不同数量的注意力头的模块名称，在不同注意力头数下预测1 h的RMSE，可以看到在注意力头数为8时，它预测的RMSE最优。经过调参，最终确定的模型参数设置如下：三层GCN并加入残差连接进行投影，经过投影后的维度为64；动态注意力编码器和转换注意力解码器的层数为3；FCN层数为3；注意力头数为8；前馈神经网络的输出维度为256；训练过程中采用了线性整流函数（Rectified Linear Unit， ReLU）作为激活函数；Dropout率为0.1，使用Adma优化器和均方误差训练模型；训练轮次为70，批量大小为128，通过时间自动调整学习率。

表1　不同条件下的RMSE

3.4　实验指标

选用均方根误差（Root Mean Square Error， RMSE）和均绝对误差（Mean Absolute Error， MAE）作为模型的评价指标，具体计算方式如下：

3.5　基线模型

实验选用Xgboost、STDN（Spatial-Temporal Dynamic Network）［37］、STGCN、GMAN（Graph Multi-Attention Network）［38］、ConvLSTM和DSAN作为基准来反映Graph-DSAN的预测准确性。各模型均是在10次训练数据后取最优模型的结果。

3.6　实验结果与分析

Graph-DSAN与对比模型在测试集合中预测时长为1 h、6 h和12 h时多个站点的平均RMSE和MAE比较如表2所示。由表2可知：Graph-DSAN模型预测1 h、6 h和12 h得到的RMSE和MAE均小于对比的基线模型ConvLSTM、STDN、GMAN、STGCN、Xgboost和DSAN；其中1 h预测的RMSE分别降低了28.9%、27.6%、29.3%、18.0%、9.5%和3.9%；6 h预测的RMSE分别降低了15.1%、12.7%、11.5%、13.14%、4.1%和10.6%；12 h预测的RMSE分别降低了28.2%、8.9%、6.9%、27.7%、2.7%和14.4%。DSAN是在规则网格下进行的CNN卷积操作，可以看到它在无规则的气象站点背景中，通过规则排列的方式进行CNN卷积操作的结果比改进后使用图卷积操作的结果要差；在预测时长为1 h的基础上，6 h和12 h的预测结果的RMSE在DSAN中增长了61.7%和94.5%。由此可见，GCN在不规则气象站中对于空间特征提取相较于CNN具有更好的表现。

为了直观地展示模型中加入不同模块的有效性，进行消融实验，结果如表3所示。其中：相对Graph-DSAN，DSAN-NS表示没有加入相对位置编码的模型、DSAN-SS表示没有加入采样算法的模型、DSAN-NE表示没有加入动态注意力计算的编码器，DSAN-ND表示没有加入转换注意力计算的解码器。

表2　不同模型多步风速预测结果的比较

表3　不同模块对模型的影响

从表3可以看到在1 h和12 h预测中，Graph-DSAN的预测性能最好，它的RMSE比DSAN-NS分别下降了6.1%和11.9%，这说明相对位置编码对预测的准确性有明显帮助；比DSAN-SS分别下降了12.7%和18.1%，这说明未进行采样而固定输入模型的邻居数时，会使预测节点周围比较重要的节点信息丢失，导致预测结果下降；比DSAN-NE分别下降了16.9%和13.1%，比DSAN-ND分别下降了13.3%和22.2%，因为在注意力计算过程中，DSAN-NE和DSAN-ND在全局或者局部注意力计算时直接进行隐藏状态的传递或者输出，导致误差的传播，从而使预测准确性降低。综上可知，本文提出的改进方法均是有效可行的。

为了更好地分析Graph-DSAN模型对不同站点的预测准确性，将每个站点的1 h预测结果进行可视化展示，并且计算预测值和真实值之间的RMSE。由于风速数据在不同时间段的表现随着天气季节性地改变，所以分别对测试集中的数据按照季度分别应用Graph-DSAN进行预测和分析。

图8所示是Graph-DSAN对2019年1、4、7、10月每个站点的1 h预测结果。这4个月在15个站点1 h预测平均RMSE分别是1.46、1.42、1.15和1.27；6 h预测平均RMSE分别是2.11、1.97、1.53和1.76；12 h预测平均RMSE分别是2.52、2.34、1.38和2.07。可以看到，Graph-DSAN对7月和10月的预测结果比1月和4月更好，为了更有效地分析这种结果，在图9中展示了这4个月的风速。从图9中可以看到，1月和4月的风速数值整体上比7月和10月波动更频繁。由于风速具有间歇性，它在每个季度月份表现的稳定性并不一致，风速均值（mean）在数据分布上分别为4.18、3.96、2.51和3.2 m/s，标准差（std）在数据分布上分别是2.80，、2.73、1.83和2.52。从数值上可以看出1月和4月的风速平均值比7月和10月份要低，并且风速波动比7月和10月要高，因此7月和10月的预测效果相对更好。

为了更清楚地展示不同站点对比情况，将所有站点四个季度的数据的12 h预测结果取平均值，然后按照RMSE的大小在地图上进行标注，如图10所示，其中圆圈越大表示的预测准确度越低。可以看到，对于地图上较远或者孤立的节点，如KALB和KIAG，它们的邻居都比较远，在构建邻接矩阵后图卷积中采集的特征也会比较少，导致预测准确度比其他站点低。

图8　不同月份1 h预测结果及其RMSE

图9　四个月份的风速分布

图10　各站点的预测准确度比较

4 结语

本文根据站点的不规则分布和风速的间歇性，提出了一种基于图动态注意力网络的多站点风速预测模型。该模型包括基于切比雪夫多项式近似的频域图卷积、时空位置编码、动态注意力编码器和转换动态注意力解码器四个部分：图卷积部分能提取空间特征解决不规则站点分布；时空位置编码器将时间和空间位置加入提供注意力计算；动态注意力编码器和转换动态注意力解码器利用MSA机制进行注意力的计算和转换，将模型与ConvLSTM、Xgboost、STDN、GMAN和STGCN相比，12 h预测准确性最高。风速的固有间歇性使得风速在每个月份的稳定性都不一样，这使得模型在稳定性较好的数据中预测得更好一些；对于不同站点的数据，预测准确性也不同，由于站点之间的距离和邻居节点的数量，对孤立较远的节点预测准确性不是很好。

模型中对空间的注意力计算较多，然而风速的特性可能对于短期的时间数据依赖程度较高，在后续的研究中会加入更多的短期时间序列的注意力机制，进一步提升模型对于风速预测的性能。

[1] 刘苇航，叶涛，史培军，等. 气候变化对粮食生产风险的影响研究进展［J］. 自然灾害学报， 2022， 31（4）：1-11.（LIU W H， YE T， SHI P J， et al. Advances in the study of climate change impact on crop producing risk［J］. Journal of Natural Disasters， 2022， 31（4）： 1-11.）

[2] 孟鑫禹，王睿涵，张喜平，等. 基于经验模态分解与多分支神经网络的超短期风功率预测［J］. 计算机应用， 2021， 41（1）： 237-242.（MENG X Y， WANG R H， ZHANG X P， et al. Ultra-short-term wind power prediction based on empirical mode decomposition and multi-branch neural network［J］. Journal of Computer Applications， 2021， 41（1）： 237-242.）

[3] PIOTROWSKI P， BACZYŃSKI D， KOPYT M， et al. Analysis of forecasted meteorological data （NWP） for efficient spatial forecasting of wind power generation［J］. Electric Power Systems Research， 2019， 175： No.105891.

[4] AGRAWAL S， BARRINGTON L， BROMBERG C， et al. Machine learning for precipitation nowcasting from radar images［EB/OL］. （2019-12-11） ［2022-11-08］.https：//arxiv.org/pdf/1912.12132.pdf.

[5] 孙丽华，严军峰，徐健锋. 基于多机器学习竞争策略的短时雷电预报［J］. 计算机应用， 2016， 36（9）：2555-2559.（SUN L H， YAN J F， XU J F. Short-term lightning prediction based on multi-machine learning competitive strategy［J］. Journal of Computer Applications， 2016， 36（9）： 2555-2559.）

[6] RAVURI S， LENC K， WILLSON M， et al. Skilful precipitation nowcasting using deep generative models of radar［J］. Nature， 2021， 597（7878）： 672-677.

[7] 石峰，楼文高，张博. 基于灰狼群智能最优化的神经网络PM2.5浓度预测［J］. 计算机应用， 2017， 37（10）：2854-2860.（SHI F， LOU W G， ZHANG B. Neural network model for PM2.5concentration prediction by grey wolf optimizer algorithm［J］. Journal of Computer Applications， 2017， 37（10）： 2854-2860.）

[8] 王军，费凯，程勇. 基于改进Adaboost-BP模型在降水中的预测［J］. 计算机应用， 2017， 37（9）：2689-2693.（WANG J， FEI K， CHENG Y. Prediction of rainfall based on improved Adaboost-BP model［J］. Journal of Computer Applications， 2017， 37（9）： 2689-2693.）

[9] SCHER S. Toward data‐driven weather and climate forecasting： approximating a simple general circulation model with deep learning［J］. Geophysical Research Letters， 2018， 45（22）： 12616-12622.

[10] SALMAN A G， KANIGORO B， HERYADI Y. Weather forecasting using deep learning techniques［C］// Proceedings of the 2015 International Conference on Advanced Computer Science and Information Systems. Piscataway： IEEE， 2015： 281-285.

[11] MEHRKANOON S. Deep shared representation learning for weather elements forecasting［J］. Knowledge-Based Systems， 2019， 179： 120-128.

[12] TREBING K， MEHRKANOON S. Wind speed prediction using multidimensional convolutional neural networks［C］// Proceedings of the 2020 IEEE Symposium Series on Computational Intelligence. Piscataway： IEEE， 2020： 713-720.

[13] ZHANG S， TONG H， XU J， et al. Graph convolutional networks： a comprehensive review［J］. Computational Social Networks， 2019， 6： No.11.

[14] STAŃCZYK T， MEHRKANOON S. Deep graph convolutional networks for wind speed prediction［C/OL］// Proceedings of the 29th European Symposium on Artificial Neural Networks， Computational Intelligence and Machine Learning ［2022-11-08］.https：//www.esann.org/sites/default/files/proceedings/2021/ES2021-25.pdf.

[15] YU B， YIN H， ZHU Z. Spatio-temporal graph convolutional networks： a deep learning framework for traffic forecasting［C］// Proceedings of the 27th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2018： 3634-3640.

[16] LIN H， BAI R， JIA W， et al. Preserving dynamic attention for long-term spatial-temporal prediction［C］// Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2020： 36-46.

[17] HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computation， 1997， 9（8）： 1735-1780.

[18] SHI X， CHEN Z， WANG H， et al. Convolutional LSTM network： a machine learning approach for precipitation nowcasting［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems — Volume 1. Cambridge： MIT Press， 2015： 802-810.

[19] WANG Y， LONG M， WANG J， et al. PredRNN： recurrent neural networks for predictive learning using spatiotemporal LSTMs［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 879-888.

[20] TREBING K， STAǸCZYK T， MEHRKANOON S. SmaAt-UNet： precipitation nowcasting using a small attention-UNet architecture［J］. Pattern Recognition Letters， 2021， 145： 178-186.

[21] RONNEBERGER O， FISCHER P， BROX T. U-net： convolutional networks for biomedical image segmentation［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.

[22] 廖雪超，伍杰平，陈才圣. 结合注意力机制与LSTM的短期风电功率预测模型［J］. 计算机工程， 2022， 48（9）：286-297， 304.（LIAO X C， WU J P， CHEN C S. Short-term wind power prediction model combining attention mechanism and LSTM［J］. Computer Engineering， 2022， 48（9）： 286-297， 304.）

[23] WILSON Y， TAN P N， LUO L. A low rank weighted graph convolutional approach to weather prediction［C］// Proceedings of the 2018 IEEE International Conference on Data Mining. Piscataway： IEEE， 2018： 627-636.

[24] SEO S， MOHEGH A， BAN-WEISS G. with recurrent neural networks for spatiotemporal forecasting［C］// Proceedings of the 7th International Workshop on Climate Informatics. Boulder， CO： National Center for Atmospheric Research in Boulder， 2017： 85-88.

[25] 祁柏林，郭昆鹏，杨彬，等. 基于GCN-LSTM的空气质量预测［J］. 计算机系统应用， 2021， 30（3）： 208-213.（QI B L， GUO K P， YANG B， et al. Air quality prediction based on GCN-LSTM［J］. Computer Systems and Applications， 2021， 30（3）： 208-213.）

[26] XU K， HU W， LESKOVEC J， et al. How powerful are graph neural networks？［EB/OL］. （2019-02-22） ［2022-11-11］.https：//arxiv.org/pdf/1810.00826.pdf.

[27] KIPF T N， WEWLLING M. Semi-supervised classification with graph convolutional networks［EB/OL］. （2017-02-22） ［2022-11-11］.https：//arxiv.org/pdf/1609.02907.pdf.

[28] GAO H， WANG Z， JI S. Large-scale learnable graph convolutional networks［C］// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2018： 1416-1424.

[29] VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 6000-6010.

[30] VELIČKOVIĆ P， CUCURULL G， CASANOVA A， et al. Graph attention networks［EB/OL］. （2018-02-04） ［2021-11-12］.https：//arxiv.org/pdf/1710.10903.pdf.

[31] BRONSTEIN M M， BRUNA J， LeCUN Y， et al. Geometric deep learning： going beyond Euclidean data［J］. IEEE Signal Processing Magazine， 2017， 34（4）： 18-42.

[32] ZHOU J， CUI G， HU S， et al. Graph neural networks： a review of methods and applications［J］. AI Open， 2020， 1： 57-81.

[33] NIEPERT M， AHMED M， KUTZKOV K. Learning convolutional neural networks for graphs［C］// Proceedings of the 33rd International Conference on Machine Learning. New York： JMLR.org， 2016： 2014-2023.

[34] BRUNA J， ZAREMBA W， SZLAM A， et al. Spectral networks and locally connected networks on graphs［EB/OL］. （2014-03-21） ［2022-11-12］.https：//arxiv.org/pdf/1312.6203.pdf.

[35] DEFFERRARD M， BRESSON X， VANDERGHEYNST P. Convolutional neural networks on graphs with fast localized spectral filtering［C］// Proceedings of the 30th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2016： 3844-3852.

[36] Meteorological Development Laboratory/Office of Science and Technology/National Weather Service/NOAA/U.S. Department of Commerce. TDL U.S. and Canada surface hourly observations［DB/OL］. ［2022-11-12］.https：//rda.ucar.edu/datasets/ds472.0/.

[37] YAO H， TANG X， WEI H， et al. Revisiting spatial-temporal similarity： a deep learning framework for traffic prediction［C］// AAAI’19/IAAI’19/EAAI’19： Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 5668-5675.

[38] ZHENG C， FAN X， WANG C， et al. GMAN： a graph multi-attention network for traffic prediction［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 1234-1241.

Multi-site wind speed prediction based on graph dynamic attention network

LI Bolu， WU Li， WANG Xiaoying*， HUANG Jianqiang， CAO Tengfei

（，，810016，）

The task of spatio-temporal sequence prediction has a wide range of applications in the fields such as transportation， meteorology and smart city. It is necessary to learn the spatio-temporal characteristics of different data with the combination of external factors such as precipitation and temperature when making station wind speed predictions， which is one of the main tasks in meteorological forecasting. The irregular distribution of meteorological stations and the inherent intermittency of the wind itself bring the challenge of achieving wind speed prediction with high accuracy. In order to consider the influence of multi-site spatial distribution on wind speed to obtain accurate and reliable prediction results， a Graph-based Dynamic Switch-Attention Network （Graph-DSAN） wind speed prediction model was proposed. Firstly， the distances between different sites were used to reconstruct the connection of them. Secondly， the process of local sampling was used to model adjacency matrices of different sampling sizes to achieve the aggregation and transmission of the information between neighbor nodes during the graph convolution process. Thirdly， the results of the graph convolution processed by Spatio-Temporal Position Encoding （STPE） were fed into the Dynamic Attention Encoder （DAE） and Switch-Attention Decoder （SAD） for dynamic attention computation to extract the spatio-temporal correlations. Finally， a multi-step prediction was formed by using autoregression. In experiments on wind speed prediction on 15 sites data in New York State， the designed model was compared with ConvLSTM， Graph Multi-Attention Network （GMAN）， Spatio-Temporal Graph Convolutional Network （STGCN）， Dynamic Switch-Attention Network （DSAN） and Spatial-Temporal Dynamic Network （STDN）. The results show that the Root Mean Square Error （RMSE） of 12 h prediction of Graph-DSAN model is reduced by 28.2%， 6.9%， 27.7%， 14.4% and 8.9% respectively， verifying the accuracy of Graph-DSAN in wind speed prediction.

wind speed prediction; dynamic attention network; graph convolution; attention mechanism

1001-9081（2023）11-3616-09

10.11772/j.issn.1001-9081.2022111749

2022⁃11⁃24；

2023⁃03⁃10；

国家自然科学基金资助项目（62162053， 42265010）； 清华大学—宁夏银川水联网数字治水联合研究院横向课题（SKL⁃IOW⁃2020TC2004⁃01）； 青海省科技厅应用基础研究项目（2022⁃ZJ⁃701）。

李博录（1997—），男，甘肃天水人，硕士研究生，主要研究方向：人工智能、时空气象预测； 吴利（1992—），女，安徽铜陵人，助教，硕士，主要研究方向：人工智能、高性能计算； 王晓英（1982—），女，吉林大安人，教授，博士，主要研究方向：智能电网、高性能计算、计算机体系结构； 黄建强（1985—），男，陕西西安人，教授，博士，主要研究方向：高性能计算、大数据处理； 曹腾飞（1987—），男，湖北钟祥人，副教授，博士，主要研究方向：智能网络优化、网络攻防。

TP181

A

2023⁃03⁃17。

This work is partially supported by National Natural Science Foundation of China （62162053， 42265010）， Project of Tsinghua-Ningxia Yinchuan Joint Institute of Internet of Waters on Digital Water Governance （SKL-IOW-2020TC2004-01）， Application Basic Research Project of Science and Technology Department of Qinghai Province （2022-ZJ-701）.

LI Bolu， born in 1997， M. S. candidate. His research interests include artificial intelligence， spatio-temporal meteorological prediction.

WU Li， born in 1992， M. S.， teaching assistant. Her research interests include artificial intelligence， high performance computing.

WANG Xiaoying， born in 1982， Ph. D.， professor. Her research interests include smart grid， high performance computing， computer architecture.

HUANG Jianqiang， born in 1985， Ph. D.， professor. His research interests include high performance computing， big data processing.

CAO Tengfei， born in 1987， Ph. D.， associate professor. His research interests include intelligent network optimization， network attack and defense.