基于注意力循环网络的4D轨迹预测模型*

代 翔

(中国西南电子技术研究所，成都 610036)

0 引 言

空中交通管理(Air Traffic Management,ATM)[1]系统是复杂的、动态的自动化系统，其任务是有效地维护和促进空中交通安全，维护空中交通秩序，保障空中交通畅通。4D轨迹指的是航空器在空间中的三维位置点坐标和航空器在每个位置点相应的过点时间所组成的一系列点的集合。4D轨迹预测是ATM的关键技术之一，是指飞机起飞前通过历史飞行数据、飞行计划、天气数据等对某架飞机的航迹进行预测。飞机轨迹的预测对提高空中交通安全、加快空中交通流量具有重要意义。然而，随着空中交通流量的不断增加，航线网络的规模逐渐扩大，现有的空中导航系统容量已接近饱和，导致空中拥堵、航班延误等问题频繁发生。因此，国际民航组织(International Civil Aviation Organization,ICAO)提出了以全球空中交通管理运营(Trajectory Based Operation,TBO)理念为目的的“航空系统块升级”(Aviation System Block Upgrading,ASBU)计划。TBO以飞机的飞行轨迹为唯一参考，实现ATM系统内的飞行轨迹共享。

美国和欧洲分别提出了“下一代航空运输系统(Next Generation Air Transportation System,NextGen)[2]”和“天空ATM研究(Single European Sky ATM Research,SESAR)[3]”计划，以指导新一代空中交通管理系统的规划和实施。NextGen旨在通过轨迹优化匹配、航班冲突检测与解决等方式，帮助管制员做出合理决策，减少航班延误，提高航班运行效率，同时保证航班安全。中国新一代空中交通管理系统也提出“将TBO用于空域和轨迹管理，则每个时间段的决策都会与4D轨迹有关”。由此可见，对轨迹的准确预测和演绎分析，是未来空中交通安全运行的重要组成部分。

上述系统工具的设计和开发离不开对飞机轨迹的准确预测。航迹预测是空中交通管理的基础技术，而准确预测飞机的航迹是实现空中交通管理自动化、智能化的必要条件。精确的轨迹预测可以提高空中交通管理的效率，优化任务规划。同时，不正确的轨迹预测也会给空中交通管理带来混乱，增加飞机的飞行风险。因此，研究飞机的轨迹预测具有重要的意义。

目前已提出了多种飞机的轨迹预测方法，主要有状态估计法、基于空气动力学模型的方法、数据驱动方法和组合方法。本文以ADS-B数据为基础，建立了基于数据驱动的飞机轨迹预测模型。

为了弥补飞机轨迹预测中的低精度、难以获取需要重点关注的预测点等缺陷，本文提出了一种基于注意力机制的4D轨迹预测算法。首先采用正则化方法对各飞行轨迹进行重构，得到等时间间隔、无噪声的高质量飞行轨迹；然后利用长短期记忆(Long Short-Term Memory，LSTM)来获取飞机轨迹的时空特征，再联合注意力机制对不同的轨迹点赋予不同的关注程度，即通过对预测可能性更高的轨迹点赋予更大的权值以量化每个轨迹点的重要性。使用本文的注意力机制可以捕获不同时空位置对当前时空位置的动态性影响，在真实数据集进行的实验表明，ARTP始终能取得更好的结果。

1 数据准备

1.1 ADS-B数据

ARTP模型所使用的自动相关监视广播数据(Automatic Dependent Surveillance-Broadcast,ADS-B)，来自于VariFlight Technology公司，其中包含了2020年10月1日到2021年2月28日中国香港机场到中国台北机场的所有起降飞机的监控数据。ADS-B返回的数据是每架飞机在整个飞行过程中某一时刻的轨迹点信息，每条数据包含了飞机ID、经度、纬度、高度、角度、速度和时间等一些属性。ADS-B的数据采样周期约为1 s。每架飞机的轨迹数据不是连续的，而是由一系列离散的轨迹点组成。数据准备过程包括数据质量分析、数据清理、特征构建、轨迹重构等，其中的难点是重构飞行轨迹数据。

在预测飞机飞行轨迹的问题中，将该任务定义为一个回归问题。在本研究任务中，假设有一个历史轨迹集T，历史轨迹的条数为N，则

T={T1,T2,…,TR,…TN} 。

(1)

式中：TR是T中的第R条轨迹。假设每条轨迹有n个轨迹点，则

TR={c1,c2,…,ci,…cn} 。

(2)

式中：ci表示轨迹TR中的第i个点。假设每个轨迹点包含p个属性，则

ci={ci1,ci2,…,cij,…cip} 。

(3)

式中：cij表示点ci的第j个属性。

1.2 ADS-B轨迹预处理

由于系统的误差、信号遮挡等原因，实际处理ADS-B轨迹数据时会遇到各种质量问题，如位置数据错误、轨迹点丢失和轨迹点重复等，很多研究者[4-5]已经对这些问题进行了分析。本研究利用了ADS-B数据的各种质量分析，发现原始轨迹数据集中主要存在两个问题：一是在特定的时间点上(图1)，一些轨迹可能包含异常值(如噪声)；二是轨迹点的时间间隔长度不相等。轨迹重构的目的是将原始轨迹转化为等时间间隔的无噪声轨迹，从而保证后续的轨迹预测具有高质量的输入数据。

图1 带有异常值的代表性轨迹

有效的轨迹预测工具依赖于高质量的数据。轨迹重构指的是利用低质量的轨迹来产生高质量轨迹的过程。一些研究者用低通滤波器去噪或者使用插值方法填充空值，以解决上述两个问题。基于图像重建的正则化模型[6]，提出了一种正则化的重建模型，以获取高质量的轨迹。重构轨迹有三个性质：一是时间间隔等长；二是时间分辨率高于原始轨迹；三是丢弃所有的离群点，并根据它们的邻近点重建缺失数据。

设t*∈M×K为M个非相等时间间距点的轨迹，t∈N×K为N个对应的相等时间间隔点的高质量轨迹。高质量轨迹与观测轨迹的关系如下线性方程:

t*=st+n。

(4)

式中：s∈M×N是采样矩阵，维度M代表M维不相等的时间间距，N代表N维相等的时间间距；n为随机噪声。轨迹重构的目的是从观测到的轨迹t*中得到高质量的轨迹t。然而，这是一个不适定问题，不能直接从公式(4)中得到解决结果。正则化方法是一种解决不适定问题的有效方法，在图像重构和去除噪声等应用中被广泛使用。将正则化方法应用并推广到飞机飞行轨迹重构中，其目的是通过对所需信号进行先验处理来提高信号质量，等价于求解以下优化问题:

(5)

本文采用信号处理中应用最广泛的正则化代价函数之一的Tikhonov代价函数作为正则化项，其定义如公式(6)所示：

(6)

(Γt)=ti-1-2t+pi+1。

(7)

式(7)中：Γ是拉普拉斯矩阵。拉普拉斯算子的离散形式近似为公式(7)。Tikhonov实现轨迹序列的局部空间平滑。由于噪声点包含高频能量，在正则化过程中将噪声点去除，重构轨迹将不包含异常点。将公式(6)代入到公式(5)中，轨迹重构可重构为目标函数(8)的最小化:

(8)

目标函数(8)为凸二次函数，可解析求解。当且仅当▽f(t)=0时有解t使得f最小，它等价于

t=(sTs+λΓTΓ*)-1sTt*。

(9)

这里给出了重构轨迹的一个示意图，如图2所示，蓝色的点构成原始轨迹，红色的线代表重构之后的轨迹。显然，重构的轨迹能很好地拟合原始测量值。

图2 重构之后的轨迹示意图

2 4D轨迹预测模型

本文的目的是在大量的ADS-B数据的基础上，学习一个数据驱动的预测模型。以飞机的历史和当前轨迹特征作为网络输入，输出未来飞机轨迹特征。首先将预处理之后的轨迹数据输入LSTM模块。LSTM不仅可以学习长期依赖，能够解决飞机轨迹过长从而遗忘最初轨迹信息的问题，而且具有一定的存储容量，可以将以前的信息连接到当前状态。接下来将LSTM中得到轨迹时空信息的序列向量输入到一个共享权层，将每个轨迹点的信息合并到一个隐藏状态。然后把所有轨迹点的隐藏状态输进注意力层中，首先得到表示当前转移状态相关的周期性的上下文输出，再得到一个归一化并经过softmax处理得到的重要性权重。注意力机在于学习不同轨迹点的重要程度，从而调整每个轨迹点的权重值。注意力机制的引入，明显增加了飞机轨迹预测的准确性，忽略了那些不重要的点，从而能够减少这些点对预测结果的影响。本文结合LSTM和注意力机制的优点提出了ARTP模型，与其他没有使用注意力机制的模型相比，这是一种更有效捕获轨迹的时空特征以及不同轨迹点重要程度的方法。ARTP的模型框架图如图3所示。

图3 基于注意力循环网络的4D轨迹模型框架图

2.1 LSTM

LSTM是循环神经网络(Recurrent Neural Network,RNN)的一种特殊形式，可以学习长期依赖信息。与标准RNN相比，LSTM的主要改进是引入了门控机制，即输入门、遗忘门和输出门，从而控制网络中的信息传输。近年来，LSTM在时间序列预测方面取得了很大的成功，可以解决较长的短期依赖问题。轨迹可以看作是多个时间序列，因此可以利用LSTM对时间序列数据进行处理，建模4D轨迹数据的长期依赖性。

LSTM模型在原有RNN短期记忆单位ht的基础上，增加了单元状态Ct来维持长期记忆。LSTM网络的更新流程如下：

ft=σ(Wf·[ht-1,xt]+bf)，

(10)

it=σ(Wi·[ht-1,xt]+bi)，

(11)

(12)

(13)

ot=σ(Wo·[ht-1,xt]+bo)，

(14)

ht=ot×tanh(Ct)。

(15)

2.2 注意力机制

注意力机制(Attention Mechanism)源于对人类视觉的研究，由Vaswani等[7]在2017年提出。注意力机制主要有两个方面：一是决定需要关注输入的哪个部分；二是分配有限的资源给重要的部分并捕获不同位置点对当前时空位置的动态性影响。

由于传统的神经网络结构会将输入序列编码为固定长度的内部表征，限制了输入序列的长度，当输入句子比较长时编码结果会可能会损失较多信息。为了解决这一局限性，将注意力机制加入模型中。该方法可用于多个领域的序列预测中，包括自然语言处理(Natural Language Processing,NLP)、语音识别等。所以，ARTP加入了注意力机制，将注意力机制用于飞机轨迹预测中，在不同的轨迹中找到最需要关注的点，并为其分配最大的权重值。在众多的轨迹点中聚焦于对当前任务更为关键的点，降低对其他点的关注度，甚至过滤掉无关信息，就可以解决信息过载问题，并提高任务处理的效率和准确性。

在对飞机飞行轨迹应用注意力机制之前，首先，使用一个共享权层(例如MLP)，将每个轨迹点的信息合并到一个隐藏状态:

lti=ReLU(Wzci+bz),i∈[1,2,…,n] 。

(16)

式中：ReLU是激活函数。然后,得到轨迹点的所有隐藏状态为lt=(lt1,lt2,…,ltn)。将lt作为注意力层的输入，然后利用注意力机制来学习飞机飞行轨迹中的权值。注意力模块被参数化为一个前馈神经网络，可以同整个神经网络一起进行训练。其注意力的计算公式如下:

(17)

αi=softmax(f(ht,lt))，

(18)

f(ht,lt)=tanh(htWl)。

(19)

3 实验评估

采用中国香港至中国台北航线的真实ADS-B起降历史轨迹数据进行实验，以比较提出的模型与几个经典模型的性能。

3.1 实验设置

表1描述了实现基于注意力机制的4D飞行轨迹预测模型的特定设置和超参数。实验环境是在Linux的TensorFlow框架上运行的，并使用GTX1080 GPU加速计算。所采用的数据集一共有1 657条轨迹，这些轨迹是不同长度的时间序列。对于所有数据集，选择每个飞机前80%的子轨迹作为训练集，并选择剩余的20%作为测试数据。

表1 实验参数设置

3.2 基准模型比较

为了验证本文提出模型的有效性，与经典的BP方法以及使用LSTM与CNN-LSTM的模型进行了比较，包括BP[8](较早使用BP神经网络预测轨迹点的经典方法之一)、LSTM[9](一种结合了时空上下文，并在LSTM框架内预测飞机飞行轨迹点的深度学习模型)、SS-DLSTM[10](在LSTM的基础上，增加了轨迹重构技术，并且是一个序列到序列的深度LSTM模型对飞机轨迹进行预测)和CNN-LSTM[11](一种结合CNN和 LSTM的基于深度学习的飞机轨迹预测混合架构)。

3.3 评价指标

ARTP模型中使用了均方根误差(Root Mean Square Error,RMSE)、平均绝对误差(Mean Absolute Error,MAE)、平均绝对百分比误差(Mean Absolute Percentage Error,MAPE)作为评价指标。RMSE是预测值和实际观测值之间的平方和的平方根，也可以测量误差的平均大小。MAE是预测值和实际观测值之间的绝对误差平均值，能更好地反映预测值误差的实际情况。MAPE考虑误差与实际值之比，与原始数据进行比较。用上述三个指标来评价ARTP的有效性，计算方法如下：

(20)

(21)

(22)

式中：Ai表示真实轨迹，Fi代表在时刻i预测的轨迹。上述三个误差的值越小，预测轨迹越接近实际轨迹，即模型的预测精度较高。

为了能够充分测试ARTP模型的性能，将ARTP的预测结果分别与单一的BP网络、LSTM网络和SS-DLSTM、CNN-LSTM进行了比较。

3.4 性能比较

3.4.1 总体性能比较

为了更好地展示出ARTP模型的优良性能，这里以一个实际的中国香港到中国台北的航班为例，给出模型的单步预测结果，并与单个的BP模型、LSTM模型以及CNN-LSTM模型与ARTP模型进行对比。

图4为飞行轨迹的预测结果，为预测轨迹与实际轨迹在经纬度坐标上的二维曲线图，图中的Ground Truth表示真实的飞行轨迹。从图4可以看出，四种模型的经纬度预测结果与实际轨迹大致趋势一致，但BP与LSTM模型的预测曲线与另外两种模型相比，与实际轨迹的偏差更大。CNN-LSTM和ARTP模型对经纬度的预测误差较小，其中ARTP模型的预测最佳，BP模型的预测误差最大，这说明引入CNN的模型比单个LSTM模型的预测效果要好。此外，引入注意力机制的ARTP模型对飞行轨迹的预测比引入CNN的LSTM模型效果会更好，这表明注意力机制的应用对轨迹的精确预测有着更明显的效果。

图4 四种模型的预测结果

3.4.2 时间性能比较

模型训练所花费的时间越少，可以在实际应用中能产生更大的价值。不同模型训练消耗时间如图5所示，其中ARTP比SS-LSTM更有效，说明注意力机制能加快飞机轨迹预测中损失函数的收敛速度以及关注重要的轨迹点，ARTP相比其他基准模型的训练成本大大减少。

图5 不同模型训练消耗的时间

3.5 度量误差值比较

根据预测轨迹值和实际轨迹，可以得到RMSE、MAE和MAPE三个评价指标的值。计算了对模型的预计时间、预测经度、预测纬度和预测高度的平均误差，结果如表2所示。根据表2可知，ARTP模型的预测误差比CNN-LSTM、SS-DLSTM 、LSTM和BP的预测误差都小。

表2 不同模型在三种指标上的比较

在该飞机飞行轨迹测中，ARTP模型的均方根误差比CNN-LSTM模型低21.04%，比SS-DLSTM模型低32.44%。从以上分析可知，与单个BP和LSTM模型相比，联合注意力机制和LSTM的ARTP模型预测结果更加准确，可以更好地满足飞机4D轨迹跟踪的要求。

这里对轨迹预测的单点特征(经度、纬度、高度、时间)误差进行了统计分析，结果如图6和图7所示。从图6和图7中可以得到，ARTP的三个评价指标对轨迹的单一特征预测均优于其他几个模型。此外，SS-DLSTM 和LSTM模型对单一特征的三个度量指标均优于BP模型，说明LSTM比BP更适合处理时间序列数据，这也是ARTP模型选择LSTM进行轨迹时空特征提取的原因。

图6 单个属性的RMSE度量结果

图7 单个属性的MAE度量结果

从以上分析可以看出，与单个BP和LSTM模型相比，CNN-LSTM混合模型的预测结果相对较好；但与CNN-LSTM相比，引入注意力机制的ARTP模型能更好地降低误差，取得更好的预测效果，说明在都使用LSTM的条件下，添加注意力机制的模型预测效果优于使用CNN的模型，表示ARTP可以更好地满足飞机4D轨迹预测的要求。

4 结束语

本文提出了一种基于注意力循环网络的飞机4D轨迹预测ARTP模型。在对轨迹进行重构以后，将LSTM与注意力机制相结合，对飞机飞行轨迹进行预测，首先利用LSTM具有长短期依赖的优点，对轨迹进行时空特征的提取；再使用注意力机制，从众多的轨迹点中找到对当前预测影响更大的点，降低对其他点的关注度，并赋予对应的权值。将该模型与BP模型、单一LSTM模型以及混合CNN-LSTM的模型在真实数据集上进行了比较，实验结果表明，ARTP模型能够更准确地预测飞机的4D轨迹，预测精度远高于其他模型。

未来研究工作将结合天气因素、飞行前空气流等影响，进一步提高模型的效率。