基于贝叶斯正则化的Elman-NARX神经网络飞行轨迹预测*

张振兴，杨任农，房育寰

（空军工程大学航空航天工程学院，西安 710038）

0 引言

近年来，飞行轨迹预测一直是个研究热点，飞行轨迹的准确预测在未来空中管理系统和作战飞机控制中发挥着重要作用。根据安装位置的不同，航迹预测可以分为机载航迹预测系统和地面航迹预测系统，本文着眼于提高轨迹预测的速度和精度，为机载航迹预测系统提供一种新的方法。

目前对飞行轨迹预测的研究主要分为两类：一类是基于理论分析的参数方法［1-3］，利用空气动力学模型或者牛顿力学模型，通过对不同飞行阶段建立运动方程，确定飞机的运动状态量。但是在求解模型时，忽略了许多无法实时测量的参数，比如飞机所处位置的风速、温度和大气压力等，同时也没有考虑管制因素，使得模型的准确度降低。另一类是基于历史数据的经验方法，例如改进的卡尔曼滤波方法［4］、基因表达式编程（GEP）［5］等方法，通过分析历史数据，将模型中的关键因子提取出来，实现对飞行性能模型的逼近和预测。考虑到飞行轨迹预测模型的复杂性，为了准确对其进行建模，本文采用基于神经网络的数据建模方法。神经网络由于具有优秀的非线性映射功能、独有的多输入多输出等特点，已被应用在飞行轨迹预测中［6］。但是，由于BP神经网络和Elman神经网络结构相对简单，虽然在一定程度上提高了飞行轨迹的预测精度，仍无法准确快速地对飞机高阶非线性系统建模［7-8］。

针对以上问题，本文在NARX动态神经网络［9］的基础上，增加网络承接层和自反馈连接，建立了Elman-NARX神经网络模型。这种模型能够存储更多的历史状态信息，提高网络非线性性能和动态性能，同时增加了输出变量对输入变量的依赖程度，对高阶动态系统建模更准确。为了提高网络训练速度和泛化能力，利用贝叶斯正则化方法训练神经网络，简化网络结构，保证网络预测的准确性。最后，将其应用到飞行轨迹预测实验中，结果表明了该方法的有效性，并且具有广泛的应用价值。

1 飞机飞行轨迹神经网络预测模型

在飞机飞行过程中，由于飞行员实时对飞机进行操纵，无法进行长时间飞行轨迹准确预测，本文将长时间分解为多个短时间，预测飞行轨迹。飞机飞行轨迹预测模型是一个复杂的非线性动态系统，受到多种因素影响，其中，飞行员的操纵量是影响飞机飞行轨迹的关键要素［10］，文献［7］采用升降舵和方向舵偏角以及发动机推力作为输入对无人机轨迹进行预测，取得较好的效果。但是，由于获取有人机偏角数据较困难，不能采用文献［7］中无人机轨迹预测模型的输入量作为本模型的输入量。考虑到在飞机飞行过程中，飞行员通过对操纵系统的控制，包括驾驶杆、油门杆和脚蹬，保证对飞机纵向、横向、航向以及在机动飞行和起飞着陆时机翼増升装置的操纵，改变飞机的运动状态，本文采用飞行员的操纵量：驾驶杆前后和左右偏移量、脚蹬偏移量和油门杆偏移量作为预测飞行轨迹神经网络模型的输入量，为了实时的对后几个时刻的飞机位置进行预测，将飞机的三维坐标作为神经网络模型输出量，建立神经网络飞行轨迹预测模型。

2 Elman-NARX神经网络模型及学习算法

NARX自回归神经网络是在BP神经网络的基础上，增加了从输出层到输入层的反馈延迟以及输入变量的延迟，使得网络具有动态和记忆功能，为了进一步提高其对复杂非线性动态系统建模的能力，可以对其结构进行改进。

2.1 Elman-NARX神经网络模型建立

在NARX动态神经网络的基础上，借鉴Elman神经网络的结构特点，增加网络承接层和自反馈连接，建立了Elman-NARX神经网络模型。图1所示为网络的结构图。该网络是对标准NARX神经网络进行改进，即在隐含层中增加了反馈连接到输入层的承接层，以及在承接层上增加了一个增益为α的自反馈连接，这样，就在输入变量不变的情况下，达到了提高网络存储和记忆历史信息的能力的效果。

在图 1 中，Iu表示外部输入变量，u=1，2，…，m，l表示隐含层节点数，x（k）表示第k次迭代承接层输出，h（k）表示第k次迭代隐含层输出，O（k）表示第k次迭代输出层输出，w1、w2、w3和 w4分别表示承接层到隐含层，反馈延迟输出变量到隐含层，输入变量到隐含层以及隐含层到输出层的连接权值，f（·）表示隐含层的传递函数，g（·）表示输出层的传递函数，假设外部输入变量Ik的延迟长度为p，输出变量O（k）的反馈延迟长度为n，则该网络的数学模型为：

与NARX神经网络数学模型相比，该模型的数学表达式中增加了式（1），式（1）可以继续化简为：

2.2 Elman-NARX神经网络学习算法

Elman-NARX神经网络虽然保留历史状态信息的能力更强，但是NARX神经网络结构复杂，可能会影响网络的速度和泛化能力［12］。为了简化网络结构，进一步提高模型的速度和预测精度，采用贝叶斯正则化算法来训练网络。

2.2.1 正则化神经网络

神经网络的泛化能力与网络结构的复杂程度直接相关，如果神经网络的结构比较复杂，权值相对较大，则易发生过拟合现象。正则化是一种通过在神经网络的训练性能函数中加入惩罚项［13］，简化网络的权值连接结构，从而进一步提高其泛化能力的训练方法。神经网络一般的训练性能函数的均方误差为：

式中，n表示训练样本总组数，yi表示第i组训练样本的预测值，ti表示第i组训练样本的实际值。

贝叶斯正则化加入惩罚项后的训练性能函数为：

式中，α，β表示性能参数，N表示网络结构中的权值总数，wk表示第k个权值。性能参数β和α决定了训练性能函数中网络的均方误差和权值的均方值所占的比重，如果β远大于α，则训练强调网络均方误差，与原性能函数一致；如果α远大于β，则训练注重网络权值的均方值，最终得到的神经网络结构简单，输出更加平滑，不会出现过拟合和陷入极小值等问题。

2.2.2 贝叶斯学习方法

Mackey［14］首次提出用贝叶斯方法，通过在训练的过程中自适应调节性能参数α和β的大小，得到最适合的性能参数。

将w视为随机变量，根据贝叶斯规则［14］，在已知训练数据条件下，w的后验概率为

式中，D表示训练数据集，M表示Elman-NARX神经网络模型，表示标准化因子，表示w的先验概率密度函数，表示w给定时的概率密度函数。

根据以往的经验，假设飞行训练数据中的噪声和权向量服从高斯分布，则有：

由式（8）～式（10）可得：

式中，N表示网络实际参数的总个数，γ表示网络有效参数的个数体现了网络的实际规模。

为了提高网络的收敛速度，利用Levenberg-Marquradt算法训练网络。LM算法是梯度下降法和牛顿法的结合，通过加入比例因子μ来调节权重，极大地加快了网络的收敛速度，权值更新公式为：

其中，ηn表示学习率表示神经网络误差函数的一阶梯度。

算法步骤如下：

Step1以较小的初始值初始化性能参数α和β，以及神经网络的权值和阈值；

Step2利用Levenberg-Marquradt算法训练神经网络，保证目标函数F（w）最小；

Step4根据式（12）和式（13）更新性能参数 α 和β，以及神经网络的权值和阈值；

Step5判断神经网络是否收敛或者达到最大迭代次数。如果是，则结束训练；如果不是，重复步骤2～5。

图2所示为整个算法流程图：

3 实验仿真分析

由于无法获取各种飞行情况下的轨迹数据库，采用飞机模拟器采集特定仿真环境下的飞行数据进行仿真实验，以某型飞机模拟器的飞行轨迹作为研究对象，验证基于贝叶斯正则化的Elman-NARX神经网络方法预测飞行轨迹的有效性。

本文同时使用BP神经网络、Elman神经网络、NARX神经网络以及基于贝叶斯正则化和LM算法的Elman-NARX神经网络进行仿真实验。

3.1 飞行仿真实验

仿真时以飞机初始时刻质心位置为坐标原点，以过原点的纬线切线指向东为轴，以过原点经线切线指向北为轴，并根据右手定则确定轴，建立类地面坐标系。

在不考虑风扰动的前提下，将飞机驾驶杆横向和纵向偏移量、油门杆偏移量、脚蹬偏移量和时间作为预测模型的输入量，将飞机三维坐标作为输出量。在实际预测时，利用每一次预测的实际值替代预测值，更新学习样本，进行下一次预测，保证飞行轨迹长期预测的准确性。

3.2 参数设置及性能指标

神经网络参数：1）隐含层数：单层；2）隐含层传递函数：双曲正切Sigmoid函数；3）隐含层节点数和动态神经网络的时间延迟：隐含层节点数范围取在［1，20］之间，时间延迟范围取在［1，5］之间，采用列举法确定最优值；4）学习率：自适应学习率方法，初始值设置为0.1；5）最大训练次数均设置为800；6）训练精度均设置为5*10-5。

贝叶斯正则化算法：性能参数α和β起始时均设置为0.1；

3.3 轨迹预测仿真实验结果

选取飞行数据中的50组数据完成训练和预测任务。其中，前40组数据用于训练网络，后10组数据用于评价模型。

图3所示为前4种神经网络预测飞机轨迹的3个坐标的相对误差结果对比。由图3可知，预测精度大小比较：Elman-NARX神经网络＞NARX神经网络＞Elman神经网络＞BP神经网络。由此可知，动态神经网络的预测结果优于静态BP神经网络，Elman-的预测精度最高，3个坐标预测的相对误差均小于1*e-3，达到了期望目标，要比其他两种动态神经网络预测结果更好，达到了预期目的。飞机轨迹预测如下页图4所示。

图5为基于贝叶斯正则化的Elman-神经网络训练进化曲线，由图5可知，改进后的神经网络收敛速度较快，训练6次基本达到误差要求，训练时间为0.941 s，基本满足机载轨迹预测系统要求。

为了全面直观地评价基于LM算法和贝叶斯算法的预测结果，分别将均方根误差（Root Mean Square Error，RMSE）和相关系数R作为性能指标。均方根误差越小，相关系数越大，说明模型的预测精度越高，性能越好。

表1为基于贝叶斯正则化和LM算法的Elman-NARX神经网络的预测结果进行比较，其中BR表示贝叶斯算法。由表1可知：贝叶斯正则化算法优于LM算法，预测结果的精度和相关性均优于LM算法。

综上所述，本文提出的基于贝叶斯正则化的Elman-NARX神经网络模型可以较好地对飞机动态系统建模，以较高的精度和速度预测飞行轨迹，具有实际应用价值。

4 结论

飞机系统是一个高阶非线性动态系统，本文提出的基于贝叶斯正则化的Elman-NARX神经网络模型，提升了高阶动态系统的预测精度和速度，优于一般的动态神经网络。对飞行轨迹预测时，预测的精度和速度都较高，具有实际应用价值。此外，本文提出的这种模型具有普适性，适用于所有的高阶非线性动态系统，可以被广泛应用在电价预测、高炉铁水含硅量预测、高速铁路沉降预测等方面，应用前景较好。

参考文献：

［1］THIPPHAVONG D P，SCHULTZ C A，LEE A G，et al.Adaptive algorithm to improve trajectory prediction accuracy of climbing aircraft［J］.Journal of Guidance，Control，and Dynamics，2013，36（1）：15-24.

［2］AMIT A G.Adaptive improvement of climb performance［D］.Cincinnati：University of Cincinnati，2003.

［3］PREVOST C G，DESBIENS A，GAGNON E.Extended kalman filter for state estimation and trajectory prediction of a moving objected detected by an unmanned aerial vehicle［C］//Proceedings of the 2007 American Control Conference.Piscataway：IEEE Press，2007.

［4］王涛波，黄宝军.基于改进卡尔曼滤波的四维飞行航迹预测模型［J］.计算机应用，2014，34（6）：1812-1815.

［5］杜冬，麦海波.基于GEP的四维飞行轨迹预测模型［J］.四川大学学报（自然科学版），2013，50（4）：749-752.

［6］谭伟，陆百川，黄美灵.神经网络结合遗传算法用于航迹预测［J］.重庆交通大学学报（自然科学版），2010，38（1）：147-150.

［7］王俭臣，齐晓慧.基于EPSO-BP的Elman网络及其在飞行轨迹预测中的应用［J］. 控制与决策，2013，28（12）：1884-1888.

［8］吴建锋，何小荣，陈丙珍.动态过程神经网络模型的研究（一）［J］.系统工程理论与实践，2001，12（12）：47-53.

［9］CAI L，MA S Y，CAI H T，et al.Prediction of SYM-H index by NARX neural network from IMF and solar wind data［J］.Sci China Ser E-Tech Sci，2009，52（10）：2877-2885.

［10］陈廷楠.飞机飞行性能品质与控制［M］.北京：国防工业出版社，2007.

［11］MARTIN T H，MOHAMMAD B M.Training feedback network with the marquardt algorithm［J］.IEEE Transaction on Neural Networks，1994，5（6）：989-993.

［12］李伟，何鹏举，杨恒，等.基于粗糙集和改进遗传算法优化BP神经网络的算法研究［J］.西北工业大学学报，2012，30（10）：601-606.

［13］ZHANG L，LUH P B，KASIVISWANATHAN K.Energy clearing price prediction and confidence interval estimation with cascaded neural networks［J］.IEEE Transactions on Power Systems，2003，18（1）：99-105.

［14］MACKAY D J C.Bayesian interpolation［J］.Neural Computation A，1992，4（3）：415-447.