基于多种深度学习算法对卫星钟差预报的效果分析与对比研究

卢玉皖，郑礼全，胡超

( 1. 安徽理工大学空间信息与测绘工程学院, 安徽 淮南 232001；2. 安徽理工大学矿山采动灾害空天地协同监测与预警安徽普通高校重点实验室, 安徽 淮南 232001；3. 安徽理工大学矿区环境与灾害协同监测煤炭行业工程研究中心, 安徽 淮南 232001 )

0 引言

高精度定位、导航与授时(positioning,navigation and timing，PNT)服务需要高精度轨道和钟差产品.卫星钟差是GNSS 中的重要参数之一，其性能的好坏直接影响导航和定位的精度.因此，准确预报卫星钟差的变化趋势对于提高卫星导航系统的性能至关重要[1-3].然而，目前原子钟的稳定性无法满足厘米级实时定位的需求[4]，仍然有待提高.因此，钟差实时预报已成为国内外卫星导航理论与实践的热点问题.

近年来，为进一步提高卫星钟差实时预报的精度，许多学者对卫星钟差预报方法展开了大量研究工作，取得了巨大的成果.如文献[5]指出在利用一次差研究的基础上，利用思维进化算法(mind evolutionary algorithm，MEA)优化的反向传播(back propagation，BP)神经网络模型进行卫星钟差预报，精度和稳定性显著提高；文献[6]提出了一种基于长短期记忆(long short term memory，LSTM)神经网络的钟差预报模型，克服了多项式模型在卫星频率快速变化期间精度衰减快的问题；文献[7]提出了粒子群算法(particle swarm optimization，PSO)进行Elman 神经网络优化的钟差预报寻求最优的阈值和权值来改善Elman 神经网络预报的稳定性；文献[8]指出了一种基于变化率的T-S 模糊神经网络(T-S fuzzy neural network,TSFNN)钟差预报模型，计算相邻历元间钟差的变化率值并对其进行建模，实现了卫星钟差较高精度的预报；文献[9]提出了一种基于麻雀搜索优化算法(sparrow search algorithm，SSA)优化BP 神经网络的卫星钟差预报方法，利用SSA 较强的全局搜索寻优功能，改善了局部最优易陷问题，大大提高了预报精度.目前，各种预报模型都具有各自的优点和局限性，卫星钟差预报模型又呈现多元化.但是，因为预报模型未充分考虑卫星原子钟类型及卫星在轨运行时间和建模特点等因素[10]，所以适用性普遍较差.因此，针对上述问题，本文采用WHU 分析中心提供的GPS精密钟差产品，从不同钟差数据量建立模型以及不同批次卫星的同一类型原子钟和不同批次卫星的不同类型原子钟的角度，使用四种神经网络预测模型进行钟差预报，并通过预报结果对各神经网络模型的预报效果进行了分析与比较.

1 钟差预报模型

1.1 FA-BP 神经网络模型

BP 神经网络是一种按误差反向传播的前馈神经网络，由输入层、隐含层以及输出层组成；学习能力存储功能高，是一类高度自适应的非线性动态网络[9].因此，BP 神经网络使用误差BP 算法进行训练，该算法通过计算每一层的误差信号，并根据权重调整公式更新每一层的权重矩阵.

BP 神经网络的隐含层可为多层，为提高运算效率，本文的隐含层层数设为2.激活函数是Sigmoid函数，即函数式为

该函数为连续的可导函数，可把数据从[-∞,+∞]投影到区间[0,1]中[11].完成输入层运算后，相对应的输出层的计算公式为

式中：On,j为BP 神经网络得到的输出值.

权值更新公式为

式中：t为迭代次数；ε(t)为期望输出与实际输出之差；η为学习效率；y(t)为神经元的输出值.

萤火虫算法(firefly algorithm,FA)是基于萤火虫的闪光行为，它是一种用于全局优化问题的智能随机算法[11].在FA 中，认为所有的萤火虫都是雌雄同体的，无论性别如何，它都互相吸引.该算法的建立基于两个关键的概念：发出光的亮度和两个萤火虫之间产生吸引力的程度.即萤火虫算法的主要步骤如下：

1)初始化的参数设置为：萤火虫数量为n；最高吸引度为β0；步长因子为α；光强吸收系数为γ以及最大迭代次数.

2)初始化：通过随机初始化萤火虫的位置计算萤火虫的目标函数，分别计算最大荧光高度I0.

3)萤火虫算法中，首先需要计算每个萤火虫相对高I和吸引度β的值.接着，通过比较相对光的亮度大小，来决定萤火虫的运动方向，由此，更新空间内位置，使处于最佳位置的萤火虫随机移动，计算公式为：

4)依据萤火虫位置的更新重新计算萤火虫的亮度I0，计算全局极值点和最佳个体值.

BP 神经网络通过反复训练过程调节各个权重和阈值，以使输出值接近期望值.但是，初始权重和阈值的选择对于BP 神经网络的预报精度非常重要，且容易出现局部最优解的现象.针对这种现象，本文通过FA 算法优化BP 神经网络获得了最佳的初始化权重和阈值，可以避免BP 神经网络陷入局部最优解的现象，从而大大提高了卫星钟差预报的精度.即对卫星钟差原始数据进行中位数探测剔除异常数后，利用FA-BP 神经网络模型进行卫星钟差预测，流程图如图1 所示.

图1 FA-BPNN 算法流程图

1.2 Elman 神经网络模型

Elman 神经网络中引入了一个称为“承接层”的结构，在标准BP 神经网络的基础上，它使其成为了一种循环神经网络.该层接收来自前一时刻的隐含层的输出，并将其作为当前时刻的输入.这个额外的承接层提供了Elman 神经网络的记忆能力，它可以使用过去的信息来影响当前的决策.这种局部反馈机制帮助网络动态地存储并处理时序性输入，使Elman神经网络在时间序列问题上的适用性更强[12].

在Elman 神经网络中，输入层神经元传输信号的同时，隐含层神经元选择Sigmoid 函数作为激活函数，并通过输出层神经元进行线性加权处理，其公式为：

式中：x(k)为n维的隐含层节点向量；yk为m维的输出层节点向量；g(∗)为输出神经元中的传递函数；f(∗)为隐含层神经元中的传递函数.

对于Elman 神经网络，通过加入动量的梯度下降BP 算法来对连接的权重进行修正.同时，误差平方和函数作为学习的目标函数，其公式为

式中，yk(ω)为目标输入向量.

采用Elman 神经网络模型预报钟差，其关键在于针对卫星钟差的特点选择最佳的网络结构.根据研究表明，输出层神经元的数量等于需要输出的数据类型的数量，在本文中，需要输出一种数据类型，因此输出层神经元数量为1.另一方面，隐含层神经元的数量根据钟差数据进行建模，选择不同数量的隐含层神经元来预报钟差；根据均方根(root mean square，RMS)的变化情况选择最佳的网络结构.其网络模型图如图2 所示.

图2 Elman 神经网络模型图

1.3 RBF 神经网络模型

RBF 神经网络是以函数逼近原理为依据建立的一种常用的三层前馈神经网络，主要由输入层、隐含层和输出层构成.从输入层到隐含层所构成的变换过程是非线性的，从隐含层到输出层所构成的变换过程是线性的[13].RBF 神经网络中的主要变换函数为RBF，RBF 中心点的确定对网络学习和训练结果有重要影响.本文选取最常见的高斯函数作为RBF，其形式为

式中：x为输入向量；ci为第i个基函数的中心；σi为基函数的中心点的宽度；∥x-ci∥为向量x-ci的范数；h为隐层神经元的个数.其网络模型图如图3 所示.

图3 RBF 神经网络模型图

1.4 CNN-LSTM 神经网络模型

卷积神经网络(convolutional neural networks，CNN)适用于获得空间结构上的多维时间序列数据的特征.该网络主要由卷积层和池化层构成，其中卷积层和池化层采用局部连接和权值共享的方式，在交替使用后可以从原始数据中提取局部特征[14].本文的钟差数据是一维时间序列数据，即选择一维卷积神经网络，假设其第I 层为卷积层，则一维卷积的计算为

LSTM 网络是循环神经网络的一种，相比于传统的循环神经网络(recurrent neural network，RNN)，LSTM 网络可以进一步解决时间序列问题.LSTM 网络在隐含层内部的特征上更复杂，增加了输入门、输出门和遗忘门三部分，并且添加了用于存储记忆信息的单元[19].各变量之间的函数关系为：

式中：ft是遗忘门的输出信号；it是输出门的信号；是输入到记忆单元c中的预备信息；ot是输出门的输出信号；是当前将要输出到隐含层状态s的预备信息.

CNN-LSTM 网络模型，本文采用历史数据作为预报模型的输入，预报值作为输出.因此将一维的钟差数据输入到CNN-LSTM 网络中.首先，在CNN中，由一维卷积核对钟差数据进行卷积层和池化层的操作，以获得钟差数据在空间结构上的特征分量.然后，LSTM 网络根据得到的特征分量进行时间序列预测.最后，使用单隐含层的深度神经网络作为CNNLSTM 网络模型的输出层，用于预报钟差数据，并输出T时刻的预报结果.在这个模型中，全连接层是最后一个用于处理输入数据的层.其CNN-LSTM 网络预报模型如图4 所示.

图4 CNN-LSTM 神经网络模型图

2 试验分析

使用WHU 分析中心提供的GPS 最终精密钟差数据，采样间隔为30s，进行预报试验.以GPS周2038—2042(2019-01-27—2019-02-25)共30d 数据为例；根据所选数据时间段，当前在轨运行的GPS 卫星可被分为Block IIF Rb、Block IIA Cs、Block IIR-M Rb、Block IIR Rb、Block IIF Cs、Block IIA Rb 六种类型.在每一类卫星中，随机选择数据完整的卫星进行预报，本文选取了G01、G03、G06、G08、G09、G12、G22、G24 和G26 卫星进行预报试验.

具体的试验方案设计为：1)在每一类卫星中随机选取数据完整的一颗卫星进行预报，分别用1d 和7d 的钟差数据拟合建立四种神经网络模型，并进行连续10 次预报1d 的钟差数据.同时，将结果与相应的精密钟差数据进行对比，评估四种模型的预报效果.2)按发射时间划分卫星批次，选取同一年份和不同年份数据完整的卫星.利用1d 的钟差数据量建立四种神经网络模型，预报1d 钟差数据.比较和分析四种神经网络模型，对不同批次卫星的同一类型原子钟和同批次卫星的同类型原子钟的预报效果.

采用均方根误差(root mean square error，RMSE)作为预报精度的统计量，其中RMSE 的计算公式为：

式中： errori为预报误差；为ti时刻GPS 精密钟差值；ti为i时刻钟差预测值.

2.1 单一预报模型分析

2.1.1 FA-BP 神经网络模型分析

文中分别采用2019-01-27(1d)与2019-01-28—2019-02-03(7d)的钟差数据建立FA-BP 神经网络模型，分别预报接下来1d 的钟差序列.

图5 展示了6 颗卫星连续10 次预报的RMSE的统计结果.同时，将各颗卫星10 次预报的RMSE取平均值，得到统计表如表1 所示.

表1 FA-BP 模型预报的RMSE 值平均值统计ns

图5 FA-BP 神经网络模型1 d 和7 d 的数据量建模预报的RMSE 值统计

由图5(a)FA-BP 模型的预报结果可知，G08 和G24 号卫星预报中，RMSE 较小，且达到亚纳秒量级；然而，对于其他卫星的连续10 次预报，RMSE 发生了明显的不稳定波动，且误差值较大.图5(b)的预报结果和表1 的RMSE 平均值统计结果表明，对于建立模型的钟差数据量增加，FA-BP 模型的连续10 次预报的结果变化较平稳，其平均预报精度约在27ns，总体预报效果不如1d 的钟差数据建模预报.

2.1.2 Elman 神经网络模型分析

对6 颗卫星建立Elman 神经网络模型，统计连续10 次预报的RMSE 和平均值，统计结果如图6和表2 所示.

表2 Elman 模型预报的RMSE 值平均值统计ns

图6 Elman 神经网络模型1 d 和7 d 的数据量建模预报的RMSE 值统计

由图6 和表2 可知，对于1d 的钟差数据建模预报中，钟差预报变化不平稳的序列(如G26 号卫星钟)，Elman 模型预报的精度较差，其平均预报误差最大可达18ns.对7d 的钟差数据建模预报，除G26 号卫星的钟差变化不平稳，其余卫星的钟差变化都较平稳，其预报精度平均值在26ns 以上，总体预报效果不如1d 的钟差数据建模预报.

2.1.3 RBF 神经网络模型分析

对多颗卫星连续10 次预报1d 的RMSE 的结果进行统计，如图7 所示后，将各卫星的10 次预报的RMSE 取平均值，结果如表3 所示.

图7 RBF 神经网络模型1 d 和7 d 的数据量建模预报的RMSE 值统计

由图7 和表3 分析可知，在1d 的钟差数据建立模型预报下，G12 和G22 号卫星的钟差序列变化不稳定，RBF 神经网络模型预报的精度总体较高，其平均误差达到亚纳秒.而在7d 的钟差数据建立模型预报下，G22、G24 和G26 号卫星的钟差序列变化不稳定，其余卫星的钟差序列变化稳定，总体预报精度不如1d 的钟差数据建模预报.

2.1.4 CNN-LSTM 神经网络模型分析

利用CNN-LSTM 神经网络进行预报时，首先需要对钟差数据进行一次差分处理，然后使用差分后的数据进行网络训练.为了得到预测结果，需要将预测数据进行累加，最终还原为钟差预报序列.

对6 颗卫星连续10 次1d 预报的RMSE 及平均值进行统计，统计结果如图8 和表4 所示.

表4 CNN-LSTM 模型预报的RMSE 值平均值统计ns

图8 CNN-LSTM 神经网络模型1 d 和7 d 的数据量建模预报的RMS 值统计

根据图8 和表4 统计结果分析，1d 的钟差数据建立模型预报时，G08 号卫星的钟差序列变化不平稳，其余卫星的卫星钟差序列变化都较稳定，其预报精度均在9ns 以内.而对于7d 的钟差数据建立模型预报时，其中，G12、G22 和G24 号卫星连续10 次预报1d 的平均预报精度约为3ns；而G01、G08 和G26 号卫星的平均预报精度达到14ns 以上.

2.2 模型综合对比分析

2.2.1 不同数据量建立模型对比分析

对于每颗单独的卫星，采用四种不同的神经网络模型进行了连续10 次1d 的预报，并记录了每次预报的RMSE 值.对于每颗卫星，对这10 个RMSE 值求平均，得到了预报精度的平均值().同时，将这10 个RMSE 值中的最大值和最小值分别取出，计算它们之间的极差值(ε=σmax-σmin)，作为预报精度指标.表5 和表6 展示了各模型的预报精度，而图9 和图10 则详细说明了每个模型对不同类型卫星原子钟的预报精度情况.

表5 1d 的钟差数据建模预报的RMSE 值平均值与极差值对比ns

表6 7d 的钟差数据建模预报的RMSE 值平均值与极差值对比ns

图9 四种模型1 d 的钟差数据建模预报精度RMSE 的平均值及极差值雷达图

图10 四种模型7 d 的钟差数据建模预报精度RMS 的平均值及极差值雷达图

由图9~10 和表5~6 分析表明：

1)比较分析四种模型对同一颗卫星的预报精度效果，1d 的钟差数据建模预报时，FA-BP 和CNNLSTM 两种模型基本上可以达到相同水平的预报精度，而Elman 模型预报的效果最差.而对于7d 的钟差数据建模预报，FA-BP、Elman 和RBF 三种模型基本可以达到相同量级的预报精度，CNN-LSTM 模型的预报精度最好.

2)从四种模型在不同类型卫星钟的预报效果来看，对于1d 的钟差数据建模预报时，RBF 神经网络模型基本上适用于任何类型卫星钟的钟差预报；FA-BP 和Elman 这两种模型更适用于Block IIA Cs 和Block IIF Cs 类型的卫星钟钟差预报，预报精度均在4ns 以内；而CNN-LSTM 模型最适用于Block IIF Cs 类型的卫星钟差预报.针对7d 的钟差数据建模预报时，CNN-LSTM 模型更适用于Block IIR-M Rb、Block IIR Rb 和Block IIF Cs 类型的卫星钟差预报，预报精度均在4ns 以内，Elman 模型最适用于Block IIR-M Rb 类型的卫星钟预报，其精度达到其余模型的精度均较差，达到了亚纳秒量级，其余模型的预报精度都较差，预报精度均在14ns 以上.

3)在进行1d 钟差数据的建模预报时，Elman 模型的RMSE 极差值基本处于最高状态，最高值可高达36ns 以上.由此表明，在钟差序列出现异常变化的情况下，该神经网络模型的预报效果不够稳定.在进行7d 的钟差数据建模预报时，RBF 神经网络模型RMSE 的极差值对于Block IIF Cs 类型卫星钟的预报达到56ns 以上，其稳定度较差；而CNN-LSTM模型与其他三种模型对比，在钟差预报中都可以得到较稳定且高精度的结果.

2.2.2 卫星批次及原子钟类型对比分析

考虑当前在轨运行的GPS 星载原子钟主要有铷原子钟(Rb)和铯原子钟(Cs)两种类型；而不同批次卫星的同一类型原子钟，性能不一样；不同批次卫星的不同类型原子钟，性能有可能一样.

因此，本文选取了2011 年和2014 年发射的5 颗铷原子钟类型卫星，2012 年和2015 年发射的2 颗铯原子钟类型卫星分别进行比较试验.对于每颗卫星，采用四种神经网络模型进行连续10 次1d 的钟差预报，并对这10 个RMSE 值进行平均，得到了值.图11展示了试验所选取的卫星在轨运行时间，表7~9 展示了各模型对比试验的预报精度.

表7 同批次的铷原子钟类型卫星各模型精度对比ns

表7 同批次的铷原子钟类型卫星各模型精度对比ns

?

表8 不同批次的铷原子钟类型卫星各模型精度对比ns

表8 不同批次的铷原子钟类型卫星各模型精度对比ns

?

表9 不同批次的铯原子钟类型卫星各模型精度对比ns

表9 不同批次的铯原子钟类型卫星各模型精度对比ns

?

图11 两种原子钟类型卫星在轨运行时间

由图11 和表7~9 分析表明：

1)由同批次的铷原子钟类型卫星以及不同批次的铷原子钟类型卫星各模型预报精度结果可知，RBF 神经网络模型对于不同批次的铷原子钟类型卫星的钟差预报精度都较稳定，其平均误差达到1ns以内.同批次的铷原子钟类型卫星预报中，FA-BP 模型和RBF 神经网络模型预报精度较平稳，整体精度在5ns 以内；Elman 模型和CNN-LSTM 模型预报精度变化趋势较大，整体精度较高.不同批次的铷原子钟类型卫星预报中，Elman 模型预报效果最差，FA-BP模型对于在轨运行时间短的卫星相对精度较高，另两个模型整体精度变化不大.

2)从不同批次的铯原子钟类型卫星各模型预报精度效果来看，RBF 神经网络模型和FA-BP 模型不受卫星在轨运行时间的影响，整体精度分别达到0.1ns左右和1ns 以内；Elman 模型随着卫星在轨时间增加，对铯原子钟类型的卫星预报精度变差；CNNLSTM 模型随着卫星在轨时间增加，对铯原子钟类型的卫星预报精度变高.

3 结论

本文主要从GPS 星载原子钟钟差预报模型的建模量特点、不同批次卫星的同类型原子钟和同批次卫星的同类型原子钟的方面，对四种神经网络模型(FA-BP 模型、Elman 模型、RBF 神经网络模型、CNN-LSTM 模型)的预报效果进行了比较分析，得出以下结论：

1)对于四种神经网络模型，在建模量特点中，连续10 次短期预报中1d 的钟差数据建模的预报精度均高于7d 的钟差数据建模的预报精度，且对6 颗卫星G01(Block IIF Rb)、G08(Block IIA Cs)、G12(Block IIR-M Rb)、G22(Block IIR Rb)、G24(Block IIF Cs)、G26(Block IIA Rb)的预报精度变化比较平稳.因此，钟差数据建模数量对钟差预报的精度产生重大影响.

2)对于不同批次卫星的同一类型原子钟以及同批次卫星的同类型原子钟的预报结果对比分析，四种神经网络预报模型中，RBF 神经网络模型适用于每一情况下的卫星钟差预报，精度整体在1ns 以内；其他三种模型预报精度对于卫星在轨运行时间的改变以及原子钟类型的变化易受到影响.

3)GPS 卫星钟差预报的性能与卫星批次和类型有关，在轨运行时间长的卫星其预报的性能不一定差，不同批次卫星的不同类型原子钟的预报效果的性能可能一样，同一颗卫星使用不同钟差预报模型时其预报结果变化较大.

致谢：感谢我的指导老师胡超副教授和我的导师郑礼全副教授在整个研究过程中给予我的悉心指导和宝贵建议.您们的专业知识和经验对我的研究起到了致关重要的作用.