基于偏最小二乘算法的BDS-2/BDS-3卫星钟差短期预报

杨 旭，何祥祥，程茂原，钟东升，葛雅倩

(1.安徽理工大学 矿区环境与灾害协同监测煤炭行业工程研究中心，安徽 淮南 232001；2.安徽理工大学 空间信息与测绘工程学院，安徽 淮南 232001；3.安徽理工大学 矿山采动灾害空天地协同监测与预警安徽普通高校重点实验室,安徽 淮南 232001；4.河海大学 地球科学与工程学院，南京 211100)

在卫星导航系统中，时间测量是位置测量的基础，高精度的星载原子钟预报起着重要的作用，将会影响高精度PNT(定位,导航和授时)服务的质量。目前我国的北斗三号卫星导航系统已经全面建成，开展其高精度预报有助于提升我国北斗系统的创新服务能力。

为了满足实时和近实时用户对于钟差时效性的要求，国内外专家提出了多种类型的钟差短期预报(1 d以内)方法，主要集中在线性、二次多项式(QP)、谱分析、灰色(GM)、神经网络(BP)、灰色神经网络、小波神经网络(WNN)、自回归、卡尔曼滤波以及长短时记忆网络(LSTM)等模型[1]。不同的预报模型，其适用范围有所不同。QP模型添加了卫星钟的物理特性，因而在广播星历预报中广泛使用，但在中长期预报中，存在平方项误差快速增大的问题。GM模型只需要4个起始数据即可预报，崔先强和焦文海提出使用GM模型进行钟差预报，实验结果表明，GM模型短期预报与QP模型精度相当，长期预报中则较QP模型更好[2]。传统BP模型钟差预报中存在陷入局部最优和过度学习的情况，预报精度时好时坏。陈晓阳基于钟差一次差分序列，利用LSTM模型进行了卫星钟差短期和中长期预报，实验表明，短期预报中，其预报性能与QP,GM,BP,WNN相近，中长期预报中，预报性能优于其他4种模型[3]；S.Wold 和 C.Albano 等人于1983年首次提出偏最小二乘算法(PLS)，它集主成分分析、典型相关分析和多元线性回归分析等分析方法的优点于一身，是一种新型的多元统计数据分析方法，可以有效地克服目前回归建模中无法解决的样本容量小于变量个数时的回归建模、多个因变量对多个自变量的同时回归分析等实际问题[4-5]，已在化学、医学、生物、机械、经济学等领域中应用，但还未在卫星钟差预报中应用。

基于机器学习算法的卫星钟差预报不需要考虑钟差数据物理特征，能较好归纳数据规律，直接建立预报模型就能实现卫星钟差预报，本文将基于PLS算法进一步拓展机器学习算法在卫星钟差短期预报中的应用，利用基于钟差相位数据的PLS、基于钟差相位数据一次差分的偏最小二乘(DPLS)、LSTM模型进行BDS-2/BDS-3卫星钟差短期预报，分析该3种算法在卫星钟差短期预报应用中训练数据量最佳确定、算法有效性、精度水平等方面的问题。

1 卫星钟差短期预报原理

1.1 PLS(partial least square)

PLS是主成分回归分析(Principal Component Regression,PCR)的改进。PCR未考虑对输出变量的解释能力[6]，而PLS在PCR的条件上增加了一个新条件：输入与输出应具有尽可能大的相关程度。其数学原理为：已知原始数据中有m个自变量、n个因变量，则原始数据的自变量和因变量分别可以表示为X=(xij)m×N,Y=(yij)n×N(N为样本点个数，xij,yij分别为自变量组和因变量组的N次标准化观测数据矩阵元素)。为实现PLS回归的基本思想，要求u1和v1的协方差最大，u1、v1分别是矩阵X和Y的第一个主成分，即求解下面的优化问题[7]：

max{Cov(u1,v1)}=max[X0w1,Y0c1],

(1)

利用拉格朗日乘数法求出w1和c1满足：

(2)

下面介绍PLS算法的建模基本步骤[8]：

1)对原始数据进行标准化，提取自变量和因变量的第一对主成分u1和v1。自变量X和因变量Y标准化后得到X0和Y0进而求得主成分对：

(3)

2)建立自变量X0和因变量Y0对u1的回归方程：

(4)

3)用X1和Y1取代X0和Y0重复以上步骤，直至所提取的主成分贡献率超过90%或贡献率变化低于5%，然后使用取得的主成分进行下一步运算。

4)求关于主成分的回归方程。设最终提出的r个主成分u1，u2，…,ur，满足：

(5)

将式uk=X0wk(k=1,2，…，r)带入上式即可得到因变量Y0的PLS回归方程：

(6)

式中:(cij)m×n为PLS回归方程的系数。

5)求原始数据的PLS回归方程。将式(6)中的自变量和因变量标准化还原，得到原始数据的PLS回归方程：

yj=d0j+d1jx1+…+dmjxm,j=1,2，…,n.

(7)

偏最小二乘回归的成分、残差矩阵有许多优良的性质，其中之一是成分之间是相互正交的，这在一定程度上消除了多重线性相关性。偏最小二乘回归算法的实质是按照协方差极大化准则，在分解自变量变量数据矩阵X的同时，也在分解因变量数据矩阵Y，并且建立相互对应的解释隐变量与反映隐变量之间的回归关系方程，充分体现了偏最小二乘回归的基本思想。

1.2 DPLS

通常卫星定轨得到的卫星钟差相位数据相邻历元的数值变化不大，对PLS模型中相邻钟差相位数据的差值建立预报模型(DPLS)，可以降低建立PLS模型数据的复杂性和原始钟差数据序列中趋势项的影响。设L={li,i=1,2,…,n}(li为i时刻钟差值)为任意一组钟差序列，对序列中两个相邻历元的钟差做差，可以得到钟差的一次差分序列ΔL={Δli,i=1,2,…,n}，其中Δli=li-li-1。利用一次差分后的序列ΔL进行学习、建模并预报第n个历元以后m(m>0)个历元的钟差的一次差分序列ΔLm={Δlj,j=n+1,n+2,…,n+m}，最后根据预报的一次差序列求累加和与第n个历元的钟差值ln相加，即可得第k个历元的钟差相位值为：

(8)

式中:Δlk为预报的第k个历元的一次差值，k=n+1,n+2,…,n+m。

1.3 LSTM

LSTM神经网络是递归神经网络(RNN)的一种变体，LSTM扩展了其记忆能力[9]。图1给出了LSTM内部原理结构示意图，⊕代表两个向量的加法运算，⊗代表两个向量的点乘运算，σ为sigmoid激活函数，tanh为双曲正切激活函数。

图1 LSTM内部原理

LSTM神经网络设计的核心是围绕“记忆能力”开展的，为了实现这种记忆功能，LSTM引入了3个“门”的概念，即遗忘门ft、输入门it和输出门ot。遗忘门的主要功能是决定应该保留或者抛弃哪些信息，输入门用来更新单元状态，输出门可以控制下个状态的隐藏信息的值。利用LSTM能有效捕捉长期时变信息的优势，以单颗卫星前期钟差时间序列为输入，就能预测未来钟差数据。

1.4 精度评价指标

本文以采用均方根误差(RMS)、极差(Range)、小误差概率(P参数)、后验方差比(C参数)等4项指标来评价卫星钟差预报模型效果[1]；RMS能够反映预报值与真值之间差异的分布状态，Range可以反映出最大与最小预报误差之差的绝对值大小；P参数与C参数可以通过对预报残差考察进而精准判断与公正评价预报模型的精度，表1给出了文献[10]具体的精度等级评价标准，P参数越大则说明误差较小的情况越多，C参数越小表示模型精度越高。

表1 精度等级评价标准

2 卫星钟差预报实验分析

2.1 数据来源

本文选取武汉大学IGS数据中心(全球第5个国际GNSS服务组织授权负责建设的IGS数据中心)提供的2020年5月30日至2020年6月13日共15 d 33颗BDS卫星精密钟差产品(ftp://igs.ensg.ign.fr/pub/igs/products/mgex/)，表2给出了该33颗卫星的星载原子钟类型及卫星编号，按照15 min采样间隔对原始30 s采样间隔钟差序列进行提取，共获取47 520个钟差数据；短期钟差预报思路是先读取精密钟差数据，利用文献[11]卫星钟单天解基准处理方法消除天与天产品之间存在的系统性钟差基准偏差，同时利用文献[12]中改进的巴尔达法(Baarda)进行粗差和频跳等异常值的探测、剔除与补充，然后建立PLS、DPLS、LSTM预报模型，对于每种预报模型下每颗卫星，根据建模数据的不同分为两类实验：①均选择第15天共24、96个数据为预报验证数据，前14天距第15天最近的连续nd数据为建模数据，n从1～14变化，相应预报实验分别简记为第1，2，…，14组实验；②连续14 d 的短期预报(当前1天的数据为训练样本，后1天的6 h、24 h数据为测试样本)；最后按照式(7)、(8)、(11)、(12)进行精度评定。

表2 选取的BDS-2和BDS-3星载原子钟类型及卫星编号一览表

2.2 实验分析

2.2.1 建模数据量与预报精度之间关系分析

图2为3种模型第1，2，…，14组实验6 h，24 h预报结果中Range，RMS，P参数，C参数的变化情况。

从图2可以看出：

图2 PLS(蓝)、DPLS(红)、LSTM(绿)预报模型6 h、24 h预报结果

1)预报模型不同，建模数据量与预报精度之间的关系不尽相同；14组实验中，6 h与24 h预报结果的变化规律基本相同；

2)PLS模型中，随着建模数据量增加，预报精度变化不大，第8组精度相对最好，其他组精度变化呈现以第8组为对称轴，逐渐向两边降低的趋势，第一组精度相对较差，24 h预报结果中Range在4.63×10-3～7.06×10-3ns变化； RMS在2.56×10-3～3.10×10-3ns变化；P参数在0.98～1.00变化，C参数在2.88×10-6～4.38×10-6之间变化；24 h预报结果中每组实验的精度等级均为一级，6 h预报结果中除1组实验外其他组实验的精度均为二级；

3)DPLS模型中，随着建模数据量增加，预报精度变化较小，第1，3，8组精度相对较好，第2、4组精度相对较差，24 h预报结果中Range在9.85×10-4～1.11×10-4ns变化； RMS在1.90×10-3～2.21×10-3ns变化；P参数在0.99～1.00之间变化，C参数在1.92×10-6～2.45×10-6之间变化；24 h预报结果中每组实验的精度等级均为一级，6 h预报结果中每组实验的精度接近一级或为一级；

4)LSTM模型中，随着建模数据量增加，预报精度呈现从低到高的变化趋势，第11组预报精度相对最好，前6组的精度相对较差，第7～9组精度变化不大，第10～14组精度变化不大；24 h预报结果中Range均值可达到3.15×10-3～12.00×10-3ns；RMS均值达到1.70×10-3～6.37×10-3ns；P参数均值第10～14组均为1，其他组均近似为1，C参数均值可达到1.60×10-6～24.51×10-6，每组实验的精度等级均为一级；6 h预报结果中除1～3组外，其他组实验的精度接近为一级；

5)该3种模型均适合短期预报，PLS、DPLS模型并不需要较长的历史数据就能获得较好且稳定的预报结果，主要原因是该算法能够对数据进行主成分、相关性、线性回归分析，能利用较少信息来归纳或解释数据；DPLS模型较PLS精度更高，主要原因是通过对一次差序列进行改进的Baarda法粗差探测、剔除与补齐，不仅削弱了钟差相位数据中趋势项和粗差数据对模型训练的影响，还能减少输入数据有效位数长度，使输入的数据更能表征数据的变化特点，减少模型的冗余；LSTM模型需要较长的历史数据才能达到最优，超过相应时长，LSTM模型精度变化微弱，主要原因是LSTM模型具有长短期记忆功能，能有效利用时间序列数据中长距离依赖信息的进行预测，但是在记忆及处理超过1 000量级的数据序列时会比较棘手，提升预报精度的能力受到限制。

2.2.2 预报耗时分析

图3为3种模型第1，2，…，14组实验24 h预报耗时变化情况，可以看出：

图3 PLS(蓝)、DPLS(红)、LSTM(绿)预报模型24 h预报耗时情况

第14组实验，PLS、DPLS、LSTM模型短期预报的耗时分别为0.24 s、0.84 s、198.65 min；LSTM模型耗时较长，随着建模数据量增加，耗时逐步增长，最小、最大耗时分别为8.34 min、198.65 min，第3组实验的耗时是第1组实验的4.08倍，第14组是第1组的23.82倍数，主要原因是该模型无法实现并行优化，训练速度较慢，时间跨度较大时，计算量会很大、很耗时；PLS、DPLS模型的耗时相当，最大耗时分别为0.25 s、0.90 s，最小耗时为0.21 s、0.76 s，均可以满足s级预报要求，主要原因为该两种模型可实现高维变量降维处理，具有较优的实时性、鲁棒性和泛化能力；可以看出，在满足预报精度的情况下，选择合适的预报方法、建模数据量是很有必要的。

2.2.3 卫星钟类型与预报精度之间关系分析

表3、表4分别为按照卫星钟类型，连续14 d的短期预报(当前1天数据为训练样本，后1天6 h、24 h数据为测试样本)中Range，RMS，P参数，C参数的统计结果；图4为第1组实验(以第14天数据为建模数据，第15天24 h数据为预报验证数据)得到的预报残差序列图。

表3 连续14 d短期预报Range，RMS统计结果

表4 连续14 d短期预报P参数，C参数统计结果

图4 第一组实验预报残差序列图

从表3、表4与图4可以看出：

1)卫星钟类型不同，预报精度不同。6 h预报时长下，PLS、DPLS模型中BDS-3 Rb-II、BDS-3 PHM卫星钟预报精度相当，24 h预报时长下，BDS-3 PHM卫星钟预报精度略优于BDS-3 Rb-II；两种预报时长下，LSTM模型中BDS-3 PHM卫星钟预报精度明显优于BDS-3 Rb-II，相应的RMS在6 h、24 h预报中分别提升了45.47%、56.09%；PLS、DPLS、LSTM模型中BDS-3卫星预报精度明显优于BDS-2卫星，6 h预报中RMS分别提升了63.47%、58.89%、68.10%，24 h预报中RMS分别提升了66.37%、66.91%、58.44%；每种模型预报结果中，BDS-2 Rb钟较其他两种类型的卫星钟，Range明显较大，P参数明显较小，C参数略大，说明其预报结果的稳定性相对较差；

2)预报方案不同，预报精度不同。整体上DPLS预报精度最好，PLS次之，LSTM预报精度相对较差，24 h预报时长下，DPLS较PLS、LSTM的RMS分别提升了33.48%、42.68%，Range分别改善了29.77%、42.95%，P参数分别改善了12.76%、16.16%，C参数分别改善了42.20%、67.37%，6 h预报时长下，预报结果表现出了类似的精度改善情况；6 h预报中，DPLS较PLS，对于不同卫星类型，Range与RMS的改善情况由高到低的顺序为BDS-2 Rb、BDS-3 Rb-II、BDS-3 PHM，而在24 h预报中，不同卫星类型的Range与RMS提升情况变化较小；2种预报时长下，DPLS较LSTM，6 h预报时长下，BDS-3 PHM钟较其他两种类型卫星钟，Range与RMS的改善程度明显较小，在24 h预报时长下，BDS-3 Rb-II钟较其他两种类型卫星钟，Range与RMS的改善程度明显较高。

从以上分析可以看出，DPLS模型的预报精度和稳定性均优于其他两种模型，可以较好的应用于超快速钟差预报中，对实时精密单点定位具有重要意义。

3 结 论

本文基于武汉大学IGS数据中心连续15 d 33颗 事后BDS-2/BDS-3精密卫星钟差产品，利用DPLS算法进一步拓展了基于机器学习算法的卫星钟差短期预报，以PLS、LSTM模型为参照，分析了建模数据量、卫星钟类型与预报精度间的关系，建模数据量与预报耗时之间的关系，DPLS模型短期预报性能，得出以下结论：

1)该3种模型均适合短期预报；PLS、DPLS模型中，随着建模数据量增加，预报精度变化不大，且不需要较长的历史数据就能获得较好且稳定的预报结果，而LSTM模型预报精度呈现从低到高的变化趋势，需要较长的历史数据才能达到最优，超过相应时长，LSTM模型预报精度提升微弱；

2)PLS、DPLS模型耗时较少，LSTM模型耗时较长，利用连续14 d历史数据进行短期预报的耗时分别为0.24 s、0.84 s、198.65 min；

3)利用一天的历史数据进行短期预报的实验表明，24 h预报时长下，DPLS较PLS、LSTM的RMS分别提升了33.48%、42.68%，Range分别改善了29.77%、42.95%，P参数分别改善了12.76%、16.16%，C参数分别改善了42.20%、67.37%，6h预报时长下，预报结果表现出了同一量级的精度改善情况；PLS、DPLS、LSTM模型中BDS-3卫星预报精度明显优于BDS-2卫星，6 h预报中RMS分别提升了63.47%、58.89%、68.10%，24 h预报中RMS分别提升了66.37%、66.91%、58.44%。

本研究结果对超快速钟差产品高精度预报有一定参考意义；后期可基于PLS的改进算法(稳健偏最小二乘、核偏小二乘、二阶偏最小二乘)，从样本的预处理(对样本数据进行协方差的稳健估计或奇异点的识别和剔除等处理)、特征选择(过滤器模式，封装器模式，嵌入式模式)等方面入手，来克服PLS或DPLS在钟差预报中存在的过拟合问题和提高模型泛化能力，从而提升预报模型的精度；同时，可采用LSTM与Kalman模型相结合的钟差预报方法来提高预报精度和稳定性，即利用 LSTM架构准确捕捉输入输出之间的状态转移关系，结合Kalman滤波的状态空间模型对卫星钟差进行预测，既可以在一定程度上克服训练数据序列长度对传统 LSTM神经网络的影响，又能摆脱Kalman滤波对动力学模型的依赖使得模型可以从输入数据中学习。