基于Bi—LSTM神经网络的GNSS坐标时间序列重构

冉佳诺，边家文，刘文平

(1.中国地质大学 数学与物理学院，湖北 武汉 430074；2.湖北经济学院 信息管理与统计学院，湖北 武汉 430205)

1 引 言

全球导航卫星系统(Global Navigation Satellite System, GNSS)坐标时间序列在大地测量以及地球动力学领域的深入应用, 使其对GNSS基准站数据的测量精度有了更高要求。GNSS坐标时间序列通常包含线性趋势信号及非线性信号。线性趋势信号反映了接收站点由构造应力导致的构造运动，非线性信号反映了由环境载荷导致的季节性形变[1,2]。传统的谐波模型仅用线性趋势信号、非线性的常数振幅季节性信号以及噪声项来线性模拟真实站点数据特点，但通常实际基准站点会对气候及环境负载等因素呈现非规则响应，致使坐标时间序列中的季节性信号振幅随时间发生变化。同时，GNSS坐标时间序列中还蕴含了大量非平稳非线性噪声，在中国境内主要表现为白噪声加闪烁噪声[3]，噪声信息与干净的GNSS坐标时间序列的相互交叠掩盖了时间序列本身的运动规律，导致在测量GNSS坐标时间序列时产生较大误差。

针对GNSS坐标时间序列中广泛存在的噪声干扰问题，目前已提出了多种解决算法。 Wu等人[4]使用多尺度小波分解(Wavelet Decomposition, WD)解构原始信号，能够从带噪信号中提取出线性趋势项以及年、半年季节项等有用信息，有效分离信号与噪声，但这种方法由于需要事先确定小波基函数以及小波分解层数，导致WD在信号重构时会无法避免地吸收部分噪声；Chen等人[5]使用奇异谱分析(Singular Spectrum Anlysis,SSA)对GNSS坐标时间序列重构，并从速度不确定度、谱密度等方面分析SSA的重构能力；Xu等人[6]发现GNSS坐标时间序列中的季节性变化由环境载荷引起, 使用SSA过滤后的季节性信号仍存在有色噪声驱动的噪声信息。Klos等人[7]指出应用SSA对GNSS坐标时间序列降噪时，人为选择的延滞窗口长度对重构结果有较为明显的影响。

随着深度学习在各类研究任务中取得了出色成果，在信号处理领域相应的研究也逐渐火热，深度学习算法通过从样本中学习较为简易的特征，并将这些特征通过网络逐层组合为更加复杂的特征，进而解决那些繁杂难以处理的问题。循环神经网络(Recurrent Neural Network, RNN)是一种常用于时序数据建模的神经网络，得益于网络内部神经元循环连接的结构，RNN能够充分利用时间序列的历史前后信息来对当前时序结果进行预测。陶涛等人[8]通过LSTM(Long Short—term Memory)神经网络并利用自编码器实现了GNSS坐标时间序列中的异常点检测,通过自编码器对数据进行降维，以小特征空间捕获原始时间序列中突出的特征，并利用这些特征进行时间序列重构，结果表明异常值通常是那些不具代表性的特征，因此通过计算得到的原始时间序列和重构时间序列的偏差可以作为异常值检测的指标[8]。Tung Kieu等[9]将LSTM和CNN(Convolutional Neural Network)结合，设计了LSTM-CNN的模型,对原始时间序列进行重建，获得了精度较高的结果。Shen等人[10]在压制引力波信号噪声时使用了训练好的LSTM模型，能够有效去除信号中的平稳和非平稳噪声，比主成分分析以及字典学习等方法性能更加优越; 仇悦[11]应用循环神经网络对心电信号进行消噪，获得了比传统滤波方法更好的降噪结果。因此，本文提出基于Bi-LSTM(Bidirectional Long Short term Memory)的GNSS坐标时间序列的降噪方法，利用Bi-LSTM强大的时序数据建模能力，对具有时变季节性信号的GNSS坐标时间序列进行建模及重构。对比分析Bi-LSTM在仿真坐标时间序列数据和实际GNSS站点数据的噪声抑制效果，并通过残差分析方法验证算法的有效性。

2 基于Bi-LSTM的GNSS坐标时间序列重构

2.1 GNSS坐标时间序列模型

GNSS坐标时间序列单站点单分量通常以如下方式建模[7]:

(1)

其中，x(t)、y(t) 、ε(t) 分别表示在t刻下的观测时间序列、干净信号、噪声；x0是初始位置；v0是初始速度；aj(t)和bj(t)(j=1,2)代表年和半年周期振幅，分别由年和半年周期振幅的均值加上随机变量构成，用于刻画信号中随时间改变的季节项；f1和f2分别为年和半年季节信号频率。由于模型(1)中季节信号的振幅是时变的，使得已有的重构方法的重构精度存在较大不足[12]。 因此，本文将使用基于循环神经网络的Bi-LSTM网络，学习GNSS坐标时间序列的时序特征，拟合季节项振幅中的时序变化，提升时变振幅季节项的GNSS坐标时间序列的重构精度。

2.2 循环神经网络结构

循环神经网络(Recurrent Neural Network, RNN)是一种用于时序数据建模的神经网络[13]，得益于网络内部神经元循环连接的结构，RNN不仅能将当前隐藏层状态信息传递到输出层进行结果输出，还能将信息传递到下一时刻的隐藏层，使其能够充分利用时间序列的历史前后信息来辅助预测当前时间步结果，其结构如图1所示。

图1 RNN基本网络结构Fig.1 The structure of RNN

RNN的输入x输出y间的关系由如下数学表达式所示：

ht=f(Wh[xt,ht-1]+bh)

(2)

yt=g(Wyht+by)

(3)

其中，xt表示在时刻t的输入时间序列；ht为隐藏状态向量；yt为输出时间序列；Wh和Wy为权值矩阵，其中Wh由Whx和Whh组成，Wy=Wyh构成；bh和by为偏置向量；f和g为非线性激活函数。由式(2)可知，某一时刻ht的状态由当前输入xt与t-1时刻隐藏层信息ht-1共同决定。基于这样的网络结构，RNN能够充分利用历史信息精确地学习输入与输出间的映射关系，在处理具有时序关系的数据时，比其他神经网络更具有先天优势。

2.3 Bi—LSTM网络模型

2.3.1 单一LSTM记忆单元

传统RNN网络由于结构存在固有缺陷，在参数更新时会存在梯度消失以及梯度爆炸的问题，导致长距离的历史信息丢失，进一步造成网络极难收敛，无法训练出理想的模型[14]。LSTM作为一种改进的循环神经网络，在原有网络结构的基础上加入了细胞状态 (Cell State)的结构来控制全局信息的传输，并通过遗忘门，输入门，输出门三种门控单元控制细胞状态信息值的更新。LSTM在极大程度上缓解了传统RNN模型存在的长期依赖问题，减少了长距离历史信息的丢失，输出的预测结果更准确。LSTM的结构示意图如图2所示。

图2 单个LSTM记忆单元结构 Fig.2 The structure of a single LSTM memory cell

图3 Bi-LSTM重构模型Fig.3 Bi-LSTM reconstruction model

LSTM的状态关系表达式如下[15]:

运动式治理的第二种动员技术是会议和文件。尽管中央八项规定对于会议和文件都作了简化要求，但这只是原则性规定，针对的是一般性的会议和文件。对于地方政府而言，面对特殊情况、政治任务，会议和文件不但不能减少，反而要增加。因为只有这样，才能彰显地方政府对该项治理运动的高度重视和扎实推进。

其中，σ和tanh分别为Sigmoid激活函数和双曲正切激活函数；ft、it、ot分别为t时刻遗忘门、输入门、输出门的输出信息；ct表示t时刻更新后的细胞状态信息；b为偏置；W为权值矩阵。

本文采用Bi-LSTM对GNSS坐标时间序列进行建模[16,17]，以t时刻为例，其输出结果yt由前后时刻隐藏层状态ht-1和ht+1以及当前输入时间步xt共同决定，相比单向LSTM只利用了历史信息，Bi-LSTM更全面地考虑了时序的上下文关系，比单向LSTM结果更精确。

2.3.2 基于Bi-LSTM的信号重构

基于Bi-LSTM的GNSS坐标时间序列降噪网络模型结构如图3所示，该网络主要由输入层、隐藏层、输出层三个模块组成。当网络处于训练阶段时，将2.1节中所述的仿真GNSS坐标时间序列作为输入层的训练数据输入。隐藏层由256个LSTM单元组成，用于学习输入数据到输出结果间的非线性映射，保存时序数据中含有的有用信息；隐藏层数、隐藏层节点数等超参数可根据实际训练结果合理地进行增加或减少。

(10)

所得损失结果经由自适应动量估计优化器(Adaptive Moment Estimation，ADAM)[18]进行梯度优化调整，并将这些信息输入到隐藏层进行权值更新，再将更新后的模型用于下一步迭代训练，以降低损失函数值，直至结果收敛。基于Bi-LSTM的GNSS坐标时间序列重构及评估的具体流程如下：

2)使用步骤1)生成的数据集训练神经网络模型，根据实验结果调整网络参数。

3)通过步骤2)训练好的网络模型对观测GNSS坐标时间序列重构，得到重构后的坐标时间序列。

4)计算观测坐标时间序列与重构的坐标时间序列信号间的残差，并计算重构时间序列与真实坐标时间序列的标准差。

5)对步骤4)中得到的残差数据进行残差分析，评估指标结果。

3 实验结果与分析

本节设置了仿真GNSS时序数据和实际站点数据两种实验，分别从两种策略评估Bi-LSTM模型在理想情况和实际情况下的GNSS坐标时间序列的降噪性能。同时，由于Bi-LSTM模型训练需要一定规模的无噪、连续的数据样本作为标签数据，而现有公用的数据库中符合这类要求的实际数据较少，因此有必要通过仿真数据训练网络扩充数据集，参考第2.1节中所提到的模型及理论依据，本节设计了相应的合成仿真GNSS数据用于模型训练。模型训练完毕后，将训练好的Bi-LSTM网络模型应用于实际GNSS站点数据重构，定性地分析该深度学习方法在GNSS坐标时间序列处理任务的测试结果。

3.1 仿真实验

3.1.1 GNSS仿真数据集

He等人[19]分析了全球671个IGS站点，90%以上GNSS坐标时间序列Up方向的年周期项振幅在0～8 mm之间，半年周期项振幅在0～2 mm波动；而North 和 East方向的年周期项振幅范围在0～2 mm之间，其半年周期项振幅小于1 mm；时间序列中包含的噪声类型为白噪声及闪烁噪声, 闪烁噪声振幅大小在7～20 mm之间。为了估计GNSS坐标时间序列年和半年信号的不同时刻的季节变化程度，Klos等人将位于亚洲基准站点的长期GNSS坐标时间序列以三年长度进行分段，并计算得出连续段之间Up方向上的标准差均值为0.8 mm，North、East分量上相应标准差均值为0.4 mm[7]。

基于此，通过GNSS坐标时间序列模型模拟产生了50 000条仿真数据，每条仿真数据中的季节项信号的年周期振幅在0～8 mm之间，半年周期振幅在0～2 mm之间；同时在年周期信号振幅中加上服从均值为0、标准差为1的随机变量，半年周期信号振幅中加上均值为0、标准差为0.5的随机变量，以模拟GNSS坐标时间序列的时序变化；并在仿真信号中随机添加振幅在0～20 mm/year-k/4的闪烁噪声，以便能够自适应地完成不同振幅的GNSS坐标时间序列降噪任务。

3.1.2 仿真实验结果分析

本文采用以下方式定量分析LSTM的重构结果：1) 重构后的时间序列数据与原始干净数据的标准差(Misfit)，即算法重构后的信号与原始信号的差值计算标准差。Misfit越小，说明降噪效果越好，与原信号拟合程度越高。2)残差谱指数k及残差振幅A，带噪时间序列与算法降噪后的时间序列差值即为残差。若残差谱指数及残差振幅越接近所加入的噪声的谱指数及振幅，则提取出的噪声越彻底[20,21]。3)由残差振幅及残差谱指数计算获得的速度不确定度[22]。

图4 各算法在闪烁噪声振幅为10 mm/year1/4的季节信号重构Fig.4 Seasonal signal reconstruction of each algorithm at noise amplitude of 10 mm/ year1/4

图4为SSA, WD, Bi-LSTM三种方法在噪声振幅为10 mm/year1/4去趋势后的仿真GNSS坐标时间序列季节性信号降噪结果图。由图4可知，WD吸收了部分有色噪声，重构精度明显受到噪声信息干扰，重构出的信号受噪声信息产生更为明显的波动；Bi-LSTM能够准确地重构出原时间序列。从表1的量化分析结果得知，基于Bi-LSTM方法的Misfit值最小，说明该算法降噪后的信号与原时间序列拟合程度最好；并且其残差谱指数k和残差振幅A等均更接近真实值，且基于k和A所得的速度不确定度也更符合实际结果。同时，功率谱密度图(Power Spectral Density, PSD) 从能量的角度验证了前面的结果，如图5所示，其中横坐标代表频率，纵坐标表示功率谱密度的幅值大小；黄色线条代表了原观测时间序列功率谱密度；天蓝色、绿色和红色线条分别表示WD, SSA, Bi-LSTM三种算法从观测数据中分离出的噪声残差功率谱密度；紫色线条表示噪声的功率谱密度。从功率谱密度图上来看，与其他方法相比,Bi-LSTM在各个频率上的功率分量大小与噪声的功率分量大小更加接近，说明在噪声振幅为10 mm/year1/4时，相比SSA和WD所提取的噪声残差, Bi-LSTM所提取的残差与“真实”的噪声更接近，即Bi-LSTM能够更彻底地分离干净时间序列和噪声信息。基于此，从仿真实验结果得知，Bi-LSTM能从涵盖不同振幅的大规模数据中学习到时间序列的季节性变化，如图4所示，Bi-LSTM能够自适应地捕捉不同时刻的季节变化特征，更精确地估计时变振幅的季节信号。

表1 闪烁噪声振幅 10 mm/year1/4的各项指标值

图6 BJFS站点North方向数据各方法信号重构Fig.6 Reconstruction results of each method of North direction at BJFS station

3.2 实际GNSS坐标时间序列分析

本文使用北京房山站点(BJFS)2004年2月1日至2020年7月6日 的North、East、Up三个方向的GNSS数据来验证基于Bi-LSTM的深度学习方法对于GNSS坐标时间序列的降噪效果，该GNSS数据可由IGS全球数据中心SOPAC(http://sopac-ftp.ucsd.edu/pub/timeseries /)下载。预先对数据进行预处理剔出异常值，并对三个分量上的原观测时间序列缺失部分进行线性插值补全，再使用Bi-LSTM、SSA、WD三种方法对北京房山站3个分量上的数据进行降噪处理。由于无噪的实际GNSS坐标时间序列未知，因此在分析各类估计方法时不计算Misfit值。本文将Bi-LSTM处理实际站点数据的降噪结果与另外两种广泛应用于GNSS坐标时间序列重构方法(SSA、WD)的重构结果计算相关性，以证明Bi-LSTM处理实际数据的有效性[23]。房山站点Up方向各方法降噪后的GNSS数据结果相关系数见表2。图6～图8为各方法对北京房山站North、East、Up三个分量降噪后的GNSS坐标时间序列，其中 North、East方向由线性趋势项占主导地位，其季节项信号所带来季节性变化并不明显；而在Up方向上能够看见明显的趋势变化及季节性变化。图9为去趋势后的Up方向各方法信号提取结果。由图9可知，WD容易受到噪声的干扰，Bi-LSTM对噪声更鲁棒，且能够良好地拟合时变的季节性信号。

表2 房山站点Up方向各方法降噪后的GNSS数据结果相关系数

图7 BJFS站点East方向数据各方法信号重构Fig.7 Reconstruction results of each method of East direction at BJFS station

图8 BJFS站点Up方向数据各方法信号重构Fig.8 Reconstruction results of each method of Up direction at BJFS station

图9 去趋势后的Up方向各方法信号提取Fig.9 The detrended signal extracted by each method in Up direction

4 结 论

本文探索性地引入了深度学习领域中广泛用于时序数据处理的Bi-LSTM循环神经网络，对GNSS坐标时间序列普遍含有的非平稳噪声进行降噪。仿真和实际GNSS站点数据结果表明，本文提出的基于Bi-LSTM的降噪方法相比传统方法能够更有效地拟合GNSS坐标时间序列中所蕴含的时变特征，从而在处理带噪时变振幅信号时获得更优秀的降噪结果。同时，该Bi-LSTM模型由带有不同时变振幅及不同噪声振幅的GNSS坐标时间序列训练而成，因此能够自适应地应对实际站点中带有各种噪声振幅的时间序列，即使在噪声水平较高时也能够取得良好的降噪结果。因此基于Bi-LSTM循环神经网络的GNSS坐标时间序列重构满足了后续大地测量高测量精度的要求。