一种基于机器学习算法的区域/单站ZTD组合预测模型

杨旭，何祥祥，王媛媛，谭福临，陈雄川

(1.安徽理工大学 矿区环境与灾害协同监测煤炭行业工程研究中心,安徽 淮南 232001；2.安徽理工大学 矿山采动灾害空天地协同监测与预警安徽普通高校重点实验室,安徽 淮南 232001；3.安徽理工大学 空间信息与测绘工程学院,安徽 淮南 232001；4.自然资源部大地测量数据处理中心,西安 710054)

0 引言

根据天顶对流层总延迟(ZTD)模型应用时所需条件的不同，可将ZTD 模型分为两大类.第一类ZTD 模型需要实测气象参数，如大气压、水汽压和温度，主要包括Hopfield、Saastamoinen 以及Black 等模型[1]，在实际导航定位中，有时会遇到无法获取气象参数或者获取的气象参数不稳定等情况，给导航定位带来了不便.鉴于此，众多学者建立了第二类无实测气象参数的经验ZTD 模型，它依靠大量的经验数据建立了各种影响因素与ZTD 之间的映射，由于无需任何气象参数的参与，该经验ZTD 模型已取得了长足发展，主要包括早期的UNB 系列、EGNOS 模型以及近年来一些学者提出的GPT2、GPT2w 和IGGtrop等模型[2].

近年来，机器学习技术在多个领域得到了广泛应用，在ZTD 建模方面也取得了一定的成就.王勇等[3]以南加州GPS 网的GPS 测站的ZTD 数据为研究对象，利用BP 神经网络算法，以测站经纬度和海拔为输入量，对ZTD 预测模型展开了研究.为了克服传统BP 神经网络计算量大，易出现“过拟合”现象以及模型不稳定的问题，肖恭伟等[4]提出了基于改进的BP 神经网络建立区域ZTD 模型，该模型以归一化处理后的测站大地经纬度和大地高为模型输入，以ZTD 为输出.时瑶佳等[5]提出了一种基于Keras 平台的长短期记忆网络ZTD 预测模型，并与BP 神经网络模型的预测效果进行了对比，实验结果表明：LSTM模型预测结果的均方根误差(RMSE)达到了毫米级，其平均绝对误差和平均绝对百分比误差均比BP 模型低，LSTM 模型在精度和稳定性上较BP模型均有明显提高.本文以香港连续运行参考站(CORS)网为例，针对无需输入实时气象参数这一特点，在以参与建模测站三维坐标为输入的基础上，同时考虑ZTD时变特征，利用BP 神经网络算法构建区域ZTD 预测模型.此外，以ZTD 单站时间序列数据为基础，利用LSTM 算法建立单站ZTD 预测模型.最后在两种ZTD 模型的基础上提出区域/单站ZTD 组合模型.

1 ZTD 预测模型构建

1.1 区域ZTD 建模数据预处理

在进行区域ZTD 建模时，选择了香港CORS 网18 个监测站连续14 天观测数据(2017 年年积日121—134)，采用Bernese 软件进行了高精度数据处理，得到的ZTD 数据序列采样间隔为1 h.在实际建模中，以HKWS 测站年积日为134 的ZTD 为真值作为验证数据，因此需选择除HKWS 测站以外的测站ZTD 数据参与区域ZTD 建模.

在获取初始信息并准备建立数学模型时，为避免较大数值的变化掩盖掉小数值的变化并加快网络收敛速度，有必要对数据进行量化和集成，以消除对预测结果的影响.为了消除数据之间显著的数量级差异，需要进行数据归一化操作[6]，本文将测站各个时间点在WGS-84 坐标系下的三维坐标(X，Y，Z)、时刻t为基于某一起始历元经过的时间，以秒计和相应的ZTD 数据归一化到[–1,1]这一区间内，该归一化的方式可用下式表达：

式中：ymax=1 和ymin=-1 为参数，表示数据归一化之后的上限和下限；xmax和xmin表示待归一化的数据分别在WGS-84 坐标系下的三维坐标、时间以及ZTD序列中的最大值和最小值；x为待归一化的数据.

数据归一化后，数量级会大幅降低，且无量纲影响，将会对神经网络训练速度以及效果产生优化，表1为归一化后的部分数据.

表1 归一化前后的部分数据

利用BP 神经网络算法建立区域ZTD 模型，得到预测值后，还需要通过反归一化处理把这些归一化的ZTD 预测值数据还原到原始数据的数量级.

1.2 单站ZTD 建模数据预处理

单站ZTD 建模时，选择未参与区域建模的HKWS测站连续13 天(2017 年年积日121—133) ZTD 数据参与建模，以第134 天的ZTD 为真值进行预测效果验证.

为了防止模型拟合效果差或者出现训练发散的问题，首先对训练和测试数据进行标准化处理.标准化的目的是使原始训练数据服从均值为0 和方差为1 的分布以去除量纲的影响，这有利于不同数据之间的比较与分析[7].标准化的方式为

式中：x为待标准化的ZTD 值；为ZTD 序列的平均值；xstd为ZTD 序列的标准差.标准化后的部分数据如表2 所示.

表2 标准化前后的ZTD m

标准化处理后，进行ZTD 预测，使用之前计算的参数对数据去标准化，可得到最后的ZTD 预测值.

1.3 精度评判标准

采用RMSE 和平均偏差(Bias)作为评价预测模型精度的指标.RMSE 用于衡量模型预测值和真值之间的偏差，Bias 可以很好的反映出模型是否存在系统误差[8].以上精度指标的计算公式如下：

式中：yi-为测试集上的真实值-预测值；N为预报样本个数.

2 建模思路与方法

2.1 BP 神经网络和LSTM 神经网络

BP 神经网络是一种按照误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一[9].对训练集D={(x1,y1),(x2,y2),···,(xm,ym)}，其中xi∈Rd,yi∈Rl，即输入的特征是d维的，输出的值是一个一维的实值向量[10].对于一个具有d个输入神经元、l个输出神经元、q个隐含层神经元的多层前馈网络结构，对于训练列(xk,yk)，假定神经网络的输出为，即

式中：βj为输出层第j个神经元接收到的输入；θj为输出层第j个神经元的阈值.则网络在(xk,yk)上的均方误差Ek为

BP 算法基于逐步梯度下降的方案，可在目标负梯度的方向上调整参数.对于式(3)中的误差Ek，给定学习率 η，有

式中，ωhj为隐层第h个神经元与输出层第j个神经元之间的连接权.其更新公式为

式中，gi为输出层神经元的梯度项.

BP 神经网络最突出的优点是具有非常强的非线性拟合能力[11]，通过其强大的学习能力，根据每一次输出和期望之间的误差不断调整连接权值，最终在训练样本和输出值之间构建一种映射，从而实现数据预测.

LSTM 神经网络是递归神经网络(RNN)的一种变体，LSTM 扩展了其记忆能力[12].图1 给出了LSTM内部原理结构示意图，示意图符号⊕代表两个向量的加法运算，⊗代表两个向量的点乘运算，σ 为sigmoid激活函数，tanh 为双曲正切激活函数.

图1 LSTM 内部原理图

LSTM 神经网络设计的核心是围绕“记忆能力”开展的，为了实现这种记忆功能，LSTM 引入了三个“门”的概念，即遗忘门ft、输入门it和输出门ot.遗忘门的主要功能是决定应该保留或者抛弃哪些信息，输入门用来更新单元状态，输出门可以控制下个状态的隐藏信息的值.利用LSTM 能有效捕捉长期时变信息的优势，以单个测站前期ZTD 时间序列为输入，就能预测未来ZTD 数据，这一特点在无法得到气象信息的环境下进行ZTD 预测，优势更为明显，可行性更强，稳定性更高.

2.2 区域ZTD 建模

考虑到BP 神经网络算法在处理大量数据时可以挖掘出内在的有效信息以及找寻其中包含的非线性关系，因此在区域ZTD 建模中选择与ZTD 的变化有关的变量和对应的ZTD，将归一化后的值作为模型输入，最终训练得出最佳网络.测试时，输入为需要预测的某些时刻的归一化后的WGS-84 坐标系下的三维坐标以及这些时刻的时间，输出即为对应的ZTD 预测值.有关研究表明，对于一个有隐含层的神经网络，只要隐含节点足够多，就可以以任意精度逼近一个非线性函数[13].在利用BP 神经网络算法进行区域ZTD 建模时，没有确定的公式和原则能准确选取最优的隐含层节点数，但是可以通过一些经验公式确定隐含层节点个数的大致范围，本文采用以下经验公式[14]：

式中：n为输入层神经元个数；m为输出神经元个数；a为取值在1～10 的整数.本试验中，根据经验公式易得l在3～13 取值.实际试验中，在基于经验公式的基础上，继续采用“试错法”(trail-by-error)调整，即根据已知的测试数据进行训练测试，观察误差和正确率的大小，不断调整网络训练过程中的相关参数，此处为隐含层节点数目.最终确定隐含层节点数目为12.

2.3 单站ZTD 建模

对于单站ZTD 建模，无需考虑建模测站的三维空间位置，只需要ZTD 时间序列数值.LSTM 神经网络具有良好的记忆能力，输入参数为对HKWS 测站年积日121—133 共计13 天的标准化后的ZTD 序列值，对其进行LSTM 单站ZTD 建模，输出值为预测得到HKWS 测站第14 天24 h ZTD 值.同样选取HKWS 测站年积日为134 的ZTD 为真值作为验证数据.

2.4 区域/单站ZTD 组合模型

使用前13 天数据建模所用的参数训练BP 神经网络，对HKWS 测站第14 天24 h ZTD 进行预测，同时采用HKWS 前13 天ZTD 序列值进行LSTM 建模，预测得到HKWS 测站第14 天24 h ZTD 值，再使用两种模型分别预测的HKWS 测站第14 天每小时的ZTD 加权值作为组合预测值.加权方式为

此加权方式逐步利用两种模型预测得到的ZTD与实际值之间的RMSE，逐步更新权重，综合考虑了两种模型在预测过程中出现的新的预测值和之前阶段的预测值.按照式(10)中加权方案，则组合模型在i历元对应的ZTD 为

图2～3 给出了区域、单站以及ZTD 组合模型HKWS 测站ZTD 预测值和ZTD 真值与预测值差值的绝对值对比情况.可以看到，基于BP 神经网络算法的区域ZTD 模型难以反映ZTD 的波动情况，但反映了ZTD 的变化趋势，其预测结果更倾向于曲线型，基于LSTM 的单站ZTD 模型可以随着实际ZTD 的波动而起伏，但其与实际值仍有一些差异.而区域/单站ZTD 模型综合了两种模型的优点，对ZTD 进行了更为准确的预测.

图2 3 种模型在HKWS 测站ZTD 预测结果

图3 3 种模型在HKWS 测站ZTD 预测残差对比

通过计算得到基于BP 神经网络算法的区域ZTD 模型和基于LSTM 神经网络的单站ZTD 模型在HKWS 测站对ZTD 预测的RMSE 和Bias 情况，如表3 所示.

表3 3 种模型预测ZTD 的RMSE 和Bias mm

由表3 可知，对于HKWS 测站，基于BP 神经网络算法的区域ZTD 预测模型和基于LSTM 神经网络的单站ZTD 模型的RMSE 分别是10.2 mm 和10.4 mm，而区域/单站ZTD 模型组合的RMSE 为8.5 mm，相较于区域ZTD 模型和单站ZTD 模型精度分别提高了17.2%和18.4%；区域和单站模型对ZTD 预测的Bias 分别为2.4 mm 和–2.6 mm，而组合模型的Bias为–0.07 mm，平均偏差得到显著降低.

3 结论与展望

本文在区域ZTD 模型和单站ZTD 模型的基础上建立了区域/单站ZTD 组合模型.实验结果表明其精度比单一的区域或单站ZTD 模型精度有所提高.考虑到对历史RMSE 表现较优的模型ZTD 预测值赋权较高，组合模型的ZTD 预测值不一定取到最优值，利用相关优化算法对组合模型中权重进行自适应调节，可进一步提高模型的预测精度和稳定性.