局域线性小波神经网络在原子钟信号预测中的应用

熊择正，袁志超，贺轩,方声伟，王青，齐向晖，陈徐宗

(北京大学 电子学院量子电子学研究所，北京 100871)

0 引言

钟差预报技术在守时授时领域具有重要的意义：卫星导航系统等精密授时应用需要获取原子钟与地面基准或协调世界时UTC等参考间的钟差数据以提高精确度，研究钟差预报能以相对较小的代价提高数据的精度和可靠性[1]；同时，钟差预报技术应用在原子钟驾驭时可以明显提高所驯服原子钟的长期稳定度[2]；在建立时间基准的过程中，也需要对所用多台原子钟之间的钟差数据进行预测[3]。目前卫星钟差的预报算法得到了比较深入的研究，并有各类针对不同数据特点的预报模型被提出。典型的卫星钟差预报模型包括多项式模型[4]、灰色模型GM(1,1)[5]、卡尔曼模型[6]、神经网络模型[7]等。

目前被广泛研究的钟差数据是原子钟与时间基准之间或者多台原子钟之间的计时差，因此钟差预报理论不能直接应用于单个原子钟的性能提升。但是从原子钟内部也可以读取出一些与钟差数据具有相似的波动特征的信号，例如表示原子钟内讯问信号频率与参考谱线频率差值的误差信号等。使用和钟差预报算法类似的方法可以对误差信号进行预测，预测结果可以应用于调节原子钟的锁定方式并提升其性能。此外，铯炉温度、微波功率、C场电流等参数的波动会显著影响原子钟的稳定性[8]，对这些参数进行实时的监测和预报也有助于采取更加合适的频率反馈方式，有望提高原子钟的频率稳定度。

本文针对原子钟内部误差信号的预报展开研究，采用神经网络模型对误差信号进行预报，并对所使用的神经网络模型的预测性能进行了评估和优化。论文提出一种基于局域线性小波神经网络(local linear wavelet neural network，LLWNN)的原子钟内部信号预测算法，利用北京大学原子钟小组光抽运小铯钟内的误差信号数据对神经网络进行训练和测试，并构建了基于BP(back propagation)神经网络的信号预测算法作为对比。论文对基于LLWNN和BP神经网络的两种算法进行了性能评估和优化，在各自优化到最佳结构之后，基于LLWNN的预测算法表现出了更高的预测精度和更好的预测稳定度，有望在未来应用中提升原子钟的频率稳定度。

1 LLWNN 神经网络预报算法

1.1 误差信号的特点

铯原子钟内的误差信号可以近似地表示为

S=-K(vLO-vREF)+δs=-K[vLO-(vhfs+δv)]+δs,

(1)

式(1)中：vLO是微波讯问信号的频率值，而微波讯问信号由本地晶振经过频率综合电路产生，其频率和晶振频率成正比；vREF=vhfs+δv是铯钟内晶振锁定参考谱线的中心频率，受到光功率和微波功率漂移、环境温度变化等因素的影响，vREF相对于铯钟超精细跃迁频率的标称值vhfs具有偏离量δv，其波动以长期噪声为主。原子钟内部通过一系列调制解调过程来测量vLO与vREF的频率差并将其以误差信号的形式在电路中输出，这些过程的总增益K在频率波动很小时可以近似成常数；但是，原子数散弹噪声、光功率和微波功率波动、光子散弹噪声等还会为上述测量带来不确定度δs[9],这些噪声会同时带来短期和长期上的测量误差，并且在短期产生尤其显著的影响。总体而言，铯原子钟内的误差信号包含白相位噪声、闪变相位噪声、白频率噪声、闪变频率噪声和随机行走频率噪声5类噪声的叠加[10],而且短期波动的幅度很大。在原子钟的反馈机制调节下，误差信号的长期波动已经很小，本文主要对误差信号进行较短时间尺度下的预报，这与钟差信号的中长期预报相比具有很多新的困难。

从原子钟相位的角度来看，Δt时间内原子钟的输出相位变化可以表示为

(2)

在钟差预报中一般是已知了历史相位数据，通过历史相位数据预测未来的钟差偏移以提前做出修正，这种方式的前提是通过一个外部的时间基准作为参考测量出原子钟的历史相位。本文讨论的场景是在原子钟的内部系统分析参数，此时没有与外部参考比对而得出的历史相位数据，但是分析误差信号也可以在一定程度上获取原子钟的频率和相位偏移信息；在δs,δv都是小量的中长期范围内，预测误差信号并对本振频率做出相应的调整也有利于提高原子钟的频率稳定度。

在影响铯束原子钟内部误差信号的诸多参数中，微波功率、光功率变化等因素导致的信号波动规律相对简单一些，对这类信号波动进行预报的难度相对较低；其他类型的信号波动则很难预报，例如温度、振动等因素则可能通过多种机制以更复杂的方式来扰动信号，原子数散弹噪声、光子散弹噪声等白频率噪声则具有相当复杂的波动模式。为了更好地预报前一类信号波动，本文采用理论上可以逼近任意非线性时间序列的神经网络[11]来模拟这些波动函数。

1.2 LLWNN神经网络模型

图1 BP 神经网络和LLWNN 神经网络的结构示意图

在后期研究中我们希望将神经网络的训练和预测过程在原子钟的嵌入式系统中实现，同时该系统也需要控制原子钟的工作，这导致神经网络可以使用的计算资源会比较受限。 因此，本文采用由WNN改进而来的LLWNN神经网络[13]，这种神经网络只需要一层隐藏层即可实现比较高效的计算。如图1(b)所示，LLWNN神经网络的隐藏层由感知器和一类新的神经元(小波神经元)组成，每个小波神经元都和一个感知器对应。小波神经元对每个输入元素都进行小波变换，并将变换的结果相乘作为多元小波函数Ψj(x1,x2,…,xm)输出：

(3)

式(3)中,

(4)

式(4)中,A={aj,i},D={dj,i}分别是小波函数的伸缩因子和平移因子。每个小波神经元有一个感知器与其对应，感知器的激活函数均为f(x)=x，它们的输出vj作为对应小波神经元输出值的权重。设神经网络中小波神经元的数量为L，则最终输出的预测值为

(5)

1.3 网络参数的训练

为了应用神经网络对误差信号演化的过程进行模拟，需要对神经网络的参数进行训练使建立起来的人工神经网络模型接近真实的演化机制。在LLWNN神经网络中，需要训练的参数包括小波函数的伸缩和平移因子A,D以及感知器的输入权重与偏置W={wj,i},b={bj}。训练过程采用N组参考信号作为训练集{xn,yR,n}，使神经网络在输入{xn}时输出的预报信号{yn}尽量接近{yR,n}。为此，将训练的评价函数设定为

(6)

上述训练过程实际是在求解无约束的最优化问题，这种问题有两类比较成熟的解法：一类是梯度下降法及衍生的各种改进算法，另一类是包括遗传算法、粒子群优化算法、退火算法在内的启发式算法。梯度下降法的普适性较好，但是在处理高维问题时很容易受到局域极值问题的阻碍；各种启发式算法可以获得问题的全局最优解，但是需要根据特定的问题类型来选择合适的算法并设定恰当的参数。本文采用动量梯度下降算法(momentum gradient decent，MGD)[14]对LLWNN神经网络进行迭代训练，第t+1次训练后的网络参数为

θt+1=θt+vt+1。

(7)

式(7)中：

vt+1=βvt-αθE。

(8)

式(7)和(8)中,参数β取为动量梯度下降法应用中最常用的值0.9[15]，α取为训练效果较好时的值0.001。动量vt是上次迭代参数的改变量，这一项在梯度较小时加速迭代过程，梯度较大时则可以避免振荡。此外，我们也采用了粒子群优化算法[13](particle swarm optimization，PSO)来验证网络的训练效果。

2 数据验证及分析

2.1 数据预分析

为了验证LLWNN神经网络模型的预报效果，本文利用北京大学原子钟小组研制的光抽运小铯钟[8]进行实验，由原子钟内的单片机每秒采集一次误差信号，并通过LabVIEW通信程序传递给电脑端的Matlab程序。为便于分析，本文使用的误差信号都按照增益系数换算成了相对频率偏差，这一线性变换不影响信号预测过程。在训练神经网络前，本文使用擅长预测数据漂移趋势的卡尔曼滤波算法[3]分析了一段长度为150 ks的误差信号：先对这一长段信号进行百秒平均处理，再将得到的1 500个数据依次输入卡尔曼滤波模型并与实际值比较。由于卡尔曼模型含有协方差矩阵等未知参数，也使用PSO算法对这些参数进行了训练，使得预测误差的均方差最小。图2是参数训练至最佳后的效果，卡尔曼模型输出的预测值除了开始一小段之外，主要在误差信号的平均值附近小幅波动；对未经过平均处理的信号用卡尔曼模型处理也可以得到类似的结果。这验证了前文的分析：误差信号的主要成份是短期噪声，长期波动和漂移很弱，更适合通过神经网络模型来预测。

图2 经过卡尔曼滤波算法处理的误差信号 图3 MGD和PSO训练算法的迭代过程

2.2 LLWNN神经网络的训练

根据历史信号预测下一个信号的过程实际是对信号变化量即一次差的预报[7]，为了更清晰地描述预测结果，此后的训练和预测过程都是对误差信号一次差进行处理。在数据预处理中，首先得出上述150 ks误差信号的一次差，此后从这一段数据中抽取连续的406个数据点，取最前方7个点为第一组数据，此后依次后移共得到400组数据，每组的前6个数据作为神经网络的输入值，第7个数据则作为实际参考值与神经网络的输出比较。这400组数据的前350组用于训练神经网络，训练效果使用神经网络的输出值与实际值相比的均方根误差来衡量。本文在LLWNN神经网络中使用的小波基函数是

(9)

训练LLWNN神经网络时，先随机对参数θ进行初始化，此后再应用MGD算法或者PSO算法迭代寻找最优参数直到网络收敛。图3所示是神经网络训练中一次典型的迭代过程，其中MGD算法在100次迭代以内就能稳定收敛，且训练结束后的均方根误差略小于PSO算法的结果。由于PSO是全局性算法，这表明小波函数的应用确实帮助解决了局域极值的问题，因此梯度下降算法能找到全局最优参数；梯度下降算法擅长求解极值问题，所以MGD算法得出的训练结果略优于PSO算法。

神经网络训练完成之后，利用后50组数据测试网络模型的预测能力：将每组前6个数据输入神经网络，将得到的50个预测值和对应的实际参考值作比较。图4所示是一次典型的预测结果，大部分预测值和实际值比较符合。计算得到图4中实际值的标准差为1.81×10-11，而预测误差的均方根1.12×10-11相比起来有明显减小。在理想条件下，如果能精准预测下一周期的误差信号，并通过伺服机制精准调节原子钟本振的频率，可以使下一周期的误差信号降到零；在不完美预测的条件下，精准伺服的方式可以根据预测值提前将本振频率调节对应的值，则下一周期的误差信号变成原本的真实值减去预测值，即预测误差值。因此预测误差的波动限制了利用神经网络输出的预测值提升原子钟稳定度的上限，例如图4的数据表明利用这一轮预测结果最多可以将误差信号的标准差降低到原来的0.62倍，近似于将原子钟的短期频率稳定度提升到1.6倍。

图4 LLWNN神经网络的预报结果 图5 神经网络预测性能随隐藏层节点数的变化情况

2.3 神经网络的结构优化以及测试结果

作为比较的参考对象，我们也在实验中对BP神经网络的预测效果进行了测试。由于神经网络的训练复杂度会随着隐藏层数的增加而迅速增大，我们选择单层隐藏层的BP神经网络进行测试，从而控制使两种神经网络在训练中使用的计算资源不会相差太多。实际测试了使用不同类型激活函数的效果后，我们使用Tan-Sigmoid函数:

(10)

作为BP神经网络隐藏层神经元的激活函数，使用线性函数作为输出层神经元的激活函数。BP神经网络的训练算法也采用MGD算法。

为了评估神经网络的预测效果，我们在上述15万个数据点中随机抽取了100个训练-预测数据段，其中每个训练-预测数据段由前述的400组输入-输出数据组成，在每个数据段中都可以对神经网络模型进行一轮训练-测试的处理过程。每个数据段中都完成训练-测试操作之后，我们再将这100轮处理中的预测误差结合起来评估，以尽量减小偶有特殊的规律性数据噪声对神经网络预测性能的影响。在每个数据段内的测试中，神经网络会输出50组预测值，这些预测值和实际值之间的均方根误差体现了这一轮的预测效果。由于不同数据段内被预测数据本身的噪声大小互有差异，这些差异也会影响到均方根误差的值；而后续分析中需要综合考虑神经网络在不同数据段中的预测性能，因此我们在每个数据段内的一轮测试后先计算预测值和实际值之间的均方根误差，再取其与当前数据段内实际值的标准差这二者之比，将结果作为当前数据段内测试结果的评价指标，本文中我们将这一指标简单地称为“相对预测误差”。在完成所有数据段中的训练和测试操作后，我们求出这100轮测试的相对预测误差的平均值，将其作为评估神经网络性能的统一指标，本文中我们将这一指标简单地称为“相对预测误差平均值”。以相对预测误差平均值为依据，我们对不同神经网络的性能做了比较，同时也对单个神经网络的结构进行了优化，将使得相对预测误差平均值最小的神经元数目作为最佳神经元数目。如图5所示，当隐藏层的节点数增加时，BP神经网络和LLWNN神经网络的相对预测误差平均值都有先减小后增大的趋势，这是因为随着节点数增多，神经网络的可学习参数更多、结构更加复杂，可以在更大范围的函数空间内搜索合适的预测模型；但在同时，搜索空间的增大也意味着搜索复杂度的提升，这对训练神经网络时的计算资源和计算精度都提出了挑战。对于我们实现的BP神经网络，在隐藏层具有8个神经元时取得最佳的预测性能；引入小波神经元的LLWNN神经网络在隐藏层的小波神经元数小于8时都能实现较好的预测效果，在小波神经元数目过多时，计算复杂度的增大会导致预测误差变大，其中小波神经元数目为6时的预测误差最小。

图6描述了两种神经网络各自设定到最佳的隐藏层节点数时，在每个数据段测试中的相对预测误差。在少数数据段中BP神经网络的预测效果也可以接近甚至超过LLWNN神经网络，但是BP神经网络的预测结果不稳定；在一些数据段内，BP神经网络的相对预测误差大于1，即预测误差的波动比原始数据更大，这些情况下若将神经网络的输出反馈到原子钟反而会恶化稳定度。在100个数据段的测试中，BP神经网络相对预测误差的平均值为0.887 3，最大值为1.029 1；LLWNN神经网络相对预测误差的平均值为0.789 0，最大值为0.936 9。LLWNN神经网络的预测效果与BP神经网络相比有了较大进步，但是这离应用到原子钟的要求还有一段距离。如果希望把预测结果应用于原子钟内参与频率调节的过程，可能需要使用输出信号能够反馈回输入端的循环神经网络(recurrent neural network，RNN)进一步分析；此外，也还需要对噪声中晶振频率波动的成分与其他波动成分做出更清晰的区分。

图6 BP与LLWNN神经网络预测效果对比图

3 结语

本文采用基于LLWNN神经网络模型的算法对铯原子钟的内部信号进行预报，并应用光抽运铯原子钟的误差信号进行了测试和验证；神经网络的参数训练采用了MGD算法，训练结果表现出了较好的全局性。论文还评估和比较了BP神经网络和LLWNN神经网络的预报性能，在两种神经网络都优化至最佳结构时，LLWNN神经网络表现出了更高的预报精度，且预报稳定性更好。但是目前对误差信号的预报精度还不够高，也无法区分组成误差信号噪声的各类成份及来源；在未来进一步的研究中，还可以考虑建立循环神经网络来模拟将预测结果加入原子钟频率控制环路的过程，建立起合适的反馈模型并寻找最佳的反馈参数。