基于注意力机制的混合CNN-BiLSTM低轨卫星信道预测算法

唐一强, 杨霄鹏, 朱圣铭

(空军工程大学信息与导航学院, 陕西 西安 710077)

0 引 言

低轨道卫星通信系统作为地面通信的补充和延伸,拥有通信范围广、受地形影响小等特点。但是对于长距离的卫星通信链路,信道质量将会受到自由空间的传播损耗、大气中氧分子、水蒸气分子等气体分子的吸收损耗,极端情况下更有云、雾、雨、雪等不良环境条件引起的严重衰落[1-2]。在低频段的传输链路中,雨滴造成的影响较小,可以通过预留一些链路余量解决通信需求;但在高频段传输链路中,如Ka和Q/V频段,雨滴将会产生强大的吸收、散射、闪烁和去极化效应[3-4],造成的影响将严重制约通信质量。据统计,降雨所造成的年平均衰减值能达到20 dB以上。为提高链路质量,传统的解决办法是在链路预算时将最大链路衰减考虑进去,通过增大发射功率的方式减小衰减的影响。但这却忽视了卫星信道受天气时变的影响,在天气条件好的时候,根据链路最坏状态下确定的模式将会造成大量资源的浪费[5]。由此,研究人员提出了链路自适应(link adaptive, LA)传输技术,对信道状态信息(channel state information, CSI)进行实时反馈,调整发射端的功率和频率策略,自适应地改变发射参数,提高卫星通信系统传输效率[6]。

卫星信道固有的传输延迟引起的信息“不及时”的问题,极大地制约了自适应技术的发展。如何获得更加准确的卫星信道信息是实现卫星传输效率提升的基础。为解决信道质量指数“过时”的问题,必须对卫星信道进行超前预测[7],以获得更精确的信道传输参数发射通信信号。信道预测的研究方向大体上可以分为两类。一类是线性预测方法,其主要思想是以线性组合的方式将当前时刻和过去时刻的信道结合起来[8],达到预测未来时刻信道信息的目的。典型的应用是基于自回归(auto regressive, AR)模型的预测方法[9]。在这个方法中,常用Yule-Walker和Burg等方法表示多个信息状态采样值的权值,再使用加权和表示预测值。郑添月等[10]提出了一种改进的卡尔曼滤波的AR预测算法,对多输入多输出(multiple input multiple output, MIMO)信道在角度时延域进行预测,仿真结果表明该方法在噪声环境中优于传统模型。赵旦峰等[11]提出了一种研究衰落信号的自适应长期预测机制(adaptive long-range prediction,ALRP),在信道理论值上添加归一化加权和自回归模型思想,用最小化均方自适应跟踪方法更新系数的方式来预测信道状态和衰落信号。结果表明,该机制能实现有效的预测,具有复杂度低和实时性的特点。虽然线性预测方法在慢时变信道中拥有较好的预测性能,但是其不适用于低轨卫星高动态性的通信环境。

另一类是非线性预测方法,典型的预测方法有深度学习和支持向量机(support vector machine, SVM)的方法。文献[12]以Loo模型为基础,提出一种基于深度卷积神经网络的信道感知模型,仿真表明该模型无论在信噪比估计还是信道预测中都有较好的表现,但是该方法为了避免过拟合的问题随机置零部分权重,预测精确度不能得到保证。文献[13]选用长短时记忆(long-short term memory, LSTM)快速拟合短波快/慢变化特征,利用多层神经网络对历史经验数据进行分析和预测,但是单次训练的预测网络模型不适用于长期数据的规律变化,另外由于存在信噪比估计误差,在持续预测过程中将会产生累积误差,导致预测精度越来越低。文献[14]针对高速移动信道条件下的正交频分复用(orthogonal frequency division multiplexing, OFDM)系统,利用反向传播(back-propagation, BP)神经网络进行预训练、再训练和线上预测完成时变信道的预测。该方法采用随机初始化方式训练网络,没有将初始参数对预测性能的影响考虑在内,预测精度需要重新考量。同时,BP算法存在泛化能力不强、学习速度较慢以及局部最优等缺陷。文献[15]利用回声状态网络(echo state network, ESN)在时间序列上预测及非线性建模,具有良好的非线性逼近能力。但是由于该方法的权重矩阵初始化是随机的,并且无法对权重矩阵更新,因此具有较低的信道预测精度。文献[16]在高速铁路通信背景下给出了一种基于SVM的信道预测方法,利用遗传算法优化惩罚系数和高斯核宽度,可以获得较高的预测精度。但是,该方法是低纬度空间向高纬度空间的映射,算法复杂度高。

为解决上述问题,本文提出一种混合型神经网络预测方式,在注意力机制的作用下,高效地分配权重值,应对卫星信道的长期变化。仿真结果表明,在模拟的低轨道卫星通信环境中,基于注意力机制的卷积神经和双向LSTM神经网络(attention-convolutional neural network and bi-directional LSTM neural network, AT-CNN-BiLSTM)融合算法能够有效地适应变化的信道环境,预测准确率高于CNN-BiLSTM方法的86.2%、SVM方法的81.7%、AT-BiLSTM方法的76.1%和AT-CNN方法的72.5%,大约为91.8%,由此可见本文所提出的方法可以达到较高的预测精度。

1 系统模型

本文提出了一种基于注意力机制的混合CNN-BiLSTM系统模型,如图1所示。该模型由CNN网络、BiLSTM网络、融合层和全连接层4部分构成。该模型的主要思路为:在通道1中,利用BiLSTM网络进行双向全局时间特征的充分提取;同时,在通道2中,利用一维卷积神经网络(one-dimensional convolutional neural network, 1DCNN)对时序信号沿时间轴正方向进行局部非相关性特征的提取,以获得更多的时间特征,并在注意力机制的作用下合理地选择分配权重;然后将通道1和通道2的数据特征进行融合,实现特征合并;最后通过全连接层(full connected layer, FC)进行回归层预测。通道中引入Dropout层的目的在于防止模型出现过拟合,引入批归一化的目的在于提高模型收敛速度,实现较低的训练时间。

图1 混合CNN-BiLSTM系统模型

低轨道卫星信道预测的目的在于提供及时的信道状态信息反馈,提高自适应传输的能力。设xt是在当前时刻t卫星终端所观测到的信号值。在当前时刻t,终端的任务根据给定的历史数据{xt}(t=τ-nΔ,…,τ-Δ,τ),预测时间间隔t+hΔ的卫星信道信号。在本文中,设采样间隔Δ=0.1 s,n=1 500,0≤h≤150,即过去150 s的历史数据可以用来预测未来15 s后的信道。由于卫星信道参数是随机且非线性的,因此一个好的信道模型应能够捕捉这些特征,特征学习是建立高效的预测模型的基础。卫星信道的预测特征表现为强烈的时间序列相关性,即以往时间的信道信号值严重影响到预测的性能。

设ft表示观测位置在时刻t的精确信号值,观测位置自时间t-nΔ到t的信号采样可以表示为xt=[ft-n,ft-(n-1),…,ft]T。在后续文中为便于描述,省略本文中的符号Δ,将t-nΔ表述为t-n。

2 低轨道卫星信道预测网络

2.1 CNN-BiLSTM

该模块是整个模型的核心部分,由1DCNN和BiLSTM网络组成,其输入是一个时间信号矩阵xt。卷积神经网络依据局部连接和权值共享的方式利用一维卷积核滤波器进行卷积、池化和特征提取。卷积层运算过程表示如下:

Ft=σ(Ws*xt+bs)

(1)

式中:σ表示激活函数;Ws表示滤波器的权重;*表示卷积运算;bs表示偏置。

为解决前一时刻的输入对后一时刻产生影响的时间序列问题,Pineda[17]设计出了循环神经网络(recurrent neural network, RNN)。该网络是一种依据时间序列连接的神经网络,各节点之间连接形成一个有向图,非常适用于具有一定相关性的相邻数据的处理。但是RNN有一个严重的缺陷,即当输入的数据和求解输出的时间过长时,信息之间的相关性会降低,无法对之后的输出产生影响,由此带来历史信息丢失造成误判,即带来长时依赖时问题。为解决这个问题,Hochreiter等[18]在1997年提出改进型神经网络——LSTM网络,其结构如图2所示。

图2 LTSM神经网络结构示意图

新设计的神经网络由输入门、输出门和遗忘门3个乘法结构组成。LSTM使用遗忘门来确定在当前单元状态下保留了先前单元状态的多少信息,并使用输入门来决定在当前单元状态下需要保存输入的多少信息。LSTM的一次更新过程如下:

(2)

it=σ(Wxi·xt+Whi·ht-1+Wci·ct-1+bi)

(3)

ft=σ(Wxf·xt+Whf·ht-1+Wcf·ct-1+bf)

(4)

(5)

ot=σ(Wxo·xt+Who·ht-1+Wco·ct-1+bo)

(6)

ht=ot*tanh(ct)

(7)

yt=Wyh·ht+by

(8)

双向传播长短时记忆神经网络如图3所示,通过LSTM的隐藏层达到正向和反向两个方向的计算,通过双向LSTM神经网络可以获得更多的数据特征。BiLSTM更新过程如下:

图3 BiLSTM结构示意图

h+=LSTM+(ht-1,xt)

(9)

h-=LSTM-(ht+1,xt)

(10)

(11)

2.2 注意力机制

在认知神经科学领域中,面对信息处理的瓶颈,人类选择性地关注信息中的某一部分,忽略其他可见的不太重要的信息。人类视网膜具有不同程度的信息处理能力,即敏锐度,只有视网膜中央才具有最强的敏锐度。这样的目的在于更加合理地利用有限的资源处理信息。同理,注意力机制就是为解决信息超载问题的一种合理资源分配方案[19],将计算任务分配给相对更加重要的任务。

文献[20]的神经网络引入了一种注意力机制,通过对数据时间片段分配不同的权重,使信息更有效地编码。在本文的预测下,不同时刻数据提供的信息对预测结果的精度影响程度不尽相同。但是,传统的神经网络不能检测对信号值序列的重要程度进行鉴别。由此,本文对CNN-LSTM网络进行改进,引入注意力机制自动对不同时刻历史数据片段的重要程度进行鉴别。本文所使用的注意力机制如图4所示。

图4 注意力机制模型

在该模型中,加权总和输出为

(12)

式中:n+1表示时间序列的长度;βk是注意力权值,其计算式如下:

(13)

其中，sk表示信号序列各部分的重要程度,其计算式如下:

(14)

2.3 融合层与全连接层

双通道提取到的特征在经过融合层之后,就可以得到卫星信号的全部特征。在融合层中,模型采用Regression回归的到样本特征向量输入全连接层:

(15)

全连接层一般由两个部分组成:线性部分和非线性部分,如图5所示。

图5 FC模型

由于本文涉及到的低轨道卫星通信并不是简单的一个线性的对应关系,为了更准确拟合真实的场景,所以引入了非线性变化,例如sigmod函数等。

xp=g(Wxy*y+b)

(16)

3 参数优化与算法流程

3.1 神经网络的参数优化

基于AT-CNN-BiLSTM的卫星信道预测算法的优化过程是寻找一组参数,使得预测误差达到最小。本文中,假设样本量为n,卫星信道预测模型的交叉熵代价损失函数可表示为

(17)

式中:a表示期望输出;xp表示实际输出。结合梯度下降的Adam优化算法进行权重参数矩阵W的更新。

(18)

式中:η是神经网络的学习率;mt和vt分别是当前时刻的参数梯度的一阶和二阶动量,初始均为0。mt和vt可表示为

mt=β1·mt-1+(1-β1)gt

(19)

(20)

(21)

式中:β1和β2分别是Adam的一阶和二阶动量调节参数,初始均为0。

结合上述分析过程,CNN-BiLSTM网络的卫星信道预测算法参数的优化步骤如下所示。

步骤 1将基站通信历史监测的信道数据xt代入式(1)和式(9)～式(11),再通过特征融合层和FC获得整个网络的输出xp。

步骤 2通过式(17)～式(21)计算网络误差,将误差利用反向传播至各神经元。

步骤 3神经元利用误差项根据优化算法更新参数。

步骤 4设置迭代次数,循环步骤1～步骤3,直到参数不再变化,结束优化。

3.2 算法预测流程

依据前文中所分析的网络结构及参数优化步骤,信道预测的实现步骤如下。

步骤 1在模拟卫星信道的条件下获得信道数据,以间隔Δ均匀采样,得到样本数据为xt={xτ-n,xτ-(n-1),…,xτ},n是样本个数。

步骤 2构造数据集。为方便神经网络进行训练,将xt分为实部和虚部两部分。其中,实部数据和虚部数据分别为Re(xt)={Re(xτ-n),Re(xτ-(n-1)),…,Re(xτ)}和Im(xt)={Im(xτ-n),Im(xτ-(n-1)),…,Im(xτ)}。本文将数据集划分为训练和测试两个部分,将其设置为9∶1的比例。

步骤 3进行模型的训练,将训练数据集输入。以实部数据集为例,输入Re(xt)={Re(xτ-n),Re(xτ-(n-1)),…,Re(xτ)},在注意力机制的权重分配下,经过CNN-BiLSTM混合网络、融合层和全连接层输出结果xp。采用交叉熵代价损失函数损失函数计算误差,利用Adam优化算法对参数进行更新优化。同理,虚部数据集经过同样的流程实现网络参数的调优。

步骤 4进行模型的预测,在网络中载入训练好的算法模型参数,以测试数据集为初始化数据,对预测结果进行检验,得到网络模型预测输出，预测流程如图6所示。

图6 混合CNN-BiLSTM神经网络信道预测流程图

4 实验结果与性能评估

为了验证本文所提算法的预测性能,本节选取低轨道卫星信道的信号冲击响应,以“抽样”的方式获得历史时刻数据信息,再按照9∶1划分为训练集和测试集。在数据集基础上,建立基于注意力机制的混合CNN-BiLSTM网络的低轨道卫星信道预测算法,对算法性能进行仿真验证。此外,本文对比分析了不含注意力机制的CNN-BiLSTM网络、基于注意力机制的BiLSTM单层网络、基于注意力机制的CNN单层网络和基于SVM网络算法的预测性能。本文实验仿真基于英特尔酷睿i7-8700CPU的Windows 1064位操作系统的工作站,编程软件选择python 3.7.0和Matlab 2019b。

4.1 数据描述及参数设置

室外卫星信道的特点可以用由多普勒谱来描述,仿真中采用通过滤波后的高斯白噪声(filtered white Gaussian noise, FWGN)模型来描述卫星信号。其中，Jakes模型是通过复正弦波的合成,假设均匀方向到达的所有散射分量的射线近似为N个平面波,产生瑞利衰落信道模型[21]。在Jakes模型中,信道的实部和虚部是统计独立的。在文献[21]中,Jakes模型的最终复输出表示如下:

(22)

式中:E0为衰落信道的总幅度;N0表示多普勒频移的正弦数目,本文中将其设为8。通过Matlab仿真得到Jakes模型下的信号如图7所示。信道模型多普勒频率为0.926 kHz,采样周期为0.1 s。

图7 Jakes模型卫星信号仿真图

结合文献[7-9]参数设置,本文的参数值如表1所示。

表1 仿真参数

4.2 预测结果与分析

4.2.1 仿真预测

在输入测试数据集后进行仿真得到如图8所示的卫星信道预测图,其中图8(a)～图8(e)分别表示AT-CNN-BiLSTM、CNN-BiLSTM、SVM、AT-BiLSTM和AT-CNN仿真。从仿真图中可以明显看出，本文所提出的混合AT-CNN-BiLSTM所预测的信道幅值更接近卫星原始数据,另外4种方法都出现不同程度的偏离,以AT-BiLSTM和AT-CNN偏离最为严重。SVM的预测误差较大,这是因为SVM利用内核函数将大量不确定的时间数据映射到高维空间,不能充分利用数据特征进行预测,导致预测性能较差。从图8中曲线突变的位置可看出,仿真预测都难以实现准确的跟踪,均出现较大的失真。仅使用单一网络的CNN和BiLSTM因不能对数据特征进行充分的提取,导致预测效果最差,无法达到预测结果的要求。本文的算法失真较小,这主要是因为本文引入了注意力机制,能够在不同时刻对每个时间序列分配不同程度的权重以提高预测性能。更具体地说,在注意力权重的合理分配下,CNN-BiLSTM模型捕获前向和后向两个方向的特征,将整体和局部流数据特征一起处理,更加全面地提取特征,实现更精准地预测。

图8 不同预测方法的仿真预测图

4.2.2 性能评估

为了评估仿真模型的性能,本文使用了3个常用于评估预测性能的指标:平均绝对误差(mean absolute error, MAE)、平均绝对百分比误差(mean absoulute percentage error, MAPE)和均方误差(mean square error, MSE),计算公式如下:

(23)

(24)

(25)

式中:xt是实际值;xp是本文模型预测值。

表2展示了时间轴上155 s、160 s、165 s时刻,上述3个性能指标的具体值。从表2中可以看出，在较短时间内5种模型的性能均较高,但是预测时间越长,性能下降越严重。从总体上来看,本文的AT-CNN-BiLSTM无论是短期还是长期均可实现较高的预测水平。

表2 不同方法的预测性能

为直观化训练过程中的预测性能,本文挑选了5个节点观测训练值,如图9所示,分别是MAE、MAPE和MSE的柱状图,总体上均是随着时间的推移呈现上升趋势,即预测精度在下降。

图9 不同预测方法的性能指标柱状图

4.2.3 收敛性分析

在前面数据的基础上,本节分析了训练过程中迭代次数与预测准确率的关系,如图10所示。5种预测方法错误率均随着迭代次数的增加而降低,在迭代次数小于10的情况下,本文方法收敛速度滞后于另外4种方法,这主要是因为本文结合了注意力机制和混合型的CNN-BiLSTM网络,网络复杂度有了一定的提升,导致收敛速度较慢。SVM方法是低纬度空间向高纬度空间的映射,导致预测过程具有更大的复杂性,因而在与本文之外的其他3种方法对比中收敛更慢。CNN拥有较高的局部特征提取速度,换来的代价是CNN预测精度低于BiLSTM方法。再结合注意力机制后,预测精度得以提升。

图10 不同预测方法的错误率变化曲线

本文的方法在迭代次数为18时网络趋于稳定,而另外的4种方法在迭代次数为14时就基本稳定。但是本文的预测准确率高于另外4种方法的86.2%、81.7%、76.1%和72.5%,大约为91.8%。相较另外4种方法,本文的方法分别提升了5.6%、10.1%、15.7%和19.3%。

5 结 论

本文针对低轨道卫星信道指数“过时”的问题,从卫星信号预测的角度出发,结合深度学习的方法对低轨道卫星的信号进行预测。将CNN和BiLSTM网络融合,结合注意力机制形成混合AT-CNN-BiLSTM卫星预测网络,对比分析了CNN-BiLSTM网络、SVM网络、AT-BiLSTM网络和AT-CNN网络。从仿真预测图形上分析了5种方法的性能,结果表明本文所提出的方法能够在较低的迭代次数下达到比较高的预测精度。因此本文所提出的预测方法能够在低轨卫星通信的过程中为信道参数的调整提供依据,改善通信质量,节省资源开支,有助于卫星通信的高效管理。