自注意力机制改进U-Net网络的强积冰云层预测

翟辰飞，董文瀚，张晓敏，李大东，陈晓军

1.空军工程大学，西安 710038

2.中国飞行试验研究院，西安 710089

3.中国人民解放军94816部队

4.中国人民解放军 93135部队

飞机积冰[1]是指飞行器在飞行过程中机体表面聚积冰层的现象，飞机积冰严重影响飞行安全，是造成飞行事故的主要原因之一。为减少因积冰造成的飞行事故，及时准确地预测积冰云层的位置及强度一直是众多专家学者及气象工作者研究的重要课题。

强对流天气所形成的云系中蕴含大量水汽且温度较低，易造成飞机中度以上积冰，对飞行安全危害最大。气象工作者通过气象雷达扫描得到的雷达回波图可以准确反映对流天气的强度，分析历史雷达回波图可以寻找强对流天气的发展规律，并进一步预测对流天气的发展变化。因此，准确判断强对流天气的发展变化对于积冰云层的预测至关重要。

现阶段，国内外对于积冰云层的预测主要分为两类，传统方法是在天气学的基础上实现雷达图像外推。丁建军等[2]提出了一种基于雷达跟踪外推及GoogleMaps的强对流天气临近预报系统，利用交叉相关外推算法，实现对宁夏中北部地区1 h内强对流天气的跟踪外推预报；曹春燕等[3]提出了一种基于传统光流法的强对流预报算法，该算法弥补了交叉相关外推算法对于较强垂直运动预测不理想的问题，提升了强对流天气的准确率。虽然传统的雷达回波外推方法被长期应用于实际工作中且不断改进，但对流天气本身的复杂非线性特点，导致预测结果与实际天气相差较大。

随着深度学习等方法的兴起，计算机视觉技术逐渐成为雷达图像外推任务的研究热点。这一类方法旨在通过对雷达图像中各区域的空间相关性及同一区域的时间相关性的智能分析，解决对流天气系统非线性的问题。Shi等[4]提出了一种时空序列预测模型，将卷积神经网络与循环神经网络相结合，提出了一种全新的雷达回波外推方法；Wang等[5]将MIM模块加入时空序列网络，使模型能够学习到更多高阶非平稳特征；Xu等[6]将GAN网络与ConvLSTM网络相结合，解决了小规模数据集不易训练等问题；Geng等[7]将图像数据与数值模拟数据同时作为输入数据，提升了数据资料的多样性；Shi等[8]结合光流法提出了TrajGRU模型，该模型解决了领域点位置信息固定的问题，使其更好地学习回波图像中的时空相关信息。

上述深度学习方法均是卷积神经网络（convolutional neural networks，CNN）与循环神经网络（recurrent neural networks，RNN）模型的改进，虽然此类模型解决了对流天气预测过程中的非线性不稳定，但在训练、检验过程中还存在以下几点问题：（1）时间维度信息不均衡。RNN将当前时间状态与前面多个时间的隐藏状态相结合作为当前时间的输入信息，此举可以使网络模型有效学习到同一区域的回波变化，但当输入序列过长时，会因梯度衰减较大导致梯度消失，造成图像低层信息丢失。（2）空间维度信息缺失。CNN通过一定大小的卷积核有效提取图像空间信息，随着特征图的减小，卷积核中的感受野可以逐步学习到图像全局信息。但因CNN卷积核使用相同权重参数进行特征提取，会导致重要程度高但出现次数少的空间信息被忽略，特别是在积冰云层预测任务中，强回波区占比少，易造成强回波区预测结果的准确率下降。

针对时间维度信息不均衡问题，Ronneberger等[9]提出了基于全卷积网络的U-Net网络模型，其独特的U型结构较好地解决了RNN因梯度消失导致的初始图像信息消失的问题；针对空间维度信息缺失问题，Vaswani等[10]基于自注意力模块（self-attention）计算图像中不同像素之间的特征关系并建立图像的全局特征，从而提取不同回波强度之间的依赖关系。相比于使用同一权重参数的CNN，自注意力模块为不同重要程度的信息分配不同权重参数，从而提高图像重要特征的提取能力。针对上述问题，本文提出U-Net网络与自注意力机制相结合的GC-ResUNet预测模型，该模型继承了两种网络的优点，为解决积冰云层的预测问题提供了一种新的思路。

1 数据集的建立

1.1 数据集选取

气象雷达在连续时间内向云中发射电磁脉冲，脉冲散射后返回雷达天线构成气象雷达回波[11]，通过雷达回波可以准确判断云中对流的活动情况，该数据在时间和空间上均具有相关性。

本文所用数据集由2018—2020年间沿海地区雷达回波拼图制作而成，其原始图像尺寸大小为3 190×2 240，每张图像之间间隔6 min。由于图像边缘包含大片无回波区域，为减少网络计算的复杂度，提高计算机的运算效率，针对原始图像数据主回波区域进行裁剪，裁剪后的图像尺寸大小为900×900，再通过压缩处理，将图像调整为尺寸大小为256×256的PNG图片。然而，处理后的回波图像分辨率降低且图像特征易丢失，为解决上述问题，对处理后的特征图像采用增强深度超分辨率网络（ED-SR）[12]重构图像分辨率，以此达到训练、检验模型的目的。

1.2 数据预处理

气象雷达在平扫过程中，受雷达站附近建筑物、山体等低空地物影响，在低仰角区域往往会产生地物虚假回波[13]。模型训练与检验过程中，地物回波会影响模型对气象回波的特征提取，从而降低气象回波预测的准确率。

如图1所示，矩形区域为多普勒天气雷达受地物杂波影响产生的地物噪声。为减小噪声对雷达回波外推模型的影响，使用非局部均值滤波算法（non-local means filter）对调整后的图像去噪。其过程为将滤波区域范围为滑动窗口大小遍历整个图像，计算滤波值点与滑动窗口中像素点的绝对差值和，将计算结果输入到指数函数中，计算权值并通过权值进行滤波操作。相比于均值滤波，该算法在去除噪声的同时保留了图像边缘的细节，更适用于处理雷达回波噪声。图2为去噪后的回波图像。

2 建立GC-ResUNet时空序列预测模型

2.1 U-Net时空序列预测模型

U-Net神经网络[14]最早应用于医学图像语义分割，该算法独特的网络结构以及强大的迁移学习能力使其被广泛应用于目标识别、物体检测等任务且取得了较好的预测效果。

相比于传统神经网络，U-Net神经网络结构有以下三个特点：（1）传统卷积神经网络由全连接层组成，其网络结构与图像输入密不可分，导致训练好的网络只能应用于相同尺寸的图像输入，网络泛化能力差。为解决此问题，U-Net神经网络使用全卷积层（fully convolution）替代全连接层（fully connection），由于其卷积核尺寸与图像输入无关，使得U-Net神经网络适用于任意图像尺寸输入，增强了网络的泛化能力。同时，全卷积网络在GPU加速的前提下网络整体运算效率显著提升。（2）传统卷积神经网络通过下采样（downsampling）操作实现图像特征信息压缩，以学习更深层次的特征信息，但在图像压缩过程中容易丢失空间信息。为解决此问题，UNet神经网络加入上采样（upsampling）操作还原像素的空间信息。（3）U-Net网络在编码器与解码器之间加入跳跃连接（skip-connection）操作，整合不同层次的特征图像信息，避免传统循环神经网络因梯度消失造成低层特征信息丢失的问题。

U-Net神经网络解决了传统神经网络时间维度信息丢失的问题，但其在卷积压缩过程中降低了图像分辨率，使得重要程度高但出现频率低的空间特征信息丢失，雷达回波图像包含大量此类空间特征。因此，U-Net神经网络对于积冰云层的预测结果与实际情况差别较大。

2.2 GCNet自注意力机制模块

注意力机制[15]（attention）源于人类视觉注意力机制，通过对不同信息分配不同权重，实现重要特征信息的提取。然而该方法仅能分析判断信息的重要程度，缺乏对空间信息的捕捉能力，面对回波区域分布密集且相关性强的雷达回波图，更需关注各回波区域之间相连的边缘信息。因此本节引入GCNet（global context network）自注意力机制[16]，对图像信息中的重要特征进行提取。

自注意力机制分为空间自注意力机制和通道自注意力机制，GCNet属于通道自注意力机制的一种。通道自注意力将像素信息压缩到不同通道内，通过计算不同通道之间的权重比达到提取重要信息的目的。具体结构见图3。

GCNet由三部分组成：

（1）建立全局上下文特征图。首先将经过特征提取后的特征图X∈RC×H×W（C为特征图通道数，H为高度，W为宽度）输入到权重参数为Wk的1×1卷积层以及非线性激活函数Softmax中，得到包含全局上下文信息大小为(H×W)×1×1的权重矩阵，然后与Reshape后大小为C×(H×W)的特征矩阵相乘，得到大小为C×1×1的具有全局上下文信息的特征矩阵(Z1)。计算见式（1）：

（2）计算每个通道的重要程度。首先将大小为C×1×1的特征矩阵Z1输入到权重参数为Wv1、大小为1×1的卷积层，得到大小为C/r×1×1的特征矩阵。其中r为参数减少值，目的是通过减少参数量提高网络的计算效率。为使模型在训练过程中更加稳定防止过拟合，在卷积层后加入层归一化LayerNorm以及非线性激活函数ReLU。然后将大小为C/r×1×1的特征矩阵输入权重参数为Wv2大小为1×1的卷积层。该卷积层的目的是计算每个特征通道的权重比例，得到大小为C×1×1的特征矩阵Z2。计算见式（2）：

式中，ReLU为非线性激活函数，LN表示层归一化，Wv1、Wv2分别为两个卷积层的权重参数。

（3）将具有不同通道权重的特征矩阵Z2与输入特征图X∈RC×H×W相乘，得到含有不同权重信息的特征图Z∈RC×H×W，计算见式（3）。

GCNet自注意力模块通过学习不同通道之间的相关信息，增加了重要信息的权重参数，突出图像中的重点信息，增强了网络捕获强对流回波的能力。

2.3 GC-ResUNet时空序列预测模型

本文提出了基于U-Net神经网络的改进模型GCResUNet，该模型继承了U-Net神经网络的结构特点，在此基础上加入自注意力模块，确保上下文语义信息完整的同时，加强图像中重要信息的提取能力。

本文利用10张连续历史雷达回波图（过去1 h）作为预测模型输入，在U-Net框架的基础上加入自注意力机制模块搭建GC-ResUNet时空序列预测模型，对雷达回波图像进行未来1 h的外推分析。首先将建立的气象雷达回波数据集按照6∶2∶2的比例划分成训练集、交叉验证集以及测试集，利用训练集训练GC-ResUNet模型，通过反复迭代优化模型参数，减小预测结果与真实数据之间的误差值；其次利用交叉验证集进一步拟合模型参数，不断更新损失函数，使损失函数稳定到一个较小的数值；最后将验证集以10张为一个batch输入调试好的GC-ResUNet模型得到未来1 h的预测结果。从雷达图像的预测结果可以判断强对流天气发生的强度及位置，进而完成对积冰云层的预测任务。

GC-ResUNet模型主要由压缩路径（编码结构）、扩展路径（解码结构）、跳跃连接结构以及自注意力模块四部分组成，具体模型结构见图4。

网络框架左半部分为压缩路径（编码结构），自注意力模块嵌入在压缩路径中。压缩路径采用自上而下结构，包含4个模块，每个模块先采用两次3×3大小的非线性卷积层和归一化层获得图像中的细节信息，然后将特征图分别进行下采样及自注意力操作。下采样压缩特征图尺寸，使得特征信息更加抽象，便于下层网络提取更深层次的边缘信息，新的特征图向下传递作为下一层网络的输入，特征图尺寸减半，通道数增加一倍。自注意力模块不改变特征图的尺寸及通道数，经过该模块后的特征图保留了原图中的重要特征信息。

网络框架右半部分为扩展路径（解码结构），扩展路径采取自下而上结构，与压缩路径相对称，也包含4个模块。每个模块先通过非线性上采样将下层特征图通道数减半，再将该特征图与压缩路径中经过自注意力模块得到的特征图拼接，合并成一个2倍大小的特征图，该特征图经过两次非线性卷积处理后，提取出包含重要特征信息以及边缘轮廓信息的特征图像。由于GCResUNet网络中每一层特征图尺寸相同，这保证了该层特征图不会因图像压缩而丢失细节信息，使得自注意力模块可以学习到原始输入图像中的重要特征信息。

2.4 评估标准

本实验所用数据集以雷达回波图为基础，为准确分析判断预测结果，本文选用气象领域常用临界成功指数（critical success index，CSI）、探测概率（probability of detection，POD）、虚警率（false accept rate，FAR）作为预测评价标准，计算见式（4）、（5）、（6）：

式中，NTP为观测发生且预报发生的总格点数；NFP为观测发生但预报未发生的总格点数；NFN为观测未发生但预报发生的总格点数；NTN为观测未发生且预报未发生的总格点数。

不同强度条件下，逐格点计算实验评分，事件发生记为1，事件未发生记为0，由此对预测得到的回波图像进行评估分析，具体判断标准见表1。

表1 类别判断标准Table 1 Category criteria

2.5 损失函数

损失函数用来衡量模型训练中预测值与真实值的差异，通过反复调整模型参数使模型的学习能力达到最优状态。对回波图像数据集中不同阈值下的格点数进行统计，弱回波区（20～30 dBz）占总回波强度区域的80%，强回波区（40 dBz以上）仅占总回波强度区域的15%左右，数据不均衡影响网络模型的特征学习能力。为解决上述问题，本文构建以均方误差（MSE）与平均绝对误差（MAE）为基础的加权损失函数，为两个函数分别配置权重参数W1=0.01,W2=1，从而提高整个回波区的预测能力。

平均绝对误差损失函数：

均方误差损失函数：

加权损失函数：

式中，yi,j、y′i,j分别表示真实回波图与预测回波图中的像素值；H和W分别表示图像的高和宽；N表示图像中像素点的数量；W1、W2分别表示MAE、MSE的权重参数。

3 实验分析

本文将历史雷达回波图分别输入GC-ResUNet以及传统光流法进行对比实验，分析不同回波强度条件下，网络模型的预测能力。实验选用Pytorch深度学习框架，根据超参数初始化设置经验，经过反复调试，将初始学习率设为10-4，动量大小设为0.5，训练批量大小设为10，训练最终迭代30万次。模型训练、测试的数据集源自2018—2020年间沿海地区雷达回波拼图资料，每张回波图间隔6 min，模型以10张（1 h）历史回波图作为输入，预测10张（1 h）未来回波图。

文中选取一组强回波天气作为个例进行分析，图5为历史10个时刻回波数据，图6为未来10个时刻真实回波数据，图7为未来10个时刻预测回波数据。从预测效果来看，GC-ResUNet模型能够预测出回波的整体运动趋势，在初始时刻对于回波的位置及强度预测基本准确，但随着时间序列的增长，模型的预测能力减弱，主回波区中的强回波在位置及强度上都未能实现准确预测，边缘区域的弱回波消失。

为检验GC-ResUNet模型在不同回波强度下的鲁棒性，本实验对该模型在20、30、40、50 dBz四种不同回波强度下的CSI、POD、FAR结果进行分析评价，图8为评分结果的趋势图。从结果来看，该模型在不同回波强度下的预测结果随着时间序列的增加，CSI和POD评分逐渐下降，FAR评分逐渐升高；随着回波强度的增强，CSI和POD评分逐渐减少，FAR评分逐渐增加。

为更好地检验GC-ResUNet算法的预测效果，将GC-ResUNet算法与传统光流法的评分结果进行定量分析，分析结果如表2、表3所示。

表3 逐6 min模型回波强度评分结果对比Table 3 Comparison of echo intensity score results for each 6 min model

表2为不同回波强度模型评分结果对比。从预测结果来看，GC-ResUNet在不同回波强度下CSI相较于传统光流法的提升幅度在0.08～0.10之间，POD相较于传统光流法提升幅度在0.06～0.13之间，雷达回波强度在30 dBz以下GC-ResUNet的预测成功率相较于传统光流法有20%左右提升，而雷达回波强度在30 dBz以上时GC-ResUNet的预测成功率相较于传统光流法提升33%～70%，表明GC-ResUNet在保证回波主体预测能力的前提下增强了重要信息的学习能力；FAR相较于传统光流法下降幅度在0.10～0.13之间，表明GC-ResUNet对于边缘信息的预测能力有所增强。

表2 不同回波强度模型评分结果对比Table 2 Comparison of scoring results of different echo intensity models

表3为逐6 min模型回波强度评分结果对比。从预测结果来看，初始时刻传统光流法与GC-ResUNet的预测成功率相差0.05，但随着预测时间的增加两者之间的差距越来越大，当预测时间为60 min时，两者的预测成功率相差0.11，表明两者在初始时刻的预测能力近似，但随着时间增长，GC-ResUNet的预测能力优于传统光流法。POD与FAR的变化趋势也都能表明GC-ResUNet对于长时间的预测能力有所提升。

从实验结果来看：（1）不同模型随着回波强度的增强预测成功率均有下降，这是因为该地区全年出现40 dBz以上的强对流天气相对较少，导致用于训练强回波区的数据少，无法使模型很好地学习到此类回波的图像特征，但GC-ResUNet网络的下降幅度小于传统光流法。虽然GC-ResUNet网络相比于传统光流法可以学习到更全面的信息，但数据特征数量上的差异还是会使网络学习到的图像特征产生偏差。（2）不同模型随着预测时间序列增长预测成功率均有下降，传统光流法的下降程度大于GC-ResUNet。这是因为强对流天气生命史短暂且具有明显的突发性，随着时间的增加，网络累积带来的误差会对预测结果带来较大影响，虽然GC-ResUNet产生的误差小于传统光流法，但是仅依靠深度学习网络无法完全捕捉到天气变换过程中的内在规律。

4 结束语

本文针对雷达回波外推问题，提出了基于U-Net神经网络与GCNet自注意力机制的深度学习模型GC-ResUNet，该模型利用雷达回波数据集进行模型训练与测试，根据积冰云层与回波强度之间的关系，完成了积冰云层的预测任务。通过与传统光流法的预测评分对比，得出以下结论：

（1）GC-ResUNet模型在训练过程中同时提取出回波图像的细节信息与全局上下文信息，并通过全局信息的权重比增强了图像中重要信息的学习能力。相较于传统光流法，改进后的神经网络结合加权损失函数，使该模型对于中低强度回波的预测能力提升20%左右，对于强回波的预测能力提升33%～70%，可以更好地完成积冰云层的预测任务。

（2）在数据集较小的情况下，GC-ResUNet发挥了比传统光流法更好的预测效果，但该模型还有很大的提升空间，可以通过增加强回波发生的比例，提升模型对于强回波区的预测能力。

（3）虽然用来解决气象任务的方法众多，但都有各自的局限性，这是由天气变化的复杂性以及天气预报的特殊性决定的。未来可以考虑将深度学习方法与基于物理机制的数值模拟方法相结合，发挥各模型的优势，提升预测效果。