深度学习研究现状及在延伸期预报上的潜在应用初探

游立军 翁彬 高建芸

（1 福建省灾害天气重点实验室,福州 350007;2 福建省气象信息中心,福州 350007;3 福建师范大学,福州 350004;4 福建省气象科学研究所,福州 350007）

0 引言

与相对成熟的天气预报和气候预测相比，延伸期预报尚处于起步阶段，尤其强降水过程的延伸期预报非常困难[1]。大量研究表明我国汛期雨带存在次季节变化进程，伴随雨带停滞的持续性强降水往往导致严重经济损失，提高延伸期的预报能力意味着可以为决策部门的提前部署提供更有价值的参考，据2015年美国波士顿咨询集团的报告，仅在能源行业其预先部署的投入产出比就在1∶1.6至1∶2.0。同时，随着机器学习技术的快速发展，其在模式降尺度、厄尔尼诺南方涛动（El Niño-Southern Oscillation，ENSO）预测和延伸期集合预报等方面均表现出较强的能力。本报告重点关注深度学习技术、国内延伸期预报的现状，讨论结合深度学习和现有气象资料产品开展延伸期预报的潜在研究方向。

1 深度学习的研究现状

1.1 深度学习的主要技术

深度学习是机器学习的一个重要分支，其以几乎可以逼近任何函数的能力而闻名，在众多研究领域都取得了突破。虽然传统的神经网络和深度学习之间的最大区别在于网络深度不同，但后者学习复杂数据表示的能力是经典模型所做不到的[2]。深度学习的根基是人工神经网络[3]，它的最基本架构是深度神经网络（Deep Neural Networks）。卷积神经网络（Convolutional Neural Network，CNN）通过每一层上的滤波器提取输入的各种局部特征[4]；残差神经网络（ResNet）通过提高网络中反向传播的有效性，从而让深层网络的叠加成为可能[5]；循环神经网络（Recurrent Neural Network，RNN）[6]将一层的输出与新的输入一起反馈到同一层中，使模型能够处理序列中上游和下游之间的依赖关系，与CNN主要用于空间特征提取不同，RNN的主要用途是时间序列数据处理；为提高对长序列数据的学习能力，RNN已经有不少变体，其中最常见的是长短期记忆（Long-Short Term Memory，LSTM）[7]和门控循环单元（Gated Recurrent Unit，GRU）[8]。虽然LSTM和GRU相比基础的RNN已有了对时间序列的更强学习能力，但它们在处理长序列时仍然存在计算量大和长期信号遗忘等问题。注意力机制通过自上而下的信息选择来过滤掉大量的无关信息，从而在关注最重要的信息的同时[9]，实现了对长序列数据的更高效处理。目前，注意力机制已经成为自然语言处理（Natural Language Processing，NLP）的一个标准工具。

1.2 集合深度学习的研究现状

虽然深度学习越来越多地表现出超越人类专家的预测精度，但是深度学习模型并非没有缺点：它们经常表现出高方差，并可能在训练过程中陷入局部损失最小值。事实上，结合多个深度学习模型的集合方法已被证明比单一模型具有更好的通用性[10]。最具代表性的集合深度学习大致可以分为三类：多模型集合，单模型内部集合与单模型分支集合。其中，多模型集合更适合于次季节至季节（Sub-seasonal to Seasonal，S2S）的多模式数据和集合预报。多个独立的深度学习模型的聚合，是集合深度学习最直观的方法。然而，若把模型不加筛选地集合，其效果不一定最优。有文献发现提升单个模型的多样性有助于增强集合效果[11]，目前采用的主要策略有：提高各个基础模型之间的负相关性[12]，这样可以让不同的基础模型对训练数据进行互补学习，从而使得集合后的模型通用性更好；另一种方法是采用多选择学习，即每个模型在训练阶段都＂专门＂处理特定的数据子集[13]。

1.3 深度学习在前兆信号搜索及预测方面的应用

深度学习在视频轨迹预测和运动预测等方面已经得到了广泛的应用[14]，这些应用采用的主流技术是利用CNN提取前兆信号特征，然后通过LSTM或GRU将这些特征更新迭代并用于预测[15]。最近，注意力机制在视频信号识别方面也展现出了强大的潜力，它通过识别不同视频帧间不同区域的前兆信号，完成包括视频对象分割[16]和动作识别[17]等各种端到端任务。

大气运动同视频信号一样具有时空连续性，因此相关技术在气象领域的应用也引起很多研究兴趣。一类典型的应用是通过雷达回波外推预测短临降水，采用的主要技术包括CNN[18]、将一部分连接替换为卷积的LSTM[19]和GRU[20]；应用于气候预测的CNN模型也取得了较好效果，Ham等[21]、Hu等[22]构建的机器学习模型将Nino3.4指数预测能力拓延到18～20个月，Ye等[23]验证了注意力机制可有效改进CNN对ENSO的预测效果；深度学习技术在S2S降水预报方面也已崭露头角，Parviz等[24]采用的人工神经网络（Artificial Neural Network，ANN）与自回归移动平均（Autoregressive Integrated Moving Average，ARIMA）混合模型方案显著减少了次季节降水预报的误差，Jin等[25]利用残差神经网络将次季节高温预报技巧提升了8%～50%；Weyn等[26]结合立方体球面网格和CNN开发的全球预报模型，通过处理300多个集合成员数据实现了对多种关键大气环流未来6周逐6小时滚动预报，虽然其预报准确度总体上略弱于欧洲中期天气预报中心（ECMWF）的确定性预报，但体现出了计算性能上的巨大优势。

2 延伸期预报现状

2.1 动力模式产品应用现状

为了填补天气预报和气候预测之间的“鸿沟”，促进2周至2个月时效的预报研究及应用，国际S2S计划在观测系统研究与可预报性试验（THORPEX）和气候系统历史预报项目（CHFP）基础上逐渐发展。目前，全球11个预报中心已公开发布30～60天不等的逐日预报产品，同时提供了14～30年的历史回报资料[27]。现有的研究表明，S2S模式对气温降水要素和主要指数的预报技巧在1～4周之间且与ENSO和热带大气低频振荡（MJO）信号的强度和位相关系明显。如：Zhou等[28]的研究表明模式对我国冬季地面2 m气温的预报能力可达3～4周，模式对MJO的预报能力通常可达2～4周且对西太平洋地区的预报偏强[27,29]，对BSISO1（BSISO2）指数的预报能力在6～24.5天（6.5～14天）[30]。作为提高模式预报准确率的有效途径，多模式集合（Multi-model Ensemble，MME）同样适用于S2S模式，Wang等[31]应用MME方法分别预报我国北方夏季周降水和热带西南太平洋次季节尺度降水，提高了延伸期预报的可靠性。总之，基于S2S模式产品的应用研究尚处于起步阶段，其与实际需求间存在较大的差距。

2.2 国内延伸期业务现状

除动力模式外，经验统计和低频图等方法在延伸期预报业务实践中得到普遍使用[32-35]，例如，国家气候中心业务使用的动力延伸方法[36-37]和时空投影方法[38]；低频流场模型或季节内振荡信号模型在上海广东等地暴雨延伸期预报上的应用[39-41]；本着边研究边应用的原则，福建气象部门利用低频特征分析和时空投影模型等方法，自2011年起开展前汛期暴雨、台风的延伸期预报技术研究及应用[42-45]。虽然这些方法在现阶段为延伸期决策气象服务提供了有力支撑，但仍有较大的改进空间。

3 总结与展望

在延伸期时段，大气的初始信号已经减弱而其对外强迫的响应还未建立，因此延伸期预报的难度更大。目前，深度学习在延伸期降水预报中的应用研究还不多见，但在实况再分析产品和S2S模式预报产品不断丰富的背景下，深度学习这一数据挖掘建模利器的作用也必将不断显现，下面结合前期研究的体会，提出以下几点深度学习模型应用于延伸期降水预报的思考以抛砖引玉：

1）结合延伸期预报机理。实践和研究证明不同时空尺度的次季节振荡是延伸期预报的可靠信号源，然而经典CNN模型假定了图像的平移不变性、RNN模型对长时间序列特征的提取能力有限，直接应用这两种结构很难取得进展；近两年，注意力机制在视频研究的各个方向取得了成功，应用其具备的长序列建模能力提取大气中不同时空尺度特征或许是一个不错的选择。

2）克服降水样本的不均衡。降水的分布呈现不均衡性，延伸期时段注重的持续性降水事件更是呈现出极度不均衡的特征：从时间序列的角度看，大量的降水是在极短的时间内完成的，而其他时间段则无雨或少雨；从空间分布的角度看，大量级的降水往往集中在某个局部区域，而其他地区则无雨或少雨。如何克服不同级别降水样本不均衡的困难，更好地从历史数据中学习到极端降水的特征表示值得深入研究。

3）结合预报对象特点。如果将降水过程作为延伸期时段的预报对象，那么过程起止时间、降水强度、影响范围等是重要的评价指标，然而目前的深度学习模型在训练过程中无法及时反馈这些指标，从而影响模型性能。如何根据预报对象的特点设计损失函数来更有效地引导模型的训练也是值得考虑的问题。

4）多模式深度集合学习。在集合学习方面，目前的工作还没有考虑到参与集合的模式之间的相关性，也没有对模式进行排序和筛选，因此如何更好地进行模式集合还有待深入探索。

总之，将深度学习这一新兴工具应用于延伸期降水预报还有很多方法和技术需要探索，有幸的是这种探索不用从零开始，我们可以应用机器学习及动力气象预报模式的最新成果和成熟经验，推动相关研究不断深入。