机器学习在气象领域的应用现状与展望

杜智涛 姜明波 杜晓勇 周育峰 王鹏宇 张志标

(北京应用气象研究所，北京 100029)

引言

近10年来，随着信息技术和智能算法技术的突破，人工智能(AI)技术呈现出加速发展的态势，特别是在机器学习、图像识别、大数据分析等技术上产生了相当成熟的成果。在气象领域，各国为推动人工智能的相关应用开展了大量工作。2020年2月，美国国家海洋和大气管理局(NOAA)正式发布了人工智能战略，围绕建立有效的组织结构和流程、推进人工智能研究和创新、加快AI研究与应用、加强和扩大人工智能伙伴关系、提高员工对人工智能的理解程度等方面提出了战略目标[1]。英国气象局为了研究云计算、人工智能等新技术在气象领域的应用，成立了信息实验室，并与美国亚马逊公司合作研发数据存储、云计算技术，与微软公司合作研发AI技术等[2]。国内气象界也在积极探索将AI技术与气象业务科技发展相结合，并在业务中积极尝试[2-3]。

机器学习在气象领域的应用主要是机器学习相关算法和模型结合气象应用不断调整和优化。机器学习的算法很多，一般根据学习方式分为监督学习算法、非监督学习算法和强化学习算法[4]。监督学习算法常应用于分类问题和回归问题。常见算法有逻辑回归(Logistic Regression)、神经网络(Neural Networks)、朴素贝叶斯分类器(Naive Bayes Classifier)、决策树(Decision Trees)、线性回归(Linear Regression)等。非监督学习算法常应用于关联规则的学习以及聚类等，常见算法包括k-Means，自动编码器(AE)等。在强化学习算法中输入数据直接反馈到模型，模型必须对此立刻做出调整，常见的应用场景包括动态系统以及机器人控制等,常见算法包括Q-Learning等。机器学习在地球科学中的应用是近年地学研究的热点，Reichstein等人给出了机器学习可以对应的典型地学研究的应用场景，包括分类问题，融合问题，短临预测问题，时间序列建模问题等,如图1所示。

图1 四个深度学习典型的应用情景(a,b,c,d)，对应的地球科学问题[5]应用场景(e,f,g,h)

本文从气象观测、数值天气预报、强对流天气识别预警以及卫星资料应用四个方面对机器学习的应用情况进行评述，最后对机器学习在气象领域的发展进行展望。

1 气象观测

1.1 常规地面观测

随着越来越多的智能手机具备测量大气压力、温湿度等环境参数的能力，许多公司和个人开发了可收集智能手机压力和位置的Android应用程序[5-6]，例如Cumulonimbus公司开发的Pressure-Net应用程序，目前每小时在全球范围内收集数以万计的地面压力观测值。美国国家强风暴实验室(NSSL)提供的“近地气象现象识别”(mPING)网络[7-8]可以让人们实时报告气象观测参数，其目标是将市民、天气预报员和研究人员聚集在一起，实现气象观测的众包，最大限度地提高观测的覆盖率。这些基于物联网(IOT)的气象探测手段极大提高气象观测在空间上和时间上的精度与密度，但如何将不同物理特性的传感器测量数据进行融合、校准，提升数据精度，实现业务化应用是一个关键，因此利用机器学习算法对IOT数据进行训练和校正就是一个重点方向，Burton和Hu等[9-10]也提出了基于机器学习的格点统计插值方法来对气象传感网数据进行融合处理。Madaus等[11]使用中尺度预报模式对基于智能手机的区域压力测量结果进行了分析评估。Liu等[12]提出了基于离散小波变换和后向传播神经网络(BPNN)相结合的数据修正模型，离散小波变换算法负责将采集到的数据进行滤波，BPNN被用来训练采集数据与标准数据之间的关系。

1.2 天气现象图像观测

基于图像的天气现象识别分类核心在于高效准确的特征提取与表达，并构建合理的分类器。Zhang等[13]构建了任意背景的多类天气图像数据库，提取局部特征和全局特征，并利用多核支持向量机方法(Mutiple Kernel Learning，MKL)进行分类；Tan等[14]提出了一种三通道卷积神经网络(3C-CNN)模型(图2)，首先利用ResNet50分支从整幅图像中提取全球天气特征，然后通过Concat函数将全局特征和局部特征进行融合，最后，使用Softmax分类器对图像进行分类，并输出识别结果。Huang等[15]采用卷积神经网络技术对南岳站结冰现场实验的摄像机图像进行建模和训练，并通过摄像机图像对识别结果进行检验，该方法可为冰雪天气现象的自动观测提供重要的技术支持。

图2 Tan等人提出的三通道卷积神经网络结构[14]

1.3 天气雷达观测

由于气候、硬件故障等多种因素的影响，天气雷达经常会产生异常的雷达回波信号，从大量雷达数据中人工识别异常是一项繁重的工作，因此，实现雷达数据中异常回波图像的自动识别具有重要意义。在天气雷达回波异常识别方面，许多学者做了大量的工作，其中一些是基于经典的图像处理方法实现了识别，例如，Chen等[16]提出了一套通过提取纹理特征来处理雷达异常回波的方法，该类方法的主要缺点是复杂和效率低。Yang[17]提出了一种结合经典图像处理理论和深度学习的异常识别方法，该方法主要包括坐标变换、积分投影和深度学习分类3个部分，该方法能够提升对异常雷达回波图像的甄别率，同时计算速度非常快。香港科技大学施行健等[18]基于雷达回波外推方面开展了深入的工作，并基于此技术进行了短临降水预测(图3)。

图3 施行健等人采用的RNN解码预测结构[18]

在雷达数据质量方面，目前主要关注的是消除非气象回波的质量控制算法，例如异常传播和地杂波，这些噪声的反射率比较高[19-20]，但长时间存在的低反射率噪声，如生物目标造成的污染，很难去除，这种低反射率的噪声如果长时间累积，就会在估计降水量方面造成重大问题。随着偏振多普勒天气雷达的广泛部署和运行，Lakshmanan等[21]提出了利用偏振极化变量进行质量控制的方法。

在雷达图像识别方面，对双偏振天气雷达回波的水凝物分类进行分类也是一个重要方向，冉元波等[22]提出了一种利用深度学习和模糊逻辑算法进行联合判别的水凝物相态识别方法，这种采用深度学习方法对降水粒子进行初次聚类，再利用模糊逻辑算法实现精确聚类的方法，可大大提高水凝物识别准确率。

2 数值天气预报

英国信息技术专家罗伯托·齐卡里撰文指出[2]，探索机器学习和数值模拟的组合不仅可以促进天气预报能力的进步，也会推动机器学习领域的创新研究。现在比较关注的领域是使用机器学习工具加速数值预报流程的各个环节[23-24]。本部分主要围绕数值天气预报从观测数据准备到临近预报和数值预测后处理数值的整个流程介绍机器学习算法的应用。

2.1 数据获取

由于覆盖范围不完整或由于传感器问题，通常需要填补卫星图像的间隙。Chang等[25]使用极限学习机(ELM)方法来填补中分辨率成像光谱仪(MODIS)反射率数据中由于云量造成的空白，ELMs调整速度很快，因为除了输出层权重外，ELMs的权重都是随机的，但是ELMs的精度通常低于其他架构[26]。Vladimir等[27]使用浅层人工神经网络填补了全球海洋彩色图像中的空白。

2.2 数据预处理和反演

目前一个比较有影响力的试点项目是MIIDAPS-AI，该项目将多仪器反演和数据同化预处理系统(MIIDAPS)集群算法与AI算法融合[28]，使得不同来源的数据在拟合度、空间连贯性和参数间相关性方面得到进一步增强，另外采用AI算法后运算速度也得到了较大提升。

2.3 数据同化

当前的数据同化系统中，需要考虑观测值之间的相关性，为了缩短处理时间，仅使用了小部分的可用观测值，通过机器学习算法可以加快数据同化的过程。例如，Chevallier等[29]将正向模型的快速机器学习仿真用于卫星测量数据的直接同化，Krasnopolsky等[30]也将机器学习算法应用于瞬时垂直传播地面观测资料。

2.4 短时临近预报

Iskenderian等[31]在卷积神经网络(CNN)框架中融合来自闪电传感器、卫星图像和数值天气预报模型输出的数据，创建了无缝天气雷达图像和12 h的短时预报。Shahroudi等[32]在CNN中结合图像和数值天气预报输出预测了18 h热带气旋路径和强度。Shi等[33]开发了一种CNN和长短记忆神经网络(LSTM)的组合用于降水临近预报的短期外推法。Google公司的Sonderby等[34]提出了深度学习降水预报模型MetNet(图4)，实现1 km空间分辨率和2 min时间分辨率下全美国范围内提前7～8 h降水预报，超过了NOAA使用大气模型结果。Qiu等[35]提出一种多任务卷积神经网络用于降水量短期预测，考虑到不完整的观测以及临界点对其造成的影响，该模型利用多个观测点的相关性进行预测，结果优于一系列基线模型。然而，对于中小尺度对流系统的定点预报目前还有很大难度。

图4 深度学习降水预报模型MetNet[34]

2.5 中短期预报

机器学习仿真已被用于取代传统的次网格尺度的数值天气预报模型物理参数化，如辐射传输、对流、微物理和超参数化等[36-38]，在适当的情况下，基于物理学和基于机器学习的技术的融合提供了直接而强大的途径来推动天气预报领域发展[39]。Tompson等[5]开展了融合方法的探讨，使用CNN加速了不可压缩Naiver-Stokes方程的求解，以解决泊松方程在前进时间步的压力，这也是强制执行物理约束的示例。疏杏胜等[40]利用ANN、ELM以及SVM模型对桓仁水库流域未来1～3天降雨进行多模式预报，提高了预测的精度。国防科技大学的陈睿[41]提出了一种基于深度学习的台风时空深度混合预测模型，在台风24 h形成预测实验中，最高准确度达85.2%，展现了机器学习在极端天气中短期预报中的强大能力。

2.6 预报后的处理和校正

机器学习可以很好地检测、评估和纠正基于物理模型的错误，使大尺度模型的预报适应当地条件，并非线性地对预测集合进行平均。对于集成预报系统，机器学习方法被认为是纠正偏差和传播的有力工具[42-43]。Rasp等[44]将该技术应用于德国的2 m温度集成预报，与标准线性回归技术相比获得了较好的改进。

3 强对流天气识别预警

机器学习和数据挖掘方法通过将模型输出与观测值融合，从而在预测模型中相关信息为预测者和用户提供额外的决策支持，目前已在强对流天气的监测预警中广泛应用。

当前主流强对流天气监测预警方法大多基于相关物理变量，由专家先验知识给出。Liu等[45]实现了基于卷积网络的强对流监测预警方法，尽管该方法对辅助强对流检测提供了有效帮助，但该方法需要大量标注数据，而实际过程中，强对流有多种不同表现形式，如飓风、气旋等，实现完全标记需要耗费大量人力物力财力。为此，Racah等[46]提出基于半监督时空自动编码器的强对流检测方法，通过多通道时空编码—解码器刻画数据特征，用于拟合多通道数据、时域变换数据以及无标记数据的重构，实现判别式特征提取，从而实现强对流天气监测。路志英等[47]提出基于物理量参数和深度学习模型深度神经网络(DBN)的短时强降水天气识别模型，核心是通过将含有高斯玻耳兹曼机的深度学习模型对大气监测站逐小时加密的观测量，以及常用于天气预报分析的物理量等低层特征构造出抽象的高层特征。刘新伟等[48]基于LightGBM算法，利用甘肃3个地区的C波段雷达回波产品及地面观测数据，分类并识别了3类主要的强对流天气(冰雹、雷暴大风、短时强降雨)，表现良好，整体误判率仅为4.9%。王兴等[49]以雷达回波图像和表征回波移动路径的光流图像作为输入，通过深度神经网络的自学习，判断是否发生强对流天气。周康辉等[50]梳理了机器学习在强对流天气监测、短时临近预报、短期预报等领域的应用和存在的问题，并指出机器学习方法能够更有效提取高时空分辨率的中小尺度观测数据的强对流特征，能够有效综合应用多源观测数据、分析数据和数值预报模式数据，能够有效对数值模式预报进行释用和后处理, 提升全球数值模式、高分辨率区域数值模式在强对流天气预报上的应用效果。Han等[51]建立了一个支持向量机(SVM)的多普勒雷达回波预测系统，系统结构如图5。

图5 基于支持向量机的预测系统[51]

3.1 冰雹

在冰雹云监测预警方面，常规方法是对冰雹云雷达回波的三维结构特征进行总结，建立冰雹云的特性模型，并将特征用定量指标予以描述[52-53]，或者利用双偏振雷达的特殊性能进行判识[54]，这些研究成果己经在很大程度上推进了冰雹云的自动识别和临近预报。近年来采用人工智能方法，融合雷达反射率数据、闪电探测数据以及ERAS再分析对流指数数据等进行分析预报，可以极大地提高了模型的鲁棒性，并降低误报率。Pullman等[55]研究了基于卫星图像的冰雹检测、预警新技术，该技术采用了主流深度学习网络。张文海等[56]以雷达回波反射率的垂直和水平扫描数据为基础训练集，将冰雹云的雷达反射率扫描数据作为正样本，将其他雷达反射率扫描数据作为负样本，通过贝叶斯分类法对正、负样本数据集进行机器学习，训练人工智能识别冰雹云内在规律的能力。

3.2 强风

针对卫星数据的气旋风的跟踪预报，Kovordanyi等[57]较早开展了基于神经元网络实现了气旋风的跟踪估计。Zhang等[58]基于卫星图像序列，根据当前和历史卫星图像，通过卷积网络提取与最具判别性的视觉特征，通过计算云的局部运动信息实现了短时大风预报。Hong等[59]在卫星图像基础上，提出一种新型专用于台风中心跟踪的卷积网络，该网络用于提取台风中心显著判别特征，基于线性回归模型从而实现台风中心预测。Rüttgers等[60]利用最新生成对抗网络技术，实现了针对遥感卫星数据对台风未来6 h轨迹跟踪。

3.3 闪电

当前主流基于卫星数据的闪电预测方法都基于不同光谱通道的亮温观测，一旦该观测达到某一设定阈值，即推送闪电预警。Booysens等[61]利用卫星时序数据，研究了K-means方法、决策树方法、朴素贝叶斯方法在闪电检测和预警方面的效果。Schon等[62]提出多种基于决策树技术和神经元网络技术的卫星图像雷电预警技术，是近年来较为先进的人工智能方法，该技术核心是将卫星图像的二维光流误差信息作为决策树、神经元网络的输入，并且认为光流误差是形成闪电对流的主要影响因子，作为卷积网络的输入，实现了未来15 min雷电精准预警。

4 卫星资料应用

4.1 卫星图像的检测、识别、分类和预报

云检测识别是利用云和晴空像元在不同光谱段上辐射特性的不同，采用多通道辐射信息，将卫星观测像元分为有云像元和晴空像元[[63]。目前已利用神经网络、支持向量机、迁移学习、卷积神经网络等方法开展了广泛的卫星图像云检测工作[64]。Ting等[65]提出一种多特征融合方法，通过融合谱特征、纹理特征和归一化植被指数特征，用支持向量机(SVM)对高分卫星图像进行检测。多特征融合方法是有效的，但其最大的问题在于特征提取方法需要很强的先验知识，因此，云检测准确率在很大程度上依赖于底层特征选择，为解决此问题，Shi等[66]和Cai等[67]分别提出基于深度网络的方法，通过网络自动挖掘云层的潜在判别信息，卫星图像首先通过线性迭代聚类转换为超像素子区域，网络对每个子区域分别检测识别。Li等[68]提出一种多尺度卷积特征融合技术，采用自动编码器模型提取多尺度、高层空间特征，不同层特征融合后，通过主流卷积网络可以实现云检测分割。

云、雾、雪底层颜色特征和局部纹理特征的相似性，使得如何区分三者之间形态也是当前人工智能技术的发展方向[63-64]。Egli等[69]提出基于多元混合数据和随机森林的雾检测方法。Xie等[70]提出多分支深度网络方法，每个分支在多尺度上分别进行厚雾、薄雾、无雾的检测识别。Varade等[71]提出基于稀疏表示和字典学习的积雪覆盖区域变化识别方法，该方法比基于支持向量机的方法效果有明显提升。

黄小燕等[72]建立了相应时间系数的Shapley-模糊神经网络集合预报模型，进一步预报得到的各时间系数与空间向量合成，重构得到未来时刻的卫星云图预报图，实现了云图6～72 h的长时效客观滚动预测。李德俊等[73]对湖北省多年的冰雹过程卫星云图数据进行了分析和处理，并利用外推预报的方式对冰雹云系进行了预报，结果表明其准确率比主观识别方法的要高。

4.2气象要素反演

4.2.1 降水

卫星遥感提供的全球尺度的高分辨率卫星降水产品，是对地面测量网络的稀疏和不均匀的有限补充，同时可以对气象雷达降雨量进行验证。为了实现降水的精确反演，通常需要综合利用静止轨道卫星数据、长波红外、水汽通道和降水雷达数据等多通道数据[74]。目前已经形成了许多基于光学卫星的降雨反演技术[75-77]。Tao等[78]使用堆叠式降噪自动编码器(SDAE)和PERSIANN(人工神经网络)来估计GOES卫星图像的大规模降水，与三层神经网络模型和PERSIANN-CCS(人工神经网络-云分类系统)模型相比，PERSIANN-SDAE(人工神经网络-自动编码器)模型可以有效地捕获降水事件的形状和峰值，并估算降水分布。Tao等[79]还利用具有4层全连接DNN(深度神经网络)的SDAE架构来提高卫星降水产品的质量。

4.2.2 云顶高

云顶高对于确定地面的长波辐射和航空安全非常重要。目前利用一些常规的星载成像仪，例如AVHRR(甚高分辨率辐射计)，HIRS(高分辨率红外辐射测深仪)，MODIS(中等分辨率成像光谱仪)和VIIRS(可见红外成像辐射仪)已经形成了一些云顶高的气候数据集[80]，由于大多数基于被动遥感的云顶高反演方法都涉及辐射传递模型(RTM)，并且通常在多云的天空中辐射传递模型具有很大的不确定性[81-82]，因此云顶高反演的准确性有限。与卫星被动遥感载荷相比，CALIPSO卫星任务上搭载的激光雷达CALIOP可以使用激光返回信号来更高精度地反演云顶高，这个云顶高可以视为被动遥感反演云顶高的真值[83]，但其时间空间分辨率有限。目前比较有意义的一个尝试是利用机器学习算法将CALIPSO雷达数据和日本Himawa-8/-9的Himawari成像仪(AHI)数据进行融合，以提供高精度的云顶高数据，MIN等[84]基于CALIPSO雷达数据对四种深度学习算法进行了比较，另外还开发了一种联合算法，将最优机器学习和传统物理(TRA)算法相结合，进一步降低了云顶高误差。

4.2.3 气溶胶光学厚度

气溶胶光学厚度是重要的大气变量之一，对于气溶胶光学厚度反演目前一般有两种思路。第一种思路是不考虑气溶胶物理性质的情况下，直接利用神经网络模型建立卫星辐射特性与气溶胶光学厚度之间的模型，神经网络输入主要是卫星辐射亮度，辅助变量包括太阳观测、云量和植被覆盖等。Vucetic等[85]应用集合神经网络模型，在0.47～2.1 μm之间选择7个波长的MODIS辐射、太阳观测、散射角度、云等作为输入参数来反演气溶胶光学。Kolios等[86]也利用Meteosat卫星图像光谱中心分别为8.7 μm、10.8 μm和12 μm的通道的亮度温度进行了类似的尝试，反演结果与地面实测结果有较好的一致性。另一个思路是建立包含气溶胶物理特性的神经网络模型，Taylor等[87]将复杂折射率、单散射反照率、粒径分布等气溶胶参数引入神经网络模型，发现该模型在撒哈拉地区表现良好。

5 发展展望

从历史上看传统的气象科学领域属于物理建模范畴，与人工智能为两个不同的领域，具有理论驱动与数据驱动两个截然不同的科学范式，然而两种方法实际上是互补的。理论驱动方法原则上可以直接解释并提供超出观测条件的外推潜力，而数据驱动方法在适应数据方面具有高度的灵活性并且易于发现不确定性问题中的新模式。除此之外，机器学习在气象领域中的应用还存在如下挑战，可解释性、物理一致性、数据的复杂与确定性、缺少标记样本、以及计算需求。

从目前机器学习在气象领域各个方向的应用情况来看，具有以下显著优势[88]：①计算效率。机器学习模型通常比原始的基于物理方程的确定性模型快几个数量级。②准确性。一旦有了具有代表性、精确性的大量训练数据集，机器学习模型可以比传统的参数化过程更精确。③可移植性。其他相关领域的机器方法的进展和成功可用于解决气象领域的类似问题。④协同作用。由于每一种方法都存在不同的优缺点，机器学习和传统方法可以协同使用，通过实现最佳的组合提高模型计算的结果，如提高模型分辨率，扩展预测范围，增加集成规模等等。⑤适用性。机器学习技术可以适用于多种情形，例如,变量没有包含物理基础模型的情形；变量受到物理约束的情形(如守恒定律或平衡方程)；非线性过程；非高斯观测误差的情形；对真正的物理过程知之甚少的经验数据的情形。⑥易用性。现代机器学习技术与现代编码语言和机器学习框架相结合，例如基于Python的Tensor Flow和Keras，使得当前的工具比以前的版本更强大、更容易使用。

但我们也应该清醒的认识到理论与观测、假设生成与理论驱动、假设检验之间的科学相互作用将继续存在，数据驱动的人工智能方法在气象科学研究中不会取代物理建模，而是对物理建模强有力的补充和丰富，即研究物理和数据驱动模型之间的各种协同作用，其最终目标是混合建模方法，这些方法应遵循物理定律具有概念化和可解释的结构，同时在理论薄弱的情况下完全适应数据[89-90]。因此，下一步的发展中这两种方法之间的协同作用应受到更大的关注，未来的气象模型应该整合基于物理过程的和人工智能的方法，同时随着人工智能计算能力不断提升，算法不断优化完善，机器学习在气象科学应用中还将具有以下潜力：①有可能改变传统的气象观测模式，目前地面气象观测已经基本从传统的人工观测转为自动观测模式，随着人工智能和机器学习的发展，基于物联网“数据众包”的地面气象观测模式将为成为现实，另外，基于图像识别的天气现象观测仪器将会快速发展。②加速和改善气象观测数据的处理，目前来自卫星的数据量显著增加，特别是小卫星和载荷搭载的商业天基数据呈现快速增长的趋势，需要开发新的机器学习质量控制，空白图像填充，卫星数据反演算法和程序对这些数据进行快速处理。③进一步改善数值天气预报质量，包括改进模式的参数化方案、改善数据同化能力、加快并改善数值模型中的模型物理、 改进模型后处理能力等，以及进一步提高雷达、卫星图像等的图像识别能力，通过图像识别改进台风等极端天气型的分类和异常检测，改进临近预报能力。④进一步推进地球科学的交叉融合[90]。人工智能特别是深度学习可以为地球系统各组成部分构建新的物理-数据联合驱动模型，从而重新建立我们对地球的理解，这将有利于地球科学中大气科学、地理学、地质学等学科从发展理念、算法建模、仿真应用等方面集成和协同发展，同时进一步推进各学科的深度融合。