APP下载

人工智能在短临降水预报中应用研究综述

2020-08-01方巍庞林王楠易伟楠

南京信息工程大学学报 2020年4期
关键词:降水卷积雷达

方巍 庞林 王楠 易伟楠

0 引言

人工智能起源于19世纪50年代,它是研究、开发用于模拟、延伸人的智慧的理论、方法、技术及应用系统的一门新的技术科学.直到19世纪80年代机器学习出现之前,人们都不知道使用何种手段以达成人工智能这个目标.在众多研究人员的努力下机器学习逐渐系统化成为人工智能的核心研究领域之一.得益于数据量的爆发式增长,计算机计算能力的提升,促使了机器学习新算法——深度学习的出现,深度学习使得人工智能的应用领域更加广泛.图1展示了人工智能、机器学习、深度学习三者的关系.

近年来,人工智能的浪潮席卷了人类生活的方方面面,目前人工智能的技术方向总体可分为计算机视觉、自然语言处理、语音识别、规划决策系统和大数据分析等.表1中介绍了这5种热点方向的主要任务和应用领域.

表1 人工智能热点技术方向介绍Table 1 Introduction of AI hotspot technology directions

将人工智能技术与气象研究相结合,能够从海量的气象数据中提取并解读有用的信息,从而发现新的气侯特征和大气运动,并且实现对天气现象更精确的预测.深度学习的快速发展以及各个领域的研究表明,深度学习算法可以对复杂问题进行建模以复制人类经验,而天气这种高度非线性和复杂性的问题可以通过学习那些由传统方法得到的判断和雷达图数据来进行研究.虽然人工智能为气象研究带来了巨大贡献,但数据驱动的机器学习不会替代物理模型,只是会起到补充和丰富的作用,最终实现混合建模[1].

本文将对气象领域中的短临降水预报的传统方法和人工智能方法进行总结,以方便进一步提高降水预报准确率、灾害天气预报准确率和灾害天气智能风险预警技术的研究和发展.

我们知道,无论是在市区交通中还是在农业系统中,甚至是在水资源规划、防洪预警中,降水预报都扮演着重要的角色.当前,利用气象数据实现对短临降水的预测是国内防灾减灾的热点和难点,提供短临降水预报成为中国气象局公共气象服务中心、墨迹天气公司等机构的服务重心,将提供未来2 h内的,空间分辨率为1 km×1 km,时间分辨率为6 min的定量预报,对提高降水预测精确度的研究是极具社会价值的.

短临降雨量预报的目标是在未来短期 (0~6 h)内,对当地区域的降雨强度进行预测,具有准确性、实时性、大规模的特性.由于天气事件本身是一个随机事件,加上降水受气候带、大气环流、地理高度、季节等多重因素的影响,所以短临降水具有高度非线性的复杂的变化趋势,因此需要高时空分辨率和高时效性的数据来训练预测模型.而实时的多普勒雷达回波外推图6 min 更新的时间分辨率和 1 km 的空间分辨率可以满足这一需求.雷达图以其测量范围较广,时空分辨率较高,能及时获取大面积降水数据的优点[2],无论是在传统的光流法中还是在基于人工智能的模型中都扮演着重要的角色.

使用雷达图进行短临降水预测主要是通过雷达回波外推实现的.雷达回波外推就是根据当前时刻雷达观测结果,推测雷达回波未来的位置和强度,以实现对强对流系统的跟踪预报.传统的雷达回波外推法如Rinehart等提出的交叉相关法(Tracking Radar Echoes by Correlation,TREC)[3],这种传统方法的数据利用率较低且假设回波是线性演变的,而实际上雷达回波是位置变化的.而使用深度学习的方法进行雷达回波外推不仅可以充分利用采集的数据,还可以学习回波图位置变化的特征,实现更加精确有效的雷达外推预报.

现代短临降水预报的方法可分为传统方法和人工智能方法,前者又主要可以分为数学模型方法和基于雷达图的方法,后者主要是机器学习和深度学习方法.无论是传统方法还是人工智能方法,基于天气雷达资料的雷达回波外推技术都扮演着重要的角色.雷达回波外推图既包含了时序信息又包含了空间信息[4],从而使用雷达数据进行降水预测可以看作是时空序列预测问题[5].采用深度学习方法进行短临降水预报提出了一种端到端的解决这种非线性复杂问题的方案.它通过多层的网络结构和非线性变换来提取低层的特征,形成抽象的高层表示,以发现数据的概率分布特征,进而对未来的降水情况进行预测.由于人工神经网络能够对非线性系统进行建模,所以使用深度神经网络进行短临降水预测具有巨大的潜力.

本文的第1部分概述了降水预报中的主要传统方法;第2部分重点讨论了机器学习方法在降水预测上的应用;第3部分总结了人工智能中最热点的深度学习给降水预测带来的贡献;第4部介绍了人工智能在短临降水预报中的研究方向.

1 传统方法

1.1 统计方法

1.1.1 物理统计模型法

该方法通过收集与降水相关的多种关联因子,并利用数据建立物理统计模型,从而对长期的降水量进行预测.所选择的因子具有一定的物理意义,利用前兆信息因子和后期信息的遥相关原理,对降水的轻重程度进行划分[6].

陈菊英等[7]提出了一种海河流域全区和9个水文分区汛期降水量的气候分布特征和长期预测的多级预报物理模型.根据多年降水量时空变化特征,采用了多种可靠实用的前兆敏感信息因子,并挑选水文站的信息进行综合分析.该模型在海河汛期旱涝预报中取得了高精度的预报结果.马振峰等[8]分析了汛期降水分布型的前期信号,提出了四川盆地三类降水分布型特征,并得到了川渝地区主汛期降水和预测中强信号的关联,建立了针对川渝地区主汛期降水的物理统计模型.

1.1.2 马尔可夫链预测模型

Markov过程是研究某一事件的状态及状态之间转移规律的随机过程,状态转移概率只与上一步转移后的状态有关,而与之前所有状态无关,即上一步的状态保存了之前所有的状态信息.马尔可夫链是时间和状态都离散的Markov过程,可以根据n时刻的状态预测n+1时刻的状态,概率最大的值即为预测结果.

冉景江等[9]认为基于绝对分布的马尔可夫链预测方法和叠加马尔可夫链预测法都具有一定的局限性,所以提出了加权马尔可夫链预测方法.该方法首先计算指标的分级标准,确定马尔可夫链的状态空间;其次根据之前时段的各指标值的对应状态得到不同步长马尔可夫链的转移概率矩阵;再次对各阶自相关系数规范化,作为各种步长的马尔可夫链的权重;最后将同一状态的各自预测概率加权和作为指标值处于该状态的预测概率.该方法充分合理地利用了信息,且预测的可靠性得到了提高.

夏乐天等[10]完善了加权马尔可夫链预测理论,讨论了各种马尔可夫链预测方法,并比较分析了各种因素对马尔可夫链预测精度的影响.实验结果表明:加权马尔可夫链预测方法的预测精度最高;样本容量的增大会提高预测的精度;指标值分级的不同对预测精度会产生显著的影响.

1.2 基于数值天气预报的方法

数值天气预报(numerical weather prediction)是根据大气实际情况,在一定初值和边值条件下,通过用数值方法求解支配大气运动的流体动力学和热力学方程组,来预报未来的大气环流形势和天气的.它具有数字化和定量客观的特点.1956年,瑞典首先开始数值预报业务实验,1969年,Epstein[11]首次提出了集合预报的思想,此后,各国纷纷建立了各自的集合数值预报业务系统.

刘瑞霞[12]为了解决云和降水在模式预报的初期阶段显著的延迟现象问题,在数值模型的基础上开展了中国风云气象卫星资料改变模式初值的研究,从而改进了短临预报精度.程丛兰等[13]研究了一种基于“外推”临近预报技术和中尺度数值模式的定量降水预报(QPE)融合技术方案.该方案首先分析数值预报和观测的偏差,导出一个附加的数值预报校正场;其次,根据数值预报校正场调整相应时段的数值预报降水区域和强度;最后,利用函数对校正后的数值模式定量降水预报和基于临近预报技术的定量降水预报进行融合.该研究弥补了基于“外推”的临近预报技术在2 h以上定量降水预报能力方面的缺陷.实验结果表明融合后的0~6 h定量降水预报结果改进较为明显,总体优于单独的临近预报技术或者中尺度数值预报模式的结果.2017年,Wu等[14]研究分析了基于数值天气预报系统(TAPEX),该系统的整体预测来自物理和动态数值天气预报模型,被用于对台湾地区提供短期降水的有效预报.他们分析了该集成数值天气预报系统对小时雨量的集成预报,对其性能进行了评价.首先计算了TAPEX中单个成员的集成预测性能,它低于传统的集成测试平均值,所以得出结论,与使用单个集成成员的预测相比,使用所有集成成员的集成均值预测具有更强的鲁棒性,从而获得更好的预测性能.在此基础上,他们提出了一种基于模拟预报原理的集成预报方法,并在一个山区流域对台风期间的短临1~6 h的降水预报进行实际应用,发现该方法可以改善非常短期的雨量预测,特别是1~2 h的.

1.3 基于雷达图的预测方法

1.3.1Z-R关系式法

通过雷达回波强度和雨强二者之间建立的关系式来估算,即天气雷达反射率因子(Z)和雨强(R)的Z-R的关系式Z=aRb,a和b为经验系数[2].

方鸿斌等[15]提出将Z-R关系本地化.由于我国新一代天气雷达的定量估测降水算法沿用的美国夏季对流云统计得到的Z-R关系式,但已经不符合荆州市本地的降水模式.他们对2014年与2015年两年主汛期5—8月共8个月的降水过程进行了统计分析,并根据最优化算法得到了适合荆州雷达汛期定量估测降水的Z-R关系.

1.3.2 降水云团外推技术

首先获取雷达反射率图像,然后根据云团外推算法进行云团外推.云团的外推指的是根据相邻时刻同一云团形成的两幅反射率因子图,计算它们之间的变化,并依此得到未来短期时刻的云团形态.

张蓉[16]从降水云团的识别和跟踪两个方面展开研究,提出了一种灰度阈值结合纹理方法识别降水云团的算法,更加准确快速地识别出降水云团区域.此外,还提出了一种全面的降水云团跟踪算法,对于位移较大的降水云团也能够正确跟踪,并且适用于降水云团发生合并和分裂的情形.实验结果表明,该识别算法的降水云团总体识别率达69%.

1.3.3 光流法

1950年,Gibson首次提出光流的概念[17].光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系,从而计算出相邻帧之间物体的运动信息的一种方法.使用光流法有着3个前提假设:1)亮度恒定不变,即同一目标在不同帧间运动时,亮度不会发生变化;2)时间连续或运动是微小的,即时间的变化不会引起目标位置的剧烈变化,相邻帧间位移小;3)同一子图像中像素点具有相同的运动.

光流法善于观察图像的变化,并利用相邻图像间的相关性获取运动信息,对其实现追踪.这与利用雷达数据对云团进行识别追踪进而完成降水预测的思想相一致.光流基本方程是由Horn等[18]在1981年通过将二维矢量场和图像灰度联系在一起得到的.在此基础上,Lucas等[19]提出了利用局部计算光流的L-K光流法:首先对整幅雷达图进行分块处理,接着对每一块区域使用加权最小二乘法估算光流,进一步提高了稳定性.2017年,香港的研究员Woo等[20]研究了香港天文台的涡流临近降水预报系统采用的用来跟踪雷达回波运动的变分光流技术,同时对比分析了3种雷达回波跟踪算法.在漩涡的第1个版本中,用于跟踪定位雷达回波的方法是Tracking Radar Echoes by Correlation (TREC),但是TREC虽能成功地跟踪个别雷达回波的运动,但在实际运动中通常只能捕捉个别降雨云团的运动方向而不能捕捉整个天气系统的大尺度运动.为解决这个问题,出现几种方法[21-22],最终旋涡选择了在2009由Wong等[23]提出的变分光流技术(MOVA),于2010年投入使用.结果表明,MOVA性能在整体上要比TREC有较大提高,但MOVA也存在着在大规模时倾向于低估回波运动矢量的速度来最优检索最小化回波运动过程的问题,这会造成过多的预报降水,因此ROVER(Real-time Optical flow by Variational methods for Echoes of Radar)被提出来解决上述问题,相比于MOVA,它有着3个方面的增强:1)具有预处理步骤,使雷达反射率图像在空间上更平滑;2)采用变型光流技术;3)采用文献[24-25]中提出的算法代替了变分回声跟踪VET(Variational Echo Tracking)[26],将Horn等[18]提出的光流方程和L-K光流法相结合,既利用了前者的密集流畅,又利用了后者的噪声鲁棒性.该算法通过采用先进的数值方法,进一步加快了计算速度,可用于实时计算.由于参数的选择会影响运动场的质量,变分光流算法的性能自然取决于所采用的参数.虽然可以为特定的地理设置推导出一组最佳参数,但这样的工作需要丰富的数据存档和巨大的计算能力来试验和探索所有的维度空间,这使参数的优化变得困难,但在旋涡系统工作的4年时间中,这组参数在大多数情况下工作得相当好.通过对比实验研究,ROVER在总体上要优于TREC算法和已知的光流算法MOVA.

2 机器学习方法

短临降水预报的关键在于对定量降水的估计(Quantitative Precipitation Estimation,QPE),QPE的精度越高,结合时间序列外推技术,就越可以实现对短临降水的精准预报.气象卫星和气象雷达可以实现通过对云的观测间接实现对降雨的估计,气象雷达由于它的高时空分辨率的优势,被广泛应用于短临降水的预报中,成为QPE的最佳间接测量方式.气象雷达一般在6 min内完成对空域的扫描,1 km的空间分辨率,通过观察发现,扫描得到的空中降水粒子产生的雷达回波,其相对应的雷达反射率和降水具有显著相关性.

对提高雷达QPE精度的研究开始于1979年Wilson等[27]的一篇关于雷达QPE在实际应用中存在的误差种类的综述.其中研究的一个主流做法是基于气象知识校正不同的Z-R关系.然而Z-R关系模型由于自身的局限性及对气候背景的强烈依赖性,使得模型的泛化能力弱,这就导致了不能大规模地在不同情况的实际应用中推广.随着机器学习理论知识的完善与发展,从机器学习角度出发的新的QPE模型应运而生.最早的机器学习QPE模型是Xiao等[28]利用近地面CAPPI反射率训练人工神经网络得到的,且其结果精度优于包括Z-R关系在内的几种技术,这也间接说明使用机器学习实现对短临降水的预测是具有可行性和可靠性的.基于神经网络的雨量估计成为解决雨量估计问题的新方法,在实际的气象雷达系统中易于实现.首次将神经网络应用于降水预测的是在1992年,French等[29]提出了一种基于神经网络的降雨强度时空预报方法,神经网络的结构很简单,是一个3层的学习网络,包括了输入层、隐藏层及输出层.通过反向传播进行训练,将输入和输出的降水信息作为一系列的数据集呈现给神经网络,结果表明神经网络可以学习描述降雨时空演化的复杂关系.2000年,Luk的研究团队利用人工神经网络(ANNs)具有模拟人类神经系统的并行分布式处理能力,解决了降雨过程的复杂性和降雨在空间和时间上的变异性难题[30],研究表明当一个最佳的空间输入数量输入到ANNs后,神经网络可以提供最准确的预测,并且延迟越小的网络性能越好.研究还发现,时间和空间的输入超过一定阈值会对结果产生影响,如15 min多站点降雨时间序列不具备长期记忆特性,在空间域上,过多或过少的空间信息被引入可能会导致性能的下降,同时他们表示时间和空间信息间可能存在着一种平衡.Valverde等[31]也在2005年将人工神经网络技术应用在对巴西圣保罗地区的降雨预测中,利用前馈神经网络和弹性传播学习算法,将ETA模型[32]中的气象变量(温位、风的垂直分量、比湿度、气温、可降水量、相对涡量和水汽散度通量)作为输入数据输入到训练好的网络中,生成下一个时间步的降雨预报,并将实验结果同多元线性回归模型的预测结果做比较,发现人工神经网络的结果全面优于线性回归模型,说明人工神经网络具有很大应用潜力,虽不能取代预报员的经验,但可以用额外的信息(除了输出模型、卫星云图等)来补充,从而减少预报员的工作强度.为了提高人工神经网络的预测能力,模型需要吸收更多的数据,如更长的预测降雨时间序列,在此情况下,数据预处理可以应用于这些数据集,如小波分析,这将减少人工神经网络输入数据的规模.

在此之后,Hong[33]于2008年以台湾北部台风期间的降雨量为例,提出了一种混合预测模型RSVRCPSO,阐明了RNNs和支持向量机(RSVR)混合模型预测降水量的可行性,同时采取混沌粒子群优化算法(CPSO)来选择SVR模型的参数.实验结果表明,该模型相较于ANN和回归模型具有非线性映射能力,因此更容易捕获电力负荷数据模式,同时SVR模型中参数的不恰当选择会导致模型的过拟合或欠拟合,而CPSO能很好地解决这个问题.与人工神经网络和回归模型相比,RSVRCPSO模型采取的是结构风险最小化策略而不是最小化训练误差策略,最小化泛化误差的上界有助于改善泛化能力.因此RSVRCPSO模型具有可靠的预测能力,为雨量估计提供了一种新的方法.2012年,韩国光云大学的研究员Seo等[34]利用如支持向量机和基于稳态遗传算法的KNN,研究了基于包装器的遗传特征选择方法,用于对朝鲜半岛南部非常短期的暴雨进行预报.实验结果表明,结合归一化的SVM分类器效果最好,一个新的数据预处理可能会带来更加精确的研究结果.在今后的工作中,可能采用多样化预测时间(1~6 h),也会使用其他的进化算法或分类算法.2013年,爱荷华大学的Kusiak等[35]基于雷达波反射率和TB级数据将数据挖掘的技术应用于对牛津流域的降水预测,对比了采用神经网络、随机森林、分类和回归树、支持向量机和K临近这5种常用于雨量估计的机器学习算法的精度,并选择精度最高的一种算法进行研究,从而进一步肯定了机器学习算法对雨量估计的重要性.2017年,Yu等[36]比较了随机森林方法(RF)和支持向量机(SVM)这2种经典的机器学习技术在雷达实时短临降雨预报中的应用,建立并比较了2种预测模型:单模预测模型(SMFM)和基于RF和SVM的多模预测模型(MMFM),SMFM使用相同的模型进行1~3 h的降水预报,MMFM使用3种不同的模型进行1~3 h的预报,根据预测性能,发现SMFMs相比于MMFMs能提供更好的性能,同时SVM-based和RF-based SMFMs都能完美地对1 h的降水进行预测,但2~3 h预测存在时滞,预测能力下降.在2 h和3 h的预报中,他们还发现基于RF的SMFM在大多数情况下低估了观测到的雷达降水,而基于SVM的SMFM比基于RF的SMFM具有更好的性能.他们使用的预测模型形式简单,仅使用了4个输入变量(前一个网格雷达获得的降雨量、经纬度和网格的高度),今后可能会考虑加入台风特性和相邻网格的降雨作为输入变量来改善预测性能.同年,Huang等[37]提出了一种改进的KNN算法,使得其对不同领域大小k的选择具有鲁棒性,尤其是在降水数据集呈现非规则类分布特点时,基于改进的KNN算法,提出一种新的降水预报方案,通过大量的测试表明所提出的模型具有较好的预报效果.同样是在2017年,印度学者Solanki等[38]发明了一种混合智能系统数组挖掘技术,由人工神经网络和适当的遗传算法组成,遗传算法主要利用了输入的类型、输入层和输出层之间的连接结构,从而使神经网络的训练更加有效.人工神经网络中,多层感知机(MLP)是执行预测任务的中心数据挖掘引擎,遗传算法使得分类器训练阶段更加高效,且计算开销更小.

2018年,Sharma等[39]提出了一种基于数据挖掘机器学习算法的监督学习模型来进行降水预测,该方法将降雨量分为低、中、高3个级别,对数据集的归一化、均值化和阈值化等功能进行了优化设计,阈值用于对降雨数据集进行分类,并用MLP分类器、朴素贝叶斯、随机森林和SMO比较了它的准确性,能在实验所选取的所有的降水数据集上取得99%的精度,具有较好的监督精度来训练数据,未来的工作将基于无监督学习查找更好的模式识别系统,具有更多的特征,如温度、湿度和地质研究等.2019年,张晨阳等[40]提出了一种基于地形的加权随机森林方法TWRF来解决雨量估计问题,该方法是随机森林方法RF的一种推广,用加权的随机森林代替普通的随机森林从而刻画反射率因子垂直廓线(VPR)的不同局部特征对于减少雨量估计误差的重要性,挖掘由CAPPI反射率表示的雷达数据到降水率之间的映射关系.同时考虑到了VPR对雨量估计精度的重要作用以及复杂地形区域降水的山岳抬升效应的影响,并对中国杭州湾地区2014年的降水过程进行了实验验证,结果表明TWRF要优于传统的气象方法和随机森林方法,且利用整个VPR和基于地形的建模有利于提高雨量估计的精度.机器学习在学习建模时往往会忽略掉气象因素对结果的影响,因此将气象的先验知识与机器学习相结合的研究势必将成为今后的研究热点.

3 深度学习方法

1964年,Hu[41]首次将人工神经网络应用于天气预测中.1994年,李滨[42]引入BP神经网络来提高月平均降水预报的准确性,实验结果表明对降水场的直接预报需要考虑多种环境因素的影响,且使用K-L变换进行预处理是不恰当的,该项工作为发现预测因子和提高准确率的研究打下了基础.1997年,Kalogirou等[43]使用了多个隐藏层的网络架构,同年Venkatesan等[44]采用不同的气象参数作为人工神经网络模型的输入来预测印度全夏季的季风雨量,并使用误差反向传播(EBP)算法训练多层网络.1998年,Lee等[45]将整个区域划分为4个子区域,对2个较大的区域使用径向基函数(RBF)网络进行降雨预测,另外2个较小的子区域使用简单的线性回归模型预测,实验结果表明RBF网络产生了更好的预测结果.1999年,吴涛等[46]提出了一种基于神经网络的外推预测垂直对撞流干燥过程降水率的方法,并给出了一种基于目标函数的一阶和二阶导数同时优化学习率和确定动量系数的方法来解决BP算法学习参数难以确定的缺点.2000年,Toth等[47]应用了3个时间序列模型,即自回归移动平均(ARMA)、ANN和K近邻(KNN)方法来预测降雨,结果表明人工神经网络的效果最好.

3.1 浅层神经网络

3.1.1 多层感知机(MLP)

郭尚瓒等[48]利用多层感知机(MLP)与光流矢量结合的模型通过多普勒雷达图组成的帧序列来实现短时降水预测.训练时该单点MLP模型的输入层为一个预测坐标点四周的(N-2)~N帧的像素值,输出层为一个0~1的实数代表未来36 min的降雨概率.他们还采用了用于多点预测的卷积神经网络模型.最后,将MLP与光流矢量融合,即在最后的输出层增加一个LR层,这个LR层输入MLP模型的预测结果和光流矢量的预测结果,通过最小化两者误差来优化整个模型.

Deshpande等[49]提出了多层感知机神经网络来预测降雨时间序列.他们从印度马哈拉施特拉邦Yavatmal收集样本数据,并用多层感知机神经网络对该降雨数据序列进行了多步提前预测.实验结果表明,与其他网络相比,测试中的均方误差、归一化均方误差以及短期预测训练数据集等性能指标是最佳的.

3.1.2 BP神经网络

Wong等[51]建立了使用人工神经网络和模糊逻辑的降雨预测模型.首先使用SOM将数据划分为子种群,将整个数据空间的复杂性降低到更均匀的水平;然后使用BPNN从每个聚类的数据中学习泛化特征.他们为每个聚类提取模糊规则,然后将模糊规则库用于降雨预测.实验结果表明,该方法与使用径向基函数网络和地形效应的既定方法取得了相似的结果.该方法的优势在于允许分析人员使用模糊规则来理解模型并与之交互.

张继学等[52]建立了逐日降水量的3层BP神经网络预测模型,主要利用BP神经网络的线性函数逼近功能.根据影响降水的18个气象因素作为模型的输入因子,以预测第2天的降水量.实验降水的预报准确率达到83.3%,表明人工神经网络在短期降水预报方面具有良好的应用前景.

邵月红等[2]利用BP神经网络估测降水量,采用BFGS 算法对常规的 BP 算法进行了改进,有效地克服了常规BP算法收敛速度慢、易陷入局部最小点等缺点.训练样本中去除使用通用Z-R关系式计算出相对误差较大的样本,模型输入为不同高度上的反射率因子.实验结果表明,BP神经网络估测精度要明显优于以改进的最佳窗概率配对法建立的Z-R关系式.

3.1.3 径向基神经网络 (RBFN)

季刚等[53]建立了一种基于径向基函数的神经网络预测模型,并将该网络应用于月降水量的预测.实验结果表明,RBF神经网络模型无论是在训练的时间上,还是预测结果上都明显好于传统BP神经网络.

Liu等[54]提出了一种基于经验模式分解(EMD)和RBF神经网络的降雨预测新模型.经过实验得出该方法在降噪和预测降雨序列方面具有很高的准确性.

3.2 深度学习

浅层神经网络对复杂函数的表示能力有限,针对复杂分类问题其泛化能力受到一定制约,且浅层神经网络在训练时容易陷入局部最小值,在测试时容易造成过拟合.而深度学习可通过学习一种深层非线性网络结构,可以用较少的参数表示复杂的函数,且具有较强的特征学习能力,对解决降水这种影响因素众多的复杂的非线性随机问题具有很大的潜力.

3.2.1 卷积神经网络

施恩等[55]考虑到雷达回波外推问题的输入与输出之间存在较强相关性,提出了一种基于输入的动态卷积神经网络结构(DCNN-I)实现雷达回波图像的预测和外推,从而解决了传统交叉相关法预测雷达外推图只利用前几个时刻数据的缺点.该网络相比传统CNN增加了动态子网络(Dynamic Sub-network,DSN)和概率预测层(Probability Prediction Layer,PPL).其中DSN即为传统CNN,用于根据输入图像序列的不同动态调整卷积核,其输出作为PPL的卷积核;PPL将输入图像序列与得到的卷积核进行一系列卷积操作得到最终外推图像.实验表明该网络有效提高了数据利用率,且准确率更高.

Zhuang等[56]设计了一种新颖的时空卷积神经网络(ST-CNN)来学习气象变量对时空邻域的依赖性,从而进行可靠的极端降水长期预报.该模型共有6层,包括2个卷积层、2个池化层和2个全连接层.他们使用多个时空张量数据作为输入,该时空数据为在m×n区域上的k个时间间隔的m×n×k长方体,输出为未来x时间内的降水量分类.实验结果表明,该模型可以充分利用时空信息,且精确度高于OSFS方法.

Zhang等[57]提出了多通道3D立方体连续卷积网络(3D-SCN)使用多源气象数据来进行对流风暴开始(CI)和增长的预测,网络堆叠连续的卷积层而不进行池化.在这项研究中,他们将降雨检测作为一个雷达回波是否大于35 dBz的分类问题,模型输入为包括原始3D雷达和重新分析气象数据的六通道数据,每个通道都为由20层2D数据形成的3D数据,并通过跨通道3D卷积进行卷积.

Klein等[58]提出了一种动态卷积神经网络,在卷积神经网络中加入一个新的动态卷积层,与一般卷积层不同的是该层的卷积核是通过一个任意深度的子网络得到的.由于卷积核是输入的函数,所以卷积核在测试时也是随着输入样本的不同而变化的.该网络使用4个连续的2D雷达反射率图像来生成下一个10 min的雷达图像.实验表明,通过使用新层,与包括常规CNN在内的其他基准相比,可以提高性能.

Agrawal等[59]将降水预测问题看作是一个图像的转换问题并且使用U-Net卷积神经网络来处理.模型虽然提供了瞬时预测,但HRRR中使用的数值模型可以做出更好的长期预测.因此将HRRR和机器学习模型这两种方法结合起来可能会实现准确、快速短期以及长期预测.该模型比光流法和HRRR数值预测法的结果更优.

Ayzel等[60]使用全卷积神经网络基于雷达图进行降雨预测,对于数据预处理采用了4种不同的转换技术,该全卷积神经网络包括6个顺序的2D卷积层,为了保留空间分辨率网络没有使用跨步并且始终使用零填充.最终得到的2个雷达图像(t-2,t-1)作为模型的输入,输出为第t个时间步的雷达图像.对于提前1 h的预测将会每12个时间步进行一次预报,并将前一次输出作为下一次输入.最后,他们使用不同的卷积核大小和损失函数进行实验,选择出了最优的组合作为基准.结果表明,该方法可与最先进的光流法匹敌.

Lebedev 等[61]分析了俄罗斯偏远地区没有雷达设施覆盖的情况,并结合NWP产品和雷达外推的优缺点开发了一种基于全天候卫星影像和雷达图的NWP模型的降水预报方法.数据的来源有3个,一个是雷达每10 min扫描一次的2 km×2 km的重构区域,一个是10个低轨地球卫星上的雷达和传感器以3 h的时间分辨率扫描全球表面10个纬度的带状区域,一个是与地球旋转同步的卫星在整个可见地球范围内不间断地观察得到云图.他们的目标是使用卫星数据重建从雷达获得的降水场,然后使用相同或相似的模型在更大的领土上进行预测.该项研究为全球预报服务铺平了道路.

3.2.2 递归神经网络

张帅等[62]构建了长短记忆网络LSTM模型,并通过时间反向传播BPTT算法更新网络权重,选用榆林市的旬降雨量数据训练网络,解决降水量的预测问题.他们通过实验比较了递归神经网络、前馈神经网络、小波神经网络、ARIMA在训练集和测试集上的表现,发现该模型较传统方法预测精度高,能够更好地描述降雨量的动态、非线性变化规律.

3.2.3 深度信念网络

张鹏程等[6]提出了一种深度信念网络模型对区域的降水量做回归预测.该模型分为多层受限玻尔兹曼机和BP网络两大部分,多层RBM层联结起来对数据进行无监督学习.他们采用了快速逐层训练的方法训练模型,模型的输入向量为与日降水量相关的7个环境因子,输出为次日24 h降水.与径向基神经网络、SVM、自回归滑动平均模型和ELM方法的对比结果表明,该模型具有更好的预测效果.

3.2.4 复合模型

Wu等[63]提出了一种基于3D卷积神经网络与LSTM融合的模型来对短临降水进行数值分类预测.该模型分为3D-CNN模块和LSTM模块,首先将前4 h的数据按时序输入到卷积神经网络中进行特征提取,然后将提取的高阶特征信息输入LSTM模块进行降水量预测.采用的数据集来自气象站观测的区域上空不同高度的多普勒雷达回波外推图,将未来降水量作为数据的标签来训练模型.最后他们进行大量实验优化网络参数,解决了过拟合和特征学习不充分的问题.

Gope等[64]提出了一种结合CNN和LSTM的混合方法.该模型使用CNN的输出作为LSTM的输入,其中,CNN和LSTM被视为独立步骤.他们没有考虑雷达数据,而是采用了大气变量,例如温度和海平面压力.

3.2.5 短临降水问题的新方法新思路

Shi等[4]创新性地提出了卷积LSTM的概念,并将短临降雨预测建模为一个可以用Seq2Seq学习框架解决的时空序列预测问题.他们将降水预测的地区划分为网格,每个格子里的数据代表某个时间间隔的降雨量,这样就形成了一个时空三维数据.通过堆叠多层ConvLSTM构建端到端的可训练模型,并形成一个编码器-解码器结构,模型结构如图2所示.传统的LSTM的输入层状态转换使用的是全连接层,没有考虑到空间上的相关性,包含了大量冗余的空间数据,而使用他们提出的卷积LSTM,不仅可以像LSTM一样建立时序关系,而且可以像CNN一样通过提取特征来刻画局部空间特征.在综合移动MNIST数据集和雷达回波图象数据集上的实验结果表明,该模型的表现优于FC-LSTM和当前最先进的ROVER算法.

Shi等[5]发现之前的工作所提出的ConvLSTM在状态转换中使用位置不变过滤器进行卷积潜在地使数据变成了时空恒定的结构,但自然界中大部分结构是会随着时间变化的,如旋转.所以他们提出了新模型轨迹GRU(TrajGRU),可以主动学习位置变化的结构,该模型构建了一个encoder-forecaster 结构,与ConvLSTM所不同的是预测器反向输出,这样可以先学习全局运动趋势再对更多局部邻域的运动细节进行预测,该模型结构如图3所示.他们还提出了新基准HKO-7.通过对比ConvGRU、不使用/使用加权损失函数训练、Conv2d、Conv3d 等几种方法,实验结果表明TrajGRU取得了比ConvGRU、Conv3d、光流法等方法更好的结果.

Kim等[65]提出了一种名为DeepRain的数据驱动的降水预测模型,结构如图4所示,该模型使用卷积LSTM(ConvLSTM)利用天气雷达数据来预测降雨量.Shi等[4]使用了三维单通道数据,而Kim等[65]使用ConvLSTM来处理三维(宽、高和深度)四通道(4个不同的海拔)数据.另一点不同之处在于Shi等[4]采用多对多的输出,而Kim等[65]使用多对一的方法.数据集中每行数据由雷达反射率和地面真值组成,雷达反射率为距101 km×101 km地面的4个高度的15个时间间隔(间隔6 min)共101×101×4×15个数字值;地面真值为网格中心50×50范围内1~2 h的降雨量.完整的数据集包括在2年期间随机选择的10 000行数据.模型按时间序列依次输入15个三维四通道数据,输出是预测的降雨量信息.实验结果表明,卷积运算可以有效地从数据中提取潜在特征,并可以进行快速训练.与线性回归相比,2层ConvLSTM将RMSE降低了23.0%.

以上论述了短临降水预测所提出的新技术新方法.由于雷达回波外推进行降水预测可以看作是一个时空序列问题,因此,这些创新性方法[4-5,55,58,60]同样可以应用在视频序列预测、交通流量管理、空气污染物的扩散预测和台风预警系统[66]中.表2对比了近年来用于短临降水预报的各种深度学习方法.

表2 深度学习各降水预测模型的概述与对比Table 2 Overview and comparison of precipitation prediction models in deep learning

4 人工智能在短临降水预报中的研究方向

从第2、第3部分的介绍中可以看出,人工智能在短临降水预测方面被证明是有效的,且在进一步提高预报精确度上有巨大潜力.通过人工智能和气象科学相结合,科学家们发现了从前不知道的气候特征和大气运动,同时还能够对气象模型做出排序和选择.现在研究气候的学者们面临着数以万计的数据需要进行处理,其中,就有人在寻求AI的帮助,以便从海量的数据里找到有用的信息,方便更好地预测天气情况.

降水预报任务与人工智能技术相结合还处于初级阶段,虽然已经优于传统模型,但在许多方面仍需要进一步研究与发展.为此,我们归纳总结了人工智能在短临降水预报中的研究方向,主要分为提高降水预报、灾害天气预报准确率和灾害天气智能风险预警技术.

首先,进一步提升短期降水预报准确率可以考虑2个研究方向:1)将人工智能技术与传统数值预报模型结合,理论驱动与数据驱动互为补充[1],联合开展人工智能技术,利用多种数值预报产品及实况观测资料,针对不同季节,开展人工智能技术在中短期降水预报中的偏差订正研究,建立分时效降水偏差订正预报模型,生成中短期降水预报产品,提升中短期降水预报准确率;2)将降水预测问题看作是一个图像的转换问题,开展2~6 h雷达外推与模式融合降水预报等技术应用研究,使用人工智能技术提高雷达外推的准确率和及时性.

其次,需要加强灾害性天气短期预报技术研究.开展基于机理分析的灾害性天气短期客观预报技术,提高灾害预报的短期预报的准确性和精细性;研究大数据、机器学习等新技术在灾害天气短期预报方面的应用.

最后,在准确率提升的前提下除了开展0~2 h智能降水预报,强天气对人类影响更为严重,所以还需开展强天气监测预报预警业务核心技术研究应用以及气象灾害风险预警技术研究.对于强天气预警技术,采用基于大数据和人工智能的强降水、雷暴大风、冰雹、龙卷风、雷电等强对流天气系统监测识别、分类强对流天气智能识别和智能报警技术,建立强天气智慧预报预警业务;对于气象灾害风险预警技术,联合开展基于动态阈值和基于物理机理的多灾种气象风险预警技术研究应用,强化中小河流山洪地质灾害气象风险预警能力,开展大数据、机器学习等新技术在灾害性天气智能监测报警等方面的应用研究.

5 总结

降水问题与人们的日常生活息息相关,提高降水预报的精确性仍是研究人员需要努力的方向.本文对短临降雨预报的相关方法进行了较为全面的综述,表3和表4对各种降水方法进行了概述并对比了各个方法的优缺点.

表3 传统方法中各种降水预测方法概括及对比Table 3 Summary and comparison of various precipitation prediction methods in traditional methods

表4 人工智能方法中各种降水预测方法概括及对比Table 4 Summary and comparison of various precipitation prediction methods in artificial intelligence methods

雷达图为近代短临降水预测提供了重要的数据支持.多普勒雷达回波外推根据当前时刻雷达观测结果,运用相关技术,推测雷达回波未来的位置和强度,如传统方法中的光流法就是一个被广泛运用的使用雷达回波外推技术进行的短临降水预测方法,大多人工智能方法也是运用雷达图外推实现的.本文将人工智能方法分为机器学习方法和深度学习方法进行介绍.机器学习部分对支持向量机、基于稳态遗传算法的KNN、随机森林、分类回归树和K临近等主要方法的扩展进行了综述.在深度学习部分中,我们总结了卷积神经网络、递归神经网络、深度信念网络和复合模型的方法,并着重介绍了在短临降水预测上提出的新思路新方法.最后,我们分析了人工智能在短临降水预报中的研究方向,以供未来研究人员参考与进一步发展.

猜你喜欢

降水卷积雷达
四川盆地极端降水演变特征及拟合
成都地区云水资源分布特征及其与降水的关系
基于3D-Winograd的快速卷积算法设计及FPGA实现
一种并行不对称空洞卷积模块①
建筑施工中基坑降水施工工艺分析
DLD-100C型雷达测试方法和应用
从滤波器理解卷积
雷达欺骗干扰的现状与困惑
雷达
Cloud seeding