多时段、多近邻处理的网格化气象预报神经网络模型研究与应用
2022-05-11张烨方吴生灿
刘 冰, 张烨方, 吴生灿, 朱 彪
(1 福建省气象灾害防御技术中心, 福州 350008; 2 福建省南平市气象局, 福建 南平 353000)
0 引 言
人工智能在数据分析和处理方面具有的显著优势,使其在气象领域的应用受到极大关注。 20 世纪80 年代开始,国内研究者已开始尝试在气象领域使用人工智能方法。 如,李吉顺等在“北京暴雨短期预报专家系统”中,运用专家系统作暴雨短期预报;杨望月等运用专家神经网络作前汛期暴雨预报。 近几年来,在高性能计算机及个人PC 硬件计算能力迅猛发展的引领下,基于机器学习的人工智能气象研究也随之增多。 如,王静等采用单隐层的多层前馈神经网络模型,对雷达资料进行对流云降水、层状云降水和混合云降水3 种降水类型的分类;匡秋明等应用随机森林方法,得到基于雷达、卫星、地面观测等多元数据的晴雨分类模型;陈勇伟等使用BP 神经网络模型,选用TT、SI、CIN 等7个对流参数,对雷暴活动做了潜势预报;杨晓君等建立了基于人工神经网络算法的两级海风预报模型;杨仲江等使用序列结构的RNN 模型,对强对流天气中发生的闪电事件进行预警。 虽然人工智能已逐渐在气象预报与业务中得到认可和推广,但当前国内气象技术人工智能主要集中在机器学习的模式上,深度学习、大数据的研究与产品仍较少。
相比于其它领域或范围的人工智能应用,由于气象数据的自有特征,以及预报结果的网格化密集程度高、临近预警产品计算时间必须足够短的要求,采用当前流行的Deep_NN、CNN、RNN 等人工智能算法计算方式,往往难以开展或效果无法满足业务需求。 因此,本文设计了一种基于“多时段、多近邻模式”的气象人工智能预报模式,并以雷电临近预警预报的神经网络应用为例,对该模式的可行性做了实例验证。
1 气象预报数据特点
1.1 输入量大
随着气象探测手段及计算机技术的发展,气象探测与导出参数基本已实现网格化,每个气象栅格数据均可视为一张单通道的图片,图片的分辨率在0.01°~1.0°(经纬度)之间不等。 如,福建省气象雷达拼图数据可视为700×800 的网格数据。 气象栅格数据与普通图片有很大差别,普通图片最多只有RGB 3 个通道,而气象栅格数据中仅直接探测得到的气象数据类别就可达上百种,通过基础探测数据演变和计算后的二次物理量数量也有很多。 为了便于气象预报,气象专家们通过一定的天气物理模型和数学算法,对这些探测数据和物理量进行了未来时段的预测,又得到不同预测时间段的新“图片”。此外,预报过程中还可能涉及世界许多国家共享使用的数值预报产品,且气象数据还具有明显的高度特征属性等,以上这些特征,使得使用气象预报涉及的数据量极其庞大。
1.2 输出类别多
相比于一些领域的人工智能技术(NN、CNN、RNN)是多图片输入、有限类别的输出(如常见的图片动物类别识别工作,不管图片数量多少,输出的类别都是“有限”的。),而气象预报的神经网络面临多图片输入、多图片输出的难点(如图1 所示),且输出的图片(即预报结果)在分辨率上也有着较高的要求,以福建省范围内雷电临近预警预报的神经网络输出为例,要求输出的“图片”分辨率为700×800,每个网格有0、1 两种可能值,如果逐个网格进行类别输出的话,需要有700×800 =560 000种类别,实际操作较为困难。
图1 气象预报人工智能输出特征Fig.1 Output Characteristics of artificial intelligence in weather forecasting
1.3 物理模型复杂
为了得到更好的人工智能气象预报效果,在进行人工智能气象预报模型设计时,需要结合天气学原理,对相关的物理模型进行基于人工智能数据结构的反演,使得人工智能模型既有本身非线性的特征,又包含科学的物理意义。 如:强天气潜势预报的天气学模型,应包含“流型识别”与“物理量配料”两部分内容。 本文设计的处理模式如图2 所示。 先选择大尺度的探测数据,采用CNN 卷积神经网络,按非监督学习模式提取“流型”的识别网格;再结合该网格融入“物理量配料”的相关参数,循环完成需求网格的逐点预报。 虽然可以在开始时就把“流型识别”、“物理量配料”的所有参数都作为输入来处理神经网络,但这将使得“流型识别”的输入被重复计算(每一个预报网格输出就要重新计算一遍),大大降低了计算效率。
图2 强天气潜势人工智能预报处理模型Fig.2 Artificial intelligence prediction and processing model of strong weather potential
1.4 时间序列和近邻特征
在网格化的气象预报计算中,某个网格的预报结果与某个参数前面几个时段的数值情况、变化规律有关。 此外,在一些小尺度的天气预报中(即天气现象只发生在“局部地区”,如短时雷电、强降水、大风、冰雹等),某个网格上下左右一定距离范围内的相邻网格数据情况对该网格的预报具有重要影响,有明显的近邻特征。
1.5 计算速度快
气象探测数据从采集时刻开始,经过格式化、传输、入库、衍生参数计算到最后进入预报模型,需要经历一定的时间。 如:当前使用的SWAN 系统,在雷达拼图产品的数据上,大概延迟约10 ~20 min。如果预报模型的计算速度太慢,时间延迟过长,预报得到的结果传输到用户终端,基本与“天气实况”同步,甚至一些持续时间很短的单体雷暴,用户接收到消息时天气过程已经消退。 因此,人工智能的气象预报,在短临预报产品上要求计算时间必须短,才能保证预报的产品具有实用价值。
综上所述,由于气象预报本身自有的特点,如果直接套用现有人工智能的常见方法,会出现数据量太大、计算时间过长、设计模型不符合天气学特征而准确率不高等现象。 因此,对基于人工智能的气象预报模型进行改进,具有重要的现实意义。
2 多时段、多近邻模式的数据处理模型设计
2.1 方法介绍
气象预报输入虽然可看成是个通道的图片,但由于输出要求是单通道的图片,如果直接按图片每个格点值的可能结果进行类别划分、预报的话,该模型的类别数目太大。 因此,本文采取针对单通道输出图片的每一个格点进行遍历计算、预测的方式,建立单个格点的神经网络算法。
对于每一个格点的天气预报结果,与其上下左右一定距离的其它格点参数输入值、变化率有关。 因此,获取每一个格点预测的输入指标时,要把不同参数、不同时间序列段、上下左右各拓展一定距离的所有网格,按顺序提取出来,展开成一个1的输入,根据预报结果的可能类型得到相应数目类型的输出。 如图3 所示,图中红色栅格为待预测的栅格,不同参数红色方框内的数据都需提取、展开到下面的栅格集。
图3 多时段、多近邻模式示意图Fig.3 Multi-period and multi-neighbor mode illustration
经过上述处理后,每一批次的气象“图片”输入,都可以根据图片分辨率的大小得到数量可观的单栅格输入、输出实例,一定批次数的气象“图片”输入后,就可以得到大数据量的训练样本。 对这些训练数据设计一定深度层次的中间层和激活函数,就可得到应用于实践的神经网络模型,再进行学习和训练,得到最终具有一定准确率的神经网络。
2.2 与CNN 卷积神经网络的区别
本文设计的模型与卷积神经网络的区别是:卷积神经网络使用过滤器,对各个通道的气象参数图片进行数值计算与特征提取;经过一定数量的卷积、池化层处理并展开全连接后,得到的是对个输入通道气象参数图片的总体特征类别划分,与实际气象预报需求的网格化数据不同;而本文设计的模型,实际是将预测输出的图片进行基于分辨率的切割处理,满足实际预报的格式要求。
3 雷电临近预警预报神经网络实例应用
为了检验“多时段、多近邻模式”气象神经网络预报模型,本文以雷电临近预警预报的神经网络计算为例,对模型进行了实例检验。
3.1 模型设计与训练
当前雷电临近预警预报常用方法,是使用与雷电发生相关的雷达组合反射率、垂直液态水含量、回波顶高以及闪电定位数据,对上述指标是否达到一定的阈值以及整体移动趋势、速度、形状,结合雷电致灾单元(单体、多单体、超级单体、飑线等)的持续时间来进行雷电短临预报。 因此,对于每个栅格的神经网络雷电预报,也可以按照上述的预报模型进行设计。
以经纬度划分,0.01°×0.01°为栅格单元。 设当前时间为,计算距离最近的前一个雷达时间,雷达时间即获得雷达数据的时间,记为每个小时的第00、 06、 12、 …、 54 min。 例 如: 当 前 时 间 为20170817140730, 则 最 近 的 雷 达 时 间 为20170817140600。 以为基准,向后计算3 个时刻的雷达时间,分别记为、、,取这4 个时段的雷达组合反射率等4 个指标的“单通道图片”为数据集,针对每个栅格在每个时次向经向、纬向的正负方向分别拓展4 个栅格距离,将所有涉及的栅格全部提取出来作为一个输入(实际得到的输入维度为1 296,即9×9×4×4=1 296),取该栅格[,30 mins]内是否发生闪电,作为预测输出(有发生闪电记为1,否则记为0。)中间设计3 个隐藏层,节点之间加入偏置项进行全连接计算,使用线性整流函数()()max(0,) 作为激活函数,最后输出一个格点,为一个二分类输出;取累积单次损失量的平均值为损失函数;为了减少神经网络的过拟合,使用L2 正则化项对每个权重矩阵进行罚值计算,正则项系数均按0.05 选取;设置梯度下降算法初始学习率为0.01,选用Tensorflow 自带的_函数进行实时学习率的递减计算,递减率设置为0.97。
选取福建省2016 年、2017 年内57 个闪电定位数据日文件大于1 MB 的日期对应的闪电、雷达数据为样本,由于导出的数据中值为1(即实际发生闪电的栅格数据)的样本量相比于值为0 的样本量少很多,为了保证训练样本的值分类相对平衡,在数据导出时加入了随机遴选的模块,以保证训练样本数据中两类数据量相对一致。 此外,剔除了实际样本数例中,因闪电定位数据、雷达数据探测误差、计算算法而出现的异常值。 按上述规则最后得到5 722 415 条数据,其中有闪电发生的样本为2 486 544个,没有闪电发生的样本为3 235 871个。将上述训练数据导入到图4 所示模型中进行训练,单次训练个数512 个,按80%的样本数据进行训练,20%的样本数据进行准确率校验,经过约8 万次训练后,最终测试准确率维持在95%左右。
图4 雷电临近预警神经网络模型示意图Fig.4 Schematic diagram of neural network model for lightning impending early warning
3.2 效果检验
为了检验本文设计模型的效果,结合文献[8-10]的雷电短临预警方法(使用闪电、雷达数据进行阈值控制或外推),按闪电逼近网格距离的大小、变化趋势以及雷达数据(组合反射率、垂直液态水含量、回波顶高)的控制阈值,建立雷电临近预警预报模型;选取福建省2018 年5 月~2018 年8 月期间闪电定位数据日文件大小排名前20 d 的闪电定位数据,及对应的SWAN 雷达数据作为样本,分别使用上述两种模型进行预警与准确率计算,验证结果见表1。
表1 2 种模型雷电临近预警平均准确率比较(30 mins 预警)Tab.1 Comparison of average accuracy rate of lightning warning between two models (30 mins Warning)
3.3 实际应用情况
本文研究的模型(4 个时间序列、4 个拓展网格)自2018 年6 月下旬以来,在福建省实际业务工作中进行了试运行,总体上看,本文所建立的神经网络模型在雷电过程的预警应用中取得了良好的效果,每个数据集的计算时间在1 min 左右,基本在模型所设立30 mins 预警时效内,对未来雷电发生区域做出了预报,对于一些首次雷电发生区域的预警也做出了判断。 以福建省2018 年9 月7 日14 时阶段的预警结果为例,图5(a)中的红色区域表示未来可能发生雷电的预警栅格,图5(b)中红色“-”表示负极性闪电,黄色“+”表示正极性闪电。 预警结果与当时福建省范围内的几个雷暴活动区域基本一致。
图5 福建省2018 年9 月7 日14 时预警与实际雷电对比图Fig.5 Comparison between prediction and true data on September 7, 2018, at 14:00 in Fujian Province
4 结束语
本文在分析人工智能气象预报输入数据与输出结果特点的基础上,结合气象预报相关天气学原理,设计了基于“多时段、多近邻”方式的神经网络模型,用于满足气象预报中多通道图片输入、图片输出的业务需要。以雷电临近预警预报的神经网络应用为例,对设计的模型做了实例检验,结果表明该模型可满足气象预报人工智能模型对数据特征、时间响应、准确率方面的需求,可以尝试拓展到其他气象预报领域的应用。
由于计算机硬件设备的限制,本文在“多时段、多近邻”的实例应用中(福建省雷电临近预警)仅使用4 个时间序列、4 个栅格距离拓展的计算模式,尽管已经取得了较良好的效果,但增加“多时段、多近邻”的时间序列、距离拓展能否取得更好结论,还有待进一步研究和讨论。