基于机器学习算法的雷达估测降水技术研究
2021-03-22张伟全志伟
张伟 全志伟
摘 要:通过对多普勒天气雷达数据进行预处理,生成大量的雷达回波图像,并构造了雷达回波序列图像库,为机器学习提供训练样本集。基于机器学习算法时空预测神经网络(PredRNN++)建立雷达估测降水识别模型,实现0~3 h雷达回波预测。结果表明:将时空预测神经网络方法应用于雷达回波识别,可突破传统1 h预报预警时效,与传统的深度学习算法相比效果较好。
关键词:机器学习;雷达;估测降水
中图分类号:P412.25 文献标识码:A 文章编号:1003-5168(2021)26-0026-03
Research on Radar Precipitation Estimation Technology
Based on Machine Learning Algorithm
ZHANG Wei QUAN Zhiwei
(Lanzhou Central Meteorological Observatory, Lanzhou Gansu 730000)
Abstract: By preprocessing doppler weather radar data, a large number of radar echo images are generated, and a radar echo sequence image library is constructed to provide training sample set for machine learning, the recognition model of radar precipitation estimation is established based on machine learning Algorithm time-space prediction neural network (PredRNN++) to realize 0~3 h radar echo prediction. The results show that the method of time-space prediction neural network applied to radar echo recognition can break through the traditional time-effect of 1 h prediction and has better effect than the traditional depth-learning Algorithm.
Keywords: machine learning;radar;precipitation estimation
随着研究的深入,很多气象学者发现降水元素之间的关系大多是非线性的,于是越来越多的研究者开始尝试用神经网络的方法进行降水外推预报。国内针对基于神经网络的降水预报研究起步较晚。朱玲等结合人工智能技术在气象领域的未来发展,列举了机器学习、语言处理、计算机视觉方面的真实案例[1];傅德胜等以多普勒雷达降水回波资料为数据基础,建立雷达定量估测降水模型[2];张文海等基于多普勒雷达三维拼图资料,利用机器学习技术开发了一种冰雹识别和临近预报的人工智能算法[3];李海峰运用10种基于传统机器学习的雷暴大风识别方法,通过提取雷达组合反射率等特征,对雷暴大风区域进行识别[4];关鹏洲等以多普勒雷达数据为基础,改进了传统机器学习模型及近年来兴起的深度学习算法[5]。
但神经网络由于参数过多使网络结构复杂,存在易陷入局部极小点和收敛速度慢等缺点。在基于神经网络的降雨预报研究中,有些学者把研究重点放在对神经网络的改进和优化上。林开平发现神经网络方法在实际天气预报业务中存在人工神经网络的泛化性问题[6]。SHI等[7]提出ConvLSTM,以更好地获取空间特征,并在ConvLSTM的基础上又提出了一个新模型——轨迹GRU(TrajGRU)。与ConvLSTM不同,TrajGRU会主动学习时空的递归连接结构。有研究提出了ST-LSTM结构,使得上一时刻高层的信息能被更加充分地利用;有研究提出了PredRNN+,使网络可以更快速地回想起遥远时刻的信息;有研究提出了通过传递误差来预测的网络Prednet和rgcLSTM,但是如果不能持续提供真值,这类模型很难进行长序列的预测[8-10]。考虑各模型的特点,本文尝试改进目前效果最好的PredRNN++来解决此类问题。
1 研究内容及技术路线
1.1 研究内容及目标
以基于机器学习算法的雷达估测降水技术为研究目标,结合雷达组合反射率与长短期记忆人工神经网络(Long-Short Term Memory,LSTM)的机器学习系统构建要素,发展一种基于雷达组合反射率和机器学习技术的对流单体识别。
1.2 技术路线与流程
1.2.1 深度学习。学习过程由5个关鍵步骤组成:①对多普勒天气雷达2年8个月夏季雷达回波组合反射率筛选、去噪;②通过切割、卷积等方式降低图像尺寸;③通过PredRNN++网络深度学习前向计算,得出未来3 h回波图;④通过转置卷积、拼接等方式还原图像尺寸;⑤无监督学习反向传播误差,更新深度学习模型参数。
1.2.2 模型介绍。循环神经网络(Recurrent Neural Network,RNN)是一种用于处理序列数据的神经网络。与一般的神经网络相比,循环神经网络能够处理序列变化的数据。LSTM内部主要有3个阶段:一是忘记阶段,对上一个节点传进来的输入进行选择性忘记;二是选择记忆阶段,将这个阶段的输入有选择性地进行记忆;三是输出阶段,决定哪些数据将会被当成当前状态的输出。
LSTM作为一种特殊的RNN,主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说,相比普通的RNN,其结构已被证明对序列到序列问题有较好的表现。该模型提出了一种门控结构,可以使信息选择性通过。它由一个全连接层和一个sigmoid函数组成。门矩阵由当前时刻输入xt和上一时刻隐藏层输出ht-1决定,值的大小在0和1之间。门控制有多少信息可以通过,0代表“所有的都不能通过”,而1代表“所有的都可以通过”。LSTM共有3个门,分别是输入门、遗忘门、输出门。遗忘门控制丢弃多少上一时刻的细胞状态;输入门控制多少新的信息会进入当前细胞状态;输出门决定细胞状态的哪些部分需要输出。近些年,有许多基于LSTM或其变体GRU的方法被提出来解决时空预测问题。
PredRNN++由多层CausalLSTM组成。CausalLSTM中包含2个记忆,时间记忆C沿水平方向更新,空间记忆M沿z字方向更新。CausalLSTM在input-to-state and state-to-state transitions过程中也使用了卷积来代替全连接操作。输入门、遗忘门依赖于x、h、c,这两個门控制信息在时间记忆C上的流动,除此之外,输入门、遗忘门还能够控制信息在空间记忆M上的流动。CausaLSTM采用了级联机制,c将被和x、M、l-1拼接来计算输入门、遗忘门。最终,输出ht可以通过拼接CT、MT输出门ot得到。
2 预测结果展示
通过深度学习得到的应用模型近300 MB,应用时使用图形处理器(Graphics Processing Unit,GPU)可达到1 s预测结果,不带GPU约10 s即可。挑选其中两组测试值进行展示,其中gt为真值,pd为预测值。0~1 h预测值具有较高的相似度,随着预测时间的增加,预测值变得较为模糊(见图1)。
3 检验评估
通过临界成功指数(Critical Success Index,CSI)指标定量评估,CSI代表POD和FAR的综合效应,POD代表事件发生的总次数中发出警告次数的占比,FAR代表发出警告的次数中事件未发生次数的占比。设定阈值为20 dBZ,当回波强度大于阈值时记为yes,低于阈值时记为no。图2为当阈值为20 dBZ时的CSI指数。
4 结语
通过机器学习算法深度学习原理和时空预测神经网络(PredRNN++),完成了雷达组合反射率识别降水模型,实现了0~3 h雷达回波预测。结果表明:时空预测神经网络(PredRNN++)技术应用于雷达回波识别,可突破传统1 h预报预警时效,与传统的机器学习算法相比效果更好。
参考文献:
[1]朱玲,关心玥.人工智能在气象领域的应用述评[J].广东气象,2019(1):35-39.
[2]傅德胜,肖晨,谭畅,等.RBF神经网络在雷达定量估测降水中的应用研究[J].气象科学,2015(2):199-203.
[3]张文海,李磊.人工智能在冰雹识别及临近预报中的初步应用[J].气象学报,2019(2):282-291.
[4]李海峰.基于雷达回波的雷暴大风识别算法研究[D].哈尔滨:哈尔滨工业大学,2018:36.
[5]关鹏洲,王梦毫,李倩.基于集成学习和深度学习的短期降雨预测模型[C]//2017年(第五届)全国大学生统计建模大赛获奖论文选,2017.
[6]林开平.人工神经网络的泛化性能与降水预报的应用研究[D].南京:南京信息工程大学,2007:45.
[7]SHI X J,GAO Z H,LAUSEN L,et al.Deep learning for precipitation nowcasting: a benchmark and a new model[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems,2017.
[8]刘雅云.基于机器学习的降水数据分析算法的研究[D].南京:南京信息工程大学,2018:61.
[9]周芸.基于机器学习的多源气象观测与研究[D].南京:南京信息工程大学,2020:61.
[10]沈皓俊.基于机器学习的中国夏季降水预测预报[D].北京:清华大学,2019:64.
1296501186394