多区域高分辨率模式强降水预报检验分析*

刘 静 任 川 赵梓淇 陈传雷 王 瀛 才奎志

1 辽宁省气象灾害监测预警中心，沈阳 110166 2 中国气象局沈阳大气环境研究所，沈阳 110166 3 沈阳市气象局，沈阳 110166 4 辽宁省气象信息中心，沈阳 110166

提 要：利用气象大数据云平台中逐小时降水资料，基于目标对象检验法和邻域法，评估2019—2020年辽宁主汛期降水过程中中国气象局上海数值预报模式系统(CMA-SH9)、中国气象局中尺度天气数值预报系统(CMA-MESO)、中国气象局睿图东北数值预报模式系统(CMA-DB)的预报性能。结果表明：千米尺度或接近千米尺度的上述三个模式，在36 h时效内，对于累积强降水(12 h 降水量≥50 mm)落区形态预报与实况有相似性，落区质心预报偏差一般在20 km左右。然而，预报落区与实况重叠的面积一般都在10%以下，个别情形下(如CMA-MESO对于气旋型降水过程)累积强降水落区预报与实况重叠度能够接近20%；位置偏离的直接结果是导致漏报率高(一般在75%左右，CMA-MESO模式漏报率略低，为10%～20%)，其中高压后部型降水过程中累积强降水的漏报率超过80%，位置偏离也造成较高空报率。对于短时强降水(1 h降水量≥20 mm)预报，在方圆40 km内不计偏差情况下，各模式预报命中率平均在10%以下(最大值为9.2%)，空报率平均为58.7%；三种降水类型中，模式对台风型降水过程的短时强降水预报性能最低。

引 言

辽宁省暴雨具有频发性、历时短、致灾重等特点(孙欣等，2016)。受稳定的副热带高压(以下简称副高)影响，低层暖湿空气和中高纬西风带高空槽为重要的暴雨影响系统(陈传雷和杨青，2018)。暴雨多发生在中尺度系统触发下(刘静等，2016)，区域模式预报和全球模式相比，对中尺度系统诱发的暴雨表现出较好的预报能力(漆梁波和徐珺,2018)，因此加深对区域模式的了解，有助于制作暴雨预报和发布暴雨红色预警信号(刘静等，2021)，检验评估是提升对区域模式的认知水平和应用能力的有效途径(Gofa et al，2018；Chakraborty，2010)。

在检验技术方面，全国防灾减灾标准化技术委员会(SAC/TC 345)(2017)给出了误差检验等常规方法，这些方法虽然可以评价预报正确与否或准确程度，却往往忽略了预报中一些积极的信息(戴建华等，2013)。目前对高分辨率区域模式的检验评估，多应用空间检验技术。Gilleland et al(2009)将现有的空间检验技术归纳为两类：一类是通过空间滤波的方式对原始场进行处理进而统计各个检验物理量，通过对比模式与实况降水场的统计量差异对模式预报性能进行评估，以邻域法(模糊检验法)为代表；另一类是通过从预报场和实况场中识别目标个体，在相互匹配的过程中计算两者之间的空间位移形变统计量，以基于目标对象检验法(method of object-based diagnostic evaluation,MODE)为代表。李佰平等(2016)认为邻域法能够在不同尺度和评价策略上给出与预报有关的更多信息。邻域法通常采用分数技巧评分(fractional skill score，FSS)作为评价指标，王新敏和栗晗(2020)研究指出，FSS评分相对于传统的TS评分能够更好地通过量化方式反映出不同模式的预报能力差别。刘静等(2019)应用邻域法对辽宁地区的雷达回波组合反射率因子进行检验，得出在11 km的邻域半径下FSS评分较高。在邻域法应用技术上，潘留杰等(2017)根据不同空间尺度和邻域半径评估数值模式降水预报的CSI 评分表现，唐文苑等(2017)应用固定邻域半径(40 km)对强对流天气进行检验，得出空报率、漏报率等检验评分。马申佳等(2018)认为，改良后的邻域概率法可以在时空尺度上综合评估对流尺度降雨的特征。美国NCAR中心研发了MODE，可以客观地对比分析预报和实况的位置、形状、方向和尺寸等相关属性(Davis et al,2006a；2006b)。茅懋等(2016)设计了和MODE类似的目标对象检验方法，量化评价预报对象的面积、强度等要素的吻合程度及对应的偏差，给出常规检验TS评分偏低的原因。在预报检验的时间尺度方面，Duc et al(2013)在高分辨率模式检验中引入了时间维度并进行了初步分析。

在检验结果方面，全球模式对中到大雨的预报能力有限，空报和漏报都很明显(王晓峰和周荣卫，2021)。多区域中心数值模式的对比结果显示，北京、沈阳、上海、广州区域模式的预报稳定性较好(Chen et al，2013)。华东区域数值模式预报系统SMS-WARR(9 km)，(现为CMA-SH9)经过版本的更新，提升了对降水的预报性能(徐同等，2016)，对西南涡诱发的暴雨过程能够指示出强降水空间落区，但强度有偏差(徐同等，2019)。CMA-SH9对台风快速移动过程的预报能力偏弱(薛文博等，2020)。罗月琳等(2021)对GRAPES-GEPS(现为CMA-GEPS)环流集合预报的分类释用方法进行研究与检验，划分环流形势类型，从而为天气预报提供参考依据,GRAPES区域集合预报系统对中国汛期降水具有很好的预报能力(王婧卓等，2021)。与华东模式、华南模式相比，中国气象局中尺度天气数值预报系统(CMA-MESO)对于云南地区24 h降水量≥50 mm 的降水预报效果较好(赵宁坤等，2021)。何爽爽等(2018)通过研究指出，中国气象局睿图东北数值预报模式系统(CMA-DB)对降水的分布特征有所体现，但对于降水中心位置和强度预报偏差较大。区域模式对暴雨的预报空报率较高(苏翔等，2022)。

多方位评估可以挖掘多区域模式的附加值，为预报员提供更加全面和客观的参考信息。目前，应用空间检验法对多区域高分辨率模式进行检验的研究尚不多见，对辽宁省12 h累积强降水预报检验研究较少，尤其是对短时强降水预报的检验分析。为综合评估多区域高分辨率模式在辽宁汛期暴雨过程中的预报表现，对2019—2020年发生在辽宁省内的16次天气过程(共计408个时次的暴雨实况)进行累积强降水目标对象识别和短时强降水邻域法检验，从短时预报效果分析CMA-SH9、CMA-MESO和CMA-DB的表现,对高压后部型、气旋型、台风型天气过程的降水量进行评估，得出不同模式预报性能优势和偏差特征。

1 资料与方法

1.1 资料来源

1.1.1 实况资料

实况资料来自气象大数据云平台“天擎”。采用辽宁省1 282 个观测站逐小时降水资料，去除异常值确保降水数据连续准确。

1.1.2 预报资料

预报数据来自业务化的多区域高分辨率模式，包括CMA-SH9、CMA-MESO及CMA-DB三个区域模式的初始场均为NCEP-GFS模式，其中CMA-SH9的空间分辨率为9 km(没有选用3 km空间分辨率的CMA-SH3模式是因为其预报范围不能涵盖所有辽宁站点)，其他两种区域模式分辨率均为3 km。

1.2 研究方法

1.2.1 天气学分型

孙欣等(2016)分析了1960—2013年发生在辽宁地区的60次大暴雨过程，指出辽宁强降水的主要影响系统包括副高后部、气旋(河套气旋、江淮气旋、蒙古气旋等)影响及台风北上等。本文挑选2019—2020年发生在辽宁省内的16次强降水过程，共计408个时次进行多区域高分辨率模式降水预报检验分析，降水分型分别简称为高压后部型、气旋型和台风型降水。具体分型时段详见表1。

表1 不同影响天气系统下的个例时段

1.2.2 不同时间定义

文中时间表述定义如下：

“08时和20时起报”表示模式起报时刻，均为北京时。“24 h和36 h”表示预报时效。由于区域模式数据延时、本地化解析处理等问题，区域模式资料的前12 h业务应用价值不大，因此本文选用预报时效13～36 h的结果开展工作，针对不同检验方法，分别对13～24 h(以下简称24 h)累积降水量、25～36 h(以下简称36 h)累积降水量及逐小时降水量进行检验。“1 h和12 h”表示累计时间。

1.2.3 强降水定义

1.2.3.1 累积强降水

在累积强降水预报检验中，对多区域高分辨率模式的12 h累积降水量预报进行检验评估。本研究针对12 h累积降水量≥50 mm的降水展开检验，表述为“12 h累积强降水”(以下简称为累积强降水)。

1.2.3.2 短时强降水

在短时强降水预报检验中，对多区域高分辨率模式的1 h降水量预报进行检验评估。根据中国气象局2020年6月印发的《智能预报技术方法竞赛检验方案》(以下简称《检验方案》)规定，在辽宁地区定义1 h降水量≥20 mm的降水为短时强降水。

1.2.4 检验方法

区域模式网格预报采用邻近点插值方法插值到检验站点后和对应的实况检验站点观测进行对比检验。

有研究表明，模式空间分辨率改变并不是对所有的降水个例都有显著影响(于翡等，2018)，因此本文尝试对不同空间分辨率的多区域模式进行对比分析，指出各区域模式性能优势和偏差特征。

1.2.4.1 累积强降水预报目标对象检验

基于MODE，对表1中所有个例进行检验，评估多区域高分辨率模式对累积强降水的预报效果，其结果是对各模式08时和20时起报的产品进行的整合检验。

MODE(Davis et al,2009)可以辨识预报二维场的空间特征，它除了给出临界成功指数(critical success index,CSI)评分等传统的检验指标外，还可以确定空间特征在不同场中的相似程度，进而开展相似性统计。MODE主要步骤包括：卷积处理、去背景、确定对象及对象属性等(尤凤春等，2011；茅懋等，2016)。

本文应用MODE检验方法对累积强降水预报进行空间分布特征分析，检验区域选为38°～44°N、118°～126°E，降水量阈值设定为12 h降水量≥50 mm，采用预报和实况目标对的位置评价、纵横比、面积比、质心距离、重叠面积与联合面积比、CSI评分、漏报率、总评分等属性来评价多区域模式的预报技巧。

MODE包涵的六类评分指标的具体含义及算法:

(1)位置评价。预报目标相对于实况目标的位置信息、质心距离。

(2)纵横比。对于某个检验目标对象，提取边界点信息，通过中心的最长两个边界点连线即为长轴，通过重心且垂直于长轴的最短两个边界点连线即为短轴，短轴和长轴的比值为纵横比。纵横比在0～1，值越小，说明强降水预报落区带状分布明显。

(3)面积比。实况面积和预报面积的比值。

(4)重叠面积/联合面积。在格点场中，实况场和预报场交叉的面积与二者联合面积的比值。

(5)评分指标。包括CSI评分、漏报率、总评分三个指标。

CSI、漏报率计算方法如式(1)、式(2)所示。

(1)

(2)

式中：n为参与平均的样本数，A、B、C的定义参见表2。

表2 降雨检验分类表

总评分是通过对所有属性的计算，得出的总体评价指标。

1.2.4.2 短时强降水预报邻域检验

本文采用邻域法对短时强降水预报进行空间邻域检验。短时强降水时空尺度小、局地性强，常规的地面观测站很难完全观测到，采用传统的“点对点”检验方法难以客观准确地反映区域模式预报质量。空间检验法在强对流天气预报检验中应用较为广泛(郑永光等，2015)。短时强降水检验多采用美国SPC的“点对面”空间检验办法，即对于每一个区域站点上的短时强降水预报正确与否，是用以该站点为圆心，40 km为半径的圆面上是否出现了短时强降水来判别(唐文苑等，2017)，本文参考该方法对短时强降水进行检验。

《检验方案》规定短时强降水检验指标为命中率和空报率，本文采用这两个指标对多区域模式的预报效果进行分析。

命中率(POD)、空报率(FAR)计算方法分别如式(3)、式(4)所示。

(3)

(4)

2 结果分析

2.1 多区域模式对高压后部型降水预报检验结果

2.1.1 累积强降水预报目标对象检验

在高压后部型降水过程中，使用区域模式和观测数据分别做为预报场和实况场，通过MODE进行分析。

由表3可见重叠面积/联合面积为0.040～0.052(即4.0%～5.2%)，结合面积比(实况面积/预报面积)的0.274～0.466(即27.4%～46.6%)，可以分析出，三个模式预报累积强降水的落区大部分(80%～86%)落在实际强降水发生区之外，这也就不难理解为何模式预报的漏报率那么高，都在83%左右(模式空报率也很大，因为面积比显示实况面积比预报面积小得多)，CSI评分只有11.6%～13.1%。

表3 高压后部型降水过程中累积强降水预报目标对象检验结果

综合得到评价结果：在高压后部型降水过程中，三个模式的位置偏差接近，质心距离在18～21 km，属带状目标；CMA-MESO预报形态偏差最大，过高估计了累积强降水落区的带状分布；CMA-DB预报累积强降水落区偏大，漏报率高；CMA-SH9的面积比和纵横比均表现较好，漏报率低，因此获得较高的CSI和总评分。MODE能较好地判断累积强降水目标的形态，为预报员提供直观的参考信息。

2.1.2 短时强降水预报邻域检验

在高压后部型降雨过程中，基于邻域法，对短时强降水预报进行命中率、空报率评分检验。

为了分析不同预报时效多区域高分辨率模式短时强降水预报性能差异，将各模式08时和20时起报的产品进行整合检验(图1)，对24 h、36 h时效内的短时强降水预报命中率、空报率评分进行分析，结果显示：在高压后部型降水过程中，三个模式所有时次的预报命中率评分都低于12%，最高值为11.6%；分析12 h短时强降水预报检验平均值(Avg_12)得出，在方圆40 km内不计偏差情况下，模式预报命中率平均在4%以下,最大值达3.8%，CMA-MESO在36 h时效内的预报命中率高于24 h，CMA-SH9则相反；空报率平均值为61%，三个模式均表现为临近时刻短时强降水预报空报率高(24 h 预报空报率大于36 h)。

图1 高压后部型降水过程中多区域模式(a,c)24 h和(b,d)36 h的短时强降水预报检验评分(数字，阴影)(a,b)命中率,(c,d)空报率

以上结果表明：CMA-MESO在36 h的预报效果好于其他两个区域模式(命中率高、空报率低)；CMA-SH9在24 h的预报性能高于36 h；CMA-DB的24 h、36 h预报效果持平。多区域高分辨率模式短时强降水预报命中率较低、空报率较高的可能原因包括：辽宁(北方)地区短时强降水发生概率和频次低于南方地区，因此预报检验评分低于全国(唐文苑等，2017)；模式本身存在一定误差；空间分辨率决定三个模式均对产生短时强降水的中小尺度系统预报能力有限。

为了分析不同起报时刻多区域模式预报性能差异，分别对08时和20时起报的短时强降水预报的命中率、空报率评分进行单独分析(图略)，结果显示：与20时相比，CMA-SH9在08时起报的短时强降水命中率低、空报率高；CMA-MESO表现为08时的命中率和空报率均较高；CMA-DB与CMA-MESO相反。

CMA-DB模式的短时强降水预报检验结果显示：预报命中率在起报时间后的13～24 h，其中间预报效果好于两端，这与区域模式雷达回波逐小时预报效果随时间的变化表现一致(刘静等，2019)。

2.2 多区域模式对气旋型降水预报检验结果

当辽宁省受气旋影响时，通常为偏北风和东南风辐合，冷空气和暖湿空气结合后，促进中尺度对流系统在地面锋前暖区发展，产生累积强降水(孙欣等，2016)。

2.2.1 累积强降水预报目标对象检验

由表4可见重叠面积/联合面积值为0.002～0.186(即0.2%～18.6%)，结合面积比(实况面积/预报面积)值的0.146～0.301(即14.6%～30.1%)，可以计算出，CMA-SH9、CMA-DB两个模式预报的累积强降水落区大部分(81%～98%，而CMA-MESO仅有25%)落在实际强降水发生区之外，因此CMA-SH9和CMA-DB两个模式预报的漏报率均很高，在66.8%～72.1%，而CMA-MESO模式的漏报率比其他两个模式小得多，漏报率低于37%；模式空报率也很大，因为面积比指标显示预报面积比实况面积大得多，因此CMA-SH9和CMA-DB两个模式的CSI评分只有21.7%～30.6%。

表4 同表3，但为气旋型降水过程

综合得到评价结果：在气旋型降水过程中，三个区域模式的质心距离均在17～22 km，属带状目标；CMA-MESO预报的质心距离最近，但预报纵横比和实况相差较多，对累积强降水落区的形态描述狭长，优势在于预报与实况重叠面积大，因此获得较高的CSI评分和总评分。

2.2.2 短时强降水预报邻域检验

在气旋型降水过程中，将各模式08时和20时起报的产品进行整合检验(图2)，对24 h、36 h 的短时强降水预报命中率、空报率评分进行分析，结果显示：在气旋型降水过程中，三个模式所有时次的预报命中率评分都低于20%，最高值为19.7%；分析12 h 短时强降水预报检验平均值(Avg_12)得出，在方圆40 km内不计偏差情况下，模式预报命中率平均在10%以下,最大值达9.2%；在24 h预报时效内，CMA-MESO预报命中率为CMA-SH9的两倍；CMA-SH9在36 h时效内的预报命中率高于24 h，CMA-DB则相反；空报率平均值为41%，CMA-SH9在24 h时效内的预报空报率大于36 h，其他两个模式则相反。

图2 同图1，但降水类型为气旋型降水

以上结果表明：CMA-MESO的命中率大于其他两个区域模式；CMA-SH9在24 h的预报效果差,即命中率(空报率)低(高)，CMA-DB则相反。

在起报时刻后的第32个时次，CMA-SH9呈现出预报命中率接近空报率的特征，这与CMA-SH9对西南地区的累积强降水预报检验结论一致(徐同等，2019)。

三个区域高分辨率模式在气旋型降水中的短时强降水预报命中率高于高压后部型降水，客观上表明多区域模式对气旋型降水过程中的短时强降水预报效果较好。

为了分析不同起报时刻多区域高分辨率模式短时强降水预报性能差异，分别对08时和20时起报的短时强降水预报命中率、空报率评分进行单独分析(图略)，结果显示：与20时相比，CMA-SH9表现为08时起报的短时强降水命中率和空报率均较低，CMA-MESO和CMA-SH9预报表现相反；CMA-DB表现命中率低，空报率高。

2.3 多区域模式对台风型降水预报检验结果

辽宁省台风型降水多受台风倒槽影响，锋生次级环流与风场辐合作用增强了动力抬升，水汽达到暴雨阈值，不稳定能量释放产生大暴雨(阎琦等，2019)。

2.3.1 累积强降水预报目标对象检验

由表5可见重叠面积/联合面积值为0.084～0.122(即8.4%～12.2%)，结合面积比(实况面积/预报面积)的0.369～0.581(即36.9%～58.1%)，可以总结出，三个模式预报的累积强降水落区几乎(60%～76%)落在实际强降水发生区之外，这就可以合理解释模式预报的漏报率为何那么高，均值在67%左右(模式空报率也很大，因为面积比指标显示实况面积比预报面积小得多)，CSI评分只有9.9%～12.4%。

表5 同表3，但为台风型降水过程

由于预报面积偏小、落区形态差异等问题，三个区域模式在台风型累积强降水过程中的CSI评分偏低，为预报员提供参考信息的能力不足。

2.3.2 短时强降水预报检验

在台风型降水类型中，为了分析不同预报时效多区域高分辨率模式短时强降水预报性能差异，将各模式08时和20时起报的产品进行整合检验(图3)，对24 h、36 h时效内的短时强降水预报命中率、空报率评分进行分析，结果显示：三个模式所有时次的预报命中率评分都低于0.11(11%)；分析12 h 短时强降水预报检验平均值(Avg_12)得出，在方圆40 km内不计偏差情况下，模式预报命中率最大值仅为3%，CMA-MESO在36 h时效内的预报命中率好于24 h，CMA-SH9和CMA-DB则相反；空报率平均值为75%，CMA-DB在24 h时效内的预报空报率高于36 h，其他两个模式相反。

图3 同图1，但降水类型为台风型降水

以上结果表明：在24 h和36 h的整体时效内，CMA-SH9的命中率大于其他两个区域模式，但空报率表现为三个区域模式最高值，平均值达75%，这与王新敏和栗晗(2020)研究结论一致，CMA-SH9模式对台风暴雨的降水范围和强度比实况大得多，空报也较多；所有模式12 h短时强降水预报命中率均值小于2.1%。综合考虑命中率和空报率，多区域高分辨率模式在台风型降水过程中的预报效果显著低于高压后部型和气旋型降雨，这可能是因为，区域模式在长时效内预报台风路径的能力有限，对于台风系统影响陆上降水预报的稳定性和准确性均表现欠佳(宫宇等，2018)，也有可能因为区域模式对台风快速增强的预报能力较弱(薛文博等，2020)。

为了分析不同起报时刻多区域模式短时强降水预报性能差异，分别对08时和20时起报的短时强降水预报命中率、空报率评分进行单独分析(图略)，结果显示：与20时相比，CMA-SH9、CMA-MESO和CMA-DB均表现为08时起报的短时强降水预报效果好，即命中率(空报率)高(低)。

3 结论与讨论

目前，天气预报业务和多区域高分辨率模式研究常用长时效基于点对点的检验方法，面向多区域高分辨率模式，基于短时效和逐小时的强降水检验尚不多见。本文综合已有的研究，对东北地区业务常用多区域高分辨率模式进行累积强降水目标对象检验和短时强降水邻域法检验，从不同角度挖掘区域模式附加信息，为预报员决策提供参考。

(1)千米尺度或接近千米尺度的三个模式，在36 h时效内，对于累积强降水落区的形态预报与实况有相似性，落区质心预报偏差一般在20 km左右。然而，强降水预报落区与实况重叠的面积一般都在10%以下，个别情形下(如CMA-MESO对于气旋型降水过程)，累积强降水落区预报与实况重叠度能够接近20%；位置偏离的直接结果是导致漏报率高(一般在75%左右，CMA-MESO漏报率略低，为10%～20%)，其中高压后部型降水过程中累积强降水的漏报率超过80%，位置偏离也造成较高空报率。

(2)对短时强降水预报，在方圆40 km内不计偏差情况下，模式预报命中率平均在10%以下、最大值为9.2%，气旋型降水过程的命中率评分高于高压后部型和台风型；空报率平均值为58.7%，台风型降水过程中空报率最高，达到74.6%；三种天气型中，区域模式对台风型降水过程的短时强降水预报性能最低。

(3)从累积强降水目标对象检验得出：重叠面积与联合面积比与CSI评分有很好的正相关，预报的纵横比小(高估累积强降水落区带状分布)、重叠面积与联合面积比小、位置偏差大、漏报率高等因素均易造成CSI评分偏低；CMA-SH9对累积强降水落区形态带状分布估计过高，CMA-MESO累积强降水落区预报偏北，CMA-DB与实况目标匹配的预报目标个数最多。

(4)在高压后部型降水过程中，应充分考虑南侧的累积强降水落区；在气旋型降水过程中，可以结合气旋系统强弱，调整累积强降水落区的带状分布形态；在台风型降水过程中，应结合全球模式预报结论，预估多区域模式短时强降水预报面积，判断累积强降水预报的形态和落区。

受时间尺度和降水日期数量的限制，检验结果不能完全准确地描述区域高分辨率模式预报的能力。不同区域模式在辽宁地区降水过程中预报表现差异较大，具体是由哪些因素导致了不同的预报效果有待进一步研究。

致谢：本文在撰写过程中，得到上海市气象台戴建华研究员、陕西省气象台潘留杰研究员的悉心指导和帮助，在此表示衷心感谢！