攀西地区2021年夏季多模式降水预报检验

曹萍萍 , 王佳津 , 肖递祥 , 王彬雁 , 陈永仁

（1. 四川省气象台, 成都 610072；2. 高原与盆地暴雨旱涝灾害四川省重点实验室, 成都 610072；3. 四川省气象灾害防御技术中心, 成都 610072）

引言

数值预报的检验评估一方面有助于预报服务人员定量掌握模式在本地的预报能力和偏差特征，提高模式产品释用技巧，提升预报和服务效果[1]；另一方面也有助于模式开发人员发现模式存在的问题[2]，进一步完善动力学框架以及各参数的配置等，提高模式本身的预报能力。针对目前我国天气预报业务中广泛应用的西南区域模式(South West Center-WRFADAS Real-time Modeling System，SWCWARMS)、 欧洲中心中期预报 (European Centre for Medium-Range Weather Forecasting，ECMWF)和中国气象局中尺度模式(China Meteorological Administration Meso-Scale Model，CMAMESO)的检验，众多学者已开展了大量研究工作，有的围绕形势场、要素场在时效、移动、强弱等方面展开[3-5]，有的围绕定量降水预报的量级、落区检验[6-8]等展开。陈博宇等[9]分析了2013年夏季 ECMWF 集合预报在江南、四川盆地和华北地区强降水过程中的表现，指出中期预报技巧评分总体高于短期预报，四川盆地暖区强降水预报技巧评分高于锋面强降水预报技巧评分。徐同等[10]采用标准降水检验方法、EDI（Extreme Dependence Index）方法和MODE（Method For Object-based Diagnostic Evaluation）方法对华东区域模式在西南地区降水预报效果评估表明，夏、秋季降水TS（Threat Score）评分高于冬、春季。预报偏差和TSS（True Skill Score）评分显示，模式对西南地区春、夏两季的各个量级降水预报均较实况偏多，而对秋季的大暴雨和冬季的大雨以上量级预报则相对偏少。屠妮妮等[11]基于MET（Model Evaluate Tool）系统的客观统计检验方法，针对24 h 降水分别评估了SWCWARMS、CMA-MESO、ECMWF 模式对四川地区不同降水量级和不同区域的预报能力。曹萍萍等[12]基于邻域法计算的FSS（Fractions Skill Score）、ETS（Equitable Threat Score）等评分指标，对比检验了ECMWF、SWCWARMS 两家模式对斜压锋生、高能暖区型暴雨过程的预报能力，结果表明两种过程中SWCWARMS模式对大量级降水的预报效果均较好。张琪等[13]基于SWCWARMS 模式对四川盆地两次强降水过程进行对比检验，表明该模式在强降水预报中优势明显。

凉山州和攀枝花两市州（以下简称攀西地区）地处高原、盆地过渡区，地形复杂，气候多变，天气预报难度大。尤其是凉山州，地质灾害频发，行政部门对气象决策服务要求高，需要精准预报，故该地区的模式检验显得尤为重要。总结以往模式检验的研究成果可知，目前针对该区域定量降水系统性检验的研究较少，且当前业务主推的逐小时格点预报产品今年刚步入业务轨道，还未形成相关的系统性检验成果。因此，本文拟利用格点预报（Grid Weather Forecasting，GWF）、SWCWARMS、ECMWF、CMA-MESO 模式定量降水预报资料，系统性检验各产品在攀西地区的预报偏差特征，以期为预报员模式选择及主观订正提供定量化依据，从而进一步提高预报服务水平。

1 资料和方法

1.1 资料

本研究所用资料时段均为2021年6～9月，24 h 累计降水统计时段为20 时～次日20 时，检验区域为攀西地区（26°～29.35°N，100°～104°E），时效为各产品业务预报中所能接收到的最新时次预报。各检验产品时空分辨率分别为：四川省气象台业务使用的20 时起报定量格点降水产品，时间分辨率1 h，空间分辨率5 km×5 km；SWCWARMS 模式08 时起报的降水预报，时间分辨率1 h，空间分辨率9 km×9 km；ECMWF模式08 时起报的降水预报，时间分辨率3 h，空间分辨率12.5 km×12.5 km；CMA-MESO 模式08 时起报的降水预报，时间分辨率1 h，空间分辨率3 km×3 km；观测实况为攀西地区所有观测站点（共483 站）的24 h累计降水资料。所有检验指标计算均采用双线性插值法将模式资料匹配至观测站点展开。

1.2 方法

2021年汛期筛选出攀西地区主要降水过程共16 次，分别计算6～9月总体及单次过程的偏差评分（BIAS）、TS 评分、命中率（Hit Rate，HR）、空报率（False Alarm Rate，FAR）。24 h 累计降水评分等级分别为≥0.1 mm（小雨）、≥10 mm（中雨）、≥25（大雨）、≥50 mm（暴雨）。对于某一量级降水，根据实况与预报对应关系获得列联表（表1）中NA、NB、NC、ND各项。其中，BIAS、TS、HR、FAR计算公式如下：

表1 列联表

式中：NA表示预报时段内预报和实况降雨量均出现在某一降水等级内的站点数，即预报命中的站数；NB表示预报出现降水而实况未出现的站点数，即空报站数；NC表示未预报而实况出现降水的站点数，即漏报站数；ND表示观测和预报都未出现降水的站点数。

2 降水总体偏差特征分析

表2 给出了攀西地区6～9月各预报产品与实况（Observation，OBS）不同降水量级站次统计对比。由表可知，各量级降水各产品预报频次大多高于实况出现的站次，表明各预报产品均存在较大湿偏差。小雨量级，SWCWARMS 预报频次与实况最为接近，ECMWF 模式空报次数最多。中雨量级，CMA-MESO 预报频次与实况统计差距最小，ECMWF 模式空报率最高。大雨量级，ECMWF 模式预报效果最好，SWCWARMS空报频次最多。暴雨量级，GWF 频次与实况相比偏差最小，SWCWARMS 空报率最大，ECMWF 模式预报频次大幅低于实况，强降水预报量级明显偏小。

表2 不同预报产品与实况各降水量级频次对比

从晴雨频次空间分布（图1）来看，大部分站点的实况降雨频次均在80 次以下，凉山州西部部分站点有雨日数在80 d 以上；GWF 产品在攀西地区绝大部分站点雨日超过80 d，远高于实况天数，预报存在严重湿偏差。SWCWARMS 模式雨日空间分布与实况最为接近，攀西地区南部预报效果最好。ECMWF 模式与GWF 类似，全区为一致的系统性湿偏差。CMAMESO 预报效果仅次于SWCWARMS，攀西地区东南部晴雨预报频次与实况较接近，其余地方存在一定程度空报。

图1 不同预报产品与实况晴雨频次对比（a. OBS，b. GWF，c. SWCWARMS，d. ECMWF，e. CMA-MESO）

从25 mm 以上量级降水频次空间分布（图2）来看，实况频次在大部站点均在20 次以下，攀枝花西北角部分站点大雨日数达20 d 以上。GWF 仍然以湿偏差为主，与实况差异较大的区域位于凉山州中部一线。SWCWARMS 模式预报凉山州大部站点大雨日数相较实况明显偏多，预报偏差较小的区域为攀西地区南部。ECMWF 模式大雨日数分布与实况最接近，预报效果最好。CMA-MESO 模式预报在凉山州中部至攀枝花一线站点大雨日数明显多于实况。

图2 不同预报产品与实况≥25 mm 降水日数频次对比（a. OBS，b. GWF，c. SWCWARMS，d. ECMWF，e. CMA-MESO）

3 评分检验

3.1 6～9月整体评分

表3 给出了6～9月各预报产品检验指标。对0.1 mm以上量级降水，BIAS 评分显示SWCWARMS 模式预报效果较好，其余3 家模式预报均以湿偏差为主，尤其是ECMWF 模式雨日预报空报最多；TS 评分ECMWF 模式最低，CMA-MESO 模式最高。对于10 mm 以上量级降水，GWF 产品效果最好，命中率较高，空报率最低，故TS 评分最高；SWCWARMS 模式由于空报较大使得TS 评分最低。对于25 mm 以上量级降水，ECMWF 模式预报效果最好，量级预报与实况相当，命中率最高，空报率最低，故TS 评分最高；SWCWARMS模式与10 mm 以上量级降水特征类似，空报率较高导致TS 评分最低。对于50 mm 以上量级降水，BIAS 评分显示GWF 预报效果最佳，ECMWF 模式预报偏干，SWCWARMS 与CMA-MESO 模式则相反，预报湿偏差较大；TS 评分GWF 最高，预报效果最优，SWCWARMS模式TS 评分值相对较低。

表3 6～9月各预报产品检验指标分布

3.2 个例评分

由各预报产品25 mm 以上降水BIAS 评分逐月对比（图3）来看，7月下旬及8月的过程各产品降水量级预报与实况更接近，评分值1 左右。各产品对比来看，GWF 整体偏干，尤其是0628、0813、0913 这3 次过程严重偏干，预报效果相对较好的过程是0608、0703、0731、08094 次；SWCWARMS 模式有6 次过程存在较大湿偏差，分别为0616、0625、0703、0705、0904、0905，其中预报较好的4 次过程为0706、0813、0826、0913；ECMWF 模式有5 次过程湿偏差较大，分别为0607、0703、0705、0706、0905，其中预报较好的3 次过程为0608、0703、0731；CMA-MESO 模式降水量级预报效果优于其他三家产品，较大湿偏差过程为0607、0705、0905，明显干偏差过程为0628、0813，其余过程降水量级预报与实况相当。

图3 各预报产品≥25 mm 降水BIAS 评分

由各预报产品≥25 mm 降水TS 评分逐月对比（图4）可知，7～9月各模式预报效果优于6月，大部过程评分值在20 分以上，表明预报量级、落区与实况匹配较好。GWF TS 评分高于40 分过程数为2 次，20～40 分有9 次过程。SWCWARMS 模式TS 评分高于40 分过程数亦为2 次，20～40 分有5 次过程，8月预报效果较好。ECMWF 模式TS 评分高于40 分过程数为5 次，20～40 分有4 次过程。CMA-MESO TS 评分高于40 分过程数只有1 次，20～40 分有8 次过程。综上可知，GWF 预报效果最稳定，评分值超过20 分以上过程次数最多。

图4 同图3，但为TS 评分（扩大100 倍）

由各预报产品≥25 mm 降水命中率逐月对比（图5）可知，6月、8月命中率高于其余月份。各预报产品对比来看，GWF 命中率40 分以上过程数为8 次，SWCWARMS 过程数为5 次，ECMWF 模式过程数为9 次，CMA-MESO 模式过程数为7 次。综上可知，ECMWF 模式预报命中率较高，SWCWARMS 模式预报命中率值相对较低。

图5 同图3，但为命中率

由各预报产品≥25 mm 降水空报率逐月对比（图6）可知，8月预报效果相对较好，空报率值50%以下过程次数最多。各预报产品对比来看，GWF 空报率40%以下的过程数为6 次，SWCWARMS 模式过程数为4 次，ECMWF 模式过程数为6 次，CMA-MESO 模式过程数为3 次。综上可知，CMA-MESO 模式降水预报空报最明显。

图6 同图3，但为空报率

4 典型个例分析

4.1 24 h 累计降水检验

选取过程评分较高的2021年6月7日20 时～8日20 时（个例一）和2021年8月25日20 时～26日20 时（个例2）详细分析各预报产品的预报性能，同时这两次过程主要降水区域分别为攀西地区南部和中部、北部，地域上也有一定代表性。

由个例一实况落区（图7a）可知，此次过程量级为大到暴雨、局部大暴雨，主要降水落区位于攀西地区南部。GWF 产品预报效果最优，25 mm 以上降水分布与实况基本一致，但降水极值偏小一个量级。SWCWARMS 预报落区偏北，极值量级与实况相当，均为大暴雨。ECMWF 预报落区与实况较一致，但量级明显偏小，以大雨为主，暴雨范围窄。CMA-MESO 预报效果仅次于GWF，与实况相比暴雨范围略窄，局地大暴雨未考虑。综合来看，除SWCWARMS 主要降水落区预报偏北之外，其余3 家产品本次过程预报效果均较好，尤其是SWCWARMS 模式极值预报效果最好，报出了大暴雨量级降水，其它模式均只报出暴雨量级。

图7 2021年6月7日20 时～8日20 时24 h 累计降水落区对比（a. OBS，b. GWF，c. SWCWARMS，d. ECMWF，e. CMA-MESO，单位：mm）

由个例二实况落区（图8a）可知，此次过程量级为大到暴雨，主要降水落区位于攀西地区中部、北部。GWF 产品预报大雨以上量级降水区域实况出现了该量级降水，但整体量级和落区预报均明显偏小。SWCWARMS 预报效果最优，但极值量级和暴雨范围相比实况偏大。ECMWF 模式预报落区与实况较一致，但大雨区南界偏北，大到暴雨范围偏小。CMA-MESO预报效果与GWF 类似，对此次过程预报明显偏弱。综合来看，SWCWARMS 模式综合预报效果最好，ECMWF 次之。

图8 同图7，但为2021年8月25日20 时～26日20 时

4.2 逐3 h 降水检验

从攀西地区观测和模式预报个例一的24 h 累计降水极值点位置分布（图9a）来看，GWF 产品（93 mm）降水中心整体位置与实况（119 mm）偏差较小，CMAMESO（94 mm）偏东，ECMWF（75 mm）偏西，SWCWARMS（118 mm）偏北。从逐3 h 降水变化来看，实况主要降水时段为02～11 时，其中02～05 时雨强最大。GWF强降水时段为23 时～次日11 时，强降水开始时间早于实况。SWCWARMS 模式除20～23 时预报明显偏强于实况外，其余主降水时段与实况较一致。ECMWF 模式10 mm 以上降水在05 时之后开始，14 时以后趋于结束，主降水开始时间比实况偏晚约3 h。CMAMESO 强降水开始时间与实况一致，但量级偏小，10 mm以上降水结束时间比实况晚约3 h。

图9 个例一中降水极值点空间分布（a. ●为实况， ▲为GWF， ■为SWCWARMS, 为ECMWF, 为CMA-MESO）和各极值点逐3 h降水变化（b）

从攀西地区观测和模式预报个例二的24 h 累计降水极值点位置分布（图10a）来看，GWF 产品（84 mm）降水中心位置相比实况（101 mm）偏北，CMA-MESO预报（104 mm）与实况极值点位置最为接近，ECMWF 模式（77 mm）与实况偏差最大，位置最偏北，SWCWARMS 预报极值点位置（177 mm）偏西，量级偏大。从逐3 h 降水变化来看，实况主要降水时段为02 时～次日20 时，其中08～11 时雨强最大，持续时间长。GWF 夜间降水强度与实况相当，白天降水强度明显弱于实况。SWCWARMS 在20～23 时预报明显偏强，随后3个小时降水减弱，而后发展加强，直至下午时段有所减弱，傍晚再次加强，持续时间与降水强度均明显高于实况。ECMWF 强降水开始时间与实况较一致且强度偏小，14 时以后趋于结束，结束时间比实况偏早约6 h。CMA-MESO 强降水开始时间早于实况约3 h，14 时以后趋于结束，早于实况约6 h，但其降水峰值时段与实况较一致。

图10 同图9，但为个例二

5 结论与讨论

本文基于业务常用的GWF、SWCWARMS、ECMWF以及CMA-MESO 共4 家客观预报产品，详细检验了各产品对2021年汛期攀西地区定量降水的预报性能，得出以下主要结论：

（1）从不同量级雨日统计来看，除ECMWF 模式暴雨量级预报偏干外，其余各预报产品各量级降水均以湿偏差为主。从降水偏差空间分布来看，SWCWARMS、CMA-MESO 模式有雨日数在攀西地区南部预报效果较好，其余地方各产品均存在较大空报。大雨日数各产品在凉山州中部预报偏差较大，攀西地区南部预报偏差较小。

（2）对于0.1mm 以上量级降水，SWCWARMS 模式预报效果较好，ECMWF 雨日空报最多。对于25mm以上量级降水，GWF、ECMWF 模式BIAS 评分较高，其余2 家模式预报以湿偏差为主，ECMWF 模式TS评分最高。对于50mm 以上量级降水，GWF 评分最高，其预报量级与实况相当，ECMWF 模式预报较实况偏干，其余两家模式较实况偏湿。

（3）从16 次过程检验来看，各预报产品在8月份过程中的表现优于其余月份，GWF 产品25 mm 以上TS 评分高于20 分的过程次数最多且预报效果最稳定，CMA-MESO 模式空报最大。

（4）从典型过程检验来看，GWF 对攀西地区南部过程把握较好，SWCWARMS 模式对攀西地区中、北部过程预报效果较好。逐3h 降水检验结果表明，各产品强降水开始时间大部早于实况。两次过程SWCWARMS 模式3h 雨强均大于实况，且其对于持续时间较长的过程预报效果较好，而GWF、ECMWF 模式累计雨量较实况偏小。

综上可知，日常业务预报中，晴雨预报应加强消空，大量级降水预报可着重参考SWCWARMS 定量降水预报。但对于各家产品在地形复杂区域的预报能力分析，还需运用更长时段资料展开全面而准确的评估。尤其是对于高分辨率模式，传统的检验指标易因为“双惩罚”现象而评分偏低，从而忽略掉预报能较好地刻画中尺度对流系统结构形态特征的积极信息，需要找寻更为有效的检验方法挑选更有优势的预报，进一步提高模式释用技巧。