广东省地面自动气象站质控技术设计与应用

2023-10-30侯灵陈逸智黄伟邓若钊尹淑娴

广东气象 2023年5期

侯灵，陈逸智，黄伟，邓若钊，尹淑娴

（1.广东省气象数据中心，广东广州 510080；2.遂溪县气象局，广东遂溪 524300；3.东莞市气象局，广东东莞 523000）

广东省受低纬度热带天气系统和中高纬度天气系统的交替影响，天气复杂多变，是我国气象灾害多发、频发的地区［1－2］。为保障社会经济的高速发展，加强气象监测预报能力成为广东气象现代化建设的首要任务。截止至2021年底，广东省气象部门共布设地面自动气象站3 400多个，广东省水文部门共布设水文气象站2 108个，全省平均站网密度约6 km，珠三角地区约3 km。地面自动气象站业务观测频次为5 min一次，观测站网密、观测频次高、观测数据量大等特点突出，如何对全省地面气象站数据进行高效采集与质量控制成为制约气象业务时效性和准确性的主要问题［3］。

国内外有许多学者对气象资料质量控制方法做过研究［4－6］，华南区域气象要素质控研究多集中在探测端［7－9］，广东省气象局目前使用的地面自动气象站数据实时质量控制系统是中国气象局统一部署的气象资料业务系统（meteorological data operational system，MDOS），因MDOS没有实现5 min时间分辨率的实时资料质量控制，导致业务工作中使用的实时观测数据均未经过质控，从而直接影响气象预警、决策服务以及预报检验等工作的准确性［10］。为此，利用广东省气象局一体化数据访问平台（简称MUSIC－GD）获取逐5 min时间分辨率的实时地面自动气象站观测资料，基于消息传输、Redis缓存机制，多线程分要素建立质量控制业务流程，进而提高数据质控的准确性和处理效率。

1 资料与方法

1.1 资料介绍

实时质控资料为常规观测的国家气象观测站全部76个要素（气温、1 h降水量、本站气压、相对湿度、风、地温、草温、蒸发、能见度、天气现象、冻土、积雪及以上要素相关要素等），区域气象观测站34个观测要素（气温、本站气压、相对湿度、1 h降水量、风及以上要素相关要素等）及水文雨量站小时雨量观测资料，其中国家站和区域站常规观测资料时间频率为5 min。

1.2 方法

针对广东省地面自动气象站数据的质量控制，在参考地面气象观测资料质量控制行标［11］的基础上，结合广东省区域气候特征，根据不同站点地理分布等特征开展相应的处理。以气温质控流程和界限值检查为例简要介绍系统中要素质控流程及算法设计。

（1）要素质量控制流程。

气温进入质控模块后，依次经过缺测检查、界限值检查、内部一致性检查、时变检查（5 min、1和3 h时变检查）、持续性检查、空间一致性检查、特殊天气事件检查、综合检查。当缺测检查未通过时，判断该台站要素是否有此观测项，中断质控流程，直接进入综合检查；反之，按照质控流程依次进行质控。

（2）气温界限值检查。

气温界限值检查通过检查气温要素是否在其测量允许值范围之内，判定数据正确与否。本系统利用气候学界限值检查、区域界限值检查和区域界限值临近站辅助检查3类质控算法进行气温界限值检查。气候学界限值检查时选取［－60℃，80℃］为气温的气候学范围，超过该范围的气温值，直接标记为数据错误，不再进行后续质控检查。

区域界限值检查时，针对广东省复杂的下垫面分布，将地面自动气象站探测地表环境分为城市和山区两类。根据全省各个台站自建站以来的气温观测数据，统计得到各月气温的最大值tmax和最小值tmin（表1），并以此为界限标准，根据气温值是否在对应的极值范围内，判断气温值是否正确。

表1 广东省地面自动气象观测站气温历史极值℃

当区域界限值检查判断数据为错误时，仍需开展区域界限值临近站辅助检查，以避免因极端天气引起的观测数据被误判。主要有两种情况：

一是当气温值＞42℃（全年极大值）或＜－7.3℃（全年极小值）时，需与周围50 km范围内最近的5个邻近自动气象站观测到的气温平均值（tave）进行比较。若｜t－tave｜＞5℃，则数据判断为明显错误数据；若｜t－tave｜＜5℃，质控码标记为一般错误。

二是当月的气温值超过本月的极值，但又低于全年的极值，即tmax＜t≤42℃，或者－7.3℃≤t＜tmin，也需与周围50 km范围内最近的5个邻近站气温的平均值（tave）进行比较。若｜t－tave｜＞8℃，则数据判断为明显错误数据；若5℃≤｜t－tave｜≤8℃，则数据判断为一般错误；｜t－tave｜＜5℃，数据标记为可疑。

实时质控中，为了均衡临近站数据完整度与质控时效，系统设置当前时次自动站到报数达到3 000个时，启动区域界限值临近站辅助检查，同时标记临近站未满5个而没有启动临近站辅助检查的台站，每间隔1 min重新启动一次，重复执行5次后若临近站仍未满5个，则该台站跳过该项检查。

依此类推，对地面自动气象站的其它观测要素也分别依据要素特征开展质控，并利用质量控制标识（表2）表征数据质量状况，用户可以根据质量控制标识，结合自身需求情况，对观测数据进行处理与应用。

表2 质量控制码

2 质控流程设计

2.1 质控系统流程

由于空间一致性检查依赖于临近站、临近时次的观测资料，但实际业务中，不同台站受校时、信号、网络等影响，同一观测时次数据到报时间很难统一。为了确保质控效率，按照到报时间与观测时间差值及是否为更正报将待检数据分为暂不进行空间一致性检查的（A）、只进行空间一致性检查的（B）、运行全部质控算法的（C）、更正报暂不进行空间一致性检查的（D）和更正报运行全部质控算法的（E）数据，根据数据分类确定其质控和入库流程。

质控后的数据以消息的形式发送给入库模块，入库模块通过判断数据分类，暂不跑空间一致性的数据，在数据库表中标记为待更新，待所有质控方法完成后更新表中质控码；所有质控方法都跑的数据和不需要跑空间一致性的数据直接入库，标记入库完成。实时质控流程见图1。

图1 实时质控流程示意图

2.2 实时质控时效

系统利用数据更新时间通过实时数据接口一次获取近千条观测记录，在有历史数据补调时，调用量甚至达到上万条，数据量持续激增会导致质控各环节耗时成倍增加。为了提高质控时效，主要采用集中加载分流、集群化部署、多线程处理和缓存技术。

集中加载分流。根据观测时间被质控数据分为实时数据和补调历史数据，实时数据在实时加载后同步进行质控任务分发，进行后续质量控制处理；但对由于观测系统自身故障未上报，需要通过补调上报的补调历史数据，则通过定时触发、异步处理的方式加载数据进行质控任务分发；实时数据同步质控任务分发与补调历史数据异步质控任务分发相结合，保证被质控的观测数据时间序列上的完整性。

集群化部署、多线程处理。质控处理采用多台机器、多线程并行模式，当前业务中已部署10个处理节点，每节点180线程，共计1 800线程，所有线程同时对数据质控任务进行处理，以此提高全省数据的质控处理速度。同时，为及时向应用提供服务，同样采用多线程入库处理，质控更新数据借助临时表采用插入方式更新数据，减少入库积压，提高入库时效。

缓存技术。质控处理过程中需要频繁的访问相应的参数、阈值、临近站点等信息，因此提前将相关信息存储到高性能缓存数据库系统Redis，并持续优化缓存数据结构，节约了每次从存储上读取配置的耗时，提高了系统的处理效率。

目前国家站、区域站、水文站数据入库后1 min质控完成率达到95%左右，基本能够满足实时业务需求。

3 业务应用

系统业务应用之前，利用10台虚拟机作为质控节点集群进行了系统压力测试，每台测试机配置相同（linux系统、CPU为8核、内存为32 G），每台测试机分别设置线程池为10、50、100、150、180、200个进行测试，测试20组1 h（12个5 min时次）数据在每台测试机设置不同线程池数下的质控平均耗时及CPU和内存使用率情况（表略）。测试发现，当每台测试机线程池数≥150时，平均每个时次质控耗时差别不大；线程池为180时，平均耗时最短为52 s。平均每台测试机CPU使用率为20% ～30%，内存使用率为50%左右，机器性能较好，运行稳定。

2021年9月17日，探测数据中心通过IDEA发布质控数据和质控订正数据接口，用户根据自身需求调用相应数据集。为了确保调用原始数据的旧业务系统如SWIFT2.0（图2）等顺利过渡到质控后数据，将质控订正数据中错误和明显错误数据作缺测处理，如2022年2月11日07：00—2月12日03：00（世界时）G5605海丰县城东镇合利农业站由于降水仪器故障出现了极端错误降水，质控系统及时发现并订正后将缺测数据提供给业务系统，减少了错误数据对业务的影响。