自动替换国家站异常数据技术方法探究

王旖楠, 闫文辉, 张志龙

(1.内蒙古自治区通辽市气象局,通辽 028000;2.内蒙古自治区兴安盟气象局,乌兰浩特 137400;3.河北省唐山市丰南区气象局,唐山 063300)

0 引言

2020-04-01,地面气象观测自动化改革正式业务运行,虽然改革后气象观测频次、数据传输效率和数据量显著提升,但是当台站地面或辐射正点数据部分或全部缺测或数据异常时,仍需省级数据质控业务部门值班人员联系台站业务人员进行繁琐的人工干预,未能有效利用备份自动气象站(简称“备份站”)数据在省级完成数据处理[1-2]。同时,大多数备份站为Ⅰ,Ⅱ,Milos型自动气象站,无法生成能在气象资料业务系统和气象大数据云平台入库的标准格式气象数据(BUFR文件),数据无法实时进入业务系统,造成资源浪费。将备份站全部更换为新型自动气象站的性价比很低,因此,研究备份站数据应用方法,使其发挥应有的效益,具有重要的现实意义。

研究数据格式差异及异常数据代替方法,在省级通过程序自动实现用备份站等可用数据代替现用自动气象站(均为新型自动站,简称“现用站”)正点异常数据的功能,将大大提高国家气象观测数据的准确率、可用率和业务可用性,文章就省级自动替换国家站异常数据的技术方案进行探究,为省级数据质控业务部门选择数据处理方式提供有益参考。

1 异常数据替换规则

根据《地面气象观测业务技术规定实用手册》可知,正点时次异常记录按照正点前10 min内接近正点的正常记录、正点后10 min内接近正点的正常记录、备份站记录、内插记录的顺序代替[3]。风、日照等记录不可以内插,日照、蒸发、降水量等不可以用分钟记录代替。正点前10 min内接近正点的正常记录代替工作已经由地面综合观测业务软件自动实现[4-5]。文章重点研究利用正点后10 min内接近正点的正常记录、备份站记录、内插记录代替异常数据(不包括日照、蒸发、降水量)的方法[6]。

2 数据替换方法探讨

台站BUFR文件在气象资料业务系统和气象大数据云平台两个业务系统入库并对外提供数据查询服务,但该文件不支持编辑和修改;Z文件可编辑修改,但不能在气象资料业务系统和气象大数据云平台入库。现用站能同时生成BUFR文件和Z文件,而Ⅰ,Ⅱ,Milos型备份站只能生成Z文件,再通过“Z转BUFR”插件转换得到BUFR文件。台站地面或辐射正点数据(BUFR文件)部分或全部异常(错误、缺测、缺报等)时,需要由省级信息中心负责数据质控的技术人员联系台站业务人员按照异常数据替换规则进行人工干预。

研究Z文件格式发现,文件内容分为13段,其中与数据相关的是2～11段。每段的要素和字节量固定,通过自编小程序能够读取相关要素数据并修改数据。因此,将台站的现用站和备份站Z文件通过FTP传输至省级备用,当台站现用站出现设备故障等异常情况时,能够通过程序自动实现数据替换功能。

正点后第1分钟检索该正点Z文件名称,如果找不到该文件,说明全部要素数据均缺测;找到正点Z文件时,将其打开并按位读取各要素数据,编报“/”的代表缺测,这两种情况均需进行异常数据处理。如果找到的正点Z文件中没有缺测的要素,则不进行处理。

2.1 用正点后10 min内接近正点的正常记录代替

某时次有要素缺测时,正点后第1 min读取该要素分钟数据文件,若该要素不缺测,则用该值代替正点值,写入正点Z文件中的相应位置,并不再读取该要素分钟数据文件;若第1 min该要素缺测,则在第2 min继续读取该要素分钟数据文件,若该要素不缺测,则用该值代替正点值,写入正点Z文件中的相应位置,并不再读取该要素分钟数据文件,以此类推。此过程持续到第10 min为止。

案例:某站2022-01-02T03:00正点气压、气温和相对湿度缺测,正点后10 min记录如表1所示;备份站正点气压为1,003.5 hPa,气温为22.8 ℃,相对湿度为57%。03:08因供电异常导致计算机硬盘损坏,03:08—03:10的分钟数据于2022-12-18修复计算机硬盘后读出。按照数据处理流程,正点Z文件中的气温应该用第6 min的22.6 ℃代替,相对湿度应该用第7分钟的56%代替;本站气压暂不处理,待12月硬盘修复后用第10 min的1,003.6 hPa代替。

表1 某站正点后10 min记录

2.2 用备份站记录代替

当正点后第10分钟该要素仍缺测时,不再读取该要素分钟数据文件,并用备份站正点Z文件中对应要素的值代替。

2.3 用内插记录代替

当备份站正点Z文件中的气象要素值缺测时,用现用站该要素值上一时次与下一时次的平均值代替(不包括风)。

案例:某站2022-01-02T08:00正点气温缺测,正点前10 min和正点后10 min的记录缺测,备份站记录也缺测。07:00和09:00正点气温记录如表2所示,可见,08:00 Z文件中的正点气温值应该用内插计算出来的22.5 ℃代替。

表2 某站1月2日07:00和09:00正点气温记录

2.4 按缺测处理

如果现用站某要素连续2个时次缺测且无其他代替值,则该要素按缺测处理。

在上述处理流程中,如果某要素正点后10 min内的记录均缺测,会导致正点后10 min该要素得不到处理,影响了这段时间的数据准确率。某时次有要素缺测时,按照异常数据替换规则,在当前时间能获取的数据中选择符合要求的数据进行代替处理,即可以避免此类问题。如章节2.1的案例中,正点时无法获取正点后10 min数据,当前本站气压、气温和相对湿度用备份站记录代替,既符合要求又提高了数据可用率和到报时效;启动“用正点后10 min内接近正点的正常记录代替”的处理流程,用正点后第6 min气温代替正点气温,正点后第7 min相对湿度代替正点相对湿度,12月18日用正点后第10分钟本站气压代替正点本站气压,能有效避免数据缺测率高、更正数据不及时的问题。

如果不采用自动处理异常数据的方式,当省级数据质控业务部门值班人员发现数据异常时,再联系台站业务人员人工进行确认处理,一般需要数小时甚至几天时间,且存在一定的出错概率。因此,自动处理异常数据的两种方案明显比人工处理异常数据具有更高的效率和准确度。

3 数据替换流程设计

经过比较数据异常时几种处理方案的效果发现,正点时次异常记录用备份站记录代替,正点后10 min内接近正点有正常记录时再替换备份站记录,备份站记录和正点后10 min内记录均缺测时用内插记录代替,具有较高的时效性和准确性。

4 结束语

实现异常数据记录自动代替,能够充分发挥备份站的备份作用。文章提出了现用站数据缺测时自动实时使用现用站分钟数据和备份站数据代替的两种技术方案,并与人工处理异常数据的方法进行比较,结果表明:

1)人工处理异常数据流程繁琐,有一定的出错概率,效率低;

2)两种自动处理异常数据方案具有更高的效率和准确度,可解决Ⅰ,Ⅱ,Milos型备份站Z文件不能在气象资料业务系统和气象大数据云平台入库的问题,同时极大地减少了人工处理数据工作量,对提高国家级地面气象观测站数据的准确率、及时率、可用率有很大帮助。