MDOS在气象资料业务中的应用
2019-07-16侯灵杨玉红乔文文
侯灵 杨玉红 乔文文
摘要:自2014年5月气象资料业务系统(MDOS)开始试运行以来,MDOS在广东省常规观测实时数据解码入库、数据监控、数据质量控制及数据服务等方面发挥了巨大作用。该文首先通过对气象资料业务系统及其与省级综合气象信息共享平台业务联系的介绍,阐述了气象资料业务系统在省级气象信息业务中的位置及作用。此外,经过近五年业务工作经验累积,作者总结了台站级操作方法及相关操作技巧,归纳了目前系统存在的问题,并为台站日常操作提出了一些操作建议。
关键词:MDOS;CIMISS;操作方法;操作建议
中图分类号:TP311 文献标识码:A
文章编号:1009-3044(2019)15-0255-03
随着气象业务量级的增长、气象现代化的不断推进,各气象业务系统及数值预报模式业务对气象资料质量的要求越来越高,而传统气象资料质量控制体系因存在历史与实时资料业务脱节(历史资料质量高但时效性差,实时资料质量未经过系统质量控制)、各气象资料业务平台的数据处理流程缺乏统一标准导致数据不一致、数据质量控制方法标准各异等问题,无法满足气象业务现代化发展的需求。建立集质量控制、加工处理、存储分发、服务于一体的现代气象资料质控系统,实现实时和历史资料一体化处理与管理,满足现代气象业务对气象资料完整性、时效性和高质量方面的需求[1-2],迫在眉睫。
1 气象资料业务系统在广东省运行情况简介
在前人对历史和实时观测资料的质量控制方法研究的基础上[3-5],2011年3月中国气象局开始实施开展实时历史气象资料一体化业务的业务实验,研发了气象资料业务系统(Meteorological Data Operational System,简称MDOS),该系统是一个集数据传输监控、质控信息处理与查询反馈、基础信息管理、信息报警、产品制作与数据服务、元数据处理、系统管理为一体,以省级数据监控、处理与查询为核心,涵盖台站处理与反馈,衔接国家级处理与查询的综合性气象资料业务平台。MDOS 的运行实现了历史资料和实时资料一体化流程,有效提高了气象资料的完整性、时效性和一致性。
2014年 5月20 日广东省气象探测数据中心顺利完成 MDOS 平台系统安装、部署等工作,正式开展气象资料业务系统的业务试运行,2015 年7 月1日投入业务运行。至2018年12月初为止,平台已升级至V2.1.1版本,在广东省级及台站级整体运行稳定,实时监控、质量控制、疑误数据处理、元数据管理、地面报表(A、J、Y文件)的制作及上传国家级数据中心、数据共享及服务等工作开展顺利。
MDOS V2.0版本之后的系统是将之前运行在Windows Server + SQL Server 环境下的系统移植到Linux + Oracle 环境下。目前,经MDOS操作平台进行质量控制处理数据类型包括小时数据、分钟数据、小时辐射数据、日数据、日照数据、小时土壤水分数据、酸雨数据、高空规定层数据、高空秒级数据等9类基本气象数据和台站元数据信息。
MDOS实现了台站、省、国家三级资料同步,经统计发现,广东省实时要素自动上传数据可用时效为1~5分钟,省级人工观测干预处理可用时效为3~5分钟,信息反馈处理时效为2~24小时,历史资料的可用时效由2~3月提高到现在的1~2天。经过 MDOS 质控后数据可在天气检测、短临预警预报、中尺度分析、定量降水估测和预报、灾害性天气精细化落区等业务中得到应用以提高灾害性天气预报的精细化和准确率[6]。
2 MDOS在省级数据流程中的地位及作用
目前,广东省地面常规观测气象资料采用四级质控流程:观测系统质控是指数据在观测采集端通过多传感器互备、多套观测数据互校对比、台站观测员人工检查等方法进行的质量控制;传输系统质控也称为数据次级质控,是指当数据通过FTP协议传输到省级后对数据格式、文件名及数据重复性等进行质量控制,并进行快速质控检查;人机交互质控也叫数据自动质控,是指数据在入库时利用MDOS对气象数据进行质量控制与疑误反馈,通过人机交互确定疑误信息;而业务应用层面的质控是指用户在使用气象数据时针对自身业务需要进行的质量控制。
台站观测采集的各类常规地面观测资料,经台站测报软件形成文件或数据流,通过FTP或流传输实时传送到省级综合气象信息共享平台(China Integrated Meteorological Information Service System,简称CIMISS),CIMISS的总体架构主要包括数据收集与分发系统(CTS)、数据加工处理(DPC)、业务监控系统(MCP)和数据存储管理系统(SOD)四个子系统。其中CTS负责数据收集、快速质量控制、数据传输和数据分发,由图2可知,CTS接收台站上传的原始报文后,对文件進行快速质量控制,随后将原始文件及经快速质控的文件分别分发给国家级CIMISS、省级归档服务器及省级数据加工处理系统(DPC),DPC对报文进行解码后,通过CIMISS简约入库程序一路将数据入库到CIMISS 基础库,另一路将数据入库到MDOS原始库及支撑库,同时MDOS内的三级质控启动,MDOS质控后的更正信息,会通过消息更正文件的形式发送给DPC,DPC会将更正信息再次入库到CIMISS 基础库,对初始入库的数据进行订正。
MDOS与CIMISS实现对接,主要体现在两个方面:1)MDOS操作系统界面显示的统计要素统计值均为国家级数据中心进行质控融合统计之后统一下发到各省的SOD库表中的数据,MDOS使用 SOD中相关日统计值;2)CIMISS 在数据处理方面与MDOS系统进行双向交互,实时保证数据的准确性、一致性和完整性。
3 MDOS操作技巧
MDOS操作平台有八类用户,分别为省级管理员、省级监控员、省级数据处理员、台站管理员、台站监控员、台站数据处理员、第三方用户、系统管理员。各类用户权限不同,管理员可根据用户操作需要开设不同权限的用户。MDOS操作包括省级操作和台站级操作,台站级操作主要包括数据完整性监控、质控疑误信息反馈、元数据登记、挂载及解除黑名单四个方面。本文重点结合MDOS省级值班员的相关操作介绍台站级操作中关于更正报及数据联动修改的相关方法和技巧。
3.1 保证数据完整性
MDOS操作平台首页即为数据接收与上传监控界面,台站及省级工作人员从监控界面可以查看需要进行质控的各类数据的入库率,入库率为100%表示所有应入库文件都已经成功入库,若省级值班员通过MDOS数据接收与监控界面发现,某个资料某时间段入库率为0,表示全省所有台站的该类资料都没有入库,解决办法有两种:一是检查CTS传输、分发程序,二是检查DPC中部署的MDOS入库程序是否出现了积压,此类问题台站可以不予理会。
若某个时次的数据文件通过台站的发报软件显示发送成功,但是MDOS里一直没有见到数据更新,是因为CTS在接收到文件后,会在CTS内置数据库中记录接收到的文件名,若48小时内再次接收到相同的文件名,CTS质控程序会把后一份文件当成垃圾文件丢掉,而不会再分发。此类问题有两种解决办法:1)联系MDOS省级运维人员,将CTS 数据库中的日志清除;2)在更正文件名上添加不同的更正标识。
鉴于更正报对文件完整性及疑误数据质量订正的作用,更正报成为MDOS系统操作中重要部分。但是,各资料种类文件更正报发报格式及MDOS对其采纳时效都不同,本文接下来重点介绍更正报相关内容。
1)更正报发报格式
更正报报文的格式一般是由测报软件自动形成的,不需要人为修改,但是由于可以多次编发更正报,当更正报发送次数较多且某些更正报未发送成功时,则需要台站手动更改更正报报文。国家站分钟文件、日照文件、日数据文件和辐射小时文件,只需要添加或者修改文件名中相应的CC[X]即可。而国家站地面小时数据的更正报除了需要修改文件名中的CC[X] ,还要打开文件,将第一行台站参数的最后一个字段改成相应的更正标识。
分钟降水数据缺测或错误的话,应该发送小时数据文件更正报进行数据更正,其他分钟要素缺测或错误的话,应发分钟文件(MZ文件)更正。
2)MDOS对更正报的采纳
目前,除酸雨外,MDOS质控的其他种类数据都可发更正报,CIMISS能收到的数据更正报文件的时效是100天,若观测时间在发报时间100天之后,CTS格式检查会进行判断,将其视为垃圾文件丢弃。与观测时间相比,MDOS中分钟、辐射更正报数据是实时自动采纳,小时数据超过24小时、日、日照数据超过36小时,需要省局值班员进行人工干预确认,更正数据才能入库。台站发完更正报,在发送操作无误的情况下,需等省级值班员干预完成后才能查询更正报入库情况。
在一定的时效内,MDOS接收到更正报后会与原始数据进行对比,质控码和数值有变更时直接改MDOS支撑表,同时发送消息更新CIMISS数据表;在时效之外,质控码和值有变更时需要人工干预,干预通过后修改MDOS支撑表,然后发送消息更新CIMISS数据表。
3.2 疑误信息反馈
3.2.1 被动反馈
MDOS中省级值班员可以通过质控信息处理界面中的省级处理与查询反馈页面,将MDOS各级质量控制所检查出来的疑误数据信息交给到各台站,台站值班员在接收到省级查询的疑误数据后,可以通过原始数据无误、数据错误、数据修改等操作,完成对疑误数据的处理与反馈,这个过程我们称之为被动反馈。
被动反馈分两种情况:一是台站值班手机在接收到MDOS疑误信息后,实时登录MDOS操作平台反馈。接到疑误短信后,台站值班员应先核对疑误数据值,检查相应观测仪器,查明可能引起出现错误数据的原因,并及时进行相关数据处理和观测仪器维护等工作;二是守班期间每隔3个小时对MDOS系统进行定时检查,一旦发现疑误信息,及时处理。目前广东省考核规定台站在收到疑误信息12小时之内通过MDOS操作平台完成反馈,守班时段、应急响应期间,接收到疑误信息短信或电话后1小时内进行反馈。
3.2.2主动反馈
台站值班人员在日常数据维护及月报审核时,若发现数据问题,可以通过MDOS数据查询与质疑界面、发更正报及通知省级值班员通过任意数据修改界面修改疑误数据等方式进行主动反馈。
在MDOS操作时,不管是通过省级处理与查询反馈、任意数据修改、数据查询与质疑还是通过更正报进行数据更改,都会引发相关要素关联修改,关联修改要素及关联修改条件如表1所示,系统于当日21:30点会启动日回归质控对修改后的数据及其相关联数据重新进行质量控制,若台站更改有误或者更改导致关联要素矛盾,则MDOS质控会再次提出疑误信息,直到数据正确为止。需要注意的是,目前降水量相关要素引起的相关联数据的自改,不需要人工触发,但是因为数据量较大,没有实时处理,目前设置为每半小时自动修改一次。
3.2.3 MDOS數据录入规则
版本升级至V2.1以后,MDOS及台站测报软件中数据录入规则都发生了一些变化,气温、气压、变温、变压、云量、降水、风速、雪深、雪压要素在MDOS V2.1以后的版本中均按照原值输入,不再像之前的版本将实际值扩大十倍输入;相对湿度、风向、冻土、电线积冰、冰雹直径要素仍然保持原值输入;人工能见度、自动观测能见度要素以米为单位的进行录入。
台站测报软件有数据录入规则也有相应变化,当小时降水量为微量时,台站不能在测报软件小时降水量栏输入‘0,此时小时降水量应为空,而6小时、12小时、24小时统计降水量内输入‘0.0,否则MDOS对小时降水量进行质控的时候会判定降水量不合法。此外,台站测报软件录入的夜间天气现象结束的时候无逗号,而通过MDOS数据查询与质疑界面输入的时候需要在夜间天气现象结束的时候输入逗号。
3.3 黑名单挂载及解除
某个要素连续48小时及以上时次出现疑误或错误,台站值班员要及时对要素进行确认,若数据错误需缺测,应通知省级值班员将其加入黑名单,以免MDOS自动质控一直产生疑误信息,同时尽快维修或维护仪器;待数据正常时,要通知省级值班员解除黑名单。
4 MDOS系统存在的问题及使用建议
从2014年5月20日系统开始试运行至今,MDOS功能不断完善,质控能力大幅提高,但是有一些系统问题,至今没有得到很好的解决,导致台站级及省级在对系统进行操作的时候,遇到一些麻烦,现将平时值班中遇到的系统问题,一一归纳与全省测报人员分享,希望能对台站用戶操作MDOS提供一些帮助:
1)滚动条及提示信息及时性问题
因为频繁的刷新会造成系统的资源消耗过大,操作平台滚动条使用定时刷新的形式,目前是每5分钟刷新一次,所以会有些延迟;提示信息模块有时会因为系统问题导致缓存的提示信息读不到而一直提示已经处理过的疑误信息。
2)台站元数据更新同步问题
台站通过元数据信息界面修改了数据,且通过界面查询数据正确,但是利用系统制作的月报或年报产品中相关数据仍是错误的,这主要是因为元数据信息界面使用的数据库表和制作报文使用的数据库表不是同一个表,二者之间时常没有及时同步。
3)找不到未处理疑误信息问题
针对滚动条有提示但台站用户遍寻不到疑误信息的问题,首先建议台站使用谷歌浏览器登录MDOS,在使用MDOS操作平台处理完问题以后,一定要退出系统,关闭浏览器的时候设置清除浏览器缓存;其次可以首先通过省级处理与查询反馈确定台站类别、数据类型及疑误信息出现时间,然后通过台站处理与反馈逐个设置查看。
5 结束语
从2015年7月正式运行至今,MDOS基本实现了广东省常规地面观测数据实时滚动质量控制、疑误数据快速处理、台站元数据管理和产品实时滚动生成,实现了台站、省、国家三级资料同步,将历史资料的可用时效由以前的2~3月提高到1~2天,大大提高了历史数据的可用性。目前,随着气象现代化工作的不断推进,气象观测资料格式不断变更、资料种类的不断增多,MDOS也在不断升级,相信未来MDOS会在资料质量控制、产品服务等方面发挥更大的作用。
参考文献:
[1] 中国气象局.地面气象观测资料质量控制:QX/T 118-2010[S].北京:气象出版社,2010.
[2] 中国气象局.地面气象观测规范[M].北京:气象出版社,2003.
[3] 王海军,杨志彪,杨代才等.自动气象站试试资料自动质量控制方法及其应用[J].气象,2007,33(10):102-109.
[4] 任芝花,赵平,张强,等.适用于全国自动站小时降水资料的质量控制方法[J].气象,2010,36(7):123-132.
[5] 王新华,罗思维,刘小宁,等.国家级地面自动站A文件质量控制方法及软件开发[J].气象,2006,32(3):107-112.
[6] 孙娟.基于MDOS的上海地面气象数据质量分析与评估[J].第33届中国气象学会年会S20气象信息化-业务实践与技术应用,2016(11).
【通联编辑:代影】