自动气象站Z文件的异常处理及台站级质量控制
2011-12-23樊新宇盖小波
陈 明,樊新宇,盖小波,李 强
(1.辽宁省锦州市气象局,辽宁 锦州 121001;2.辽宁省大连市气象局,辽宁 大连 116001;3.辽宁省新民市气象局,辽宁 新民 110001)
自动气象站Z文件的异常处理及台站级质量控制
陈 明1,樊新宇1,盖小波2,李 强3
(1.辽宁省锦州市气象局,辽宁 锦州 121001;2.辽宁省大连市气象局,辽宁 大连 116001;3.辽宁省新民市气象局,辽宁 新民 110001)
正点地面气象要素数据文件即ZIIiiiMM.YYY文件(简称Z文件),是自动气象站采集数据文件的重要部分,在日常地面气象测报业务工作中,常常出现因设备软硬件故障或误操作等原因,造成数据资料的全部或部分丢失或出现数据异常等情况,给原始气象资料的积累造成难以挽回的损失。该文分析了z文件出现异常的原因和处理方法,并对台站级质量控制进行了探讨,以确保原始数据资料的完整和准确,满足现代气象业务需求。
自动气象站;Z文件;异常处理;台站级;质量控制
1 引言
正点地面气象要素数据文件即ZIIiiiMM.YYY文件(简称Z文件),是自动气象站采集数据文件的重要部分,也是自动气象站每月上报审核部门的3个重要的数据文件之一。Z文件出现数据丢失和异常,给原始气象资料的积累造成难以挽回的损失。自动气象站数据卸载到计算机内并及时的处理、显示、存贮是地面大气探测业务的基本要求。在日常地面气象测报业务工作中,难免因设备软硬件故障或误操作,造成数据全部或部分丢失或出现异常等情况。一般可分为两种情况,一种是永久性丢失,即自动站的仪器设备出现故障,如采集器、传感器及通讯设备等出现故障造成实时资料完全丢失,无法通过其它方法进行数据恢复;另一种是可恢复性的丢失,即采集器和传感器工作正常,而由于通讯线路故障、文件读写错误、共享冲突、软件升级等原因造成的实时资料丢失或异常,可通过相关的处理进行恢复。现代气象业务的发展对气象资料完整性、时效性和质量提出了十分迫切的需求。这就需要台站建立集数据监控、数据质量控制、数据存储和共享于一体的现代资料处理业务,为观测系统稳定运行提供基础保障。
2 正点地面气象要素文件异常原因及恢复处理
2.1 ZIIiiiMM.YYY文件数据异常原因分析
根据地面自动站工作原理分析,影响 ZIIiiiMM.YYY文件数据正常卸载有以下原因:OSSMO 2004测报软件内的系统参数不正确、采集通讯软件端口或波特率不正确、计算机系统受到病毒的攻击、计算机与采集器时间不一致、通讯接口接触不好、通讯线缆破损、自动站周围有电磁场和脉冲信号的干扰(如高频线缆等)、UPS电源和采集器后备电源工作不正常、外转接盒工作不正常、采集器CPU单片系统紊乱等。
以上原因出现时往往造成采集器中数据没能写入计算机,Z文件中无数据或者数据错误而没有卸载成功,采集器中的数据没有被清除;或者是采集器卸载数据成功,在将数据写入Z文件时出现错误,造成Z文件中无数据,但在ZZ.txt、AWS_IIiii_YYYYMMDD.RTD文件中有数据。
2.2 ZIIiiiMM.YYY文件数据资料的恢复处理
2.2.1 采集器中数据没能写入计算机,Z文件中无数据时的恢复处理 可以通过“常规数据卸载”功能,恢复和补救Z文件中的数据。这里需要注意的是:因采集器存储容量有限,目前大多数采集器只能保存约15d的定时数据或7d的定时数据和3d的分钟数据,因此,能够从采集器中恢复补救的数据是有限的;在进行“常规数据卸载”的过程中,由于数据卸载占用了采集器的通讯接口,系统软件会屏蔽实时分钟和正点数据的自动卸载功能,当前时刻的实时分钟和正点数据均不能正常采集,因而,在进行数据卸载时,选取的时次少些,减少对正点数据正常采集的影响。
2.2.2 利用“质量控制软件”将“AWS_IIiiiyyyymmdd.RTD”文件中的数据导入Z文件 导入过程是:先读取RTD文件中相应时次00分的数据,若该分钟全部数据缺测(“-”)或为初始化值(“-”),则再读取前1时次51~59分最接近正点分钟的不全为缺测或初始化值的数据,若正点前10min的数据均为缺测或初始化值时,则再从正点后10min最接近正点分钟的不全为缺测或初始化值的数据。用正点00分或前1时次51~59分数据导入时,数据直接填入数据区的单元格,若用正点后10min的数据导入时,极值项及出现时间一律按缺测处理。小时雨量从RTD中各分钟雨量统计得到。
2.2.3 通讯故障时的资料恢复方法 自动站数据采集软件在卸载数据时,在卸载窗口提示通讯故障后,可先通过采集器终端进行检查,在确认线路故障时,应立即排除,在确认通讯恢复正常时,选择人工资料卸载,但不要选择将资料清除选项,按确定即可卸载。
2.2.4 由于软件升级造成1月内存在2个Z文件分钟数据文件或者由于重新创建路径造成AWSsource文件在不同的路径下。这种情况只需用文本编辑软件打开2个Z文件,将任一个Z文件的正常数据拷贝到另一个Z文件的缺少资料就可以了。
2.2.5 资料卸载正常,Z文件中无资料的恢复处理出现这种情况,应在正点后1分10秒内调阅每分钟资料,将AwsSource目录下的ZZ.TXT拷贝到其他目录中,再用文本编辑软件将ZZ.TXT文件内的数据拷贝到Z文件内的相应时次。如超过这个时间,则应读取自动站数据备份路径下的AWS_IIiii_YYYYMMDD.RTD,将对应的数据录入Z文件。
3 正点地面气象要素文件的台站级质量控制
对正点地面气象要素文件ZIIiiiMM.YYY的台站级质量控制,主要包括:界限值检查、气候极值、内部一致性检查、时变检查、持续性检查、风向缺失检查、特殊天气事件检测等。
3.1 界限值检查
界限值检查方法是检查要素值是否在其测量允许值范围之内。如图1利用OSSMO2004版业务软件中“质量控制软件”完成各要素相关界限值的检查,注意设置的范围是检查的关键,范围太大达不到检验的目的。
图1 温度界限值检查
3.2 气候极值检查方法
气候极值检查是检查各要素值是否超过历史上出现过的最大值和最小值(图2)。
图2 温度气候极值检查
3.3 内部一致性检查,判断降水数据的异常
内部一致性检查是指有些气象观测要素相互之间关系密切,其变化规律具有一致性。根据该特性,就可对相关数据是否保持这种内部关系来检查其是否发生异常,以确定数据质量,即为内部一致性检查。通过内部一致性检查,重点解决降水量与相关要素相互之间一致性的检查方法,判断降水量数据的可疑值。
在降雨时,计算机出现重启、死机、关机等现象,造成重新卸载资料的。在降雨时,自动站采集数据的同时,计算机正处在另外一种工作状态中,如在下载软件或运行其他程序。这两种情况都会造成分钟降水资料部分记录没有存入OSSMO 2004AwsSource目录下的R文件的分钟资料内,导致相对应的正点降水资料未包含计算机处于异常状态下的分钟降水资料,从而出现正点降水资料偏小现象。
判断降水量是否偏小,可以在自动站正点数据下载后,点击进入“逐日地面数据维护”,查看是否会出现B、Z文件不一致的数据列表对话框,如出现B文件与Z(R)文件各有一个降水量值,那么说明该正点降水资料偏小。
3.4 时变检查
时变检查是指大气中的有些观测数据与时间显著相关,具有良好的时间一致性,将此类数据与其时间上前、后的测值相比较,来判断其数据是否发生异常。图3中通过分析可以看出,由于软件写入错误造成5 cm地温错误,10~160 cm地温数据读取错位。处理方法是用质量控制软件的导入功能将数据恢复原位,320 cm相应数据按缺测处理。
图3 地温数据时变检查
3.5 持续性检查
持续性检查是指在一段时间内(如一天),许多气象要素值会随着时间、地域的变化出现波动。如果某要素值没有发生变化有可能观测仪器或传输设备出现故障。图4中通过连续性分析可以看出,风向变化始终在“0”和“1”之间,通过连续性分析可以判断风向仪器出现故障或被冻结。
图4 风向连续性检查
3.6 风向缺失检查
在一个较长的时间内(如一个月),根据风向方位的变化量,可以知道某一地区一个月内出现了哪些风向,哪些风向没有出现。如果一个月内没有出现某些方位的风向,说明某个范围风向方位的部件可能出现故障,在冬季也可能风向标被冻结。图5中是将该月的z文件转化为报表文件,通过风的统计显示出来,7月没有SE风向出现,经分析本站的情况,夏季无SE风向是不正常现象,由于风向块连接问题引起。
图5 风向缺失检查
3.7 特殊天气事件检测
特殊天气事件检测是指当发生有些天气事件,将导致相关要素发生“异常”,从而导致质量控制方法发生误检。如大幅度降温事件、积雪事件、高湿事件、低湿事件、高温事件等特殊事件,通过“特殊天气事件检测”可以消除或降低这些事件对数据质量的影响。如草面温度容易受到温度和风的影响,有积雪时,草面温度和雪面温度的转换容易导致质量控制方法发生误检,通过判断确对数据无影响时,可维持原数据。
4 采取的主要措施
①加强对自动站仪器设备的日常维护。在自动站出现数据丢失时,应立即检查故障原因,排除硬件故障。
②强化数据监视处理与备份。每个正点对自动站记录进行监控,及时发现野值和异常记录,做到及时发现、分析原因,及时处理。每天20时后对当天的记录进行备份,以免造成丢失数据。在资料恢复后,应先做好各文件的备份,防止因误操作而破坏文件结构,造成不应有的损失。同时应避免其它的软件对实时数据文件操作。
③每天注意正确的对时。每天19时将自动站采集器时间与广播进行对时,校准时钟,使其误差在30s内,同时保持计算机和采集器时间的同步。
5 结语
为适应现代气象业务,从2011年起基层台站的任务由单纯的观测和编发气象报告转变为数据监视处理和数据质量控制,处理与反馈疑误数据信息等业务,对于错误数据做出准确判断和正确处理都需要各台站有丰富经验的资料处理人员,通过大量原始数据综合决策才能完成。因此作为观测员要及时调整业务理念,熟悉掌握各个文件的生成原理和文件存储的路径及内容,这样才能及时发现问题,并能粗略判断问题的原因所在,从而能在最短时间内进行补救处理,确保原始数据资料的完整和准确,确保数据质量满足现代气象业务工作需求。
[1] 中国气象局.地面气象观测规范[M].北京:气象出版社,2003.
[2] 李黄.自动气象站实用手册[M].北京:气象出版社,2007.
[3] 中国气象局监测网络司.地面气象测报业务系统软件操作手册[M].北京:气象出版社,2005.
[4] 中国气象局.地面气象观测数据文件和记录簿表格式.
[5] 国家气象信息中心资料室,湖北省气象局.气象站数据质量控制软件(AWSDataQC)操作手册.
P468
B
1003-6598(2011)03-0058-04
2011-04-01
陈明(1972-),女,工程师,主要从事大气探测、资料审核和服务工作。