自动气象站数据文件格式错误诊断与统计分析

董德保, 钱 毅, 吴奇生, 窦炜明

(安徽省气象局大气探测技术保障中心,安徽合肥230031)

0 引言

随着地面气象观测业务改革的推进,自动观测逐步取代了人工观测,观测业务从以数据采集为主逐步向仪器设备运行保障、数据质量控制和数据处理分析为主的综合观测转变。地面气象观测资料由自动气象站自动采集、处理和上行传输,通过监控分析上行传输数据文件(Z文件)的到报、文件格式解析和数据质量控制情况,可以评估自动气象站运行稳定性与可靠性。由于自动气象站容易受到雷击、电磁脉冲干扰、人为操作失误以及顶层设计等因素影响[1-2],导致自动气象站业务运行故障,自动观测资料缺测,影响气象资料的连续性、及时性、完整性。因此,提高自动气象站业务运行的稳定性与可靠性对于发挥观测资料的应用效益具有重要的意义。

1 自动气象站数据文件特征

自动气象站观测的数据每小时正点向中国气象局以数据文件形式上行传输,对原始上传数据文件进行解析,解析后的数据文件由4条记录组成:

第1行(测站基本参数):包括区站号、经度、纬度、观测场海拔高度、气压传感器海拔高度、观测方式共6组项目3个字,每组用一个半角字符分开。

第2行(器测项目):包括观测时间、风速、风向、气温、地温以及气压和能见度等共52个要素值262个字节,每组用一个半角字符分开。

第3行(分钟雨量):120个字节,每分钟2个字节,即1～2位为第1分钟的记录,3～4位为第2分钟的记录……,如此类推,119～120位为第60分钟的记录;每分钟内无降水时存入“00”,微量存入“,,”,降水量≥10mm时,一律存入99,缺测存入“//”。

第4行:共23个要素值,每组用1个半角空格分隔,无该条记录内容时则省略,“=”加在分钟降水量之后。文件最后一条记录为NNNN,表示文件结束[3]。

2 自动气象站运行效能指标分析

2.1 运行监控概述

CAWS600型自动气象站在中国气象台站已广泛投入业务使用,由于顶层设计缺少数据采集器模块、传感器模块以及通信网络等硬件的监视参数,一般利用上传数据文件到报监视、格式解析、质量控制等方法进行远程状态监控,对于上传数据文件的诊断分析,可以方便自动气象站故障报警,提高装备保障的时效性。基于“综合气象观测系统运行监控平台”(Atmospheric Observiug System Operations and Monitoring,ASOM)和安徽省级监控平台,并结合自动气象站业务运行特点,从上传数据文件通信能力、设备运行能力、设备故障情况方面进行运行能力评估[4-5]。通过上传每小时观测数据文件(Z文件)时次与数据文件格式检查,得出未到报时次与格式错误时次的文件,这些时次的数据文件将不能录入数据库;从数据存储、查询等管理角度来看,均视为无效数据文件,统计时用到报率指标评估。从时间一致性、空间一致性、气候极值、内部一致性等检查方法对数据文件中的观测要素项进行质量控制[6-8],分析出数据错误时次文件,其可反映自动站观测要素采集通道或传感器运行能力;结合上述3种因素,用可用性指标(即:应观测时次减去未到报时次、数据文件格式错误和数据错误再与应观测时次之比)进行运行监控评估。

2.2 运行效能指标分析

通过ASOM和安徽省级监控平台监控2010～2011年安徽省国家级自动气象站运行效能指标的统计分析,图1为2010年、2011年自动气象站运行效能指标逐月变化曲线,2011年运行效能指标优于2010年,从图中可以看出,2010年4月自动站运行效能指标较差,到报率和可用性仅为98.58%和98.45%,之后自动站运行效能指标呈迂回上升趋势;从中可知到报率与可用性变化趋势基本相同,具有一致性的特征且到报率(评估数据文件未到报时次和数据文件格式错误时次)是影响可用性高低的首要因素。

众所周知,安徽省81套自动气象站可分为3种站类,分别为基准站(3个)、基本站(21个)和一般站(57个);图2为不同站类运行效能指标逐月变化,其中,2010年1～8月3种站类运行效能指标具有明显的阶梯性,一般站优于基本站,基本站优于基准站;到9月基准站的运行效能指标明显上升,10～11月一般站和基准站运行较好,而基本站运行效能呈下降趋势,到12月,3种站类运行效能指标均较高;2011年3种站类逐月运行效能指标均在99.85%以上,无明显特征,自动气象站业务运行相对稳定。依照地面气象观测规范规定,基准站每天通过OSSMO2004地面测报软件定时观测人机交互操作24次,基本站8次,一般站3次;对于同种型号观测仪器业务运行,2010年8月之前3种站类运行效能指标具有明显的阶梯性,可能与人机交互操作频次高低有着密切关系。

针对影响自动气象站运行效能指标的3个因素:未到报、数据文件格式错误和数据错误,以2010年11月省级监控平台监控自动气象站业务运行情况为例。图3为自动气象站运行故障逐日变化与类型分布,从图3(a)知,出现数据文件格式错误时次高于未到报时次与数据错误时次,三者逐日变化无明显特征,伴有随机性;从图3(b)知,11月数据文件格式错误时次占故障频次89.22%,未到报时次占故障频次7.43%,数据错误时次占故障频次3.35%;显然,数据文件格式错误是影响自动站运行效能的主要因素。

3 数据文件格式错误分析

3.1 数据文件格式错误类型

根据上传数据文件编码特征,利用ASOM和省级监控平台监视数据文件格式错误出现频次较高的类型列举如下:

(1)第二行记录字符长度短于相应文件格式编码长度,第三行分钟雨量均为缺测记录,如:

(2)第二行观测要素字符长度少于相应字段文件格式编码长度,主要是第52个观测要素(最小能见度出现时间)缺少一个字节,此类格式错误较高,如:

(3)第二行观测记录缺失的文件格式错误,如:

(4)第三行分钟雨量观测记录缺失的文件格式错误,如:

3.2 文件格式错误诊断分析

地面气象观测场自动气象站数据采集器至值班室业务计算机通信故障时,正点上传数据文件格式错误为上述的第(1)类,做好自动气象站运行监控,及时排除故障,可避免相应文件格式错误的发生。重点分析影响后3类文件格式错误的因素,以58531、58428和58102测站为例。图4为58531测站(基准站)2010年8～9月出现数据文件第二行缺少一个字节格式错误时,对应的人机交互保存发送文件操作时间散点图,图中纵坐标为正点(00分00秒)之后的时间,不难看出,出现此类数据文件格式错误时次对应的人机交互操作时间均45s;此外,在8月下旬安徽省大气探测中心以该测站进行试验,规范该测站观测员人机交互操作时间＞45s,9月较8月发生此类格式错误明显减少,即基准站运行效能指标明显上升的缘故。对于58428测站(一般站)其人机交互操作时间逐日变化如图5所示,该测站人机交互保存发送文件操作时间均＞45s,上传数据文件到报率和可用性均为100%,台站2010年10～11月未出现此类格式错误时次。结合图4～5分析,若定时观测人机交互保存发送文件操作时间＞45s,测站上传数据文件未出现第2类格式错误时次。

通过地面测报软件OSSMO2004的监控软件(SAWSS)与数据采集器通信时间节点分析如图6所示,58102站10～11月写入定时观测数据时间与自动弹出天气、航空等定时观测对话框时间近于30s左右,写入定时数据时间基本上略早于启动定时观测时间,分钟数据卸载时间主要在41～42s波动;人机交互输入能见度等目测要素并保存发送操作时间(45s)与SAWSS数据流进程时间冲突,导致出现数据文件第二行缺少一个字节格式错误。另外,从图中推知,若自动气象站受到电磁等干扰,写入数据文件中第二行定时数据时间延迟于分钟雨量数据卸载成功时间,上传数据文件第二行记录将缺失,即为(3)类文件格式错误;若分钟数据卸载成功时间延迟于Z文件上传时间,即为第三行记录缺失的格式错误。由于自动气象站为中国气象局定型设备,需要厂家对软件顶层设计优化,如:在正点45s后自动弹出人机交互操作对话框,以及进行自动气象站电磁干扰防护等优化措施;或是业务管理部门规范各级测站正点45s之后进行人工交互操作;可减少相关数据文件格式错误发生的概率。

图6 58102测站业务软件与数据采集器通信时间节点逐日变化

4 结束语

通过ASOM和安徽省级监控平台监控自动气象站运行效能指标的统计分析,得出了影响自动气象站业务运行的主要因素为数据文件格式错误。论述了不同类型文件格式错误的特点,依据地面观测业务特点和人机交互输入定时观测数据的操作时间分析,得到了出现数据文件第二行缺少一个字节的格式错误与人机交互操作时间45s的关系。为保障地面观测资料的连续性和完整性,生产厂家需要优化自动气象站顶层设计,地面观测业务管理部门需要规范观测员恰当的人机交互操作时间,以达到提高自动气象站运行稳定性和可靠性的目标。

[1] 李伟,王柏林,李书严,等.自动气象站观测资料质量控制方法介绍[C].首届仪表、自动化与先进集成技术大会论文集,2007:468-473.

[2] 宋军,高磊,王秀萍,等.大连自动站与人工站观测数据的差异对比分析[J].气象与环境学报,2009,25(1):58-61.

[3] 中国气象局.地面气象观测数据文件和记录簿表格式[M].北京:气象出版社,2005:9-46.

[4] 李雁,裴羽中,孟昭林,等.全国自动站运行能力统计及其影响因素分析[J].仪器仪表用户,2010,17(2):4-8.

[5] 李雁,梁海河,孟昭林,等.自动气象站运行效能统计[J].应用气象学报,2009,20(4):504-509.

[6] 王伯民.基本气象资料质量控制综合判别法的研究[J].应用气象学报,2004,15(B12):50-59.

[7] 王海军,杨志彪,杨代才,等.自动气象站实时资料自动质量控制方法及应用[J].气象,2007,33(10):102-109.

[8] 刘小宁,任芝花.地面气象资料质量控制方法研究概述[J].气象科技,2005,33(3):199-200.