基于实况气象服务产品的数据质量控制方法研究

基于实况气象服务产品的数据质量控制方法研究

在如今资讯等手段迅猛发展的今天，各种气象服务产品应运而生，我们可以有更好的条件，自如的应用自动控制和人机交互、 利用气候背景资料和程序编译等技术， 并适当结合自身所在区域与气象相关服务产品需求， 来设计所在区域的气象数据质量控制方法。

基于产品的数据需求分析

为“我的沈阳”应用提供实况数据

由沈阳市大数据局主导开发“我的沈阳”主要应用于便民服务，是重要的民生工程。沈阳市气象局为“我的沈阳”提供气象实况数据，对外提供的实况数据应进行质量控制。主要数据质量控制要素为地面温度、压强、湿度、气压、风向、风速。

气象数据的社会化运营

通过2015年初李克强总理讲话，贯彻“互联网+”战略将逐步开放气象数据，提供气象数据的社会化运营，自动站数据是其中一个组成部分，地面自动站六要素中环境温度、气压、环境湿度、风向、风速、降雨量等要素作为对外开放的数据需要先进行数据质量控制，为气象、水文、农林、航空、海洋、科考等领域提供气象数据支撑。

自动预警产品发布

沈阳自动预警发布手段将进一步整合广播、电视、报刊、互联网、微博、手机短信、智能终端、电子显示屏等信息发布渠道，不断提升信息发布的能力，使得各类重要预警信息能在第一时间发送至公众手中，最大限度地降低突发事件造成的损失，提高政府应对突发事件和风险的能力，因此确保自动预警发布平台为全市各类突发事件预警信息发布提供权威、有效的综合平台尤为重要。自动的预警产品发布需要有实况数据为基础，如出现错误的实况数据很有可能触发预警判断条件，进而影响自动预警产品发布的准确性。因此通过对实况数据进行质量控制可提高自动预警产品发布准确性。

质量控制方法

主要方法

在质量控制方法上主要采取效果较好的传统方法，主要为设置质量控制码，通过极值检查、时变检查、时间一致性检查、空间一致性检查，内部一致性等方法，将其编译成程序语句来对数据库进行数据筛选，主要流程如下。

功能设计与实现

资源分析

沈阳市气象局“基础数据平台”数据库使用Oracle DataBase 11G 数据库系统，沈阳市已有的230个自动站数据保存在其中，也可作为系统支撑数据库使用。系统采用Oracle JDeveloper Studio 工具，主要开发语言为JAVA是由Oracle提供快速程序开发工具系统，针对Oracle数据的开发具有较强优势。

数据层设计

系统使用沈阳市气象局“基础数据平台”数据库，质量控制可能包括数据的修改、删除、和历史数据保存操作。采集的实况数据应分别保存在2个表中，一个用于长期保存数据，另一个用于应用开发显示读取。新建自动站数据表用于保存历史数据。对于质量异常数据应进行修改或删除的操作，但仅限于对用于应用开发的数据表，历史数据表应确保不做修改，但设计历史数据统计是也需要参考质量控制结果。系统设计数据质量控制表用于校对历史数据表中数据，质量控制表通过站点编号、观测时效与历史数据相关联，查询历史数据是通过对应查询语法可剔除或更正质量不合格数据。

一些特殊情况下会出现由于设备和系统导致的数据质量问题。例如，出现“///”占位符和“9999”的情况，还有出现温度出现-60℃或60℃，等一些明显可判断为异常的值。应通过设计Oracle响应机制在入库的同时即完成初步数据质量控制。系统通过建立触发器并调用Oracle sql/plsql块完成数据处理。新建基于写入数据的触发器用于调用sql/ plsql块

图1　基于产品的数据质量控制流程

应用层设计

系统由界面层 、核心层 、存储层 3 个部分组成 。界面层由绘图用户界面组成， 用户使用人工QC 图形交互或Web 浏览 ； 核心层由运算法则、Java代码、 分析设计模式组成； 存储层由 Oracle 数据库构成， 包括台站和仪器详细信息、QC 标识 、错误信息等 。

图2　数据库质量控制判定流程

应用层采用Oracle JDeveloper Studio 工具，主要开发语言为JAVA是由Oracle提供快速程序开发工具系统，针对Oracle数据的开发具有较强优势。

系统支撑架构设计

使用B/S实现开发支撑架构，主要实现功能：①任务运行管理模块，使用JAVA开发数据质量控制部分进行任务的调度管理、状态监督、参数配置；②综合数据管理模块，完成支撑数据功能③质量控制模块，完成极值检查模块、时间一致性模块、空间一致性模块、内部一致性模块开发。④系统管理模块，实现权限及日志等管理功能；使用B/S结构实现开发数据的修改和补入界面，用于修改和补入实况数据。

结语

实况气象数据的质量控制是关系到气象资料应用的基础，也是数据社会化运营的关键一步，本文实现基于产品的自动气象站实时资料质量控制系统设计能够实时对中心站收集的逐小时观测数据进行质量控制，主要方法是通过极值检查、时间一致性、空间一致性和内部一致性检查观测数据质量，并应用Oracle DataBase 11G 数据库系统建立环境，应用JAVA语言建立应用模块，在时间一致性上采用相邻小时一致性检查和时变检查控制方法，空间一致性采用了克里金差值法，在气象要素超出时间一致性规则时，通过内部一致性相关联的数据序列对异常值进行估算，并进而判别异常值的可信度，质量控制贯穿在整个数据采集到可作为产品提供气象参数的整个过程中，加强了对观测数据的质量控制。

10.3969/j.issn.1001- 8972.2016.15.021