基于气象数据的行业应用

文/张新禹

（内蒙古自治区气象信息中心 内蒙古自治区呼和浩特市 010051）

1 引言

气象数据与社会中每人的衣食住行有着重要的关系，这将导致与社会服务的相关部门对气象数据资料的需求日益强烈。首先气象数据采集的地理区域范围十分广泛，适宜人口居住的环境周围基本上都安装有相关的气象有人观测站或者无人观测站，气象数据所涵盖的范围决定了气象数据将会应用到社会服务的各个方面。气象数据的快速信息化、气象数据实现分布式存储、气象数据传输正在向数据流传输方式改变等快速发展，海量的气象数据存储容量，高效的数据采集方式对于气象数据对于行业应用实现有着重要的推动作用。气象行业数据属于气象业务数据，其生成的直接目标是服务于气象业务以及工作的，故气象信息浓度高，各种技术指标均符合气象业务与行业服务应用[1]。目前，基于气象资料的气象产品多样化，其中例如涉及到农业信息的土壤墒情产品等相关服务产品都是基于对社会的需求而产生的，个性化定制的气象数据将会更好的展现在社会的需求面前。

2 气象数据

2.1 气象数据形成过程

气象数据从上个世纪五十年代末开始记录以来，以每个旗、县对应一个气象站点的规模逐渐建立起来。在未进行站点自动化观测以来，采集到的气象观测要素需要每隔一定时间使用人工记录方式收集一次，随着站点观测资料方式自动化改革之后的慢慢普及，到目前为止全国一共2412 个国家级气象自动站，26290 个气象区域自动站站点，1694 个土壤水分自动站，以及高空观测、酸雨等气象数据。气象要素的收集间隔详细到了分钟级别，报文信息发送详细到每十分钟一次。这些观测到的数据采集之后以文件的形式（未来将会使用数据流形式）从各个台站及观测设备传输到全国各个省级的气象信息中心，省级气象信息中心将报文分别验证归类后，按照台站号或者打包的方式传到国家气象信息中心，最终国家气象信息中心将气象资料发送到WMO（世界气象组织）参与全球气象信息的交换。整个气象数据的主要流程从最开始的站点级，经过收集分发到上级系统。在收集过程中气象信息中心实时对收集到的气象要素的质量情况自动控制，确保接收到的数据真实可靠，具有可研究的价值。

2.1 气象数据行业应用存在的问题

（1）气象数据在收集处理过程中存在着气象资料分散资，资料自收集之后部分存入关系型数据库，一部分以报文文件类型存储于气象本地系统，数据存取过程未使用统一接口，增加了数据收集处理的复杂度。

（2）按照目前的气象资料数字化过程来看，国内气象资料的信息化的速度已远不及目前行业间对数据需求的速度，部分降水、风力等气象要素资料仍在持续进行数字化过程中。

（3）在气象部门存在较少数据挖掘、数据分析、可视化、等方面的技术人才的培养与储备。

（4）气象数据与行业间标准不统一，行业部门的特定需求较难满足[2]。

3 气象数据行业服务方向

3.1 气象数据部门内部服务

部门内部气象资料主要以综合观测、天气预报、气候与气候变化、生态与农业气象等几大类别供气象部门内部使用。地面观测主要包含了如气温、气压等地面实况要素，散射辐射、反射辐射等辐射实况要素，其他包括雷达实况、灾害实况，环境实况等。天气预报主要包含了短时天气预报、临近天气预报、中期天气预报以及数值预报等产品。生态与农业气象主要包含圆盘图、辐射产品、中国陆地区域云图等产品。

3.2 气象数据行业服务方向

气象数据在行业服务中蕴含着丰富的应用和研究价值，可以提供各类气象服务，下面气象数据在行业间的应用做如下描述：

气象部门向环保厅推送Micaps 数据、数值预报产品图等相关分析材料，环保部门根据气象相关资料分析引起环境变化的气候条件，通过近年来的环保数据与气象数据的关联性分析，将引起环境条件发生严重变化的气象要素数发掘出来，提供政府及相关部门进行决策指导。同时，气象部门收集环保厅环境空气质量监测数据、其它与空气质量预报及重污染天气预警相关的可共享数据资料、城市空气质量状况月报、其他相关分析材料等，气象部门收集到的行业数据的资料将为后续相关天气产品制作提供参考。

林业厅通过电子政务网络访问气象部门的“森林草原防扑火系统”，获取卫星遥感监测、预报信息等，为林业厅森林草原防扑火工作提供科学数据和服务支撑。林业部门通过实时获取气象数据、森林资源数据及森林防火等各项数据，对森林防火实时指挥、日常林火监测预警、灾后损失评等工作有较大帮助，整体提升了森林防火辅助决策指挥的信息化，对提升森林防火的效率、迅速发现火源等防火防灾工作有重要的意义[3]。

气象部门为民航空管分局通过专线提供包括常规实时地面资料、高空资料、格点资料、卫星云图资料等micaps 系统业务运行所需的实时气象信息资料。机场部门利用已提供的气象数据，对机场附近航班所涉及的及航空飞行区域进行实时或预测性的分析，通过与GIS 和机场的管制信息融合，为机场管制人员提供机场区域的气象条件预测，帮助机场管制人员了解天气形势，准确把握飞机与特殊天气区域的相对位置，为航线变更、飞机迫降等提前做好安全指挥工作，提高航空安全及航班准时起降的保障水平[4]。

4 构建气象数据行业服务框架

4.1 设计概要

根据气象部门部署的基于Openstack 公有云开源方案，将气象部门各中心的基础设施迁移到云端进行整合，其中包括各类服务器、存储、网络资源的统一集约化部署，便于后续的维护管理。采用Hadoop 分布式文件系统，适合气象数据的存储、查询以及应用，气象数据规范化流程参考目前国家气象局已经在全国部署并成熟运用的全国综合气象信息共享平台（CIMISS 系统），行业服务方面分为三类对各个行业、政府间提供专项气象数据服务。基于上述表述，将整个气象数据服务框架分为以下四个部分，如图1。

4.2 实现方案

气象数据物理资源环境的整合。气象系统内部的物理资源包括机房内部供电、空调、环境监控，气象业务使用的服务器、存储、网络等资源。将这些资源统一迁移到已搭建的云中心环境中去，形成对计算资源与存储资源的统一管理与可伸缩式调配，网络资源按照不同网段的规范化统一分配[5]。

气象数据数据库层整合。以Hadoop 为代表的分布式结构得以解决通过提高系统平台处理能力购置更高端的计算设备带来的硬件成本高但存储效率低的缺点。Hadoop 作为一个分布式存储和并行计算的台可以解决海量气象数据在数据存储以及数据查询所带来的问题。以Hadoop 为基础的Hbase 逻辑模型和存储架构，具有可靠性高、高性能、按列存储、实时读写等优点，Hbase 通过nosql 技术将数据分布在气象数据仓库的不同节点上，利用HDFS 的处理方式与Hadoop 的MapReduce 处理技术使得Hbase 存储气象数据的过程更加完善。

气象数据流程整合。以CIMISS 气象数据标准化框架，规范各类数据命名、格式和算法。对收集到的气象数据进行收集分发、数据加工处理、数据存储管理、数据共享服务、业务监控共5 个处理流程。实现约263 种基础数据资源、CIPAS 数据资源、灾害数据等管理，形成国省一致的实时、历史长序列数据在线服务能力，同时CIMISS 通过标准统一、功能丰富、调用高效的气象数据统一服务接口（MUSIC：Meteorological Unified Service Interface Community）及信息丰富、技术支持便捷的接口发布网站为各级业务应用系统提供数据服务。

气象数据行业服务整合。气象数据云服务共享：行业服务采取的方案为将储存的气象数据于当地政务云中心或阿里云提供的云服务器中，云服务器中的数据通过数据库备份程序进行实时更新，具体网络拓扑结构如图2。行业部门通过访问云服务器数据库中的气象数据制作响应的服务产品。将数据托管的云平台服务器上的优点为各行业之间访问气象数据整个过程集中化，无需通过运营商提供专用网络获取数据，减少网络链路搭建所消耗的资源。数据安全方面，第三方的云服务器将会有更专业的数据安全维护措施，减少气象部门专门针对数据安全所做的日常维护，而节约下的维护资源将应用于气象数据的产品制作中去。

3 气象数据未来发展方向

气象工作的最终目的是服务。气象部门现有的服务包括面向政府的决策气象服务，气象数据将面向社会群体的公众气象服务，面向水利、电力、交通、农业以及其它部门或企业的专业专项服务，以及针对干旱、暴雨洪涝、森林火险、冰雹、雷电等灾害性天气的气象灾害预报预警服务。

气象数据的大量搜集、处理和分析，对硬、软件的要求更为苛刻，传统的处理设备难以满足数据处理的功能和性能要求。数据与云计算是一个问题的两面，一个是问题，一个是解决问题的方法。云计算是数据时代的基础。当越来越多的需求出现时，向虚拟的“云端”提出申请，“云端”为该需求迅速组织计算资源，而在计算结束并将结果反馈后，“云端”又可将这些临时组织起来的资源快速释放。这样既提高了资源利用率，也使得我们不必为了复杂的运算一味追求昂贵的超级计算机。

云计算使得数据处理更方便、更快速、更省时省力，这在气象防灾减灾中意义重大。要提高预报预警准确率、科学评估灾害，必须要纳入除气象数据以外的大量其他各行各业的数据，传统的设备无法快速处理，这无疑是和生命财产安全抢夺时间，而云计算可以很好地规避这个问题。

在气象数据实现的过程中，各行业与气象部门之间存在一定的“数据壁垒”，各个政府部门目前在数据统一规范方面还没有形成标准的方案，对各个行业的数据进行融合深度分析造成了很多障碍。所以为了更好的使用气象数据为社会带来更优质的服务，只有打破各个行业之间的数据壁垒才可以实现气象数据的真正价值，为社会创造更多的财富。

图1：气象数据服务架构图

图2：数据云服务共享