大数据时代气象数据资源库建设新趋势探讨

汪华 李波 李珏 王彪

摘 要：近年来，互联网技术的快速发展和普及应用使各行各业发生了翻天覆地的变化，各种信息的产生和传播速度正在越来越快。而这些海量的信息数据也越来越成为一种重要的资源推动着社会经济快速发展，一个大数据时代正在悄然到来。在新时代环境下，气象行业也应积极转变理念，以数据思维和技术来加快推动气象服务的转型升级。本文围绕大数据时代下气象数据资源库建设的相关议题进行了探讨，概述了大数据时代的数据思维特征，分析了气象数据的特点和构成，论述了大数据时代气象大数据资源库建设的新趋势，旨在不断提升我省气象服务的数据分析技术水平，以更自信的姿态来迎接数据时代各项气象工作挑战，更好地为社会民众提供科学精准的气象服务。

关键词：大数据;气象数据;数据应用

中图分类号：P413 文献标识码：A 文章编号：1671-2064（2019）04-0047-02

0 引言

随着数据时代的来临，数据的价值也越发体现。在气象行业中，无论是气象业务还是气象科研都离不开气象数据，这些气象数据为气象决策、管理以及服务等方面提供了重要的基础支持。目前，我省所保持管理的各类气象数据已经超过了1.2PB，增长速度呈现上升趋势，这些数据不仅数量多，而且涵盖了地面、高空、辐射、农气、雷达、卫星以及预报等多个类别。在新的时代内，如何更好地把握气象数据技术应用的趋势，使气象数据发挥出更多的价值是当下气象部门及工作人员的全新挑战。

1 大数据时代的数据思维特征

1.1 大数据概述

大数据这一概念最初源自IT行业，指的是巨量数据的集合。随着大数据概念的提出以及数据技术的不断落地，大数据的含义也从狭义向着广义的方向发展，同时大数据的特征也越发凸显[1]。比如被大众所一致接受和认可的5V特征：

（1）数据呈现海量的特征;（2）数据处理速度更快的特征;（3）数据类别多样化的特征;（4）数据价值与数据密度正相关的特征;（5）数据客观性和真实性更高的特征。面对这些全新的数据特征，人们借助传统的数据分析、数据统计以及数据管理模式和方法已经不能满足数据技术研究和应用的要求，必须借助新的设备、方法和手段来对这些数据进行分析和处理，以发挥出它们潜在的信息资源价值。

1.2 大数据时代的思维变革

大数据时代的思维变革主要是沿着大数据时代的发展阶段来转变的。从本质上来说，大数据时代是互联网时代的升级版。互联网时代为大数据时代创造了基础设施环境和条件。在大数据时代的初始阶段，人们只是积累和存储了一定的数据，对于数据的加工和利用并没有深入的理解，在这一阶段人们的思維更多是杂乱的，并没有对大数据的应用有清晰的目标和路径。而随着大数据时代的发展和推移，行业或市场的变化速度越来越快，这时候的人们开始越来越意识到数据的重要性，并开始将它作为一种更高效地面对行业变化或市场变化的重要资源。这一阶段，始作俑者是互联网企业，如阿里、腾讯等平台型企业，在这些企业中涌现出了越来越多的数据“加工”技术，并尝试将这些技术应用到自身企业的实际发展和应用中，来更好地面对市场变化，更高效地满足客户的需求，自此，大数据技术开始与实际生活有了真正意义上的联系。随着大数据技术的发展和应用，社会上也出现了越来越多的专业数据技术和服务公司，这些创新型公司一方面具有专业的数据处理技术，一方面试图寻找更好的落地行业和领域，推动着大数据技术进入了快速发展和应用的阶段。至此，大数据技术才渐渐走入大众的视线，成为真正影响人们日常生产和生活的一种新资源和新技术[2]。

目前大数据技术已经进入了快速发展和应用的阶段，它的理念也影响着人们的思维发生变化，主要的变化有三个方面[3]：（1）人们过去对少量数据的精确度给与很高的关注，而现在人们更多地关注大量数据所表现出的概率或趋势，在这一概率或趋势基础上实现尽可能的精准。（2）过去人们对数据往往是基于主观来进行定性，判断哪些是“正确”的，哪些是“有误”的，而现在人们摒弃过去的主观性，更多地依托数据技术和数据方法来进行判断和决策，完全尊重数据分析结论的客观性。（3）过去人们会对数据进行主观性的筛选，将数据归为“可用”的，或者是“无用”的，而现在人们对于采集到的所有数据都一视同仁，并没有好坏之分，有用无用之分，反而采集的数据量越大对数据分析结果的准确性越有利，即使有部分数据对当下的工作或研究是“无用”的，也同样将之存储保留，这一思维的转变也预示着人们对数据资源巨大的潜在价值有更多的期待。

2 气象数据的特点与构成

2.1 气象数据的特点

对于气象数据来说，除了具备大数据的所有特征之外，还具有行业内的四大显著特点。

（1）气象数据不仅量大，而且增长速度快。由于气象数据涉及到时间和空间维度内的物理量观测或模拟，而每个维度内又包含多项指标或参数，因此每时每刻都会产生大量的数据，同时随着观测设备和技术的更新升级，数据增长速度也呈现指数爆发态势。（2）气象数据来源多，种类多，范围广。气象数据的获取有着多种渠道，如各地区的地面站、测风站、探空站、辐射站、火箭站、气象站、农气站等，这些不同类别的站点都为气象机构部门提供了新鲜的气象数据。而气象数据的范围也非常广泛，包括地面数据、边界层数以及高空数据三大类别。其中在每一大类数据范围内又包含更细的种类，如地面数据类别内又包含气压、气温、湿度、风速、风向、能见度、日照、降水等等内容指标。（3）气象数据的时效性高。由于气象信息时刻发生变化，因此气象数据的采集、分析、处理也需要在尽可能短的时间内完成，以满足气象工作的预见性，为广大民众的生产生活预留更多的准备时间做好气候或天气变化的措施应对。（4）气象数据的潜在价值高。对于气象数据来说，目前最主要的应用是为大众提供有效的气象预报及相关服务工作。而随着时代的发展，越来越多的行业和领域的技术融合性更强。如气象数据与水文数据、地质数据等融合为相关部门的研究和决策提供更全面的信息支持。此外，随着物联网技术的发展，基于气象信息服务的商业应用场景也越来越多，如在旅游、交通、航天、生产、养殖等领域内，更加个性化的气象信息服务也将迎来一定的市场空间，与多个相关领域加深融合，发挥出气象数据越来越多的商业价值。

2.2 气象数据的构成

传统时代的气象数据主要包括气候数据和天气数据，而大数据时代的气象数据在构成内容上也有所增加，气象大数据不仅包括传统的气象数据，还包括气象部门及研究人员针对这些数据进行分析和处理后所得到的过程数据和结果数据。随着气象行业与其他相关行业的深入融合，气象大数据的构成体系中也将有越来越多的相关分支内容，由单一的气象数据系统逐渐向着以气象数据为中心向着相关相关领域分支不断延伸的气象大数据体系。而这也是未来物联网时代各学科数据融合应用的重要趋势和体现。

3 大数据时代气象大数据资源库建设的新趋势

3.1 气象大数据资源库的构建

气象大数据资源库的构建主要围绕5大系统+1套资源池的架构进行建设。5大系统包含：产品交换系统、挖掘分析系统、存储与服务系统、业务监控系统、交换及质控系统，1套资源池由专有云+公有云的混合云架构组成[4]。

3.2 气象大数据的多元数据存储适配技术

大数据时代的气象数据增长量巨大，如何高质量高效率地对存储海量的数据是当下气象信息部门需要解决的重要问题。我们针对不同数据库产品的多源数据存储采用了不同的适配技术：（1）分布式关系型数据库存储适配模型，基于关系型數据库连接池相关组件，建立统一的气象结构化数据存储适配模型，不同的存储技术通过加载不同的驱动实现数据连接，通过标准SQL语句获取不同数据库中存储的气象数据，支持常用的MySQL、Oracle语法;（2）分布式表格系统存储适配模型。基于对分布式表格系统数据存储结构设计成果，建立统一的气象实时交互应用库数据存储适配模型，提供统一的插件接口，不同的存储技术加载不同的组件，支持Cassandra、OTS等表格系统存储插件;（3）分布式文件存储/对象存储适配模型，建立统一的气象非结构化数据文件访问适配模型，提供文件数据访问统一的数据获取方式;（4）服务接口数据检索、计算自动优化适配，根据数据存储管理系统的元数据信息，获取数据存储的位置和结构，分析性能最优的数据检索和计算所需的数据库，从不同的数据库中快速获取数据和计算结果并进行聚合，提供高效服务。目前，针对不断出现的各类气象大数据难题，我们主要从系统架构的科学设计以及数据算法的优化来进行攻克，这也是未来气象数据存取的重要研究方向[5]。

3.3 气象大数据的挖掘

气象数据的潜在价值并不外显，可以说如果没有有效的工具和方法，这些数据很多都是无意义和无价值的，因此想要充分利用好这一宝藏，我们必须借助各种技术工具和处理方法来对数据进行深度挖掘，使潜在价值得到显性的发挥。针对我省气象大数据的开发和利用现状，通过挖掘分析框架和相关智能算法等挖掘分析工具对我省气象大数据进行挖掘分析，整个挖掘分析流程包含了评估发布、挖掘训练、模型编排、智能算法集成、数据准备等。为我省气象各级部门及研究人员所用[6]。

3.4 气象信息的发布

随着互联网技术设施的普遍应用，人们之间的联系越来越便捷，越来越高效。目前在气象领域内，多种移动软件涌现出来，如天气通、墨迹天气等APP，为用户提供了便捷的气象资讯，让用户能够随时随地了解到各地区的气象信息。随着用户使用需求的不断变化，未来这些气象软件的应用功能也将越来越广，不仅为用户提供气象情报，同时还与用户的衣食住行等领域建立密切的联系。如可以根据用户的大量的使用和操作记录建立用户画像，为用户提供更有针对性的资讯和服务，满足用户更多的日常需求。此外，随着共享理念的发展，用户不再仅仅是气象服务的使用者和消费者，同时也会成为气象资讯的提供者和分享者，这种气象信息的发布在气象灾害的防御工作上起到十分积极的作用。

4 结语

总之，在大数据时代，气象数据的应用将于人民的生产和生活有着越来越密切的联系。我们气象部门必须加快探索各种气象数据分析技术和应用技术的步伐，解决目前气象数据分析应用的各个难题，更自信地迎接数据时代的全面到来，为社会民众提供更优质高效地气象服务。

参考文献

[1] 沈文海.气象数据的“大数据应用”浅析——《大数据时代》思维变革的适用性探讨[J].中国信息化，2014（11）：20-31.

[2] 李社宏.大数据时代气象数据分析应用的新趋势[J].陕西气象，2014（2）：41-44.

[3] 沈文海.再析气象大数据及其应用[J].中国信息化，2016（1）：85-96.

[4] 汪惜今.浅析气象大数据的未来应用服务趋势[J].信息通信，2017（4）：290-291.

[5] 徐继华，冯启娜，陈贞汝.智慧政府：大数据治国时代的来临[M].北京：中信出版社，2014.

[6] 王星.大数据分析：方法与应用[M].北京：清华出版社，2013.