基于云分布式存储技术的气象数据存储方法

摘 要：随着我国气象业务的不断发展，在其业务进程中融入了更多的现代化技术。尤其是当前我国已经进入到了大数据时代，对于气象数据存储方式而言，带来了一定的发展机遇。基于此，针对云分布式存储技术的气象数据存储方法的研究具有十分重要的意义。

关键词：云分布式存储;气象数据;存储方法

当前为了增强气象预报的精准性，其数据类型开始向着复杂化、数量大、范围尺度广等特征发展。因此，传统形式的气象数据存储以及处理方法已经无法满足当前气象数据存储的需求，无法实现对大数据的实时存储与处理。此外，由于气象数据的复杂化，其数据响应时间面临着非常大的挑战。为此，为了提高大数据存储的扩展性，增强其数据结构的稳定性，确保其数据使用的流畅性以及共享性，可以尝试着运用云分布存储技术来解决当前所存在的诸多问题。

一、基于云分布式存储技术的气象数据的总体设计

1.云存储平台结构的整体设计。气象业务是当前现代化建设的一项重要工作，尤其是在进入到大数据时代之后，气象数据具有更多的特征，其主要表现在以下几个方面：（1）气象数据体积较为庞大，通常情况下其数据量可以达到PB等级。因此，想要存储更多的数据，需要不断地以动态扩展的方式进行容量拓展。（2）数据类型复杂。当前为了确保气象数据的精准度，其数据类型越来越复杂。其中包含了地面、卫星、雷达等许多高科技监测数据。此外，还涵盖了许多类型的数值预报类型，并针对不同类型业务提供相应的气象服务。（3）由于气象业务的不断拓展，要求其数据响应速度非常快。需要从海量的气象数据中精准地提取相应的有效信息。

从以上几个特征来进行分析，可以尝试着采用云分布式存储技术。通过此技术来缓解大数据时代气象数据的存储以及处理所存在的问题，有效提升了数据使用效率。为此，在进行气象数据云存储平台结构设计时，可以将其划分为数据存储层、存储管理层、业务服务层、用户访问层四个层次。

数据存储层的主要作用在于针对服务器集群及相关集群进行连接，并形成一定的物理链路，可以通过此链路来对所有数据开展统一管理。因此，在进行设计时可以发挥云存储平台的高拓展性以及低成本等特性，并选用X86服务器来组建一个普通机器集群，对于其操作系统可以考虑选用Linux。

存储管理层的主要作用是进行大量的分布式计算系统，其主要功能是针对管理集群系统中的各项资源进行虚拟化。此外，管理层还需要针对其分布式程度进行控制，并对运行过程中出现的数据冗余、备份以及数据容灾等工作。通过管理层的作用，可以有效增强其存储方式的弹性计算能力，并为其数据存在与处理提供相应的负载均衡服务。

业务服务层主要是以云分布式服务技术为主。通过此技术能够实现对不同类型数据的存储与计算，同时还可以进行数据相关的分解以及提供各项微服务。最终可以完成海量数据存储以及共享，可以更好地提高数据使用效率。基于此，可以利用好云引擎的第三方云应用，有效的增强对气象数据的计算弹性，并实现低成本运行。同时，还可以有效地简化云应用的构建和部署。

用户访问层的主要作用是方便授权以及认证，让相关用户在进行数据操作时能够在一个指定权限范围内进行操作。同时，通过用户访问层还可以提供相应的数据搜索、地图以及相对应的第三方服务。

2.气象数据结构的组织形式。在进行气象数据结构组织形式设计时，需要结合其数据结构所表现出的差异性。比如：离散型、网格、栅格等类型数据。特别是对于自动气象站的数据采集工作而言，其所采集的数据包含了不同类型的气象要素中的实时以及历史数据。同时，还需要为相关部门提供各个站点的离散型数据。此外，不同类型气象要素所形成的网格化产品，主要是以网格数据形式为表达形式。从当前气象数据来进行分析，其中的离散型数据可以将其归属于结构化数据类型中，而另外两种数据可以归属为半/非结构化数据。

3.合理选择数据存储模型。云数据库主要是通过云计算环境中的数据库进行部署以及虚拟化。在实际应用其云数据库时，相对应的客户端不需要对云数据库底层细节进行了解，因为所有底层硬件已经完成了相应的虚拟化处理。所以，用户在使用云数据库时，就好比在普通服务器使用数据库。而整个数据的存储以及处理性均得到了最大化的提升。在进行气象数据存储模型选择时，可以结合气象数据所具有的特征，并需要考虑其数据信息是否能够满足用户访问需求。基于此基础上还需要考虑所有气象数据中是否体现出实时数据以及历史数据等等，这些要求导致了气象数据体积非常庞大。这些所呈现出的不同要求，如果采用传统关系型数据库存储管理系统，虽然能够实现数据一致性及可用性。但随着数据量的不断增加，当在不同应用节点共同使用相关数据时，其数据性能则会快速下降。必须要采用数据分布式存储来解决这些问题。

通常情况下，可以将数据分布式存储划分为分布式关系型数据库和非关系型数据库 （No SQL）两种形式。结构化数据主要是以分布式关系型数据库为存储方式， 半/非结构化数据采用No SQL数据库存储（如表1所示）。

二、关键技术

1.结构化数据采用的存储方式。结构化数据主要是以分布式关系型数据库存储为主要技术。通过此技术可以有效解决延迟以及高并发的问题。分布式关系型数据库主要是以传统表-字段形式存储，并把数据表水平进行拆分，然后将其存储于不同分数据库分表内。分布式关系型数据库，则可以針对不同数据分库进行数据读写操作，最大化地分散了访问压力，有效提高了海量数据库的访问效率。

2.半/非结构数据的存储方式。对于半结构数据可以考虑通过网格化数据形式存储。非结构数据主要是以栅格数据类型为主。对于此类数据可以将其以字符串或二进制数据以No SQL数据库进行存储。No SQL数据库主要是选择了键值 （Key-Value） 模型， 模型中Key值指向Value的键值。其类型的数据结构，可以划分为主键、属性以及值三个部分。通过这种值存储的数据特征，可以将数据进行切分以及相应的压缩处理，从而可以有效的提高数据传输能力。

三、结语

总之，通过相关实验证明，基于云分布式存储气象数据方法，可以有效提高气象数据的存储以及读取性能。因此，使用此方法进行气象数据云存储设计，具有较大的可行性，并为气象数据云化建设奠定基础。

参考文献：

[1]吴书成，魏爽，王丽吉，等.自动气象站降水实时快速质控算法设计[J].气象科技， 2016，44（6）：882-888.

[2]李集明，沈文海，王国复.气象信息共享平台及其关键技术研究[J].应用气象学报，2006，17（5）：621-622.

作者简介：马强（1990-9-）男，汉族，内蒙古乌兰察布市，本科学历，助理工程师，主要从事信息网络维护工作。