APP下载

大数据时代的气象服务应用研究

2018-12-18吴松杰何忠栩赵顺怡

农业与技术 2018年18期
关键词:数据服务云端数据挖掘

吴松杰 何忠栩 赵顺怡

摘  要:随着大数据时代的到来,气象信息化不断加快,融合技术和数据挖掘转变为气象服务的主要特征。在同一工作平台运行中,天气预报和气象决策服务将被共同融合以增强数据处理和编辑的性能,通过高速路径将数据信息快速转化为图像信息向公众呈递。为了促进气象服务更好的发展,本文将结合大数据的主要特征分析气象服务应用的重点内容。

关键词:气象服务应用;大数据时代

中图分类号:P412                                             文献标识码:A                                              DOI:10.11974/nyyjs.20180932210

气象中心每天要接收大量的数据信息,普通的数据库难以完成对实时数据的分析和结论的准确决策。但气象服务只有获取更多的数据和信息,才会有准确的决策能力。因此在大数据的背景下,如何更好的做好气象服务应用工作已成为当前首要探讨的问题。

1     气象服务现阶段发展

在当前的各个行业领域都离不开气象信息,如农业、林业、交通等行业对气象服务有着不同的需求。因此以数据作为气象服务的核心,量化气象信息已成为重要方式和手段。我国现在建立了强大的数据采集系统,高精密的监测仪器为气象服务提供了内容丰富的数据和信息,但实际操作中,气象服务的应用效果不明显。

2     气象大数据服务框架

2.1     基础设施层

基础设施层是集中处理大数据的物理设施平台,以云计算为前提,对原有的硬件进行云化处理,最终形成一个基础设施资源库,其中的存储和计算可以为气象的科研人员和工作人员使用,提高资源整合的效率和利用率。

2.2     平台层

平台层是依靠云计算的技术,在基础设施层上进行构建。可以利用Hadoop框架实现分布式的文件存储;使用HBase实现分布式数据索引;利用Mapreduce实现海量数据计算;建立Hive实现数据存储并加快数据查询。平台层将为应用层提供技术支持。

2.3     应用层

应用层主要作用是进行应用的开发,包括云平台监控与管理、气象服务和站点监控。云平台监控与管理是对数据中心的服务器节点进行实时的监控与管理,包括节点信息管理、能耗监控等;气象服务包括天气预报产品制作、科研和公共气象服务、部门业务功能等;站点监控是对监测点和设备进行监控和管理,包括设备信息管理和数据源状态监控等。

2.4     大数据服务层

大数据服务层是为应用层提供服务,如站点和云平台监控是利用HBase的实时数据检索提供气象服务;利用Mapreduce在数值预报和预报产品的制作中进行数据分布数量,以进一步提供科研服务、公共气象服务。

2.5     用户层

用户主要包括气象业务内部部门、气象科研部门、其它相关行业。气象业务部门直接通过内部网络渠道获取大数据服务,科研部门人员可通过其权限在互联网获取数据信息,其它行业的相关人员通过互联网查询获取数据和产品。

3     气象服务中的数据技术应用研究

3.1     数据挖掘技术

数据挖掘技术作为气象服务应用一项重要技术和手段,其优势是可以在大量的信息数据中找到需要的目标,处理预警信息、不完全信息、噪声信息转化为特别标识供业务人员快速得出结论。挖掘技术的半结构化信息极利于应对不断变化的气候信息,提高了对复杂天气预测的准确度。数据挖掘技术的气象信息技术在实际应用中较传统技术更为科学、先进、合理。挖掘数据可以将数据浓缩成为集合,再利用处理软件将数据抽离形成一个带说明的数据组,数据组中的每一个数据都对应一个目标便于工作人员了解个体信息。挖掘技术自带共享和研究的特征,因此数据信息处理技术可以供应统一的数据以便气象人员分析天氣的阶段特征。

3.2     气候云端及应用

气候云端的核心还是大数据,其建立的重要条件便是云计算。气候云端包括程序、原始系统、模型控制、云端申请的技术服务。云端申请的功能是在相同的时间段内满足多种气候服务需求,并在云计算后满足气候资源的服务特质。气候云端主要在灾害性天气的预测中发挥作用,通过卫星对灾害进行定位并为有关部门提供对策和解决方案,能够有效解决传统技术造成的延迟问题。

3.3     应用特点

决策服务对气象信息数据的获取有着高要求,相对变量关系随着数据的变化而改变,因此当决策节点为极限时气象服务的内容和模式就难以更改。为了符合变量气象服务的需求,处理技术开发了“多模型处理系统”,其作用可以实时获取气象信息、优化模型分析功能、对决策结果进行评价。天气预报有实时、共享的特点,在气象服务的过程中,气象中心要向气象服务进行管理和统计,将获得的信息直观的反馈给公众。所以,数据处理技术可以为天气预报提供精准、统一、丰富的信息数据资料,便于业务人员分析气象变化的趋势。

气象大数据服务为气象业务人员提供了目标和方向,推动国家信息化进程的发展,气象服务制作的产品更是惠及于民。在未来的十几年中,气象数据将会渗透到各领域的经营策略中,通过创建不同的数据组合转变服务形式,最终形成综合有效的气象服务应用体系,气象信息化将快速发展,大大提高气象服务的能力与实践应用。

猜你喜欢

数据服务云端数据挖掘
地理空间大数据服务自然资源调查监测的方向分析
云端之城
基于并行计算的大数据挖掘在电网中的应用
美人如画隔云端
行走在云端
云端创意
如何运用税收大数据服务供给侧结构性改革
基于频繁子图挖掘的数据服务Mashup推荐
一种基于Hadoop的大数据挖掘云服务及应用
一种基于数据服务超链进行情景数据集成的方法*