省级自然资源时空大数据云平台研究与应用
2021-10-28李仕佳
李仕佳
摘 要:省级自然资源时空大数据云平台立足于一网一库一平台N应用的信息化总体规划,在省政务网(一网)环境下构建一体化数据库(一库),支撑自然资源政务管理与服务平台(一平台)、调查监测及政务服务等应用(N应用)。该文以省级应用为基础,探讨时空大数据云平台技术。通过超融合、海量数据存储、云安全等技术构筑云平台基础,同时引入数据抽取、清洗、挖掘分析、可视化等数据处理技术,以及分布式平行计算、SOA、微服务、容器等云化技术,提升时空大数据云平台的服务能力,为同类平台建设提供借鉴。
关键词:时空大数据 分布式并行计算 面向服务GIS技术 业务云化 微服务
中图分类号:P208 文献标识码:A文章编号:1672-3791(2021)07(b)-0001-03
Research and Application of Provincial Natural Resources Spatio-temporal Big Data Cloud Platform
LI Shijia
(STARGIS (Tianjin) Technology Development Co., Ltd., Tianjin, 300384 China)
Abstract: The provincial natural resources spatio-temporal big data cloud platform is based on the overall informatization planning of one network, one database and one platform (N application). And it constructs an integrated database (one database) under the provincial government network (one network) environment to support natural resources government management and service platform (one platform), investigation and monitoring, government service and other applications (N application). Based on provincial application, explore the time and space big data cloud platform technology. Build a cloud platform foundation through Hyper-converged, massive data storage, cloud security and other technologies, and introduce data processing technologies such as data extraction, cleaning, mining analysis, and visualization, as well as cloud technologies such as distributed parallel computing, SOA, microservices, and containers to improve service capabilities of time and space big data cloud platform and provide reference for the construction of similar platforms.
Key Words: Spatio-temporal big data; Distributed parallel computing; Service-oriented GIS technology; Business cloudization; Micro-service
業务信息化的推进以数据为基础,与传统静态的、已知的数据相比,大数据是动态的、未知的,时空数据是一种特殊类型的大数据[1]。时空大数据云平台把各种分散的时空数据汇聚在平台上,通过数据的多维融合、关联分析和数据挖掘等过程,找出数据隐含的规律,帮助决策者做出快捷、全面、精准和有效的预判,正如王家耀院士所说“数据隐含价值,计算发现价值,应用实现价值”,时空大数据正日益成为治理体系和治理能力现代化的核心驱动力。近年来,可视化分析、并行数据处理、Hadoop计算框架等技术不断应用到时空大数据业务中[2]。现阶段,迫切需要利用云端运算,对结构复杂、数量庞大的数据进行融合分析,转化为有价值的信息。
1 现状分析
时空大数据来源广泛,数据的丰富性和飞速发展的云计算技术为GIS提供了新的应用模式,在这种形势下,探索云平台建设之路是必然的选择,经历了基础设施的梳理到整合,从数据聚合到按业务梳理,不断地探索时空大数据云平台技术实现之路[3]。为适应当前信息化要求,需要完成以下任务:一是做好总体框架设计,满足未来发展需求;二是构建高效基础支撑层,满足计算、存储、I/O吞吐量、系统稳定性等综合要求;三是提升时空大数据挖掘分析能力,支撑更大范围数据的快速分析和数据深入挖掘能力;四是以应用为导向盘活时空大数据,探索更深入的应用。