大数据在自然资源中的应用
2021-02-18凌鑫
凌鑫
摘要:随着现代科技的发展,各种新型技术被广泛的应用,而自然资源大数据是自然资源信息科学管理系统的重要组成部分,也是信息科学、管理研究的重要内容之一。这些数据不是各种数据的简单堆积,而是彼此具有关联,根据不同分类体系和编码标准,借助于数据库管理系统进行组织存储,构成一个综合或专业性的资源信息源。同时数据整合是保证自然资源大数据质量的重要环节,有效的整合技术不仅可以使感知相关数据的员工快速了解资源的真实状态,而且可以提升资源质量。基于此,本文探讨了大数据在自然资源中的应用,以供参考。
关键词:大数据;自然资源;应用
引言
利用大数据技术可以快速从各类大数据环境中得到所需要的数据。从处理数据的基本流程的角度来看,大数据与传统数据没有明显的区别,大数据与传统数据的主要差异在于大数据的数据获取途径十分多样,数据种类丰富,数据量巨大。另外,大数据相较于传统数据对于数据的各个方面也有着新的要求。自然资源数据本身就具有非常高的实效性,并且通过多年的自然资源数据的积累,自然资源数据量丰富,有遥感图像、测绘地图、文字记录等多种形式。因此,积极推动自然资管理系统升级和改造是必然选择,通过此途径可以更好地满足城市建设和发展的需要。
1大数据
业界大数据归纳出4个特征称之为4V(量Volume,多样Variety,价值Value,速Velocity):(1)海量的数据是最为突出的特征;(2)数据的类型多样,数据的来源也多种多样,不仅仅只有传统的数据种类和数据获取手段,还包括了网络信息、空间信息等;(3)商业价值高,大数据具有非常高的商业价值潜力,对于大数据的数据挖掘和数据分析可以有效的发挥其商业价值。当然与之相对应的是其价值密度低,没有有效的管理和分析就无法发挥大数据的价值;(4)数据的处理速度十分迅速,由于大数据本身具有一定的实效性,往往有些数据只有在一定的时间范围内可以发挥作用,这就要求大数据需要较快的数据处理、分析的速度。
对于大数据来说,最大的技术难点是如何从海量的数据中获取有价值的数据,并对数据进行分析和利用。因此,大数据的发展需要网络架构和数据处理技术的发展作为支撑。大数据经过多年的发展,已经在当今这个数据爆炸的时代获得位置。大数据的优势在于可以分析出数据的真实内涵,并为相关部门和企业的决策提供支持。因此,大数据并不是指软件或者硬件的组合,大数据真正意义上的本质是可以帮助用户发现数据背后的价值。大数据产业发展的关键是结合不同的行业、不同的领域发挥大数据的作用。
2自然资源大数据异构性与整合分析
自然资源大数据由于在数据收集、表示和管理方面的特殊特点,除了具有数据的一般特征外,还具有多源、多尺度、多维和空间网络的特点。
(1)自然数据采集手段和信息内容是多源的,空间数据来源广泛,数据采集手段和方法多种多样,包括野外采集、遥感、数字化和现有统计数据。信息内容包括基本资源框架数据、场地基础数据、林业资源信息、气象信息和土地资源基本信息。(2)数据特性和存储格式不同,资源空间应当具有单元几何特征和空间关系,可同时使用不同数据库平台,对不同空间数据属性数据保存,存储格式和提取方法不同,大数据格式也不统一。(3)多尺度、多空间时空数据根据应用需求和数据表达精度存在于不同尺度空间单元内,具有很强的时空属性。由于空间数据的多源性和异构性,在应用过程中很难直接满足网络空间共享和服务需求。所以需要建立数据标准化综合体系对空间数据综合转换,保持空间框架一致,创建用于聚合共享使用的主数据空间。空间数据整合是创建主数据库最困难的部分,不同数据库中空间数据拥有不同数据格式、坐标系、数据精度和空间时间尺度。因此需要提取空间数据,并进行转换和加载,将其整合为一个有机的整体,实现多个数据源的完整转换或信息交换。
3自然资源大数据平台建设
3.1总体架构
大数据库的总体架构设计采用“数据与应用分离”的原则,在大数据中心内部,按照数据上下游关系,建设包括汇集库、资源库、服务库在内的三大逻辑数据库,三者协同有机构成了自然资源数据的应用、沉淀、更新的自我循环体系。(1)资源库是建设的核心,自然资源大数据资源库存储的是基于统一数据模型、权威、历史性、现状性的数据,并可根据业务管理需求实时联动更新。存储内容按照自然资源业务管理需求来划分,包括现状类、规划管控类和管理类数据以及社会经济类数据。(2)汇集库是自然资源大数据资源库的缓冲地带,存储的是未经确认和标准化处理的数据,通过分析整合、加工处理、抽取等操作,将数据更新到资源库中。汇集库内包括沉淀回来的审批成果数据、汇交数据,以及其他需要加工处理的数据。通过汇集库,一体化数据库实时记录着管理过程信息,做到数据“步步留痕”,同时减少一体化数据库的荷载,保障大数据库高效运行。(3)服务库包括两部分内容:一是面向行业内和部、自治区、地州、县市的数据交换的共享交换库;二是面向于行业应用可灵活组装的应用主题库。
3.2大数据评价分析
3.2.1自然资源数据统计分析
自然资源数据统计分析利用不同种类的数据处理方法对自然资源数据进行分类、统计、分析、评价等,不但从宏观上反映自然资源数据的数量信息,也从客观上展现了自然资源的各种特性。自然资源数据经过统计分析后可以使原本杂乱、无规律的数据被相互整合,对外显示出一个统一的信息。用户可以在原本庞大的自然资源数据中得到所需要的那一部分自然资源数据。
3.2.2数据挖掘与存储层
数据整合分析平台根据行和列关系,将源数据提取到SQL数据库中,因此可使用T-SQL语言在SQLserv-er数据库中收集数据,并根据其结果重新创建相应的数据库,此外,设计的最终目的是重建表中提取的数据,并创建一个结构良好的数据库,以便于进一步分析和处理数据。
3.3成果的管理和应用
自然资源大数据平台的建设是由政府主导企业和社会各界共同参与的,自然资源大数据平台的成果也是由政府、企业及社会共享。由于自然资源数据的特殊性,自然资源大数据平台应由政府统一管理,政府拥有自然资源大数据平台的所有权限,充分发挥自然资源大数据平台的优势帮助政府制定自然资源的相关政策,同时向市场和社会公众开放部分自然资源大数据平台的权限,积极探索自然资源大数据平台的商用可能。
结束语
面对生态文明建设背景下的自然资源管理需求,本文使用先进的大数据技术,为自然资源大数据体系的构建和应用提供了完整解决方案。通过构建自然资源数据库,形成了统一的数据底图,实现了数据二三维一体化展示,为各地自然资源厅“互联网+”电子政务系统、耕地保护系统等提供实时权威的数据支撑;有效提高了工作人员的办公效率,提升了数据共享程度。
参考文献
[1]李宇昕.地质勘查物流与信息流融合关键技术与应用研究[D].北京:中国地质大学(北京),2015(7):1288-1289.
[2]丁恩杰,施卫祖,张申.矿山物联网顶层设计[J].工矿自动化,2017,43(9):10-11.
[3]姚建铨,丁恩杰,张申.感知矿山物联网愿景与发展趋势[J].工矿自动化,2016,42(9):4-5.
[4]吴冲龙,刘刚,张夏林.地质科学大数据及其利用的若干问题探讨[J].科学通报,2016,61(16):1797-1798.
[5]肖建华,王厚之,彭清山.地理時空大数据管理与应用云平台建设[J].测绘通报,2016(4):38-39.