基于空间大数据、云计算技术的省级自然资源空间基础信息平台架构设计

2020-09-29赫瑞

河北省科学院学报 2020年3期

赫瑞

(宁夏自然资源信息中心,宁夏银川 750002)

0 引言

建立自然资源空间用途管制是党的十八届三中全会以来中央做出的重大决策部署，是推动生态文明建设、提升自然资源空间治理能力的重要措施。为了自然资源土空间用途管制建设，整合目前各部门空间数据，编制统一的自然资源空间规划，强化政府空间管控能力，实现国土空间集约、高效、可持续利用，需要构建统一的自然资源空间基础信息平台，形成全国覆盖、协调一致的自然资源空间数据底板和开放共享机制，为自然资源行政审批、空间规划编制、资源监管、决策支持等提供空间数据和信息服务支撑[1]。

平台遵循“国土资源云”建设总体框架，利用统一的软硬件基础设施，基于云计算、大数据技术在自然资源厅数据中心机房国土业务专网、测绘局域网、电子政务内网三个区域，分别开发部署实现自然资源空间数据、测绘地理信息成果管理和对外共享服务功能的自然资源空间基础信息平台，聚合集成各类国土空间相关数据资源，实现对软硬件设施、数据资源、服务资源进行统一管理和调度，为自然资源资源厅内部和市县自然资源资源局提供数据资源、业务应用云服务。通过电子政务内网区域的空间数据交换共享服务系统，为住建、交通、林业、发改、环保、等相关部门提供自然资源空间数据共享和交换服务。

1 设计思路

利用好厅内自然资源信息化建设现状，在自然资源一体化数据库的基础上构建专题应用库，并做好数据的回流设计，与横向政府部门进行资源共享交换，向省政府、农业厅、水利厅等政府部门提供数据支撑、功能服务支撑与信息公开服务。平台设计思路如图1所示。

图1 平台设计思路图

1.1 数据层完善自然资源数据体系

依托厅自然资源一体化数据库，利用宁夏国土“一张图”的建设成果，逐步接入其他行业部门数据，充分汇集互联网相关数据，全面集成自然资源“一张图”数据，并按照自然资源业务应用需求，构建面向于行业应用可灵活组装的业务主题库，在测绘网建设覆盖基础地理、遥感影像、基础框架和地理国情的测绘地理信息综合库，在电子政务内网复用应急测绘系统数据库成果，实现测绘地理信息数据在测绘网与电子政务内网中的集中管理。

业务主题库主要以满足自然资源业务应用的数据需求出发，为业务系统提供专题数据产品(如行政审批主题、监管决策主题、空间规划主题等)，同时也对自然资源行业内的用户提供管理数据，如办文系统沉淀的数据、用地报批系统沉淀的数据等。并在此基础上搭建面向业务应用的专题应用库；对各类信息在逻辑上进行统一管理，统一共享服务。

测绘地理信息大数据管理系统所建设测绘地理信息综合库负责测绘地理信息数据的涉密版数据存储与政务版数据存储，并通过人工拷贝的方式脱密后，实现政务版数据向国土业务专网中的自然资源一体化数据库的推送。

1.2 服务支撑层建立大数据分析基础环境

依托测绘网、电子政务内网以及国土业务专网，基于ArcGIS的大数据分析组件与服务管理机制，建立空间数据并行计算与服务系统。

利用AI分析、空间运算、业务运算、Spark集群等大数据分析技术构建自然资源管理的模型库与大数据分布式存储模式，实现影像数据对比分析、自然资源数据挖掘分析与自然资源管理的辅助决策，为自然资源管理提供基础的计算模型支撑与数据服务支撑；并利用云资源管理技术，建设统一的运维管理机制及平台云管理的基础能力，实现对云基础设施的统筹管理，包括资源管理、资源调度、运行监控等，同时平台还提供了统一用户管理、统一权限管理的能力。

1.3 应用服务层建立应用服务系统

基于自然资源一体化数据库，重复利用厅内已建设的自然资源“一张图”数据展示中心，采用B/S与C/S相结合架构进行设计，针对不同的数据存储需求与应用需求，分别在国土业务专网、测绘网与电子政务内网搭建应用服务系统，实现土地、测绘等数据资源的注册、编目、发布和调度管理，提升海量影像数据管理，并结合空间数据并行计算与服务系统建立的计算模型，构建各类数据服务、查询服务、分析服务和规则服务等，统一数据资源与服务资源出口，从而支撑自然资源的各项业务系统搭建与业务执行，提升监管决策、政务审批和调查监测评价等应用服务的支持能力。

其中云服务门户与基础信息管理与服务平台基于ArcGIS和Oracle，大数据分析时，为保证分析效率，采用分布式的文件存储系统进行数据存储，采用B/S架构进行开发，部署于国土业务专网；海量影像数据管理系统分别部署于测绘网和国土业务专网两套物理隔离的网络环境中，其中测绘网管理原始影像和成果遥感影像等所有影像数据，国土业务专网只管理原始影像数据，两套网络交换数据时通过物理介质进行数据交换；测绘地理信息大数据管理系统部署于测绘网，采用C/S架构，基于ArcGIS组件、DV插件进行二次开发，实现对测绘地理信息数据进行统一管理；地理空间数据共享系统部署于电子政务内网，采用B/S技术架构，是集成GIS技术、SOA等技术构建开放式基础地理信息平台。

2 关键技术

2.1 云资源管理、虚拟化技术

在合理的资源分配策略下，先部署预置资源池，在后面的系统运行过程中，根据实际ArcGIS云运行情况动态的创建ArcGIS云计算资源，弹性的创建及销毁ArcGIS服务器节点，满足前端应用系统。利用云资源动态伸缩管理技术自动调整其弹性计算资源的管理服务，真正实现资源按需分配。

同时，虚拟化技术允许具有不同操作系统的多个虚拟机在同一物理机上独立并行运行，从而提供更高的IT资源利用率和灵活性，不仅能够降低资本消耗、减少运营费用，使计算资源能够适应快速、频繁的重新配置，有效地减少在开发、测试、准备和部署周期中所消耗的时间，并能快速动态部署、迁移。

2.2 基于分布式存储的高性能空间大数据分析技术

根据各专业应用系统数据量大且更新频繁的特点，整个大数据分析应用采用基于Hadoop分布式环境进行部署，为满足GIS空间数据实时浏览和快速分析需要，并行计算引擎采用Spark。通过将并行计算引擎Spark部署在分布式集群环境中提高空间数据分析与挖掘的性能，实现在原始数据更新变化时，无需切片缓存即可实时更新浏览，减少空间数据的管理和更新成本。同时基于分布式架构，空间大数据被均匀分布到可以弹性扩展的各个计算节点上，每个计算节点都会参与空间运算分析，实现数据分析的低延迟。

平台采用ArcGIS Enterprise大数据分析组件ArcGIS GeoAnalytics Server，满足多维度信息、多数据关联的实时应用分析，同时针对自然资源的稳定特性，快速构建时间持久、性能稳定、信息海量的深度挖掘模型。

2.3 多源异构服务集成管理技术

平台一方面要满足底层异构数据互操作的需要，另一方面还要满足前端应用开发对功能性的要求。因此，应提供“基于开放标准，同时兼顾扩展和功能性”的服务类型和服务接口。

利用JAVA语言的反射机制，开发了一套能够支持用户动态添加代码实现的引擎，然后定义了针对GIS服务管理所需要的各种接口，这样需要对接某个GIS平台服务时，开发人员只要按照规范实现系统提供的接口，将代码上传系统后，系统就能够实现对新的GIS平台的服务进行管理控制，从而实现在平台系统中对各种服务类型的统一管理和控制。

2.4 超量信息可视化分析、交互技术

超量信息可视化(Information visualization)是一个跨学科领域，旨在研究大规模非数值型信息资源的视觉呈现。Insights for ArcGIS向数据分析人员提供地理空间分析的功能。Insights for ArcGIS支持将空间数据和非空间数据结合在一起，提供了包括地图、统计图和表格等多种多样的可视化方法。

2.5 矢量瓦片电子地图生产技术

矢量瓦片技术继续沿用栅格瓦片地图服务的技术特点，将矢量数据按照一定的规则进行裁剪，裁剪为规则格网大小的数据块，然后通过按需动态的进行瓦片调度与渲染，在一定程度上具备了栅格瓦片服务和矢量数据的优势，实现了地理信息服务模式的优化。矢量瓦片电子地图生产需要渲染、道路融合、注记自动换行技术[2]。

3 技术架构

平台建设全面采用面向服务架构(SOA)的设计思想。整个平台的计算资源(CPU，内存等)，存储资源(硬盘)，软件资源(操作系统，数据库，时空数据处理软件等)，以及各种应用功能全部被封装成各种松耦合的服务。这些服务被发布在私有的分布式的云计算环境中，构成整个自然资源资源时空云服务平台的基础。基于SOA架构思想进行业务建模和构建业务流程，将需要的业务环节通过服务进行实现，支持组织内部业务快速协同，有利于快速实现数据的交换和系统的搭建。平台具体技术架构如图2所示，系统的架构图包括了六个方面。