省级地理国情普查数据库的设计构想
2020-03-31董晶
董晶
(辽宁省自然资源事务服务中心,辽宁 沈阳 110032)
2013至2015年,国务院开展了第一次全国地理国情普查工作,要求各省基于地理国情普查成果数据,依据统一的规范和标准建立完整的、空间连续、主要要素时点统一的省级地理国情普查数据库,并设计开发地理国情普查数据库管理和应用服务系统。
根据辽宁省地理国情普查工作的实际情况,论述省级地理国情普查数据库的建设目标、关键技术、逻辑设计、功能设计、数据库运行环境等几个方面。
一、基本要求
地理国情普查数据由各省和国家分别建库,各省完成的普查数据在开展初步建库(主要是数据预处理)工作后汇交到国普办进一步构建全国数据库。因此,在设计省级地理国情普查数据库时,要满足国家的一些基本要求。
(1)省级地理国情普查数据建库应参考《第一次全国地理国情普查数据库建设技术设计》,并根据本省普查实际情况制定相应的地理国情普查数据库设计方案。
(2)省级地理国情普查数据库仅覆盖本省范围。除包含全国数据库规定的数据集、数据层和数据表外,还应包含各省扩展的省情普查数据成果和相关专题数据。
(3)省级地理国情普查数据库应设计各要素层的增量格式,同时设计数据库的生成增量功能以实现地表覆盖和地理国情要素数据从省级数据库到全国数据库的增量更新。
(4)省级地理国情普查数据库管理与分析系统、数据库运行环境等根据本省实际情况、参考全国数据库进行设计和选择。
(5)各省数据库与全国库保持数据一致,因此,应统一下发或开发数据入库检查工具和预处理工具。
二、建设目标
利用数据库、地理信息系统、虚拟化、云存储和并行计算等技术,设计地理国情普查数据建库与更新的技术路线与工艺流程,完成地理国情普查各类成果数据的对象化建模与集成建库,并构建地理国情普查数据库管理与应用服务系统,在涉密生产网络环境下,实现地理国情普查成果数据集成管理、快速制图、成果应用服务、数据库更新维护、综合统计分析等方面的功能。
三、关键技术
1.采用要素级更新和基态版本结合的更新管理机制
矢量数据如地表覆盖矢量数据、地理国情要素数据以要素为单位进行更新。为提高数据库统计分析的效率,当前数据与历史数据分开存放,即分为当前空间数据库和历史空间数据库。在当前数据库中存储图层的最新基态数据,而在历史数据库中则保存图层的历史基态数据序列。
2.实现增量更新,开发更新插件
数据更新插件安装在内业作业人员的机器上,基于ArcMap开发,操作对象为从数据库更新维护子系统中提取出来用于更新的数据包。具体的更新操作依靠ArcMap的现有编辑功能完成,插件只做对变更状态(增、删、改)进行监控和保存,同时提供导出增量更新包的功能。
3.采用云存储架构提高非结构化数据I/O性能
云存储架构可以针对非结构化数据提供专有的数据存储和数据保护机制。可以实现数据量和性能成正比增长,并针对海量地理信息数据无法备份保护的特点,提供节点间的RAID保护功能,实现节点损坏业务不停、数据不丢失。
四、逻辑设计
在实际工作中,辽宁省地理国情普查数据库基于ORACLE 11g与ArcSDE环境下的GeoDatabase模型进行逻辑设计,数据库中数据分矢量数据集、栅格数据集、普通表格、文档数据等几种形式进行管理。空间数据以ST-Geometry格式保存在Oracle数据库中,统计分析采用Hadoop+Hive分布式计算框架,文档数据采用NAS形式存储(图1)。
五、主要功能设计
1.更新维护子系统
为方便数据库更新维护,系统需要具备数据入库、路网与水网构建、数据分发处理、数据交换、历史数据管理、变化发现与对比分析和发布数据处理等功能。
2.集成管子系统
系统最基本的需求是各种成果数据集成管理与显示,为此需要在建库环境下开发对地理国情空间数据和非空间数据的资源管理、集成显示与查询检索等方面功能。
3.快速制图子系统
地理国情普查的重要应用之一就是以专题图图件的形式对外展示成果,需要一套以普查成果数据库为核心的图库一体化的方法,快速批量生产出符合普查成果制图要求的系统,形成省、市、县各级区域范围的制图成果。
4.统计分析子系统
基于地理国情普查数据,深度融合其它专业部门普查(调查)数据和经济社会统计数据,从资源分布与利用、生态协调性、基本服务均等化、区域经济潜能、城镇发展等5个方面进行统计分析。
该系统基于天地图·辽宁地图网站,提供地理国情普查成果数据的展示以及统计成果的在线服务,包括普查成果及统计成果数据的无缝、快速浏览显示、查询检索、统计成果下载等方面的在线服务功能。系统采用B/S结构开发,要求反应速度快,操作方便。
六、数据库运行环境
图1 数据库总体逻辑结构
省级地理国情普查数据库系统平台应采用基于虚拟化的GIS部署模式,通过虚拟化管理软件将计算资源、网络资源、存储资源等虚拟化,构建数据库服务器集群、GIS服务器集群等提供系统运行所需服务器和存储环境,具有高性能、高可靠性、高可靠扩展力等特点(图2)。
图2 物理连接拓扑示意图
两台数据库服务器双机部署数据库软件(Oracle),以增加普查数据库的容灾能力。利用备份一体机的备份机制定期备份普查数据库和历史数据库,保障普查成果安全。基于涉密生产网络,GIS服务器通过ArcGIS Server提供普查数据访问接口,三台GIS服务器负载均衡,确保各个部门对数据的访问得到及时快速的响应。
采用FC-SAN结构存储,满足基于关系型数据库的结构化数据存储、Oracle高可用性部署的需要,采用云架构NAS存储,满足基于文件系统的非结构化数据的访问需求。
七、结语
地理国情普查数据真实反映地表植被覆盖、地形地貌、水域分布、交通网络、居民地与设施等,以及国情要素的分布情况。但是与基础地理信息数据库相比,地理国情普查数据库有几个特点,一是国家库与省级库要保持一致,相互之间要设计数据接口,并且强制进行增量更新,这也要求数据生产和质检单位今后要改变作业方式和质检方式;二是基于普查数据库开展统计分析工作,目前设计的统计分析功能只是粗浅的尝试,需要进一步地研究提炼;三是要将当前数据与历史数据分开存放,形成当前空间数据库和历史空间数据库;四是如果有条件,运行环境可采用云存储方式。目前,辽宁省地理国情普查数据库建设已进入实施阶段,在建设过程中还会遇到设计中没有考虑到的技术问题,应逐步加以解决。