山东省地理国情监测数据管理系统的设计与实现

刘 现 印

(山东省国土测绘院 山东 济南 250013)

0 引 言

地理国情普查与监测是我国最近几年开展的一项重要的全国性调查,它采用空间化和可视化的方式描述地表自然和人文现象的相互关系和空间变化特征[1-2],能够帮助我们深入了解地表资源分布状况、使用情况并制定合理的使用计划[3-4]。目前山东省已经具有了2015年、2016年、2017年、2018年和2019年五期覆盖全省的地理国情数据,数据量达到39.5 TB。由于数据版本较多且数据量庞大,给数据的管理和应用带来了很大困难。国内不少学者对地理国情数据的数据库及应用系统建设进行了研究[5-6],但是研究内容基本都是对于一个年份的地理国情数据进行管理和应用,无法满足多个年份且每个年份数据标准不完全相同的地理国情数据的管理及展示的需要。也有学者对多版本时空地理信息数据的管理和展示进行了研究[7],但是针对的都是数据标准完全相同的情况,没有考虑到生产标准不完全相同的多年份数据的管理方法。另外,地理国情监测的目的是通过对多年份地理国情数据各个地类进行对比分析,并将统计结果和变化情况通过地形图、统计图、统计报表、统计报告等形式进行直观形象化地展现,但是目前缺乏相应的技术手段自动化地完成上述工作,通过人工手段进行上述工作操作流程复杂、效率难以提升,并会浪费大量社会资源[8-9]。

鉴于山东省地理国情数据管理的现状和对于实现时空数据一体化管理的迫切需求,本文提出一种多年份地理国情监测数据管理系统,通过构建时空数据模型实现标准不完全相同的地理国情监测数据的统一存储;通过搭建数据库集成管理系统,实现基于时间轴的多年份地理国情数据的管理与展示;通过搭建变化统计分析系统进行地理国情信息的快速统计及报告制作。系统建成后可实现多年份地理国情监测数据的统一管理,大幅提升地理国情数据的变化统计分析能力,较大幅度地提升地理国情监测数据的管理和应用水平。

1 系统设计

1.1 总体设计思路

基于ESRI Geodatabase模型构建地理国情监测时空数据库,库体设计时充分分析各年份地理国情监测数据标准[10](包括指标体系、图层划分、属性字段等)的差异,并考虑今后国情监测数据标准可能发生的变化情况,采用灵活制定并创建各年份国情监测数据图层模板的方式,将相应年份的国情监测成果数据导入到对应年份的图层模板中。基于大表分区和并行处理技术,开发入库预处理、入库质检和数据库集成管理软件实现各类数据的快速入库和集中存储管理。对国情数据变化情况进行统计分析时,采用空间分析、时间序列分析、数字统计学中多种技术方法,对地理国情数据的地类空间分布状况、地类变化情况及演变特征等内容进行变化统计分析[6]。

1.2 架构设计

山东省地理国情监测数据管理系统采用Oracle数据库管理系统,通过Oracle Spatial和数据库访问接口,实现数据的高效存储与访问[11]。系统采用分层架构模式[12-13],系统总体技术架构如图1所示。

图1 系统总体技术架构

(1) 支撑层:由系统使用的基础软件、硬件、网络、专用云平台组成。本研究构建了私有云环境,实现了上述资源的统一管理和按需分配。支撑层是系统正常运行的基础环境。

(2) 数据层:是整个数据管理系统的数据资源,提供数据的存储和管理能力。数据内容包括普查与监测时期的多年份地理国情数据,如图1所示,每一年份的国情数据都包括9种数据类型[10]。

(3) 接口层:提供功能组件和服务接口,具有灵活性好、使用方便、效率高等特点。

(4) 应用层:通过可视化的操作界面实现多年份数据时空化建库,多时相数据入库质检、预处理、数据入库、浏览、查询、提取、专题图制作,以及地理国情监测数据变化信息统计等。

1.3 系统功能设计

系统功能设计以完成山东省地理国情监测数据的入库、管理及分析应用为目标,主要由地理国情监测数据入库质检、预处理、数据库集成管理和变化统计分析四个子系统组成。

1.3.1入库质检工具

在进行预处理和数据入库前,需要对可能影响入库的数据问题进行检查,对数据的组织结构、拓扑正确性、逻辑结构是否合理、空间参考是否符合要求、实体构建是否正确性等进行检查,有些问题会严重影响数据入库,对于查出的问题需要利用软件结合人工进行数据修改。入库质检工具实现了上述检查内容的自动化,功能模块如图2所示。

图2 入库检查工具功能模块构成

1.3.2预处理工具

为了便于进行统计分析和时空数据管理,还需要进行一系列的数据处理才能进行地理国情监测数据的入库工作。根据国情监测数据特点,预处理工具提供了数据结构调整、要素对象化编码更新处理、要素完整化更新处理、网络数据更新处理、建库字段赋值处理、要素修复处理、变化信息提取等功能。功能模块如图3所示。

图3 预处理工具功能模块构成

1.3.3数据库集成管理系统

数据库集成管理系统用来实现多年份地理国情监测成果数据、统计分析成果数据、专题数据的集中入库、浏览、查询检索、专题制图和数据提取等[14],达到多年份地理国情监测数据一体化存储和管理目的。功能模块如图4所示。

图4 数据库集成管理系统功能模块构成

1.3.4变化统计分析系统

变化统计分析系统将监测区域内不同年份的数据进行对比,快速发现它们之间的差异,监测地理国情数据要素级、地类级变化情况。实现变化统计、图表制作、报表制作、图件制作、报告制作等的自动化。功能模块如图5所示。

图5 变化统计分析系统功能模块构成

1.4 时空数据库设计

1.4.1逻辑结构设计

地理国情时空数据库基于Oracle Spatial进行构建,数据库中分为矢量数据集(Feature Dataset)、栅格数据集(Raster Dataset)、表格数据(Table)、文档数据(Document)等形式进行存储和管理[14]。其中矢量数据集包括地表覆盖数据(LCRA图层)和地理国情要素数据的9个数据集;栅格数据包括数字高程模型(DEM)、坡度和坡向等衍生数据、地表覆盖栅格化数据、正射影像数据(DOM)等5类数据[5];表格数据包括解译样本表格数据、基本统计数据、软件系统业务管理数据等;文档数据包括遥感影像解译样本照片及影像示例数据[6],技术设计、技术规定、技术总结等相关技术文档数据。矢量数据集和栅格数据集用来存储空间数据,采用Geodatabase模型进行存储,空间参考使用CGCS2000国家大地坐标系。数据库总体逻辑结构如图6所示。

图6 数据库总体逻辑结构

1.4.2表空间设计

地理国情数据库使用表空间进行管理,表空间中采用小数据文件,在空间不足时允许数据文件的自动增加。这种方式特别适合管理海量数据,也便于进行数据库的备份和迁移。根据数据库的逻辑设计和每种数据的特点,如表1所示,将地理国情监测时空数据库划分为7类表空间[5]。上述7类表空间按年份建立各自表空间,入库之前根据当年国情监测数据的图层划分、属性特征及地类编码建立入库模板,在数据入库后通过版本注册的方式建立各年份之间的图层关联。通过上述操作不仅实现了各期数据独立存储和时空一体化管理,还解决了不同年份数据标准不完全一致的问题。

表1 数据库表空间设计

2 关键技术研究

(1) 地理国情监测时空数据管理技术。本文结合地理国情数据特点,建立集多基态、变化信息与历史变化量于一体的地理国情时空数据模型,实现对多时态数据的集成管理。如图7所示,该模型将版本数据与变化数据同时入库。以2015年地理国情普查数据作为初始版本数据,以最新一年的基础性监测成果数据作为最新基态数据,其他年份监测数据作为历史基态,增量更新数据(变化数据)为历史变化量,基态数据层存储整个范围数据,变化数据层仅存储较上一基态的变化数据。最新基态数据作为现状数据库,历史基态和变化数据作为历史数据库,按照基态和增量更新数据(历史变化量)回溯地理国情历史数据,现状数据和历史数据相对独立存储,既满足了地理国情现状数据的高效查询应用,也保证了历史数据的快速回溯、查询。如果数据标准增加了新的图层,例如2018年新增加了收费停车场图层(V_PRKP),则将2018年的该图层设为初始版本数据。

图7 时空数据模型

(2) 栅格数据动态镶嵌与管理技术。如图8所示,该技术将影像数据的元数据、影像编目、影像范围线、镶嵌线、影像实时处理的一些设置参数存储在数据库中;将各种不同传感器、分辨率、坐标系统的影像数据文件及各影像金字塔文件,在存储设备中管理。在地图窗口中显示时,将边界线、轮廓线和影像组合显示。通过ArcGIS镶嵌数据集进行存储管理,在数据库中只建立影像的索引,影像文件仍采用文件形式进行存储。同时,为了提升浏览过程中影像显示速度,通过原始影像的抽取逐级创建镶嵌数据集的概视图和金字塔。

图8 动态镶嵌模型

(3) 基于数据库驱动的地理国情快速图件制作技术。本研究通过建立数据库表、统计计算指标及图件成果之间的业务关联,实现图件制作与数据库的联动,通过“数据源-模板-成果”关联模型、报告成果模板化、统计成果的一键式输出等技术实现统计分析报告中图件成果的自动生成。如图9所示,系统通过建立一套完善的统计分析成果关联模型,将统计数据源、统计成果模板和统计成果之间的关联关系固定下来。同时将统计分析报告中图件、文字、表格等的数据获取条件,通过可配置界面保存到统计分析报告模板中。通过该模型可实现统计数据源与报告中图件、文字、表格内容的联动更新和一键化输出。

图9 “数据源-模板-成果”关联模型

3 系统实现

3.1 系统开发环境

四个子系统均采用C/S架构,采用VS2012作为开发环境,基于Arcobjects提供的组件进行二次开发。数据库集成管理系统和变化统计分析系统采用Oracle11g作为数据库管理平台。

3.2 系统功能实现

3.2.1入库检查工具

入库质检工具以检查任务为中心、质检方案为驱动实现汇交目录和各类汇交成果的自动检查,主要检查内容包括文件与结构一致性检查、属性项值域正确性检查、拓扑正确性检查、网络数据连通性检查、道路连通性检查等,保证数据入库质量。系统运行界面如图10所示。

图10 入库检查工具

3.2.2入库预处理工具

按照数据库技术设计建立地理国情监测数据预处理框架,采用工作流的方式进行投影转换、调整属性结构、国情要素实体化处理、元数据合并处理、解译样本图层生成等,预处理后的数据符合建库和变化统计分析的要求。该工具实现了数据处理的自动化批量操作。系统运行界面如图11所示。

图11 入库预处理工具

3.2.3数据库集成管理系统

数据库集成管理系统通过构建时空数据模型并利用时间轴进行时空数据的显示,通过矢量切片技术和栅格数据动态镶嵌与管理技术实现了对多年份地理国情数据、基本统计分析数据、行业专题数据的集中入库、高效浏览、查询检索、专题制图和数据提取、数据版本注册等,达到了多年份监测数据集成存储和管理的目的。系统运行界面如图12、图13所示。

图12 数据库集成管理系统

图13 版本注册界面

3.2.4变化统计分析系统

变化统计分析系统采用空间统计、任务并行等方法,实时统计图斑的长度和面积,数据查询效率得到大幅提升,实现了实时统计分析。通过基于数据库驱动的地理国情快速图件制作技术(见图9)实现了图表、报表、图件、报告等的快速生成。系统运行界面如图14所示。

图14 监测成果变化统计系统

3.3 实际应用效果

利用该系统完成了山东省全省五期地理国情数据的入库工作,构建了地理国情时空数据库,经验证系统能够完成多版本海量数据(数据量39.5 TB)的数据入库及管理工作。另外,挑选临沂市作为实验区进行了变化统计,完成一个县的变化统计分析报告仅需十分钟左右,系统建设前人工编写需要10人/天左右。经验证系统稳定可靠,实现了标准有差异的地理国情监测数据的时空数据一体化管理和高效变化统计分析的目标。

4 结 语

本文根据山东省五期地理国情数据的特点,设计时空数据模型和数据库,搭建用于实现地理国情数据管理的软件系统,使山东省具备了对标准有差异的多期地理国情监测数据的统一管理和地理国情信息的快速统计及报告制作能力。本文大幅提升了山东省地理国情数据的管理能力和应用水平,能够为山东省区域变化监测、发展规划制定、新旧动能转换等提供科学依据和技术支撑。