国家地质环境数据中心建设研究
2015-03-01任晓霞曾青石喻孟良周萌
任晓霞,曾青石,喻孟良,周萌
(中国地质环境监测院,北京 100081)
1 引言
近年来,随着“数字国土工程”、“金土工程”的实施和国土资源信息化工作的深入,中国开展了大量的地质灾害调查与防治、地下水监测与保护、矿山地质环境调查与恢复治理等业务的调查、监测及信息化建设工作[1-4],在国家层面上建立了如全国1∶20万分幅水文地质空间数据库、1∶50万分省环境地质数据库、县市地质灾害调查数据库、地质灾害群测群防数据库、地质灾害灾情速报数据库、国家级地下水监测数据库、矿山环境数据库等数据库[5-8]。同时各省(市、自治区)国土部门也建设了大量的数据库及业务系统[9-18]。
随着地质环境信息化的快速发展,不同部门、不同业务系统之间数据资源实时共享、综合服务已是大势所趋。地质环境类数据也有同样的需求,目前仍存在以下问题[19-20]:第一,数据大都产生于单一项目的业务系统,系统建设仅从项目考虑,不同业务系统数据坐标系不同、数据精度不一致、数据格式不统一,容易造成信息孤岛;第二,数据分散在不同业务部门中,存在数据重复现象,不同版本的数据格式不一致、数据不唯一,数据维护难度大;第三,在积累大量数据的实际条件下,未建立一套权威的数据共享及服务机制,造成了各种数据之间关联性差、应用系统之间无法互通的情况,严重制约了各业务部门的数据共享、服务和地质环境信息化工作的发展。
针对上述问题,笔者开展了国家地质环境数据中心建设方案的研究。提出了“分布式与集中式存储、统一管理、业务联动”的地质环境数据中心建设思路,设计了国家地质环境数据中心的数据体系、数据中心架构以及数据汇交和交换方式。
2 总体结构
2.1 数据体系
国家地质环境数据中心的建设按照“分布式与集中式存储、统一管理、业务联动”的模式进行设计,其数据体系如图1所示。
分布式与集中式存储是指依托地质环境调查、监测等工作体系和分布式网络系统,在县级及地级节点建立空间数据库,省级及国家级节点建立数据中心,形成以县、地、省、国家四级分布式存储与集中式存储相结合的数据存储、管理、交换的全国地质环境数据体系;统一管理指基于四级数据体系,将基础数据及专题数据建立在国家级或者省级节点,作为地质环境信息基础支撑,各节点自己的数据由本节点进行维护更新;业务联动指采用统一的标准规范、数据采集系统和数据交换子系统,实现关联业务系统之间的横纵向信息共享。
图1 国家地质环境数据体系架构
2.2 数据中心架构
地质环境数据分为两类:一是操作型数据,有细节化、分散化的特点,可分为基础数据和业务数据;二是决策型数据,有综合化、集成化的特点,可细分为综合数据和产品数据。结合地质环境数据特点和地质环境的事务处理应用及分析处理应用的需要,采用基础数据库(源数据库)-操作数据库-数据仓库(DB-ODS-DW)数据存储与管理方式,在系统基础设施、标准化体系、安全防护体系支撑下进行架构,数据中心结构分为四个层次,其体系架构如图2所示。
源数据层是通过数据采集系统获取的地质环境各类基础地理及专题空间数据、专业属性数据,以及外部系统气象、人文经济、地震等数据,这些数据构成数据中心的数据源。基础数据库用于存放来自不同位置、不同系统、格式各异的空间数据和属性数据。库中数据保持源数据格式、粒度、度量不变。根据数据的涉密性,所获取的数据分别存入基础数据库1和基础数据库2(涉密数据库)中,两者间实施物理隔离。
操作处理层是基础数据库1及基础数据库2数据经标准化处理,分别上传到操作数据库1和操作数据库2。操作数据库2中的数据经过保密处理后,通过摆渡服务器传入操作数据库1中使用。操作据库1中的部分属性数据亦通过摆渡服务器传入操作数据库2中提供使用。操作数据库1中的数据包括空间数据、专业属性数据、办公管理数据、决策分析数据、成果数据及综合文裆数据。操作数据库2与操作数据库1分别支持涉密与不涉密的业务系统的事务处理型应用。
分析处理层是根据决策主题建立多维数据模型,对操作数据库1中数据进行抽取、转换、重组和装载,存储到数据仓库中,支持分析处理型应用。
服务层是对于操作数据库和数据仓库中的各类数据请求(查询、订阅、发布)抽象为数据访问服务请求提供服务。
2.3 数据汇交及数据交换
通过规范地质环境数据采集、存储、管理、动态更新,以及数据的汇交、交换及信息目录管理,将全国县、地节点地质环境数据库及省、国家级节点数据中心连为一体,构成全国地质环境数据体系,实现上下级节点间纵向的数据交换、同级应用系统间横向的数据交换,以及面向外部的数据共享交换服务。
数据汇交纵向上由县级节点→地级节点→省级节点→国家级节点进行数据上传汇集,横向上在同级地环节点与国土节点间进行数据传输汇集。
图2 国家地质环境数据中心架构
目前,国内还没有相关的地质环境数据交换标准,而XML作为一种具有结构性的描述语言,作为数据交换方式应用广泛[21-28],因此可以把 XML文件作为数据交换的标准,用它作为中间数据格式,在基于SOA面向服务的体系结构下,利用底层整合信息资源。需要交换数据的业务系统通过Web Services获取XML格式的信息,然后转化成自己能够识别的信息,这样就完成了一次数据交换。不同业务系统之间只需要定义不同的数据交换接口,从而实现各类数据在应用层面的互联互通和信息共享。
3 建设要求
国家地质环境数据中心建设内容包括:一是满足各类数据库存储管理、动态更新和交换需要的软硬件基础环境;二是建立统一的地质环境数据存储与交换系统;三是安全防护体系、标准规范化体系等其他工作;三部分建设内容,对于各级数据中心节点要求不同,具体建设要求如下:
(1)软硬件基础环境
主要包括数据中心运行需要的场地、网络、通讯设施、基础数据库服务器、数据存储备份服务器、应用服务器、存储设备、基础数据库管理系统、GIS基础软件系统、应用中间件等。其中,网络依托国土资源骨干网构建地质环境骨干网,实现区县-地州-省市-国家的四级地质环境信息节点数据专线传输;其余基本软硬件环境的配置应充分共用现有基础设施,经分析确认后不能满足需求的,进行逐步补充。
(2)地质环境数据存储与交换系统
主要包括各类数据库和交换系统。其中数据库建设分为两部分,即各业务应用或原有建设与运行维护部门的已建数据库,原则上需逐步纳入数据中心。已由数据中心建设维护部门运行管理的数据库、操作数据库、数据仓库等纳入数据中心的运行与管理。
数据库建设:在县级及地级节点建立数据库,省级及国家级节点建立数据中心,数据中心配套管理系统,负责数据入库、基础数据库监控、操作数据库入库以及数据仓库管理等功能。
交换系统建设:按照国家级及省级节点建立交换中心,安装数据交换子系统的原则建设。省级节点与省级其他部门和下属单位的数据交换,由各级节点按相关规定标准并遵从基本技术要求另行实施。
(3)安全防护体系、标准规范化体系等其他工作
主要包含信息化标准体系框架建设、标准数据库建设及管理、数据库安全身份认证、数据库安全备份等内容。此部分内容各节点均需按照标准要求统一接入。
4 实证应用
到目前为止,地质环境数据中心已建立国家级节点和部分试点省份。其中,国家级节点管理数据资源主要包括不同比例尺基础地理数据、不同分辨率遥感影像数据等数字地图数据、地质灾害、地下水、矿山地质环境、地面沉降、地质遗迹、水土地质环境等专业领域已建成的历史调查和监测数据、1∶20万水文地质空间数据库、1∶50万环境地质空间数据库等专题空间数据;试点省级节点根据各自省份数据情况管理所属数据,如各省影像数据、地质灾害点等数据。通过已建立的各节点数据中心,使其初步形成了信息共享与综合服务的局面,但由于节点数据不全、业务数据的互操作接口以及交换标准正在建设中,后续工作仍需继续探讨研究。最终,国家级地质环境数据中心将依据相关集成整合规范和信息化标准,建立全国地质环境信息目录,将历史数据整合纳入对应目录下入库,对于将来要纳入数据中心的数据,采用统一的数据采集,统一标准规范,建立数据更新与维护机制,保证数据的动态更新和有效性。同时,逐步推广应用到各省份,将各节点的地质环境数据连为一体形成数据中心,构成全国地质环境数据体系,实现上下级节点间纵向的数据交换、同级应用系统间横向的数据交换,以及面向外部的数据共享交换服务。
相比传统数据库方式,数据中心具有如下优势特点:
(1)多源、多尺度海量数据统一存储管理。不同来源、不同尺度的地质环境数据在统一标准规范下存储到数据中心,通过统一的管理工具对其进行管理。
(2)地质环境数据质量大幅度提高。在统一的标准规范约束下,对已有历史数据进行数据质量检查和校正更新,新采集的数据按照要求进行数据采集和审核校正,保证数据质量。
(3)动态更新与维护机制建立,数据实效性提高。各级节点数据联动,一旦负责更新数据的节点对其数据进行了更新,其他相关联节点则自动进行数据更新。同时,相应地更新机制要求各节点保持对数据更新的维护与提交,数据实效性得到提高。
(4)信息共享机制建立,推进地质环境数据服务化能力。数据交换系统和各级业务接口的建立,保证了在不同节点对地质环境数据的信息共享,提高了地质环境数据服务能力。
5 结语
国家地质环境数据中心是地质环境数据的重要基础设施,是实现地质环境信息服务与共享的根本保证。数据中心不但能够对各级地质环境相关的基础数据和业务数据进行有效管理和维护,而且能够按照统一的数据交换标准,从纵向实现各级地质环境业务部门之间以及横向与其他各部门之间的信息交换,实现数据共享,更好地为政府机关、专业人士、社会公众服务。
[1]何春燕,韩文权.地下水动态监测系统研发及应用示范[J].地下空间与工程学报,2015,11(1):199-202.
[2]刑丽霞,罗跃初,李亚民,等.我国地质环境监测现状及对策[J].资源与产业,2011,13(3):110-115.
[3]朱永辉,白征东,过静珺,等.基于北斗一号的地质灾害自动监测系统[J].测绘通报,2010,(2):5-7.
[4]张进德,袁西龙.全国矿山地质环境调查信息系统及应用[J].中国地质灾害与防治学报,2006,17(4):134-136.
[5]甄习春,朱中道,卢豫北,等.单孔多层地下水监测井设计与建设[J].水文地质工程地质,2008,(6):46-49.
[6]孟宪来,张宏仁,陈梦熊,等.全国水文地质数字化成果首次亮相[J].水文地质工程地质,2007,(1):2-2.
[7]李媛,孟晖,董颖,等.中国地质灾害类型及其特征——基于全国县市地质灾害调查成果分析[J].中国地质灾害与防治学报,2004,15(2):29-33.
[8]候春堂,冯翠娥,王轶,等.全国1∶50万环境地质调查信息系统开发初探[J].地质通报,2003,22(7):540-544.
[9]李玲,张云霞,盛奇,等.基于农业地质调查成果的开封市土壤质量综合评价[J].地域研究与开发,2015,34(1):127-130.
[10]王立平,苏程,俞伟斌,等.面向服务的县级地质灾害管理系统研究[J].浙江大学学报(理学版),2015,42(1):54-63.
[11]李鑫,周爱国,孟耀,等.广西罗城地质公园地质遗迹特征及综合评价[J].安全与环境工程,2015,22(1):26-32.
[12]田东升.河南省地质灾害险情评估[J].灾害学,2014,29(4):48-51.
[13]谈树成,金艳珠,冯龙,等.基于RIA的 Web GIS斜坡地质灾害气象预报预警信息系统的设计与实现——以怒江为例[J].地球学报,2014,35(1):119-125.
[14]黄文.云南省国土资源遥感影像数据库管理系统建设[J].地矿测绘,2012,28(1):23-26.
[15]胡恩亮.山西省专题地图数据库建设研究[J].华北国土资源,2012,(3):77-81.
[16]杨波,罗红霞.基于ARCGIS的县(市)级土地利用数据库建设——以重庆市奉节县为例[J].测绘科学,2009,34(3):195-196.
[17]钟星,袁春,魏即生,等.宣恩县1:10000土地利用更新调查数据库的建立[J].资源与产业,2008,10(4):54-57.
[18]陶继雄,王弢,罗忠泽,等.基于数字地质调查系统的矿产远景调查数据库建设——内蒙古达来庙矿产远景调查项目数据库的建设和体会[J].地质通报,2008,27(7):1019-1027.
[19]唐健,沈陈华,周国峰,等.国土资源数据整合方案设计及其实现研究[J].中国土地科学,2009,23(9):72-77.
[20]史辉.国土资源数据中心建设探讨[J].山东国土资源,2009,25(11):46-49.
[21]Lief ke H,Suciu D.An extensible compressor for X ML data[J].Sig mod Record,2000,29(1):57-62.
[22]Dietrich S W,Urban S D,Ma H,et al..Exploring XML for data exchange in the context of an undergraduate database curriculum[J].ACM SIGCSE Bulletin,2005,37(1):53-57.
[23]Zhang H F,Wang L L,Shen G C.Data Exchange Standard on the Supply Chain Based on XML [J].Technology for Education and Learning Advances in Intelligent Systems and Computing,2012,136:379-386.
[24]He H W,Zheng Y,Yang Y H.Research and Design of Heterogeneous Data Exchange System in E-Government Based on X ML[J].Advances in Intelligent and Soft Computing,2012,169:361-366.
[25]Li Q Y,Su D G,Li H S,et al.Approach to general data model of GIS symbol library and symbol library data exchange X ML schema[J].Geo-spatial Information Science December,2009,12(4):235-242.
[26]侯陈达,李栋,邱杰凡,等.Easi DEF:一种水平化轻量级物联网数据交换协议[J].计算机学报,2015,38(3):602-606.
[27]黄学彬,赵春,郑伟.异构数据库高效数据交换引擎设计[J].西南师范大学学报(自然科学版),2014,39(9):100-103.
[28]伍锦程,王占昌,张红英,等.地质资料多元异构信息的统一化描述[J].中国矿业,2013,22(9):67-68.