APP下载

城市地质大数据中心关键技术研究与设计

2021-07-19陈泽鹏黄睦谨江齐英乐辉林菁

科学与信息化 2021年19期
关键词:原始数据入库数据中心

陈泽鹏 黄睦谨 江齐英 乐辉 林菁

广东省国土资源技术中心 广东 广州 510075

引言

笔者以采用DaaS设计理念,以物理设备、互联网等组成的物理资源池、虚拟资源池为依托,以信息化数据规范体系和安全保障体系为体系结构,进行城市地质数据资源体系的统一规划,以提高城市地质大数据中心设计的科学性。

1 城市地质大数据中心设计关键技术

1.1 城市地质大数据中心总体框架设计

以工程地质、水文地质等地质数据为建设起点,实现多源、异构地质数据的统一管理,通过虚拟化技术将地质数据注入城市地质大数据中心,并进行虚拟化和云化处理,最终以标准数据服务形式提供给各级用户使用。通过建立基于城市地质大数据中心的地质资源行业应用、专业数据管理工具集和数据更新交换体系,先以城市地质应用为目标,逐步增加地质环境,地铁、地下管线、地上景观等方向,最终形成以信息与管理为一体、多级互联互通、资源有效共享的大型地质数据资源池[1]。

1.2 城市地质大数据中心结构设计

1.2.1 数据库代码结构。数据库的代码由5部分12位代码组成。第1部分2位为地质数据库类别代码,第2部分2位为数据库主体要素代码,第3部分1位为比例尺代码,第4部分1位为覆盖范围类型代码,第5部分6位为覆盖范围编码,结构如图1所示.

图1 数据库的代码结构

1.2.2 数据库物理结构设计。整个数据库的层次结构如图2所示。

图2 数据层次划分图

原始数据是指源格式数据库和城市地质调查的原始资料数据;地质专题数据是指经过人工整理、抽取和规范化的,来自原始数据和本轮野外工作的数据;模型资料数据是包括两个部分,一个是供三维建模使用的资料,另一个是由系统建立的三维模型及分析结果数据;成果数据是指专用于存储和管理本轮调查报告、专项或专题研究报告,以及全部成果图件的数据。对原始数据是否入库不做硬性要求。

1.2.3 数据分类与处理

1.2.3.1 元数据。元数据是将城市地质大数据中心核心数据库中收集的所有专题数据的元数据放入元数据库进行统一存储管理,以便更好地管理各类专题,进行专题数据的查询等。

元数据分为数据元数据和系统元数据,其中数据元数据描述的是需要入库的各类图件数据中包含的描述空间数据本身的数据,需要利用数据元数据管理工具,来兼容各种来源、命名规则和存储介质不同的数据元数据,并进行统一的管理、修改,同时,在进行空间实体数据库抽取过程中,能够继承原始地质图件的元数据。

系统元数据则描述各类数据如何在数据库中进行分类存放、组织以及如何在前台的展现,由系统元数据库进行设置和管理,同时系统元数据库需要给予适当的权限分配,能够进行系统工具的定制,最大限度地实现系统的灵活可调可扩展的性能。

1.2.3.2 地质实体数据。除元数据外,本平台管理的所有地质实体数据,按照使用方式和作用不同,将在纵向上将收集到的地质资料数据划分为三层,即原始数据层、基础数据层和成果数据层,其层次由低到高。一般情况下上层数据基于下层数据构建,在每一个数据层上即水平方向上,则参照专业分类和数据类型将本层数据进行分类。当然这样一种划分只是逻辑上的划分,实际建库时所有数据存放在同一个物理数据库中。

1.2.3.3 原始数据层。原始数据层包括各类钻孔卡片中的野外现场描述、深井档案、各种测试数据、动态监测数据以及地球物理、地球化学勘查中获取的原始资料,该层数据是作为原始资料保存不允许进行更改的数据,这类数据表现为原始数据表形式。建库前先要对原始资料进行归档分类,然后再按不同的分类录入到数据库中。

1.2.3.4 基础数据层(专业数据库)。基础地理数据一般分为矢量格式数据和影像格式数据,针对不同格式的地理数据分别提供相应的数据入库、整理工具。

矢量格式数据:城市基础地理数据主要包括:等高线,交通线,行政区划界线,居民点分布图,区域气候区划图,区域地貌区划图,城市土地利用现状图,城市土地利用远景规划图等。

遥感影像数据:遥感影像数据包括航空相片和卫星相片数据,常见影像格式包含img、tiff等。平台提供影像数据格式转换工具,支持将其他格式影像转存到GIS影像数据库[2]。

1.2.4 数据入库及检查

1.2.4.1 数据导入:对于收集到的不同比例尺地形图数据、遥感影像、钻孔数据、地球物理、地球化学,地热资源等电子化地质资料数据,系统提供数据批量导入功能,支持Access、Oracle、SQL Server、Excel等不同数据源数据的导入。

空间数据入库:经过数字化处理的图件和原有GIS格式的空间数据,可以直接使用地质大数据管理平台提供的数据导入功能进行入库和管理。

原始资料的数据录入:对于野外地质调查数据,提供表单式数据录入工具,地质专业人员可以方便地进行地质资料的录入。

文档资料导入:某一些地质专题可能积累了大量、丰富的地质资料文档、多媒体等资料,对于这些特殊的非GIS数据,系统将提供文档资料入库工具,同时对这些资料数据也进行统一的入库、关联等操作。

1.2.4.2 数据检查。数据质量检查验收是数据库建设过程中的一个重要环节,主要是解决数据库质量的问题。为了保证数据库中的数据数学基础、数据格式及数据组织方式等符合地质大数据管理平台建设规范要求,要素之间的几何与属性内容,语义相同的属性项名和代码一致,数据接边正确,需要对入库数据进行检查。能够根据数据资源目录,自动读取审查的对象数据,并快速完成数据完整性、数据属性、图形拓扑、逻辑一致性等多方面检查的功能,并输出数据质量检查报告,以方便后续数据修改。

只有检查通过的数据才允许数据入库。数据检查主要用于检查入库的数据库是否存在质量问题,它按照质量规范、检查细则等相关规定,对数据完整性、空间数学基础与数据格式正确性、标准符合性、空间拓扑、图属一致性等方面内容的检查,用于确认入库数据的质量,指导相关的数据建库工作。

2 数据组织与存储

城市地质大数据中心核心数据库,在其逻辑层级上,从下到上分为物理层、逻辑层,逻辑子库三层。其中,逻辑子库为空间参考系、基础地理数据库、地质专题数据库、地质空间数据库、文档资料库、数据元数据库和系统元数据库;逻辑层则描述地质调查数据各类专题图件,以及三类数据集合对应专题包含的图层等;物理层则具体描述每个图层所对应的关键要素[3],其数据库逻辑设计如图3所示:

图3 城市地质大数据中心核心数据库逻辑模型

3 结束语

城市地质大数据中心建设是整个城市地质的基础,数据建设流程体现了整个系统建设的主导思路,体现了整个数据库系统建设的技术实现。在城市地质大数据中心建设实施中,要充分利用城市地质调查所收集到的各专题地质数据,按照有关国家标准、行业标准、地方标准及系统建设标准,并结合城市地质数据库设计特点,形成地质资料数据采集与处理的流程,以数据的集中存储、有序管理、充分利用,逐步实现地质信息集中、共享与交换。

猜你喜欢

原始数据入库数据中心
重磅!广东省“三旧”改造标图入库标准正式发布!
浅析数据中心空调节能发展趋势
中国食品品牌库入库企业信息公示②
中国食品品牌库入库企业信息公示①
受特定变化趋势限制的传感器数据处理方法研究
关于建立“格萨尔文献数据中心”的初步构想
2017第十届中国数据中心大会榜单
全新Mentor DRS360 平台借助集中式原始数据融合及直接实时传感技术实现5 级自动驾驶
对物理实验测量仪器读数的思考
身临其境探究竟 主动思考完任务——《仓储与配送实务》入库作业之“入库订单处理”教学案例