APP下载

省级自然资源监测数据库建设研究

2024-04-09张大骞郭昌达刘善磊

地理空间信息 2024年2期
关键词:现势标识码监测数据

张大骞,郭昌达,陶 旸 ,刘善磊

(1.江苏省基础地理信息中心,江苏 南京 210013;2.江苏省自然资源厅,江苏 南京 210017)

自然资源时空信息管理是提升自然资源管理水平、推动自然资源治理体系现代化建设的一项重要研究课题[1-2]。2021年2月8日,自然资源部专门印发了《自然资源三维立体时空数据库建设总体方案》(以下简称“国家三维方案”),提出建设由1个主库、9个分库组成的国家级自然资源三维立体时空数据库,作为支撑自然资源各项管理的重要数据基础。自然资源监测数据库是9个分库之一,负责自然资源常规监测、专题监测、应急监测等数据成果的集成建库管理[3]。

2021 年以来,监测工作得到了常态化的制度支撑[4]。在国家监测工作要求基础上,为提升江苏自然资源精细化管理水平,加快构建省级自然资源统一监测体系,形成可复制、可推广的自然资源监测技术方法、工作流程和指标体系,江苏省自然资源厅部署多家单位全面开展耕地资源监测、城市要素监测、林草湿监测等各类试点监测工作。在全省监测及各项试点工作基础上,开展了自然资源监测数据库建设研究,提炼关键技术并形成研究成果,为集成管理省级自然资源监测数据成果、全面纳入自然资源三维立体时空数据库体系提供支持。

1 数据库设计

1.1 数据分层

目前,自然资源监测工作主要是掌握地表自然资源分布,综合参考自然资源数据的立体分层划分、数据来源及类型,其数据成果由管理层、空间基底、地表覆盖三大类数据集构成[5-6],各大类数据集由若干数据子集构成。

1.2 数据模型

自然资源三维立体时空数据模型是自然资源在时间、空间、语义、管理、服务等方面一体化表达的实体模型。“国家三维方案”提出的模型集成了实体表达模型、时空演变模型、地球空间网格模型、业务关系模型,可准确反映自然资源实体的时态、位置、数量、质量、生态五位一体的时空-属性关系,实现自然资源的一体化表达,达到横向上汇聚多种要素,纵向上融合多种尺度,时间上连续动态拓展[3]。

省级三维数据库通过具体的实体分级分层编码,实现面向自然资源管理需求的数据实体生产。在实体分级分类基础上,通过扩展时间标签实现自然资源实体生命周期跟踪管理。通过添加建立语义关联标签、空间关联标签,表达在一定的空间区域内,不同空间实体之间存在语义、空间联系。

1.3 逻辑设计

自然资源监测工作是系统性工程,数据来源多样,且近年来工作要求不断变化,内容、结构变动较大。为便于建库工作的顺利开展,特别是历史数据成果的衔接集成,各监测数据集原则上保持原有数据结构和字段属性,历史数据暂时只进行统一坐标系统、高程基准、存储结构等标准化处理。现状数据通过添加唯一标识码、时间、三调关联标识、备注等字段,便于数据成果与三调底版数据挂接、成果时序动态管理。通过模型扩展表用于描述自然资源实体间的逻辑关联、空间关联关系,提升数据快速应用、精准服务价值。通过实体分级分类编码,表达实体间存在层级关联。通过梳理实体和实体之间存在各类关系,通过建立关联表,实现相关关系的快速索引查询。通过建立实体变更关系表,记录实体生命周期变化,进行动态时空回溯。

1.4 物理实现

矢量数据采用ArcGIS进行加工处理,形成的中间成果格式为Geodatabase格式,最终通过入库工具将数据成果物理存入监测分库中。

为响应监测数据动态管理与更新需求,借鉴参考测绘地理信息相对成熟的时空数据库建设经验,本文对监测数据库组织结构做出相应变动,将数据库划分为汇交库、现势库、工作库、历史库四类子库,分别存储汇交数据、最新成果数据、过程数据和历史数据[7-9]。

1)汇交库。汇交库用于存储通过数据质量检查的监测数据成果及其相关元数据。数据汇交后,汇交库将数据及文档以文件形式存储在磁盘阵列中的特定目录下,统一管理。

2)现势库。现势库用于存储最新的数据成果及相关元数据。现势库中的矢量按要素集、要素类分级存储在空间数据库中。三维数据模型、影像以文件形式存储在磁盘阵列中的特定目录下,按数据类型、时段、分辨率或模型精度等分级存储。

3)工作库。工作库主要存储建库过程数据及相关质检数据,将相关数据存储在本地。工作库组织方式完全遵循现势库中的数据组织,并可根据数据处理需要添加相应字段;质检规则、质检记录及结果以Table格式存储。

4)历史库。历史库用于存储归档数据和变更数据。归档数据中的数据集分别存放。为了便于识别各时段的数据,在数据集名和要素类名前加版本号进行标识,表结构不变。如2021 年年度版本号为V2021,2021 年具体日期后面按日期增加V20210102。数据集命名规则为:版本号+数据集名称。要素类命名规则为:版本号+数据集名称+要素类名。

5)逻辑关系。数据汇交后,首先检查汇交数据的完整性,然后进行基本的数据检查,同时将检查结果存入工作库;将检查合格的汇交数据导入汇交库备份,并导入工作库以便进行数据入库处理。工作库中的数据经入库处理后,再次进行数据质量检查,将质检结果存入工作库,便于输出入库数据质量检查问题记录;最后将工作库中的数据导入现势库,将变更数据导入历史库。

2 数据库建库与更新

2.1 数据建库

数据建库处理包括数据分析与准备,数据整合,数据质检,数据入库4个过程:

1)数据分析与准备。省级监测数据库数据主要来源于国家数据的下发、省级数据的更新、市县数据的汇交等途径。根据原始汇集数据的数据标准、数据内容、数据格式、空间参考信息、属性结构、分类编码、数据质量等具体情况,确定数据的整合处理方案。此外,通过监测试点项目实践分析,基础测绘、自然资源确权登记、耕地保护等其他自然资源数据成果,以及生态、环保、住建、交通、水利等其他行业专题资料,经融合处理后,可以作为重要数据来源补充完善各类监测数据,提升数据精度[10-13]。

2)数据整合与融合。数据整合处理应依据统一的技术规范、统一的对象编码、统一的元数据组织要求进行,以数据模型设计为依据,对照映射关系,利用整合处理软件进行自动化处理,实现数据字段结构统一、内容值域统一、数学基础规范、文件命名规范、目录组织规范、元数据组织规范、数据关系建立等要求。

针对其他数据成果与监测数据成果因采集标准和数据处理要求不同造成难以综合利用这一现状,以要素的几何类型为基准,基于语义匹配和几何匹配等关键技术,对空间要素进行关联构建和分析,分析不同要素间差异,找出要素间最大的切合点,减少数据融合工作整体工作量、提高工作效率[14-15]。

3)数据质检。依照相关的数据库设计和质量控制规定,对整合融合后的文件名称、文件内容、数据内容、元数据结构与内容等进行处理。

4)数据入库。按要求完成质量检查后,根据数据结构框架,将各类数据通过开发的入库工具,分层导入到标准数据库中,完成数据的初始化建库工作。

2.2 数据更新

数据库建设单位接收到汇交的更新数据后,在汇交库中创建更新质检任务进行数据字段与格式的基本质量检查,生成检查记录存入工作库,若存在问题,则反馈给数据汇交方修改,质量检查通过后则提交至汇交库。

质检完成后进行增量提取,首先按照要素的唯一标识码建立索引,基于同一性叠置分析技术进行逐一比对分析[16],按照变化类型进行归类,对提取的变化数据进行标记,如图1所示。

数据检查无误则数据库建设单位将新增数据提交至现势库,变更数据提交至历史库,完成数据更新。

2.3 关键技术

1)基于身份标识码的全生命周期管理。数据更新是一个动态持续的过程。要素的新增、变化、删除等信息都必须记录下来,以便于数据库的管理、回溯与分析。身份标识码(如国土调查监测中的BSM 码)技术,可有效实现数据的全生命周期管理。通过标识码的管理分析,可实现监测数据在各作业单位的状态传递和生命状态信息记录。首先,建库时,所有要素应包含唯一身份标识码,待开展更新工作时,将相关更新区域带有唯一身份标识码的数据下发至作业单位,作业单位应该根据数据变化情况,动态维护(增加或删除)各类要素的唯一身份标识码。汇交更新数据时,需统一提交带有唯一身份标识码的更新数据。在质检流程中,唯一身份标识码作为质检要素的唯一标识,并参与到质检结果的显示识别中。在质检流程中涉及编辑等操作时,通过唯一身份标识码确保数据同步,直至数据入库。

2)按需更新的增量更新模式。采用增量更新入库的方式进行数据入库。一方面,相较于传统入库方式需要对数据库所有数据进行质检和入库,增量更新入库方式仅需对增量数据包进行检查和处理,能够大大提高数据质检和入库效率;另一方面,采用增量更新入库,能够突破传统采用版本建库模式无法实现数据可回溯的制约,建立可动态维护的时空数据库,满足对不同时期数据的时空回溯、分析挖掘等需求。增量提取功能可作为独立模块实现。增量包中包含有变更前后的要素信息,可用来做数据对比更新。增量提取接口可以针对指定图层、指定区域进行提取。待提取的要素类型为点要素,线要素和面要素,提取操作根据要素类型分类。

3)空间数据多时态管理技术。在实际管理应用中不但需要浏览数据库中的现势数据,也需回溯过去某一时刻某一区域历史状态。在数据库生产基础上,以图斑、单体模型等最小基元为实体建立时间索引,时间标签的变更以实体的变化为事件触发。在数据库中将实体的所有变化信息存储,使用户能以时间轴上的时间段过滤空间数据,做到任意时间点数据快速回放。记录自然资源实体产生时间、消亡时间,以及在各时间点的空间形态和属性信息,沿时间维度可动态展现自然资源实体从产生到消亡全生命周期的时空演变过程。

4)多源矢量数据关联融合技术。准确高效地发现和提取多源矢量空间数据关联信息,提升自然资源监测数据的准确性。针对点、线、面不同类型实体,基于GIS 图形空间关系和语义分析等技术,形成了多源矢量空间数据间同名实体匹配方案[14]。

区别于传统的点实体匹配方法只是片面的强调位置或属性的限制,新方法综合利用要素的位置、属性及环境特征,实现基于距离、属性与环境等多特征组合的点实体数据匹配;在获取候选检测数据集的基础上构建线实体模型,实现基于Fréchet距离的线实体数据匹配;综合利用实体的空间相似度、距离相似度、形状相似度等多个相似特征结合拓扑关系进行面实体数据的匹配。

数据整合融合处理工作完成后,还应校验处理后的数据是否符合规范,进行整体质量控制,满足数据完整性、逻辑一致性、空间定位准确度、数据正确性、数据时相及精度等数据成果质量要求,并使用软件形成质量评价结果和质量检查报告,最终保证基础信息整合结果的准确无误。

3 软件实现

在方法研究的基础上,开发相关软件,将自然资源监测数据增量提取处理过程进行封装,简化自然资源监测数据增量提取处理过程,同时系统化数据处理流程,使数据入库处理更便捷,实现对自然资源监测数据的标准化处理与增量提取、快速入库。

同时,本文基于江苏省基础地理信息中心采购的FME(feature manipulate engine)软件设计了一套集数据读取、增删改判断、变化信息输出的自动化处理模板,实现了监测图斑时序数据关联的一键化处理,便于后续图斑的历史回溯管理。

为验证FME模板的效率,本文选取了徐州市铜山区8 个乡镇(街道)2 a 地类监测图斑作为实验数据,并通过BSM 自动输出2 a 图斑之间的变迁关系,整个过程耗时仅116 s、95 s。

4 结 语

目前,在本文技术流程支撑下,通过迁移全覆盖、现势性好、准确度高的全省地理国情数据、国土调查变更及省级基础测绘相关数据,已初步形成全面涵盖耕地、林草湿资源、水资源、城市空间等各类地表自然资源现状的监测数据底版,并通过不断汇集试点监测数据,逐步完善数据库的更新技术方法与流程。

下一步将加强市县数据汇集、历史数据整合、知识图谱、主分库联动以及成果数据应用服务[1-2,12,17]等方面研究,促进全省自然资源统一监测体系构建,为服务全省生态文明建设和高质量发展提供基础数据支撑。

猜你喜欢

现势标识码监测数据
基于多源数据厦漳泉片区DLG全要素更新
地籍册建设和应用的探索
GSM-R接口监测数据精确地理化方法及应用
第二次全国土地调查成果现势性评估方法
GPS异常监测数据的关联负选择分步识别算法
基于小波函数对GNSS监测数据降噪的应用研究
Process Mineralogy of a Low Grade Ag-Pb-Zn-CaF2 Sulphide Ore and Its Implications for Mineral Processing
Study on the Degradation and Synergistic/antagonistic Antioxidizing Mechanism of Phenolic/aminic Antioxidants and Their Combinations
A Comparative Study of HER2 Detection in Gastroscopic and Surgical Specimens of Gastric Carcinoma
变电站监测数据采集系统