土地变更调查数据库的更新及技术方法的应用

常超明

(海南国源土地矿产勘测规划设计院,海口 570100)

0 引言

《国土调查数据库更新变更规则》要求,需对年初及年末调查区域内的数据进行非过程性变更,增量更新行政区、调查区界限,整个图层更新有变化的地貌、数字模型、生态红线等。土地变更调查数据库主要包括土地基础信息、边界信息、质量信息、利用信息、交易信息及法律信息,其中包含大量的土地变更调查信息及数据(如土地面积、所有权、用途、边界、地形、地貌、土地质量等)。该数据库由政府部门、土地测绘公司、房地产开发公司、土地规划设计公司等专业机构建立并维护。使用土地变更调查数据库可实现对土地资源更加精准、有效的管理及利用,为建设生态、宜居、宜业城市提供重要支撑。

莫国明[1]利用多源元空间基础数据,以人机交互方式采集更新数据,人工目视解译正射影像,通过Linder Feature点云采集软件及多窗口联动,完成数据入库。张婧[2]等采用增量更新技术,对1∶5万数据库进行更新及质量控制,通过实际生产数据分析认为,质量控制可在人工基础上增加人机交互二级检查,在所有数据全覆盖检查后对业内编辑数据及增量数据进行全面二级检查。叶程[3]提出了基于三维全系数据的更新方法,包括要素级与范围级两种更新模式,更新后进行拓扑错误检查及数据质检。范维锋[4]按照数据类型依据DOM影像数据进行内判更新,对多地理国情监测数据进行了套合更新,依据DOM影像与GROUND点云数据进行拓扑错误更新等,但该技术存在无法快速获取点云数据的缺陷。杨艳静[5]提出基于多节点距离测量的地理信息数据库更新方法,从边-端-云数据、三维时空动态数据、点云数据及遥感数据中采集更新数据,构建三维时空信息图谱,利用移动测量、SLAM标定、多参量节点融合等方法,分析生成测量参数分布拟合模型,建立统计概率、地理信息空间分布模型,实现了数据库更新。曹佳敏[6]等构建了基于GNSS数据的多元地质空间数据库更新模型,该模型在更新过程中保存了历史数据并对数据层关系进行维护,更新速度快,但精度有待提升。

数据库在成果公示前由自然资源部编制年度国土变更调查数据库更新数据规范与变更规则及国土变更调查县级数据库质量检查规则、国土调查数据库更新统计报表设计及说明等技术文件,并研发2022年度国土变更调查数据库质量检查软件。本研究依据以上文件进行要素更新、数据代码统一、统计报表设计,利用质量检查软件v1.0.0.9进行模块检查,并以全国1∶25万公众版基础地理数据库为例进行案例分析。

1 预更新准备

为防止数据格式问题产生冲突,更新前需对内容及要素分类编码,对数据更新交换格式及元数据格式进行设置,以满足数据库上传要求,结合云平台进行数据传输及备份。

1.1 数据格式设置

要素代码与名称基本不更新,若更新需符合数据库标准中的规定。参考基础地理信息要素分类与代码及国土调查数据库标准,更新要素代码与名称如表1所示。

表1 要素代码与名称更新表(部分)

空间要素采用分层方法管理,如表2所示。

表2 层名称与各层要素(部分)

其他更新要素统计表基本类似,需要注意的是,根据历史数据库的数据上传格式要求,对源数据进行预处理,包括数据清理、数据集成、数据规约及数据变换。

1.2 云平台设施准备

云平台为保证安全性一般自建,并进行数据备份。Oracle数据库是一种自治实时数据库架构,有先进的多模型融合数据库管理系统,提供内存数据库、NoSQL数据库及MySQL数据库等。将核心历史数据备份在数据云一体机上,可形成县镇土地变更调查数据库中心,与原有数据库一起提供服务,配套一个PaaS服务云计算模型,可对数据库资源进行管理及批次处理等。

2 数据库更新程序

2.1 离线更新模式

更新模式为离线更新与在线更新。当大量工作人员同时下载及安装更新且上传数据较大时,可能会造成服务器更新速度缓慢、安全性降低,故使用分布式服务器与CDN技术来加速更新过程,开发离线更新模式,消除网络因素的影响,自行决定更新时间,安装过程较快、较稳定。

离线更新前,需下载历史数据库,在上传更新数据前进行相似度检测,计算历史文件与更新文件两个集合的相似度。由于数据库中文件的存储均采用字符串形式,故假设原文件为W1,更新文件为W2,文件划分定长字符串组H(w,s),s为则字符串个数。两集合的相似度算法如式(1)所示:

(1)

其中,W1为历史文件集合,W2为新增更新文件集合,H(w,s)为系统中集合存储字符串。通过相似度检验后,对数据进行预处理,检查无重复则进行数据冲突自检。

2.2 数据冲突检测

县级数据库质量检查软件v1.0.0.9可在更新完成后对数据库进行辅助检查。常见的数据冲突类型包括INSERT导致的唯一性冲突、表结构不同步、字段顺序不一致导致的数据写入失败、UPDATE更新记录不完全匹配等。由于离线更新已下载历史数据库,不需要网络,故冲突检测步骤是进行数据读写,提取更新元素编码及数据定位,在历史数据库中提取该元素的操作日志,已上传则进行更新数据核查,根据日志代码提取参数,用系统冲突判断函数进行自检。未上传则进行数据更新,更新后进行检查。

3 基于1∶25万基础地理信息数据库更新的案例

3.1 增量更新模式

增量更新模式是一种软件开发部署方法,只更改更新部分而不必更新整个软件系统,适用于需要频繁更新的软件系统,可显著缩短部署及更新时间,减少对系统的影响。在增量更新模式下的更新分为以下几个步骤:针对需要更新部分进行修改、测试及验证。将这些更改部分的代码打包,部署到生产系统中。参考已有的增量更新模型,利用变更数据和已有的静态数据库挖掘结果,更新动态数据库上的频繁项集,模型如图1所示。

图1 增量更新模型Fig.1 Incremental update model

图中橙色元素表示数据库更新后的新增元素,浅灰色元素表示被更新替换掉的已删除元素。模型定义如下:

对数据进行预处理:

(2)

(3)

添加增量:

(4)

其中,ARt表示新增元素集ATt的频繁项集合,f()函数是一种频繁项集的挖掘算法。

将增量导入数据库中进行合并:

Rt=F(Rt-1,ARt,DTt)

(5)

其中,Rt表示DBt的频繁项集合。

综合公式(2)～(5)可得:

(6)

根据公式可知,增量更新模型包括预处理、增量及合并等步骤。预处理中,数据库会识别新增及删除元素。利用公式(2)、(3),将数据库DBt中的所有元素都计算一遍,找出与输入数据具有高度相似性及编号的元素集进行比较。将比对结果分为两个集合:一个是更新后新增的元素集合,另一个是需要删除的元素集合。预处理完成后,用f()函数挖掘新增元素集合中的频繁项,并另建频繁项集合。进行合并时,根据公式(5)得出挖掘结果,即新增数据。

3.2 数据库更新流程

对案例1∶25 万数据库的更新流程进行总结,步骤如图2所示。

图2 1∶25 万数据库的更新流程Fig.2 Update process of 1∶250 000 database

需要注意的是,进行冲突处理时,若系统自查不通过则返回最开始重新进行流程,循环直到自检通过,形成新的1∶25万地形要素更新增量成果数据及1∶25万图库一体化存储更新数据。

3.3 关键技术

数据获取技术:获取地理信息的最基本方式是通过实地测量或遥感技术来获取数据。对于基础地理信息数据库,数据获取及整合是一个很重要的关键技术。

数据处理和整合技术:从不同来源收集到的地理信息可能存在格式、坐标系及精度差异,需使用适当的软件和算法进行数据处理及整合,以确保数据的一致性及准确性(如5万地形数据预处理)。

数据库设计和管理技术:基础地理信息数据库需要设计及管理数据库结构,包括数据表、索引、视图及数据关系等。需使用数据库管理系统(DBMS)进行管理并保证数据库的稳定性及安全性(如根据各类要素特点完成数据库联动更新、符号库联动更新,点、线、面及文本符号的制作更新)。

数据标准化技术:为了确保数据的一致性及可交换性,需使用统一的数据标准(如数据库中包含地名,需使用标准的地名拼写法及地名分类)。

数据质量控制技术:基础地理信息数据库需经常进行数据质量控制及更新。需建立数据质量控制体系,对数据进行定期维护及更新,以确保数据库的准确性及完整性。

4 结束语

土地变更调查数据库的更新通常由政府或土地管理机构负责,在数据更新过程中涉及多种关键技术,如数据采集方面的GPS定位、卫星遥感、测绘技术等,数据处理方面的数据去重、格式化及标准化等,数据库管理方面的数据存储、数据备份等,数据分析方面的数据挖掘、数据可视化、数据统计等,以完成对土地变更调查数据库的管理及维护。随着计算机技术的发展,可利用机器学习、深度学习等人工智能技术对土地信息进行自动化处理及分析。需要注意的是,土地变更调查数据库的更新需要一定的时间进行元数据收集,故进行数据库联合更新时可采用离线更新及历史数据备份,以有效避免数据冲突造成的数据丢失,更新频率由各单位自行安排。数据库更新技术的优化体现了数据共享原则,避免了重复测绘,节约了大量资源,提高了数据库更新效率,为土地资源利用提供了参考。