规划竣工核实数据整合优化设计与应用

崔健 田家宽张再侠赵若鹏姚国标

(1.山东建筑大学 测绘地理信息学院,山东济南250101；2.济南市房产测绘研究院,山东济南250001；3.济南市勘察测绘研究院,山东济南250101)

0 引言

随着经济社会的不断发展,我国制定了一系列关于简政放权、创新监管、高效服务的政策措施。其中,在工程建设项目审批制度改革方面提出了具体的实施意见,明确了工程建设项目审批制度改革的内涵和外延,重点对建筑工程领域内涉及到相关行政审批的测绘服务内容全面推行“多测合一”新作业模式,实现“一次委托、统一测绘、成果共享”[1-2]。由一家具备相应测绘资质的测绘服务机构承担起规划竣工核实、房产测量以及地籍测绘等全流程测绘服务,避免在测绘过程中的交叉作业,其最终目的是降低测绘成本,为建设单位减轻负担,同时提高测绘工作的服务效能。

长期以来,由于规划竣工核实、房产测量和地籍测绘等工作涉及的数据类型、来源、时间节点等要素不同,以及数据处理复杂,入库标准不统一等原因,相关数据管理部门没有及时、规范、有效地整合建筑工程项目审批验收所涉及的测绘数据,导致数据存在海量与异构的特性,这势必成为“多测合一”推行过程中新旧数据整合管理的障碍。如何解决历史数据在整合管理方面存在的问题,将海量异构数据资源进行快速整合,实现新旧数据的有效整合管理,对“多测合一”新模式真正落地实施至关重要[3-7]。

文章以规划竣工核实工作为例,针对建筑工程规划竣工核实数据不规范、数据处理过程繁琐、入库效率低下等问题,通过对相关历史数据深入分析,结合ModelBuilder建模、ArcEngine二次开发等技术,提出了一套高效的数据整合方法,实现了规划竣工核实数据批量处理、转换,以及多格式数据的快速读取、高效率入库,为实现“多测合一”新模式下规划竣工核实、房产测量以及地籍测绘等工作产生的海量异构数据自动化整合提供了技术支持。

1 规划竣工核实数据整合流程

1.1 现状数据分析

建筑工程规划竣工核实是对建筑工程的建设情况是否与建设工程规划许可证及附件、附图相符的一项核实工作。其作为“多测合一”的重要内容之一,数据的规范化整合与入库,对于下一步“多测合一”管理平台数据库的建设和管理具有重要意义,不仅能够提高测绘部门处理现状地理信息数据的准确度和工作效率,更能够为“多测合一”中的房产测量和地籍测绘工作的历史数据整合提供一定的技术支持。

文章对某单位2008—2018年共计1 200个已完成的建设工程规划竣工核实项目数据进行分析,其数据来源见表1。主要包括城市规划部门的建设工程规划许可证、CAD图件、相关规划文本说明书,以及其他具有说明作用的辅助性数据；测绘部门的竣工测量数据,包括竣工测量总平面图、立面图、成果报表等内容[8-9]。

表1 规划竣工核实测量成果数据来源表

通过分析,以上数据存在以下3个方面的问题:

(1)数据体量大、内容复杂 规划竣工核实包括的内容众多,同时随着事件的不断推移,数据的不断累积,使得数据体量不断增大,为了使历史数据得到有效管理,若采用常规方法需要消耗大量的人力物力去整合；

(2)数据类型多,处理困难 随着测量工作中测量技术的不断丰富、标准的不断更新,所获得的数据格式也因此持续增加,数据类型也复杂多样,尤其是较为久远的历史数据,给数据的整合和共享带来了很大的困难；

(3)数据时间跨度大,标准不统一 由于规划竣工核实历史数据来源、时间节点和数据标准的不同,在空间几何信息、数据结构和属性表达上会存在差异。

1.2 技术流程

通过现状数据分析,针对存在的问题,文章在深入研究数据整合常规方法的基础上,结合 Model Builder建模和ArcEngine二次开发技术,设计规划竣工核实数据整合优化方法,其技术流程如图1所示。主要包括:(1)通过AutoCAD、Office等软件对规划竣工核实所涉及的多源数据进行数据检查,规范数据格式；(2)通过ModelBuilder建模技术建立批量处理模型,实现数据的批量处理；(3)通过ArcEngine二次开发技术构建多源数据入库软件,实现多源数据的批量入库；(4)在竣工核实数据管理平台中完成数据整合的质量检核。

图1 规划竣工核实数据整合技术流程图

2 规划竣工核实数据整合优化方法设计

2.1 数据准备

(1)图形数据复核

通过AutoCAD对竣工核实数据中的建筑工程总平面竣工图、立面图等原始空间数据的精度、现实性和完整性进行检查,保证数据的准确性。

(2)属性数据核查

通过Office软件、图片查看器以及PDF阅读器对规划竣工核实数据中的规划许可证信息、竣工工程项目信息及规划建筑单体信息等属性数据进行检查,检查数据是否存在不符合数据规范、材料不齐全等问题,并对错误数据进行符合规定的补漏、处理,保证数据的准确性。

(3)规范数据格式

数据入库的自动化程度,取决于数据格式的规范化程度,为了避免数据重复录入、提高规划竣工核实数据的整合效率,针对属性数据特点,将规划竣工核实属性数据集按照该数据存储模板格式保存,为数据自动化入库奠定基础。

2.2 基于ModelBuilder建模技术的数据批量处理

由于规划竣工核实测量数据来源多样,数据格式不同,数据的坐标以及要素类型等未得到有效的统一,尤其是在2018年全面完成其它坐标系向国家大地坐标系CGCS2000的转换工作以前,数据在空间几何信息、数据结构和属性表达上会存在差异[10-11]。而为了完成数据的整合与共享,所有数据的格式、坐标类型、要素类型等内容是完全统一的,所以,在数据整合录入系统之前,要对数据进行格式、要素类型和坐标系统的转换[12]。

常规方法的操作流程如下:

(1)数据格式转换 规划竣工核实测量成果中的空间数据为CAD格式,为了满足数据整合、共享的需求,需要将数据进行有效的处理并转换为GIS的数据格式。

(2)要素类型转换 在二维GIS中,要素类型主要分为点、线、面3类要素[13],但原CAD数据为线状图形,不同的要素类型具有不同的实体表达,所以要对原始数据中关于建筑物、地下车库等线状要素转化为面状要素保存,将项目范围线要素予以保留,并提取项目中心点。

(3)坐标系转换 借助GIS技术,对坐标系存在差异的数据进行合理的分析与处理。

常规方法虽然可以完成数据的处理工作,但是由于历史数据的累积,数据处理过程复杂繁琐,工作人员面对海量的规划竣工核实测量数据资源,在数据处理过程中每一步操作都需要人工干预,不仅会降低生产效率、提高生产成本,而且更容易产生错漏问题。文章结合 ArcGIS平台提供的 ModelBuilder建模技术,设计了数据批量处理模型,解决了常规处理方法所产生的问题。

2.2.1 数据批量处理流程

ModelBuilder是ArcGIS提供的用于构建空间数据处理工作流和脚本的可视化模型构建器[14-16]。利用 ModelBuilder技术,把ArcToolbox中已有工具及Python扩展的脚本工具中大量的通用性操作步骤集合到一个模型工具中,将会大大提高工作效率。通过对规划竣工核实数据常规处理过程的梳理分析,结合ArcToolbox工具箱提供的处理工具,设计数据批量处理流程,如图2所示。

图2 数据批量处理流程图

2.2.2 数据批量处理模型构建

在数据批量处理流程设计完成后,结合ModelBuilder的特性及ArcMap工具箱所提供的工具进行模型构建。数据批量处理模型构建主要分为以下几步:

(1)通过“CADToGeodatabase”工具将 CAD要素复制到地理数据库要素。

(2)通过“迭代要素类”工具,将导入的要素数据集中的线要素作为输入要素,输出的要素类作为下一步的输入要素,输出的名称作为其他工具的行内变量。

(3)通过“Select选择”工具,将上一步输出的名称作为行内变量进行筛选,分别将建筑物线要素、地下车库线要素以及项目范围线要素分别筛选出来,并通过“FeatureToPolygon”工具,分别将建筑物线要素和地下车库线要素转换为对应的面要素。

(4)最后通过“Transform转换”工具,对各要素类进行坐标变换,转换为CGCS2000坐标系下的要素,完成数据处理。

数据批量处理模型流程如图3所示。

图3 自动化数据批量处理模型流程简图

数据批量处理模型的构建实现了CAD格式数据向GIS格式数据的转化、要素类型的转换以及空间坐标系的统一等过程的自动化处理,解决了实际工作中数据处理的低效率、反复操作等问题,将大量的机械性操作集合到一个模型中,工作人员只需这一个工具即可完成数据处理的全部过程,可大大提高工作效率。

2.3 基于ArcEngine二次开发技术的多源数据批量入库

为了确保规划竣工核实数据能够为地理信息产业提供数据支撑,提高数据的再利用价值,需要将规范化模板中的属性数据与数据处理后的shp矢量数据挂接,导入到同一数据库中进行管理。常规入库方法即多窗口信息逐项填写保存,如图4所示。

图4 常规数据入库界面图

虽然常规入库方法可以实现数据录入、存储、管理,但是在录入数据时需要大量的人工操作,这使得规划竣工核实测量数据入库过程复杂繁琐,而且人为反复调取数据很难保证数据录入准确性,势必会造成信息错误。结合ArcEngine、NPOI技术,通过二次开发编程实现多源数据的批量入库。

2.3.1 多源数据批量入库程序设计

针对规划竣工核实数据入库中存在的问题,为了保证空间数据与属性数据的无误挂接,提高工作效率,实现成果数据的批量自动化导入,结合GIS二次开发技术,数据批量入库,设计流程如图5所示。

图5 入库方案设计流程图

2.3.2 关键技术

根据数据整合现状需求,结合数据入库方案设计流程,利用 ArcEngine组件及 ArcSDE技术,在.NET开发环境中,使用 C#开发语言,结合 SQL Server 2012数据库,设计了规划竣工核实成果数据入库辅助系统。其关键步骤实现如下:

(1)多源数据读取 NPOI是一套能够帮助开发者在没有安装微软Office的情况下读写Office文件的.NET类库[17-18],通过开源组件NPOI提供的接口与方法进行开发,可对规范化存储模板的信息进行快速识别与读取。同时,采用 AE提供的IQueryFilter接口读取Shapefile数据,查询Shapefile数据的空间几何信息和唯一标识符信息,为导入Feature Class做准备。

(2)数据库连接 ArcSDE作为对SQL Server数据库进行交互的空间数据引擎[19],在数据读取完成后,针对Shape空间数据,通过ArcSDE连接数据库为后续空间数据批量导入奠定基础。而面对属性数据则采用SQL server直连的方式进行数据库连接。

(3)数据批量导入 在数据导入过程中,用IFeatureClass.CreateFeatureBuffer方法无法实现存在空值字段的空间要素数据的保存。将需要存储的数据以唯一标识符信息为依据,将空间数据与属性数据统一放入到游标中,等待数据存储完整后通过触发器一并导入数据库中。

批量数据入库程序的构建解决了人工录入过程中工作量巨大、准确性低、效率低等问题,实现了对多源数据自动化识别、读取、入库及挂接等过程的自动化处理,提高了工作效率。

2.4 质量检查

规划竣工核实测量数据整合是保证历史数据能够得到有效利用,其整合质量检查主要取决于其数据的准确性和完整性[20-21]。检查方式主要从以下3个方面进行:

(1)图属一致性检查,即主要检查图形的空间形态与原始数据是否一致；

Simulation on Trunk-Branch Route Network for Ports Sharing Berth Resources……

(2)属性一致性检查,即主要检查数据本身的属性是否完整、正确；

(3)文件完整性检查,即主要检查提交的文件材料是否完整。

3 规划竣工核实数据整合应用实例

为了验证设计的规划竣工核实数据整合方法的可行性,对已完成的建设工程规划竣工核实项目成果数据进行实例应用。

(1)数据准备

通过AutoCAD对规划竣工总平面图中图形信息的完整性与准确性进行检查。同时,将需要整合入库的建筑图层、地下车库图层以及项目范围边界图层,分别规范命名为LZ、CK、KZX。针对成果属性信息,通过word、excel、图片查看器、pdf阅读器对每个项目成果属性信息的完整性与准确性进行检查,并将需要单独入库的数据存放在制定的数据存储模板中。

(2)数据批量处理

将规范好的规划竣工总平面图加载到构建的数据处理模型工具中,如图6所示。设置好数据输出路径,点击确认即可完成格式转换、要素类型转换以及坐标系转换等工作。

图6 数据批量处理模块界面图

(3)数据批量入库

数据自动入库工具界面如图7所示。分别选择数据准备阶段准备好的数据存储模板(Excel表格)与数据处理阶段生成的shp数据,点击导入即刻完成多元数据的读取、导入及挂接等工作。

图7 数据批量入库模块界面图

(4)质量检查

在规划竣工核实数据管理系统中对图属性一致性、图层内属性和文件完整性进行检查即可科学、严谨的完成整个项目的数据整合工作。

利用文章的方法与常用方法进行数据整合效率对比,结果如图8所示。应用结果表明,通过此方法进行规划竣工核实数据批量整合,可以大大缩减入库时长,减少操作流程,提高入库效率,保证入库质量,同时也增加了数据管理的安全性与精确性,并且随着数据量的增加,优势更为明显。

图8 数据整合效率对比图

4 结语

全面推行“多测合一”对测绘地理信息行业而言,既是机遇又是挑战。如何在“多测合一”背景下,打破传统作业模式间的壁垒,完善规范制度,有效解决长期存在于规划竣工核实、房产测量以及地籍测绘等工作生产数据中的问题,对推动“一次委托、统一测绘、成果共享”模式有效落地实施至关重要。文章结合规划竣工核实测绘工作,针对海量异构数据无法高效整合应用的问题,深入分析原因,利用Model Builder建模技术、ArcEngine二次开发等技术,提出了一套完整、高效、规范的数据整合方法。实例应用表明,该方法实现了数据整合的自动化和规范化,有效地提高了数据整合工作效率,减轻了建设单位负担,产生了巨大的经济和社会效益,并得到了生产和组织单位的认同和推广,对“多测合一”规划竣工核实、房产测量、地籍测绘数据的长效管理具有重要推动作用。