FME和VSFTP相结合的不动产数据模式探讨

焦道振，曾 铭，高照忠，廖乐林

(1. 广东省地质测绘院，广东 广州 510080； 2. 肇庆市自然资源局，广东 肇庆 526040； 3. 广东工贸职业技术学院，广东 广州 510510)

不动产数据整合是不动产统一登记中一项极为重要的数据建设工作，是一项关乎国计民生的基础性工作。数据质量的好坏直接影响到不动产登记效率和地方政府不动产精细化管理，影响到地区的经济统计和宏观调控政策方略。自2007年3月，第十届全国人大第五次会议通过《物权法》以来，不动产统一登记制度逐步建立，国家从法律、制度等方面入手，明确了全国土地、房屋、林地、海域等不动产统一登记职责，并基本做到登记机构、登记簿册、登记依据和信息平台“四统一”。但由于登记机构、地方做法、历史遗留问题等诸多原因，造成了不动产数据数据存储格式多样，数据质量差异明显。不动产数据整合需要对不动产数据分散存放、格式不一、存储介质不同等进行统一梳理、规范，依据不动产登记数据库标准进行整合[1]，建设不动产登记信息数据库[2]。选择合适的数据整合处理工具，可以快速筛选出有缺陷的数据，有侧重地进行数据处理，大大提高不动产数据成果质量和数据整合效率。

1 技术路线

通过调研摸底，不动产登记信息主要有Oracle、SQL Server、Excel、MDB等类型，空间数据主要有DWG、SHP、MDB、GDB、TIF、坐标串文本文件等格式。因而，不动产数据整合需要采用支持众多数据格式的ETL工具，对不动产资料进行分析、转换、处理、检查、更新、输出等操作，通过与同类软件的对比，选择FME作为数据处理软件。FME是一个支持多源异构数据融合[3]的ETL工具，支持的数据格式覆盖GIS、CAD、栅格、数据库等，超过300种，涵盖了不动产数据现有的类型和格式，常用于处理地理信息数据[4]。此外，FME内置大量转换器，可以完成绝大部分常规数据处理，是一种较为理想的不动产数据整合与建库工具[5]。

本文采用FME和VSFTP[6]相结合的方式实现团队数据整理步骤的相互协作[7]，整个工作环境部署在同一个与外网物理隔离的局域网内，作业模式如图1所示。

FME处理模板制作完成后，部署于服务器端，可供数据整合人员、质检人员按需运行，也可以部署定时任务，由服务器自动执行数据检查和处理；将不合格的数据输出到指定位置，由各作业小组自行下载并继续处理，直至完成后再通过作业组质检上传至服务器，最后由数据整合人员或质检人员执行FME数据处理模板，如此迭代，使数据不断趋于完善。

2 作业流程

依据《不动产登记数据整合建库技术规范(试行)》的相关规定，不动产数据整合建库分为工作准备、规范化整理、整合关联、数据入库4个阶段。但在实际的不动产数据整合与建库过程中，这几个阶段并不是孤立的，而是不断地处理、更新、质检，再处理、更新、质检，不断迭代以致数据趋于完善。基于以上操作，不动产数据整合建库工作有资料收集、转入中间库、规范化整理、检查及分类、核档及补录、外业调查测绘、整合关联、成果验收等环节，作业流程设计如图2所示。

资料收集人员负责与业主方沟通，收集整理不动产资料，并将收集到的资料提交给规范化整理人员。

规范化整理的工作人员通过FME，将不动产信息从收集到的资料中抽取、转换导入中间库，转换进入中间库时，对每一条数据编制唯一的标识码，字段为BSM。中间库可使用任意支持SQL处理或存放空间数据的数据格式，如Access、GDB或Oracle等。

规范化整理的工作人员对数据进行分析，依据不动产相关处理办法对能批量处理的信息进行批量处理，如字段值规范化、不允许为空的字段填入规定的缺省值等。

质检人员对中间库数据进行检查，分类导出不合格数据，导出不合格数据时带出BSM字段,并新增3个附加字段(修订更新标识:XDGXBS,修订处理人:XDCLR,修订处理时间:XDCLSJ)。

数据修复整理人员对不合格数据进行核档、人工修复、补录、删除冗余等操作，处理后在修订更新标识处标记该记录是新增、更新或逻辑删除，并注明处理人、更新时间，成果交规范化整理人员，迭代转换进中间库、数据整理、质检输出不合格数据过程。

各类数据通过FME进行关联整合[8]，导出无法关联的数据，供数据修复整理人员核档补录或供外业补充调查、测绘人员补充测绘数据。

外业补充调查、测绘人员对无图的信息进行补充调查测绘[9]，依据导出信息的档案号核查档案。档案中有坐标信息则以档案中的坐标直接成图，对少量缺地形的区域采用倾斜摄影测量补充自然幢基底图等要素[10]，并进行现场调查测绘，获取大致图斑，注明为预权籍调查图斑，供将来正式权籍调查定位使用。外业组成果交规范化整理人员，迭代转换进中间库、数据整理、质检输出不合格数据过程。

检查分类及整合关联过程输出的不合格数据所占的比例达到质量控制所允许的范围时，可通过FME转换输出指定格式的整合成果。

在数据整合过程中，每个重要工作环节都需要设置质量风险控制点[11]，以保证不动产数据整合成果的质量，在目前技术条件下，部分环节的质检只能通过人工方式核查(如核对档案)，电子数据的规则性检查，如数据比对、合格性检查、关联分析、冗余检查等，都可以通过运行FME模板自动化进行，并输出不合格数据，如果使用人工处理，则耗时耗力，无法达到快速响应的目的。

3 关键技术与步骤

3.1 数据属性快速检查技术

数据属性检查主要是对登记信息的属性或图层中的属性进行检查[12]，包括数据是否为空、值是否在字典范围内、值是否在有效值范围内等。这些是必填字段，如权利人的必填字段有：不动产单元号、业务号、权利类型、权属状态、权利人名称、不动产权证号、国籍、权利人类型、权利比例、证件号等；建设用地、宅基地使用权的必填字段有：不动产单元号、业务号、权利类型、权属状态、宗地代码、登记类型、不动产权证号、使用权面积等。在FME中，有针对属性值进行判断的转换器，包括TestFilter、AttributeFilter、AttributeValidator等。使用FME进行不动产数据质检时，将不满足检查条件的数据分流到待处理数据，并输出这些数据，提交给核档及补录人员依据档案补录或修正数据。

如宗地代码不是19位的数据一定是需要提取出来进行处理的数据，可以通过TestFilter转换器将这些数据提取出来。通过FME的TestFilter转换器，将宗地代码不是19位的数据提取出来，供数据整合人员处理落图，其他不合格数据的复查，也可作类似的处理。

3.2 图上落宗的算法

根据自然幢基底图斑，找出对应的宗地代码，即实现图上落宗，可使用FME进行批量落宗，考虑到自然幢会有跨宗的情况，图上落宗算法需要作一部分调整，以免自然幢落在两宗地。算法如下：计算自然幢内部点,将此内部点与宗地图斑叠加,得到带宗地代码的内部点,再以此内部的宗地代码更新自然幢所在的宗地代码。

3.3 DWG数据扩展属性转换入库

DWG数据的扩展属性主要存放在实体的xData里面，一般以xData的AppName来进行数据组织,FME支持读取DWG文件的扩展数据,却不支持AppName定位读取。因此，需要在CAD中先对DWG文件的属性进行归整[13]，形成固定顺序的xData属性信息，再通过FME进行转换入库。

3.4 自动排不动产单元号

可以使用FME的统计转换器排不动产单元号，以排自然幢不动产单元号为例，指定宗内排自然幢不动产单元号的最小值(也可以通过遍历宗地最大自然幢号加1得到，但这种算法耗时)，排宗地自然幢的序号，并以此序号得到自然幢的不动产单元号，若以自然幢坐落排序，在对自然幢有规律编制坐落时，自然幢号也将是有规律的排号。

3.5 自动输出成果

中间库成果处理达标合格后，可以自动输出指定格式的最终成果，以输出与系统对接成果为例，FME以对接数据模板输出整合成果，由于权利人等表是由多类权利人合并成的一张表，故标识码需要重新排列，算法(部分)如图3所示。

3.6 自动执行

定义好数据标准并配置好处理模型后，输出FME格式的处理模板文件[14]，并在需要时使用命令行执行数据处理任务。Windows下直接执行批处理文件，或使用计划任务按需要执行数据处理任务；Linux下可编写Shell脚本人工执行或使用crond执行定时任务。

4 应用效果

研究区为南方某区县，原落宗落图率约为65%，以FME作为数据处理工具建立团队协作机制，通过内外业相结合的方式，快速反应，更新数据，以50余人的团队，历时两个月左右，完成该区县绝大部分不动产数据的落图落宗。通过团队协助数据整合，该地区数据整合落宗落图关联率均达到90%以上。

这些数据更新进入业务系统后，该区县不动产登记速度明显加快[15]，基本缓和了该地区不动产登记流程不畅的问题。

5 结 语

本文在FME和VSFTP的辅助下建立了一种高效安全的不动产数据整合作业模式。FME数据处理模板可以快速整合各作业小组成果，并输出不合格数据，供作业小组迭代更新，宝贵的人力资源则集中于核对档案、不动产信息修复与补录、外业补充调查测绘等实质性不动产数据整合工作之上， 从而提高了不动产数据整合的工作效率和成果质量。