APP下载

基于FME在矿产资源审计中的设计与应用

2022-09-03段彩梅王少宁

甘肃科技纵横 2022年6期
关键词:矿权列表数据处理

段彩梅,王少宁

(1.兰州市勘察测绘研究院,甘肃 兰州 730000;2.兰州煤矿设计研究院有限公司,甘肃 兰州 730000)

0 引言

自然资源资产审计是党中央关于加快推进生态文明建设要求的具体体现,是坚持节约资源和保护环境的基本国策,自然资源审计可以促进自然资源资产节约利用和生态环境安全。目前环境保护问题和自然资源合理利用已成为制约我国经济发展的重要因素,习近平同志关于生态文明思想和自然资源管理的重要论述均明确指出“保护生态环境就是保护生产力,改善生态环境就是发展生产力”。

自2015年开展自然资源资产审计以来,我国建立全新的审计系统,对自然资源资产有效利用率有明显提高,与传统自然资源资产审计主要以“资产”和“负债”为主的自然资源资产负债表为审计对象相比,全新一代自然资源资产审计的资料和对象往往以地理信息数据为主,利用地理信息技术和测绘地理信息成果,通过定位、空间分析、影像比对等方法提取和综合评估自然资源资产的数量、质量以及属性信息等,以客观数据的形式作为审计对象,更加直观、立体,更适用于多维度审计。

矢量数据作为矿山遥感监测最重要的成果数据之一,记录着矿山资源最为重要的空间位置信息及其相应的属性信息[1]。地理信息系统(GIS)在土地、矿产、森林、草原、湿地、水资源、海域资源等重要自然资源资产专项审计中的利用率越来越高。以A市为例,A市提供的一部分被审计对象为xls表格的复杂文本坐标数据(矿权登记范围.xls),此类数据的常规处理流程为:先将xls表格的复杂文本坐标数据空间矢量化后,将坐标转换为点,再将点转换为线,然后线转面,同时挂接表格的其他属性(矿权名称、矿权许可证等),再通过遥感或航空影像对比,进行空间分析,最后输出对比成果。如果这项空间矢量化工作人工一一处理,则会耗费大量的人力、物力,增加劳动工作量,并且由于数据繁杂无规律,导致人为出错率高,数据合格率较低,需要多次校对修改,才能开展下一步工作,这样也就造成审计时间延长,总体工作效率低下。

GIS数据处理的时候,会涉及多个软件同时使用和各种烦琐的操作步骤,在数据管理、流程化定制及数据维护方面存在很大的不足,而FME(Feature Manipulate Engine,加拿大Safe Software公司开发的空间数据转换处理系统)基于转换器组合执行的定制模板化的任务工作流,省去数据在多个软件间进行导入、导出、转换等操作步骤,可以有效地缩短GIS数据处理的时间,大大提高作业效率。实时化的成果导出预览,可以快速检查数据输出的有效性、正确性,如果不满意可及时调整工作流的作业方案,得到符合用户需求的最终成果。

1 FM E数据应用

本论述利用FME对矿产资源资产管理和生态环境保护专项审计调查中被审计对象A市所提供的“矿权登记范围.xls”表格的复杂文本坐标数据及属性进行模板化处理,FME(Feature Manipulation Engine)是解决数据互操作问题的一个数据转换和变换工具。互操作可以理解为通信(communication)即通过共享和分发数据,透明的使用数据的能力。FME是一款用于空间数据与非空间数据加载、转换、集成、导出、共享的产品,支持超过325种数据格式,是世界领先的空间数据交换与共享技术,支持的数据格式覆盖GIS、CAD、BIM、点云、XML、栅格、数据库等[2],软件在矿产数据分析过程中充分利用FME技术对复杂xls坐标数据进行批处理,减少了人为干预,提高作业效率和数据正确率。空间矢量化工作利用该模板批量处理,再对比影像,空间分析,输出最终成果,对审计部门开展审计工作提供高效的、无差错的底层技术支持。

在“矿权登记范围.xls”表格的复杂文本坐标数据中,xls列表中多数情况下是一个矿权名称对应一条信息记录,一个矿权信息记录所在的单元行中存储一组坐标对;有时也存在一个矿权名称对应多个信息记录,这是由于该矿权名称存在多个独立的范围面,故一个矿权存储的信息记录所在单元行中存在多组坐标对,共同构成该矿权的完整范围。“矿权登记范围.xls”文件见表1所列(本论述样例坐标均以虚拟坐标显示)。

利用FME(Feature Manipulation Engine)研究制作统一模板,对表1中的4条矿权信息存储的坐标及属性进行批量处理,减少坐标数据的人为干预,极大地降低了出错率,提高了空间化效率及成果准确率。

2 数据预处理

FME模板方法研究之前,需要人工对“矿权登记范围.xls”表格数据进行预处理,使数据有规律性、可循性,研究的模板就有通用性。被审计对象A市所提供的“矿权登记范围.xls”表格数据中,每个单元格中的坐标属性有的呈规律性,有的没有规律性,有的记录1个范围面,有的记录多个范围面。这样的表格就会呈现属性杂乱,无规律可循,该数据处理起来存在一定难度,需要加入一些特定的字符或字符串,使FME能准确分辨坐标数据信息。

对“矿权登记范围.xls”存储的一条记录的坐标单元格中存在多个范围面的使用特殊符号“\”(可用其他符号“//”等替代)标识处理,即在一个范围面的最后一个坐标之后手动增加“\”(可用其他符号“//”等替代)符号。

比如表1中,第一条记录中的开头“1,6”表示矿权范围由一个范围组成,第一个空间面由6个坐标点组成;“1,6229646.44,5936523.92”表示第一个点的X Y坐标是“6229646.44,5936523.92”,以此类推;“60,70\1”表示矿权标高60 m~70 m,“1”表示构面完成。

表1 矿权登记范围表

3 FM E模板设计与数据处理流程

本论述利用FME Workbench 2020.0设计模板,FME Workbench是FME(Feature Manipulation Engine)中定义数据转换和数据变换的最主要工具,它有一个直观的图形界面,将转换方法以图形方式描述数据流。FME中有很多转换器,每次只使用一个往往并不能得到目标数据成果,类似于计算机编程语言VB(Vi⁃sual Basic),FME是结构化的、模块化的、面向对象的,用户经常需要把多个转换器组合或连接来使用,这样就可以达到很好的使用效果。一系列转换器以图形化的方式表示整体工作流程,是FME中的一个重要概念,同时也是数据处理流程设计最直观的表达方式,可以很方便的调整,增加或者删减模块,即将编程语言模式被图形化的方式替代,如图1所示。

图1 FME Workbench界面数据流

本论述中处理的要素类型为表格。通过FME研究制作流程模板,对表格进行处理,快速准确地提取矿权范围,研究流程如图2所示。

图2 研究流程图

3.1 模板设计

此项工作为FME软件应用中的核心步骤,它不仅体现了作业人员的数据处理思路,同时把该思路以若干个转换器相互连接的方式直观地表现出来。不同的数据类型或者格式有不同的处理方法和流程,同一种数据类型或者格式用不同流程处理,得到的结果也往往不一致。因此要求作业人员思路清晰,目标明确,对常用转换器特点和功能要有一定程度的掌握,做到能够熟练运用。

3.2 提取坐标

(1)利用counter工具(为要素添加一个数值属性并为其赋值。每个后续要素的值通过此转换器后依次递增——即记录通过的要素个数并将其过程值赋给要素)对XLS中的每条记录进行唯一标识属性A[3],以便后续进行属性挂接(GIS)。如果XLS表有唯一属性可区分的,本步骤可忽略。

(2)利用AttributeSplitter工具(把选择的属性分离成一个属性列表。列表中的每一项都包含一个从列表中分离出的单独分离值。例如,可以用这个转换器,把一个含有分隔逗号列表的属性分离成几个组成部分)对坐标属性列按照“\”符号属性进行分割,提取XLS坐标列的矿权范围面个数,见表2所列。此时分离出的列表为C,再对每个面C进行“counter”唯一标识属性B(即面序号)。

表2“坐标”属性值分割列表C

(3)利用ListExploder工具(暴露输入要素的列表中的每个成员到各自的要素中)对上述2的步骤分离出的列表(表2)进行一(多)个面的坐标属性进行暴露,暴露出的属性信息为列表D,见表3所列。

表3 列表C属性值暴露的列表D

(4)利用AttributeSplitter工具对列表D按照“,”符号进行属性分割,分割后的坐标列XY坐标为列表E,见表4所列。

表4 分割列表D属性后的列表E

(5)再次将列表E进行属性暴露ListExploder。暴露后通过Tester工具(评估要素的一个或多个测试条件,根据测试的结果决定要素的输出。判断可由任何FME允许的操作符组成)提取XY坐标,对XY坐标做唯一标识F。经过FeatureMerger工具(将属性/几何图形从一个要素移动到另一个要素)将A、B,F属性一致的进行属性挂接,将XY分为两列属性,见表5所列。

表5 XY坐标分为两列属性表

3.3 坐标转面

利用VertexCreator工具(将坐标附加到null、点、文本、线和弧段几何图形上,或用点对象替换已有几何对象)对暴露的每条记录转为矢量空间点(即ArcGIS中“添加XY坐标”工具),LineBuilder工具(将点或线连接为更长的线,不移除有重大意义的结点)将点按A、B创建线(即ArcGIS中“点集转线”工具),LineCloser工具(通过添加起始节点作为终节点,将输入的线要素转换成面)将线进行面闭合(即ArcGIS中“要素转面”工具),然后将成果输出为shp或gdb格式[4],如图3~5所示。

图3 空间矢量化流程图

图4 空间矢量化成果示意图

图5 空间矢量化成果在ArcGIS中的示意图

4 实例小结

本次数据以被审计对象A市提供的“矿权登记范围.xls”表格的4条复杂文本坐标数据及属性表为例,通过对表格的预处理、分割、暴露、关联、转点、转线、转面等方法,研究制作本模板,批量对xls中不规则坐标列进行空间矢量化。应用结果表明,使用FME软件进行数据转换处理,表格至空间矢量数据仅耗时11.1 s,快速、高效、准确地达到预期目标,有效解决了实际问题,极大地提高了工作效率。

图6 FEM处理数据耗时图

5 结论

本论述列举了FME软件在表格数据处理中的一些常见应用,可以发现FME在表格(GIS)数据处理中具有明显的优势。流程化作业、可视化预览、零代码维护、实时性更新、多源数据集成等特点使得FME在提高表格(GIS)数据处理作业效率及成果质量、降低数据维护更新成本等方面发挥重要作用。利用FME软件进行技术的创新和探索,能为各种项目提供快速的数据分析、统计及输出,规避因大量人工参与而导致的效率低且易错遗漏等问题,有效解决人工重复、烦琐的数据处理、比对分析及录入输出等过程,能大大提高作业人员的工作效率,节省宝贵的时间和人工成本[5]。

FME具有模块化、可视化等优点,可以根据用户的不同需求,对处理方式、处理过程进行自主组合[6],通过研究制作数据流模板,经过数据拆分、组合、转换,快速、准确、高效地将表格数据无损、无错误地转换为空间矢量数据,提高了自然资源资产审计工作中数据整合效率,为自然资源资产审计工作提供了高效快速的解决方案。

通过本次实践,在实施自然资源资产审计时,利用FME方法,对矿产资源的范围、类型、空间分布情况以及图斑变化情况进行空间分析,并以空间地图的方式呈现分析结果。通过地理信息技术发现、核实审计区域内自然资源资产管理利用出现的问题,对发现的问题进行量化评价,借助地理信息技术,提高审计工作效率,实现自然资源资产审计方法的转型升级[7]。

猜你喜欢

矿权列表数据处理
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
基于低频功率数据处理的负荷分解方法
南非矿业本土化立法进展及相关投资风险应对策略
ILWT-EEMD数据处理的ELM滚动轴承故障诊断
学习运用列表法
扩列吧
油气矿权管理问题探讨及对策研究
国有大型油气企业矿权流转机制及建议
现阶段矿权管理中的主要问题
基于希尔伯特- 黄变换的去噪法在外测数据处理中的应用