大量数据接边融合的方法
2018-11-20任银萍徐云
任银萍 徐云
摘 要:为解决大量数据接边融合问题,提高数据建库的工作效率,本文列举出两种实现方法,并分别阐述了它们各自的优缺点,将两者做了比较,并提供一种大量入库后数据做批量接边融合处理的方法,给与各位测绘同仁做参考。
关键词:接边;融合;图幅边界;ArcEngine;EPS
1 引言
随着测绘技术的快速发展,地理信息数据建库已成为必然,而数字线划图(DLG),由于数据按照图幅进行采集,相邻图幅间的数据是不连续的,但是为了确保数据库入库数据的整体性,以及按照不同坐标系进行分幅下载时数据的完整性,入库前首先要对DLG数据进行接边与融合处理,目前,国内外许多软件具有地图接边功能,但是存在各方面的局限性,不能灵活的适应各种接边需求,一般在少量数据的情况下,利用arcGIS的融合、打散功能或EPS地图接边模块,都可以实现数据的接边融合,但是在实际数据库接边处理时会遇到数据量大难以处理的问题,数据量过大时,会导致计算机崩溃,此时就需要“绕道而行”。
2 接边融合解决方案
要保证基础地理信息数据库中的DLG数据的整体性,以适应多坐标系框架数据的按各种方式下载,必须对以图幅为边界的数据进行数据接边,将位于图幅边界處的编码及扩展属性值相同的地物合并。
2.1 基于ArcGIS的解决方案
前人[1~3]利用ArcEngine(AE)二次开发,建立以图幅边界为中心线的缓冲区域,设定一定的缓冲区大小,选择落在缓冲区内的数据,设定最小接边距离,判断相邻地物节点是否在最小接边距离内,同时判断接边地物属性是否相同,对满足条件的地物类进行合并处理,保留相同的属性值。优点:选择图幅边界处地物进行接边,减少了整体接边产生的冗余操作,可根据实际情况进行接边,增强了处理的灵活性。缺点:在判断是否要接边时是设定了一定的阈值,若两接边地物类的匹配连接点大于阈值,不进行接边处理,但是实际处理过程中有些还是需要接边处理的。
2.2 基于EPS清华山维软件的解决方案
利用EPS自带的地图接边功能模块,提供接边前预览功能,提高了在正式接边时的准确性:先设置几何接边参数和属性接边参数(注意接边限距和接边带宽的设置,其数值的大小直接影响接边工作量和接边结果为控制数据质量又不增加无谓的工作量,宜做多次尝试后再定)按照图幅自动生成接边区域,建立接边关联,生成并显示接边关系,选择连通接边功能,将完全匹配的地物进行合并处理。对于编码和属性字段相同,但匹配的接边点距离相对较大的线状地物,选择不连通接边功能,程序一般采用平均法进行处理,取匹配的接边点的线段中点作为连接点。对于不能完全匹配的面状地物,人工判断是否要接边,根据实际情况对地物类进行手动接边处理。
优点:提供接边前预览,方便对接边匹配结果进行检查,确保接边处理的准确性。缺点:对于面状地物相交等情况,一般不能采用不连通接边,需要人工处理,对应工作量也会增加。
2.3 入库数据接边融合
利用ArcMap的融合、打散功能,以整个数据作为处理对象分层进行融合操作,结果会将具有相同属性值的地物融合成为整体,要对融合后的数据分层进行打散处理,但是在数据量较大的情况下,系统会出现崩溃,无法正常结束处理并保存,在处理大数据量DLG融合接边问题上存在局限性,下面介绍一种分块融合后入库整理的方法,解决大数据量的数据接边入库:
(1)将数据分块处理,例如每100幅图作为一个分块,arcgis最大输出为2G的数据量,每块分别运用arcgis进行数据融合。
(2)利用arcengine登录oracle,运用缓冲区查询功能选择需要接边的数据,将数据导出mdb,将选中数据从数据库中删除。
(3)对mdb文件运用arcgis中的toolbox工具中的dissolve功能对数据融合处理。
(4)融合后的数据重新上传到数据库。
3 数据入库方案
3.1 基于清华山维软件的入库方案
融合好的数据需经入库检查和处理后方可入库,以清华山维为例,我们常用的有oracle库和山维GIS库,可导出PDB数据再入库也可以直接用EDB数据入库,但需确保生产模板和建库模板一致,此时从数据库中下载分幅数据与做融合前的分幅数据已截然不同。
3.2 需注意的问题
EPS以属性字段FeatureGUID作识别地物的唯一身份标识,图幅与图幅之间边界处共有的地物,将共有地物完整的分别下载到两图幅内,并且同一地物具有唯一的FeatureGUID属性值。在对采编后结果进行上传时,确保在图幅边界处要接边的共有地物具有共同的节点,冲突上传功能结合相邻图幅将具有同一FeatureGUID属性值的地物进行合并处理。因此利用EPS入库需特别注意FeatureGUID的问题。
4 总结
本文提出了一种在数据已入库后的数据进行接边整理的方法,适用于实际生产中的灵活运用,也有利于对数据库中新增数据的融合,但在实际生产过程中仍会遇到各种问题,(比如文件虽然小,可记录数却较多,此时可能会报出类似文件锁定溢出的错误,这就只能按数据规律合理分割数据分别融合,最后再合并)困难重重,相信在测绘科技迅速发展的现代,旧的问题会越来越少,新的要求会越来越高,解决问题的方法也将会越来越巧妙。
参考文献
[1]戴相喜,周 卫,高 磊.DLG数据任意范围接边算法及实现[J].测绘通报,2008(7):32-35.
[2]赵江洪. GIS中多图幅自动接边的实现方法探讨[J].测绘通报,2006(2):50-52.
[3]鲍立尚.基于索引图的DLG批量接边检查算法设计与实现[J].矿山测量,2010(4):21-24.
[5]刘鸿剑,阮见,周万春.基于ArcGIS的矢量图形接边方法的探讨[J].科技广场,2007(11):131-133.
(作者单位:江苏省测绘工程院)