APP下载

基于集群环境下的地理国情普查DOM生产

2017-12-27厉芳婷尧志青

地理空间信息 2017年12期
关键词:国情海量普查

厉芳婷 ,闵 天 ,尧志青

(1.湖北省测绘工程院,湖北 武汉 430074;2.湖北省航测遥感院,湖北 武汉 430074;3.武汉大学测绘遥感信息工程国家重点实验室,湖北 武汉 430073)

基于集群环境下的地理国情普查DOM生产

厉芳婷1,3,闵 天2,尧志青1

(1.湖北省测绘工程院,湖北 武汉 430074;2.湖北省航测遥感院,湖北 武汉 430074;3.武汉大学测绘遥感信息工程国家重点实验室,湖北 武汉 430073)

利用多源航摄影像数据制作DOM是地理国情普查工作的重要技术手段。以湖北省地理国情普查项目为例,介绍在集群环境下,对海量数据的数字摄影测量处理。研究利用集群对海量数据的计算效率,分析任务调度和远程监控在海量数据生产中的意义,同时比较单线程处理、多线程处理和集群环境的效率。结果证明,基于集群环境下的DOM生产在地理国情普查中能有效提高生产效率,保障数据的现势性和更新效率。

地理国情普查;海量数据;集群

随着航空摄影平台的不断进步,越来越多的影像数据被获取,海量影像数据的存储成为一大挑战。目前,利用新的数据库技术、网络技术、计算机技术来满足海量数据存储、管理、访问、发布,已经日渐成熟。随着地理信息数据在各行各业的需求日益加大,数字城市建设、农村土地确权、地理国情监测、快速应急保障等国家重大项目对数据的快速更新处理要求越来越高。如何高效处理是数字摄影测量发展现阶段的一大挑战。

湖北省第一次地理国情普查项目需要制作覆盖全省范围的DOM影像,具有数据源多样化、量大的显著特点[1]。为保障国情普查进度,本文介绍借助高性能集群处理,实现多源海量遥感影像快速、高效处理。在湖北省地理国情普查项目中集群计算环境,使高效计算处理和有效任务调度成为可能。

1 集群环境下的DOM生产方案

1.1 DOM生产流程

湖北省地理信息局2013年组织完成了覆盖全省大部分地区的优于0.5 m分辨率的航空影像。以该数码航空影像数据为主,辅以QuickBird和WorldView等卫星数据,制作湖北省国情普查DOM。 具体流程如图1所示[2,3]。

图 1 流程图

由图1可以看出,在DOM制作中,涉及到大量数据运算,利用传统摄影测量工作站制作DOM,在海量影像处理上花费时间过多。并且在传统的PC机处理中,数据的管理、分发以及项目的调度都只能依靠局域网来管理,产生管理上的局限性[4]。利用集群环境下的摄影测量系统,可以在高性能的集群环境下极大地提高影像处理效率,能够进一步实现处理过程的流程化和自动化。在海量数据的处理上,集群式的运算环境体现出了极大的优势[5]。

而在项目管理和任务调度上,集群环境的加入也使得生产更加智能。多节点的数据分布式处理和集群任务管理,很好地解决了不同作业员中的任务分配和协调合作问题。

1.2 集群环境的硬件部署

本项目中,集群硬件环境的部署主要包含:一个集群计算环境,由一个管理节点和多个计算节点构成,负责并行计算,支持高性能服务器、刀片机。存储设备支持NAS,集群NAS、SAN负责数据的读取与存储。作业端由多台PC机组成,主要完成任务管理和编辑作业,这些PC机包括支持立体观测的设备。网络设备支持千兆、万兆交换机,负责硬件设备的连接和通信[7]。集群硬件环境配置如图2所示。

1.3 集群环境的软件部署

本项目软件环境的部署如图3所示。在数据库支撑下,通过任务管控中心,对集群处理和人工编辑进行统一管理和调度;专业处理采用插件式组织,可以自定义生产流程,并针对业务需求进行快速扩展;算法级采用并行计算,极大地提高了影像的处理速度。

图 2 集成硬件环境

图 3 集成部署软件环境

集群环境主要实现任务分配、集群自动化计算和远程监控等功能。集群计算主要是完成生产过程中的“自动化”生产,包括空三加密过程中航带内、航带间连接点的自动匹配,自动DSM匹配、DEM滤波,自动正射纠正、匀色、镶嵌等处理流程[6]。集群计算这些生产流程均为全自动化、智能化,大大减少了人工干预量。

集群任务分配主要实现对多个作业终端的任务调度功能。在DEM编辑、镶嵌线编辑等主要为人工作业的阶段,实现智能化的高效任务分发和回收,提高了协同作业能力,避免重复作业。同时在监控终端,提供远程监控功能,从而简化生产管理人员的工作内容。

2 集群环境下生产效率分析

本项目包括全省约18万 km2的数字摄影测量任务,生产1︰2 000 DOM正射影像。以下以神农架实验区为例,对集群环境下的生产效率进行分析。

实验区共有788张Ucxp相机数码航空影像,地面分辨率为0.35 m,影像数据量约 431 G。系统携带初始POS数据,同时完成外业像片控制测量。

按照空三加密、DEM编辑、DOM制作的生产流程,对该实验区数据进行处理,最终获得空三定向成果,5×5 m格网DEM成果,以及0.4 m分辨率的DOM成果。

为分析集群环境下的生产效率,对实验数据分别用不同软件进行处理,比较其自动化程度以及花费的时间。表1是DEM自动化处理耗时,表2是DOM生产中自动化处理的耗时。

表1 DEM生产自动处理效率比较

表 2 DOM生产自动处理效率比较

比较吉威时代公司的集群式摄影测量系统CIPS,和单线程处理摄影测量系统MapMatrix以及支持多核处理的Inpho、easydomer等3种处理系统的生产效率。由表1、2可以看出,集群式处理系统效率明显高于其他方式。

3 结 语

在湖北省地理国情普查项目中,实验区利用CIPS集群式摄影测量系统进行生产,从生产结果和与其他软件的比较上看:

1)GEOWAY CIPS采用8个刀片机的集群处理,能够自动匹配DSM,快速生产粗格网DEM,满足正射影像图制作需要。从匹配精度上看,DSM匹配采用多视匹配算法,整体效果较好,局部有错点,通过滤波和少量人工编辑,能够达到较好效果。

2)集群处理海量数据的正射纠正,相对于传统的单线程和多核处理在效率上体现出了极大优势。在处理精度和可靠性上,也达到了生产的要求。

3)集群管理下的DEM编辑和DOM编辑实现了人工和软硬件资源的合理分配,从生产管理角度提高了生产效率。

全国第一次地理国情普查给摄影测量工作提出了更高的要求。为完成普查工作,实现地理国情的可持续监测,就需要提高数据处理的生产效率,提高其时效性。集群式摄影测量系统很好地满足了这一需求,并在湖北省地理国情普查成果中实践。

[1]洪亮,张凯,车风,等.浅析湖北省第一次全国地理国情普查实施方案[J].地理空间信息,2013,11(5):10-13

[2]陈建斌,王明孝,张萍,等.利用ADS80影像测制西部地区大比例尺地形图的快速流程[J].测绘通报,2012(8):43-46

[3]王海涛,武吉军,冯聪军,等.徕卡ADS40/ADS80数字航空摄影测量系统[J].测绘通报,2009(10):73-74[4]厉芳婷,熊敬平,闵天,等. Inpho软件在利用ADS80数据制作大比例尺正射影像中的高效应用[J].测绘地理信息,2013,38(6):76-77

[5]朱晓东,刘思宇,鲁铁定,等. 集群式影像处理系统的技术研究[J].湖北农业科学,2012,51(11):76-77

[6]郭范春.ADS80影像数据制作DOM的精度控制[J].测绘与空间地理信息,2013,36(6):225-226

[7]北京吉威时代软件技术有限公司.集群式影像处理系统(Geoway CIPS)产品白皮书[R].2011

P231

B

1672-4623(2017)12-0010-02

10.3969/j.issn.1672-4623.2017.12.003

2016-10-26。

精密工程与工业测量国家测绘地理信息局重点实验室开放基金资助项目(PF2013-3 )。

厉芳婷,博士,主要从事摄影测量与遥感生产管理和技术研究工作。

猜你喜欢

国情海量普查
立即全面普查 警惕二代粘虫发生
一种傅里叶域海量数据高速谱聚类方法
胡春华强调:确保脱贫攻坚普查取得圆满成功
家国情 诗词魂
海量快递垃圾正在“围城”——“绿色快递”势在必行
推广生物乙醇汽油:迫切且合乎国情
一个图形所蕴含的“海量”巧题
关于农业文化遗产普查与保护的思考
地理国情监测知识支持库初步设计
特定国情教情中的中小学校自主权