APP下载

“高分一号”卫星影像业务流程化处理平台研究

2018-06-04孙钰珊艾海滨韩晓霞

测绘通报 2018年5期
关键词:全色数据处理光谱

孙钰珊,艾海滨,韩晓霞

(1.武汉大学测绘学院,湖北 武汉 430079; 2. 中国测绘科学研究院,北京 100830;3. 城市空间信息工程北京市重点实验室,北京 100038)

“高分一号”卫星是中国重大科技专项高分辨率对地观测系统的首发星,卫星配置了2台分辨率为2 m全色/8 m多光谱的高分辨率相机和4台分辨率为16 m的多光谱中分辨率宽幅相机[1]。“高分一号”卫星的成功使用对于推动我国卫星工程水平的提升,提高我国高分辨率遥感数据自给率,具有重大战略意义。

针对目前卫星影像产品业务多样化,自动化影像数据处理趋于数据密集型计算等多重挑战性问题,传统的卫星影像处理平台在业务灵活性和快速处理方面已难以满足用户需要,亟需在平台架构方面开展创新性的研发工作:①针对海量对地观测数据集中化处理,需要开展高性能对地观测数据处理软、硬件平台的研究,海量对地观测数据处理通常在卫星数据中心的高性能计算集群上开展。②针对海量影像数据的高效传输与计算,需要开展高性能并行遥感文件系统的体系结构、高性能IO中间件、分布式内存体系结构的运行系统、并行数据处理的编程模型、复杂数据处理流程的优化调度算法等方面的工作,借助计算机技术,尤其是高性能计算学科的最新成果,从高性能计算软件方法角度提高对地观测大数据的处理性能[2]。③针对卫星影像产品业务多样化,需要开展面向遥感测绘、灾害监测、环境监测、遥感物探及地理信息服务等领域的业务流程化处理方法研究,在架构层面提高关键技术、整合能力与业务服务灵活性。

本文针对“高分一号”卫星影像的高空间、时间分辨率和高光谱等特点[3],提出面向“高分一号”的卫星影像业务流程化处理平台。该平台采用了软硬件一体化的设计方案,业务流程主体采用C/S架构,任务查询和进度监控等则采用B/S架构;在卫星影像的处理过程中采用GPU与多核CPU的异构并行计算方案。在此基础上,本文通过对卫星影像数据处理核心算法和一键式全流程自动化处理关键技术的研究,实现卫星影像数据的自动化处理,生产各级影像校正产品和专题影像产品,在产品质量标准支持下,实现地质遥感影像产品的质量检查,并且与业务运行系统无缝集成,从业务流程及计算机并行运算建模的角度对数据处理的关键环节进行并行化一键式自动处理。

1 业务流程化处理平台设计

1.1 卫星影像处理业务化

对卫星影像处理进行业务化的过程可以视为将卫星影像处理功能与专业模型,如环境监测、地理信息产品生产等,进行整合的过程[3]。对“高分一号”卫星影像处理的业务化可以实现对卫星影像的有效管理和快速处理,在生产环节用户可以根据不同的业务要求制定相应的业务流程,进而系统根据制定的业务流程进行准确高效的数据生产和加工。在本文中,针对“高分一号”卫星影像数据特点,制定了一系列卫星影像处理功能,如全色影像几何校正、多光谱影像几何校正、全色影像正射校正、多光谱影像正射校正、全色与多光谱影像融合、影像特征增强、自动/半自动匀光匀色、影像镶嵌、影像裁切、应急/特殊模式下影像快速处理、影像质量检查等,这些功能足以能够满足多种业务流程的定制需要。

1.2 系统硬件体系设计

为了使系统能有机地整合各种硬件设备,实现数据自动并行处理或高效协同处理功能,需要在高效处理软件的底层配备高性能的硬件支持环境。按照在系统中充当的角色,整个系统的硬件可以分成高性能存储区域网络、分布式多CPU多核集群及GPU集群并行计算部分、多机协同操作和用户操作部分及万兆网络这4大部分,整个系统的硬件组成如图1(a)所示。

图1

高性能存储区域网络部分主要由光线磁盘阵列(存储容量为80 TB,磁盘为转速15000RPM的SAS硬盘)、磁盘阵列机架、SAN交换机、StoreNext并行文件系统元数据服务器、HBA卡和StoreNext并行文件系统软件构成。

分布式多CPU多核集群和GPU集群并行处理部分主要由8台超多核机架式服务器和8台GPU服务器构成。8台超多核机架式服务器提供分布式多CPU多核集群处理服务,8台GPU服务器提供并行影像快速处理服务。

多机协同操作和用户操作部分主要由若干台高性能的图形工作站构成。这些图形工作站通过万兆网络连接在一起进行协同处理任务,同时它们也通过配备的HBA卡经SAN交换机连接到高性能存储区域网进行IO访问。

万兆网络主要由万兆网卡、光纤网线和万兆网络交换机等组成,为集群并行计算部分、多机协同操作和用户操作提供底层的以太网服务。

1.3 系统功能组成结构设计

系统主要包括处理任务分配与生产调度子系统、卫星影像产品生产子系统、卫星影像产品质量检查子系统3个子系统。系统的主要功能组成结构如图1(b)所示。

(1) 处理任务分配与生产调度子系统是数据处理分系统业务运行的控制中枢,提供良好的人机交互界面。子系统在网络环境和数据库系统的支持下,采用基于地质遥感生产工艺流程的业务处理模式,实现对系统管理、任务管理、任务调度和任务监控等生产作业过程进行生产管理。

(2) 卫星影像产品生产子系统在基础地理信息、基准影像库、控制点库等背景数据库和遥感影像几何精校正、配准、融合、镶嵌、裁切等模型支持下,依托高性能计算系统,实现卫星数据自动并行处理和高效协同处理。

(3) 卫星影像产品质量检查子系统由检查任务接收与数据读取模块、质检方案定制及管理维护模块、数据质量检查模块与质检维护管理模块组成。

2 平台实现关键技术

顾及“高分一号”卫星影像高空间分辨率、高时间分辨率、宽像幅和高光谱等特点,大多数基于“高分一号”业务流程属于数据密集型计算,在保证生产各级影像校正产品和专题影像产品符合产品质量标准的同时,提高卫星影像处理的速度,实现与业务处理平台的无缝集成,本文对其中涉及的主要关键技术,如大范围DEM/DOM快速索引、影像匹配、全色和多光谱影像配准、影像正射纠正等,进行了研究和探讨。

2.1 大范围DEM/DOM快速索引和解析

控制点影像库主要数据源是各种投影和各种坐标系的数字高程模型(DEM)和数字正射影像(DOM)。由于正射影像和数字高程模型均按照不同地理范围被保存成多个影像文件。为了使后续模块能够快速找到相应的DEM和DOM,需要对这些数据源按照一定的空间索引机制建立索引。

在空间索引模块的设计和实现上,本文采用了R树(R-tree)的空间索引机制[4-5]。为了能够快速解析DEM/DOM,模块输入为DEM/DOM的存储目录,然后算法通过目录迭代方法扫描存储目录下的每一张影像文件,对每一个被扫描的影像文件读取头信息,检测是否具备地理参考,如果具备地理参考,则将影像地理范围转换为经纬度,利用R-tree的空间索引方式进行索引。当全部DEM/DOM处理完毕后,将DEM/DOM投影信息、影像信息及空间索引信息统一存储,以备后续使用。

2.2 基于物方约束影像灰度互相关匹配

对于具备几何成像模型的卫星影像,可以利用影像灰度归一化互相关系数作为匹配的相似性测度,为了解决影像间由于视场角和尺度等的不同造成自动匹配困难的问题,本文采用基于物方的影像匹配技术[5-10],以提高自动影像匹配的效率和可靠性。

通过正射影像控制点自动提取获取特征点T的物方坐标后,利用卫星影像的几何模型,获取特征点T在原始卫星影像上像点位置Pi,由于几何模型中使用的参数是带有系统误差的,这样就会造成Pi不准确,因此需要以Pi为中心开一个N×M大小的匹配搜索窗口,并且利用相关的几何关系重新对影像进行采样,从而消除影像旋转、缩放和平移等几何形变造成的灰度相关匹配失败的问题。然后在正射影像上以特征点T为中心开窗,取一小块影像作为参考影像,再从卫星影像上重采样后取得的搜索窗口内利用影像灰度相关技术获取T的匹配像点,从而获取了卫星影像几何纠正所需的控制点物方和像方坐标。

为了进一步提高灰度相关的匹配精度,并消除光照条件不同造成的匹配精度差的问题,可以采用多层匹配策略,利用上述灰度相关技术获取低精度同名点,然后将这些同名点在上一级上作为初始值,使用最小二乘匹配进行高精度匹配,精度可以达到亚像素级甚至1/100个像素。

2.3 全色和多光谱影像配准

多光谱波段影像的定向通过已经定向的全色波段影像和数字高程模型进行[11],如图2所示。具体方法如下:①在多光谱影像中提取特征点。②将其匹配到全色波段影像上。③使用全色波段影像的RPC参数和定向参数按照RFM的像地正算算法交会到已知的数字高程模型上,从而解算出匹配点的地面坐标,即将匹配点转化为已知地面坐标的控制点。④最后使用匹配获得的控制点对多光谱卫星影像进行定向,并且在定向过程中自动探测并剔除匹配粗差,从而保证高分辨率卫星影像与多光谱影像之间的可靠高精度配准。最终卫星影像全色波段和多光谱波段之间像素级融合是通过各自的定向参数和已知的数字高程模型来实现,该算法可有效消除传统融合方法中经常出现的重影问题。

图2 多光谱波段与全色波段的配准进行定向

2.4 影像正射纠正分布并行计算

在异构的网格环境下,通过网格中间件的网格服务来隐藏网络的异构性,充分利用网络上的资源,实现大型问题的分布并行计算。如果将局域网中互联的所有工作站通过软件的方式进行通信和协作,以一定的任务调度策略共同完成影像的业务化处理工作,不仅能够减轻人员的工作量,而且能够实现影像处理的高度自动化,从而提高效率。本文正是基于这一出发点并结合分布式系统基本原理提出了一个高分辨率卫星影像分布式处理系统[12-14]。

整个分布式系统主要由4大组成部分:任务解析、任务调度、任务计算和基于高速集中存储数据服务。

任务解析模块负责接收作业平台提交的任务订单,并且对数据存在性、完整性、可操作性、数据精度及任务单的其他要求进行有效性验证, 确认产品是

否具备可生产状态,并且自动反馈任务单接收状态,对于可进行生产的订单进行解析,生成详细的生产作业单并进行流程化分解;任务调度模块需要调度完成影像处理、产品生产等任务,控制业务流程与对应功能模块之间的调用执行,并且根据任务单的执行情况完成任务单的状态转换及任务单在不同队列之间的转移;任务计算模块完成各分解任务多个计算节点的影像处理,具备数据计算和高性能集群计算的能力,快速高效完成数据处理的任务;基于高速集中存储数据服务提供数据在外围储存设备上的物理组织与存取方法,为海量数据处理与运算提供保障。

3 数据处理应用案例

通过业务流程化处理平台,不同的影像处理功能可以通过业务订单的形式进行整合,以便进行自动化处理。为了验证业务化流程平台的可行性与实用性,本文针对两组试验数据进行了数据处理。

3.1 GF1全色和多光谱影像正射影像制作

测试区域位于东经111.9°—117.4°,北纬37.2°—41.3°之间,试验区面积为近40万km2。测试数据共486景GF1 PMS1/2影像,包含全色和多光谱影像,其中全色影像地面分辨率为2.0 m,覆盖我国山东、河北、山西和内蒙古部分区域,影像成像时间为2013年12月—2014年9月,除有2景影像的云雾覆盖面积超过影像的50%外,其他影像质量良好。该试验区影像数据分布情况如图3所示。试验使用的平面参考资料为2 m分辨率正射影像,共提取236万个连接点,172万个控制参考点(用于抑制区域网平差过程中误差的累积),采用的高程参考资料为全球30 m格网间距ASTER DEM数据。

图3 GF1影像覆盖范围示意图

本文使用32个从2 m分辨率正射影像上人工量取的检查点检查区域网平差的精度。在数据处理过程中发现2景初始定向参数精度较差的数据(分别达到1200和630多像素的系统误差,相当于地面2.4 km和1.2 km);在平差过程中利用研发的算法自动将所有影像归类为54影像组,其中最大的影像组包括13景影像,同组的影像在平差过程中使用同轨几何约束条件。在剔除粗差后单位权中误差为0.33像素,如表1和图4所示。GFI正射纠正后处理效果如图5、图6所示。

图4 DOM上抽取的检查点分布情况

点号原始影像DOM误差XYXYΔXΔY520074146.002674235276.8959220074145.142774235271.00893-0.85990-5.886991019631615.026704526350.9283019631614.068104526352.01746-0.958601.089161519676049.288464105416.6870019676048.662244105419.19191-0.626222.504912019897455.284704513052.8117919897456.758314513048.390931.47361-4.420862519817272.250034370815.6162819817275.365894370820.116973.115864.500693019580269.177634116878.7450419580267.212284116880.06935-1.965351.32431

图5 GF1正射纠正后局部放大图

图6 GF1正射纠正后拼接效果

3.2 GF1全色和多光谱影像3B级产品生产

试验数据为400景2 m分辨率GF1全色和399景8 m分辨率GF1多光谱卫星影像数据,覆盖面积34万km2;已有DOM为63幅(第二次全国土地调查生产的1∶5万DOM底图,分辨率14.5 m)。采用5个机架式服务器计算机进行集群处理,试验采用流程定制一键式处理,以测试系统的效率,在无人工干预的条件下生成3B级正射影像产品(如图7所示)的整个处理过程为5 h(见表2)。

表2 GF1全色和多光谱影像处理系统记录处理时间

图7 GF1 3B级正射影像叠合效果

4 结 语

通过上述案例分析可以看出,业务流程化处理系统具备对“高分一号”对地观测数据大规模并行化处理的能力,具有较灵活的业务生产流程,可以最大限度地减少人工干预,保证高效、高质量地完成影像数据生产。系统成果将直接为我国高分辨率卫星及后续的卫星影像数据处理与应用提供技术支撑,并且已经集成到国产遥感卫星处理系统并部署在相关生产单位,用于“高分一号”卫星数据的日常处理中。

“高分一号”为对地观测提供了大量的数据信息,随着遥感测绘、灾害监测、环境监测、遥感物探及地理信息服务等领域对高分影像数据产品需求的增加,“高分一号”影像数据处理技术逐步趋于成熟,而对“高分一号”影像的业务化流程处理,能够有效针对不同业务对高分影像处理技术进行整合,实现流程化处理,有效地提高了影像校正产品和专题影像产品的自动化生产程度,可以满足不同业务的需求。

参考文献:

[1] 白照广. 高分一号卫星的技术特点[J]. 中国航天, 2013(8):5-9.

[2] 何国金, 王力哲, 马艳, 等. 对地观测大数据处理: 挑战与思考[J]. 科学通报, 2015, 60(5): 470-478.

[3] 邴磊, 孙芳芳, 舒迟, 等. 基于遥感与GIS一体化的面向海事应用卫星遥感业务化系统研究[J]. 遥感信息, 2012, 27(5):96-101.

[4] 潘腾. 基于R-tree的空间索引研究与应用[D]. 北京: 北京邮电大学, 2004.

[5] 余艳, 林伟华, 谈晓军. 一种基于R-tree的空间索引方法[J]. 计算机工程, 2010, 36(12): 30-32.

[6] 张力,张继贤. 基于多基线影像匹配的高分辨率遥感影像DEM的自动生成[J]. 武汉大学学报(信息科学版), 2008,33(9): 943-946.

[7] 张力,张继贤,陈向阳,等. 基于有理多项式模型RFM的稀少控制SPOT-5卫星影像区域网平差[J]. 测绘学报, 2009,38(4): 302-310.

[8] 张力, 艾海滨, 许彪,等. 基于多视影像匹配模型的倾斜航空影像自动连接点提取及区域网平差方法[J]. 测绘学报, 2017,46(5):554-564.

[9] REMONDINO F,EL-HAKIM S,GRUEN A, et al. Develop-ment and Performance Analysis of Image Matching for Detailed Surface Reconstruction of Heritage Objects [J].IEEE Signal Processing Magazine,2008,25(4):55-65.

[10] 张继贤,燕琴,张力,等.西部地形困难区域测图的原理与方法[M].北京:测绘出版社,2013.

[11] AI H B, ZHANG J Q. Parallel Processing for Fusing SPOT5 Satellite Images [C]∥SPIE Electronic Imaging. [S.l.]:SPIE, 2007.

[12] AI H B, ZHANG J Q. A Distributed Parallel Processing Method for Ortho-rectifying Satellite Imagery [C]∥SPIE Electronic Imaging.[S.l.]: SPIE, 2009.

[13] 艾海滨, 张剑清. 基于中间件的高分辨率卫星影像正射纠正的分布式处理[J]. 测绘科学, 2009(4):158-160.

[14] 樊文锋, 李鸿洲, 温奇, 等.高分二号卫星影像正射纠正精度分析[J]. 测绘通报, 2016(9):63-66.

[15] 雷德容. 测绘地理信息技术是智慧城市建设的重要支撑[EB/OL]. (2013-05-15) http:∥www.zgchb.com.cn/page/zazhi_detail.action?id=141398.

[16] HEIPKE C, LIANG T. Developing Trends and Prospect of Photogrammetry and Remote Sensing [J]. Geomatics World, 2011, 4(2): 7-11.

猜你喜欢

全色数据处理光谱
基于三维Saab变换的高光谱图像压缩方法
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
基于低频功率数据处理的负荷分解方法
三星“享映时光 投已所好”4K全色激光绚幕品鉴会成功举办
ILWT-EEMD数据处理的ELM滚动轴承故障诊断
无人机测绘数据处理关键技术及运用
高光谱遥感成像技术的发展与展望
海信发布100英寸影院级全色激光电视
浅谈书画装裱修复中的全色技法
基于GPU的高光谱遥感图像PPI并行优化