大区域无人机影像数据的快速几何处理

孙　磊，郭海涛,，李传广，李海滨，姜春雪

(1.信息工程大学，河南 郑州 450052；2.海军海洋测绘研究所，天津 300061；3.北京东方泰坦科技股份有限公司，北京 100083)



大区域无人机影像数据的快速几何处理

孙磊1，郭海涛1,2，李传广3，李海滨2，姜春雪1

(1.信息工程大学，河南 郑州 450052；2.海军海洋测绘研究所，天津 300061；3.北京东方泰坦科技股份有限公司，北京 100083)

摘要：无人机遥感影像快速几何处理被广泛应用于灾害应急监测与评估、军事侦察等领域。针对目前多数商业软件所依赖的硬件平台成本昂贵、软件开发过程复杂等问题，面向通用硬件平台，提出一种大区域无人机影像数据的快速几何处理方法。对制约处理效率的各关键算法进行优化和改造，实现大区域无人机影像数据的快速几何处理；在影像连接点匹配、正射纠正和影像镶嵌的处理过程中，均应用基于多核CPU并行处理技术，提高整体处理效率。多组无人机影像数据处理试验表明，该方法能够大幅提高处理效率，对硬件平台要求低，具有推广应用价值。

关键词：无人机；影像匹配；空中三角测量；影像镶嵌；多核CPU

无人机遥感具备灵活机动、响应迅速、成本低等众多优势，广泛应用于地形测绘、环境保护、战场检测、灾害监测与灾情评估等众多领域，其在钓鱼岛地形测绘和四川芦山地震灾害遥感监测与灾情评估中发挥重要作用，无人机数据处理技术成为研究的热点[1-4]。灾情面前，时间就是生命；在军事侦察领域，战场环境瞬息万变。这些都对无人机数据处理的效率提出更高的要求。影像匹配、区域网空中三角测量等是无人机数据处理中的关键步骤，由于算法本身比较复杂，使得计算资源消耗多、运行速度慢，在大区域、大规模、多像幅无人机影像处理中难以满足应急保障的需求。

近年来的并行处理技术为影像数据处理效率的大幅提高提供技术支撑，典型的商业系统有像素工厂、INPHO’s Photogrammetric System、Pix4Dmapper和PixelGrid等，但是这些系统所依赖的硬件平台成本昂贵、软件开发过程复杂，无法满足多数通用硬件平台的要求[5-7]，不利于系统的广泛应用。

当前大部分的计算机均已采用多核CPU处理器，如果程序算法仅利用一个处理核，其它处理核则处于闲置的状态，这将造成处理器资源的极大浪费[8]。面向当前通用硬件平台，为了提高无人机影像数据处理效率，本文主要从两个方面进行考虑，一是针对无人机影像处理的关键算法，进行改进和优化，提高算法的运算速度；另一方面是引入多核处理器并行处理的思想，充分利用已有的计算资源，来提高处理效率。

1大区域无人机影像数据的快速几何处理方法

在无人机影像数据处理的过程中，提出综合应用多种提高计算效率的方法，实现大区域无人机影像数据的快速几何处理，具体表现在：①在影像连接点匹配中，采用基于几何约束条件下的影像匹配算法，提高匹配速度；②在进行POS数据辅助下的快速区域网平差时，引入稀疏矩阵技术，从而实现高效存储、快速解算；③在进行正射纠正时，采用连接点地面坐标内插的方式快速获取测区的DEM，对大区域多像幅无人机影像进行正射纠正；④在进行正射影像镶嵌时，采用基于面Voronoi图的影像镶嵌方法，减少镶嵌时重叠区域的数据冗余，实现快速自动镶嵌；⑤在影像连接点匹配、正射纠正和影像镶嵌的整个过程中，都应用基于多核CPU并行处理技术，提高整体处理效率。整个处理流程如图1所示。

图1　无人机影像快速几何处理流程

1.1基于几何约束条件的无人机影像匹配

针对SURF算法在大区域、多像幅的无人机遥感影像匹配处理中，效率不高、多度连接点匹配稳定性差等问题，采用基于几何约束的连接点影像多核CPU并行匹配方法，该方法首先进行SURF影像初匹配，即在两张影像的金字塔顶层进行SURF特征匹配，降低计算量，缩小搜索范围，提高匹配速度；接着利用基于多项式的随机采样法(RANSAC)进行粗差剔除，该方法能够较好地剔除较大粗差点；然后把匹配结果映射到影像底层，利用匹配点对建立起影像间的像方空间仿射变换关系——几何约束条件，从而大大缩小后续影像精匹配的搜索范围，为后续提高匹配速度打下基础。同时在影像连接点匹配时引入多核CPU并行处理的思想，在匹配过程中引入由粗到细的金字塔分层匹配策略，逐级优化匹配结果，最终实现连接点影像的快速准确匹配。

1.2基于稀疏矩阵技术的快速区域网平差

为了快速完成大区域多像幅无人机影像的控制定位、生成测区的正射影像图，采用POS数据辅助下的区域网平差方法，进行无控条件下的自由网平差。这种方法无需进行外业控制点测量，并且整个区域网空中三角测量过程是全自动的，能够快速完成大区域多像幅无人机影像定位，非常适合于无人机影像的快速应急处理。

在大区域多像幅无人机影像区域网平差中，未知数即为每张像片的外方位元素和连接点的地面三维坐标，其个数是非常大的，若直接求解法方程或者无稀疏矩阵存储的改化法方程，将消耗大量内存，解算速度也非常慢，在一般的计算机上甚至无法解算。而光束法区域网平差关联到的系数矩阵一般都为稀疏矩阵，因此可以引入稀疏矩阵技术对系数矩阵组建并存储，达到高效存储、快速解算的目的[9-11]。

1.3正射影像快速生成

影像正射纠正之前，需要生成该区域的DEM。考虑到传统获取DEM方式获得的数据尽管精度较高，但是周期较长、非常繁琐、往往需要较多的人工干预，不能满足无人机影像快速应急处理的需求。

考虑到在进行区域网空中三角测量之后，每张影像的外方位元素和影像上匹配像点所对应的地面点坐标是已知的，故可以采用连接点地面坐标内插的方式快速获取测区的概略DEM，然后再应用基于多核CPU并行处理技术进行影像正射纠正。

1.4基于面Voronoi图的正射影像快速镶嵌方法

实现遥感影像自动快速镶嵌的关键是自动生成接边线、消除镶嵌时的数据冗余，在大区域、高重叠度、高分辨率、大数据量的无人机影像镶嵌处理时，这点尤为突出。为了能够快速完成大区域无人机正射影像自动镶嵌，采用顾及重叠的面Voronoi图[12-13]接缝线网络自动生成方法。该方法首先生成全体影像的初始接缝线网络，再根据重叠区的影像对初始网络进行优化。优化后的接缝线网络包含测区内的全部正射影像，并且将各正射影像覆盖范围划分成没有冗余的、唯一的和无缝的有效镶嵌多边形，避免中间结果的产生，与影像的顺序无关，更利于并行算法的设计，非常适合大范围的无缝影像镶嵌处理。

1.5基于多核CPU并行处理算法设计

在无人机影像数据处理过程中，很多算法在每张影像上完成相同的计算，为并行化数据处理提供可能。为此，对无人机影像匹配、影像正射纠正、影像镶嵌等算法进行并行化设计。

1)影像连接点匹配并行化。无人机影像连接点匹配算法的并行化设计主要涉及到确定匹配任务单元和制定并行策略。

为此提出一种基于POS数据的匹配任务单元确定方法。该方法根据每张影像对应的POS数据和地区平均高程，通过共线条件方程，求得影像4个角点的概略地面坐标，通过计算每两张影像的地面范围交集确定其重叠度，设定重叠度阈值，满足阈值的影像作为邻接影像，遍历所有影像，得到每张影像所有的邻接影像。匹配单元即为一幅影像与其邻接的多幅影像的匹配任务，这些匹配单元之间是相互独立的，形成多个匹配任务单元。

任务并行执行的策略是：首先确定CPU处理核的个数，开辟相同个数的处理线程，并将各线程关联到对应的CPU处理核上，各线程按顺序选择匹配单元并同时执行匹配任务。当其中任意匹配任务执行完毕时，则选择下一匹配单元并执行任务，直到所有任务完成。匹配模型如图2所示。

图2　连接点并行匹配模型

2)正射纠正并行化。利用连接点内插生成概略DEM之后,对各张影像进行正射纠正，算法本身就是独立的，不同影像正射纠正的任务之间互不相关，即每张影像的纠正过程是一个独立的处理任务，因此，可以按照并行匹配的处理策略，执行影像的并行正射纠正。

3)影像镶嵌并行化。在接缝线网生成之后，每个Voronoi多边形对应着唯一的一幅正射影像，因此，在镶嵌该多边形区域的过程中，读取正射影像和写入数据的过程和其他影像互不相关，是独立的任务执行单元，同样可以按照上面的并行处理策略，执行并行镶嵌。但是由于现有的硬盘对同一文件的并行写入不能较好地支持，故在并行处理策略上改为利用一个处理核专门负责数据写入任务，其他处理核则按Voronoi多边形的顺序选择对应的正射影像同时执行读取任务，当其中的任一读取数据的处理核，所读数据被写入任务处理核执行完毕时，则选择下一任务单元执行任务，直至所有任务完成。

2试验与结果分析

上述算法采用c++语言全部在Visual Studio 2010下编程实现。实验选取两套无人固定翼飞机航拍数据。数据一：平均航高为430 m，影像大小5 616像素×3 744像素，影像的航向重叠度为70%～80%，旁向重叠度为30%～40%，包含航拍影像时的POS数据，其精度在10~12 m，部分航带内影像旋偏角较大，测区主要为城区人工建筑物；数据二为大关地区无人机航拍影像，平均航高600 m，影像大小5 616像素×3 744像素，航向重叠度为65%～75%，旁向重叠度为30%～40%，测区为丘陵地区，地形地貌复杂。两套数据相机象元大小均为0.006 41 mm。试验平台选择普通的台式机，硬件配置情况如表1所示。试验数据的详细情况如表2所示。

表1　实验平台硬件配置

表2　实验数据

为了验证上述方法中各个算法的可靠性和处理精度，对数据一、数据二进行无人机数据快速处理试验，并对匹配结果、平差情况和镶嵌结果进行统计分析，如表3所示。图3和图4分别为数据一和数据二的正射影像镶嵌结果，图5为局部接边效果。目视判读来看，两套数据整体的接边效果较好，平均接边误差在1～2个像素，在局部高差大的区域，接边误差在3～4个像素；为了概略分析无控条件下无人机数据处理结果的绝对定位精度，分别从Google Earth上量测15个检查点，和其镶嵌结果影像上的地理位置做比较，得到正射影像在X,Y方向上的定位精度，处理结果的定位精度和POS数据本身的定位精度相当。

实验可以看出，本文方法匹配正确率高、在无控制条件下的定位精度较高、镶嵌接边效果好，能够较好地满足无人机快速应急处理的需要。

表3　实验统计结果

图3　数据一镶嵌结果效果

图4　数据二镶嵌结果效果图

图5　局部接边效果图

为了分析该方法的处理效率，利用数据二在不同处理条件下进行实验，得到统计分析结果如表4所示。表4中区域网平差解算加速比指的是平差过程不做稀疏矩阵改化处理与做稀疏矩阵改化处理之间的加速比。从表4可知，影像多核并行匹配算法的加速比达到3.92，与处理核的个数成近线性的关系；而影像正射纠正和影像镶嵌的并行处理加速比分别为2.35和1.89，之所以影像正射纠正和影像镶嵌的加速比没有影像匹配的加速比高，是因为在此数据处理过程中，主要是数据的读写操作，硬盘的读写速度限制了加速比；在进行算法改造和多核并行设计之后，231张无人机影像整个处理过程耗时2 667.46 s，加速比达到了3.10。综上所述，在特定的硬件环境下，该方法和常规串行方法相比，在处理效率有大幅提升。

表4　数据二在不同处理条件下的时间和加速比统计表

3结束语

本文对无人机遥感影像处理过程的各个环节进行分析论述，针对制约处理效率的关键算法进行优化和改造，研究提出一种大区域多像幅无人机影像数据的快速几何处理方法。实验表明，该方法能够大幅提高无人机影像的几何处理效率；同时，在无控制条件下，该方法的定位精度较高、影像接边效果好，能够满足无人机快速应急处理的要求，为大区域无人机影像快速处理提供一条有效的技术途径，在灾害应急监测与灾情评估、军事侦察、战场监测、打击效果评估等众多领域具有重要的应用价值。

参考文献：

[1]胡庆武，艾明耀，殷万玲，等.大旋角无人机影像全自动拼接方法研究[J].计算机工程，2012，38(15)：152-155.

[2]李军，李永树，蔡国林.利用无人机影像制作地震灾区三维景观图[J].测绘工程，2012，21(1)：50-53.

[3]张万强，赵俊三，唐敏.无人机影像构建三维地形研究[J].测绘工程，2014,23(3)：36-41.

[4]鲁恒，李永树，何敬.无人机低空遥感影像数据的获取与处理[J].测绘工程，2011，20(1)：51-54.

[5]李劲澎，龚志辉，张婷.无人机影像SIFT特征匹配的集群并行处理方法[J].测绘科学技术学报，2012，26(6):440.

[6]仝红菊，李浩，赵海强，等.无人机航摄影像的RANSAC自动定向方法研究.[J].测绘与空间地理信息，2015，38(4)：50-52.

[7]纪松.多视匹配策略与优化方法研究[D].郑州:信息工程大学，2012.

[8]李秀芳.基于多核的多线程算法并行优化[D].郑州：郑州大学，2010．

[9]邹亚未，刘玉红.基于多核CPU的无人机影像连接点并行匹配方法[J].测绘通报，2014(3)：32-36.

[10] TRIGGSB,MCLAUCHLANP,HARTLEYR,etal.Bundle Adjustment-A Modern Synthesis[A]．TRIGGSW ZISSERMANA,and SZELISKI R.Vision Algorithms:Theory and Practice,LNCS[C].[s.l.]:Springer Verlag,2000.298-375.

[11] 詹总谦，张祖勋，张剑清.基于稀疏矩阵技术的光束法平差快速算法设计[J].测绘通报，2006(12):5-8.

[12] 潘俊，王密，李德仁.基于顾及重叠的面Voronoi图的接缝线网络生成方法[J].武汉大学学报(信息科学版)，2009，34(5):518-521.

[13] 潘俊，王密，李德仁.接缝线网络的自动生成及优化方法[J].测绘学报，2010，39(3):289-292.

[责任编辑：张德福]

Quick geometric processing of large area unmanned aerial vehicle images

SUN Lei1,GUO Haitao1,2,LI Chuanguang3,LI Haibin2,JIANG Chunxue1

(1.Information Engineering University,Zhengzhou 450052, China； 2.Navel Institute of Hydrographic Surveying and Charting,Tianjin 300061, China; 3.Beijing Oriental TITAN Technology Co.,Ltd,Beijing 100083, China)

Abstract：Unmanned aerial vehicle images (UAV) rapid geometric processing is widely used in disaster emergency monitoring and evaluation,military reconnaissance,and the like.The hardware platform on which most present business softwares depend is expensive,and the software development process is complex. A quick geometric processing method of large area UAV images for general hardware platform is proposed.The key algorithms which restrict the efficiency are optimized and modified and the rapid geometric processing of large area UAV images is implemented.In the process of join points image matching,ortho-rectification and image mosaic,the multi-core CPU parallel processing technology is applied and the efficiency of the whole process is improved.Multiple sets of UAV image data processing results show the method has a great potential in the field of application for its improved efficiency and low requirements for hardware platform.

Key words：unmanned aerial vehicle；image matching；aerial triangulation；image mosaic；multi-core CPU

中图分类号：P237

文献标识码：A

文章编号：1006-7949(2016)03-0035-06

作者简介：孙磊(1989-)，男，硕士研究生.

收稿日期：2014-11-17；修回日期：2015-06-18