航空面阵数字影像多基线立体匹配及协同处理

张 丽，汤晓涛，李 纲

1.信息工程大学地理空间信息学院，河南 郑州，450052；2.西安测绘研究所，陕西 西安，710054；3.地理信息工程国家重点实验室，陕西 西安，710054



航空面阵数字影像多基线立体匹配及协同处理

张 丽1,2,3，汤晓涛2,3，李 纲1,2,3

1.信息工程大学地理空间信息学院，河南 郑州，450052；2.西安测绘研究所，陕西 西安，710054；3.地理信息工程国家重点实验室，陕西 西安，710054

多基线立体匹配技术是获取可靠DSM产品的有效手段之一。本文针对面阵航空数字影像设计了多基线立体匹配的技术流程，根据算法特点提出了基于GPU-CPU的协同处理方案；利用构建的专业级GPU并行计算平台，对协同处理方案进行了实验验证。结果表明，提出的方案在保证DSM产品高精度的同时，大幅提高了多基线立体匹配的计算效率和整体处理能力。

多基线立体匹配；GPU-CPU；协同处理；计算效率

1 引 言

多基线立体匹配技术由于增加了多余观测量，较好地解决了影像的误匹配问题[1,2]，从而成为提高DSM/DEM精度以及生产自动化程度的有效手段之一。然而，多基线立体匹配在提高匹配可靠性的同时，由于影像数量的增加、多种匹配策略的应用等也带来了计算量的大幅增加，使其并行实现成为当前一个重要的研究方向。其中，利用GPU处理平台提高影像匹配的计算效率引起了广大学者和研究人员的关注[3-7]。他们的研究实践证明，利用GPU处理平台对于提高多基线立体匹配这种数据密集型和计算密集型任务的效率，效果是非常明显的。

为此，本文结合具体项目要求，重点对航空面阵数字影像多基线立体匹配技术进行研究，设计了多基线立体匹配的技术流程，提出了基于GPU-CPU的协同处理技术方案，并利用构建的高性能GPU并行计算平台，验证了算法和方案的处理精度、计算效率和处理能力。

2 航空面阵影像的多基线立体匹配技术

2.1 多基线立体匹配的技术流程

利用航空面阵光学遥感影像多基线匹配进行快速提取同名匹配点的技术流程如图 1所示，主要包括预匹配处理、多基线立体匹配模型构建、辅助约束算法的使用、GPU并行解算等四个部分。

①对影像进行分析，为多基线立体匹配与DSM自动提取过程提供数据支持、匹配初值支持。

②构建多基线立体匹配模型，将不同视角下的多张目标区重叠影像纳入同一匹配系统，利用信息互补技术，减少信息盲区，降低误匹配率，提高匹配可靠性；筛选重叠影像，降低计算冗余，提高匹配效率。

③充分利用辅助信息数据、多种约束策略和优化措施，进一步提高多基线立体匹配的可靠性和精度。

④根据GPU-CPU并行处理平台，对多基线立体匹配任务和数据进行划分，实现粗粒度并行，缩短匹配处理的整体运算周期；针对GPU硬件特性，对多基线立体匹配算法进行并行化分析与集成，实现多基线立体匹配的GPU细粒度并行解算，提高多基线立体匹配的计算效率。

图1 光学遥感影像多基线立体匹配流程图

2.2 影像预匹配处理

影像预匹配处理内容主要包括：航带分析与排序、多基线匹配立体构建、影像金字塔制作、SIFT特征点提取与匹配等四个过程。

①航带分析与排序

一个测区由多个航带构成，由于影像分布于不同的航带，且各张影像并非按顺序读取，因此，在多基线立体匹配提取DSM之前，需要对载入的影像数据进行航带分析与排序。具体步骤如下：

步骤一：根据影像的四个角点的像坐标、测区平均高程、外方位参数，计算各张影像四个角点的地面坐标；

步骤二：根据影像四个角点的地面坐标，分析影像的航带数目，并将载入的影像数据进行排序。

②多基线匹配立体构建

根据航带分析与排序后的影像，分别以每一张影像为基准(不包括航带首张影像和末张影像)，计算相邻影像的重叠度，创建多基线匹配立体系统；由于航空影像数据的航向重叠与旁向重叠一般较高，每一个影像立体中可能有10张以上的影像与基准影像重叠，为了降低多基线立体匹配的计算量，匹配时使用重叠度最高的前5张重叠影像。

③影像金字塔制作

为了缩短匹配时间，匹配过程采用由粗到精的匹配策略，且从上层金字塔影像匹配获得的高程信息用于约束和引导下一层金字塔影像的匹配。本文采用3像元平均的方式制作影像金字塔，金字塔层次包括最底层为4层。

④SIFT特征点提取与匹配

通过SIFT特征匹配，在基准影像和搜索影像上提取空间尺度不变的特征点，建立基准影像和搜索影像的相互关系，为多基线密集匹配提供初值。

2.3 航空面阵数字影像的多基线立体匹配模型及策略方法

针对航空面阵数字影像，普遍采用的立体匹配模型分为基于单立体匹配与融合的多视匹配模型和基于多立体整体匹配的多视匹配模型两类。本文采用基于单立体匹配与融合的多视匹配模型，该模型的具体匹配过程如图 2所示[8]。其基本思想是：在一组重叠影像中，取中央影像作为基准影像，其余的待搜索影像分别与之构成立体像对；先利用带几何约束条件的相关系数法对各立体像对进行匹配；再利用松弛法整体影像匹配技术，进一步确定基准影像上的特征点在搜索影像上的同名点；然后通过带选权迭代粗差检测功能的多光线前方交会方法，实现各立体像对匹配结果在物方空间的融合，从而获得准确的高程信息。

图2 基于单立体像对匹配结果的物方融合的流程图[8]

文献[3]把用来提高多基线匹配可靠性、精度和效率而利用的辅助数据、匹配策略和匹配方法等归结为多基线匹配的策略方法体系，并研究构建了多基线匹配的策略方法体系，给出了多光线前方交会的基本思想和解算方法。本文在多基线立体匹配过程中使用的策略与方法如图3所示，各项措施的实施过程如下所述。

几何约束Ⅰ：制作金字塔影像，利用特征点提取算子，在原始影像上提取特征点，进行影像金字塔预匹配和多基线立体匹配，保留精确的匹配成果，构建不规则三角网TIN；以每一个三角形为匹配面元，由该面元的三个顶点高程值，内插每一个匹配基元的高程初值，确定匹配的搜索范围。

辅助数据约束Ⅱ、几何约束Ⅲ：利用GPS/IMU数据，根据影像的构像方程，实时计算每一个匹配基元的核线影像，将多基线匹配从二维空间变为一维搜索空间，提高匹配速度。

几何约束Ⅳ：根据匹配基元的高程初值，变换匹配窗口的几何属性，包括大小、位置、形状等，尽量保持匹配窗口内容的一致性。

几何约束Ⅴ、Ⅵ：通过概率松弛约束条件，对匹配结果进行检查；在多基线最小二乘匹配过程中，加入共线条件方程和直线匹配走向几何约束，将匹配结果的精度提高到子像素级。

图3 多基线立体匹配策略方法的使用

2.4 基于GPU-CPU的协同处理方案

GPU-CPU协同处理的关键是合理分配二者的计算任务。其中，流程控制等顺序型任务由CPU来完成，而针对大数据量执行的相同操作则交给GPU来并行执行。对于处理算法中数据并行程度高且计算密集的部分，将其改写为能够在GPU上执行的“核”函数；然后通过配置语句由CPU端主程序调用该“核”函数，从而实现GPU内部的超多线程细粒度并行处理，充分发挥GPU的并行计算优势。对于多基线立体匹配任务，通过分析各个步骤的算法特点，确定其处理模式如图4所示。其中，航带分析与排序、多基线匹配立体构建采用单CPU处理模式；影像金字塔制作，采用多CPU并行处理模式；SIFT特征点提取与匹配和多基线立体匹配过程中涉及到的匹配测度计算、像点灰度值内插，最小二乘解算计算量最为集中，采用多CPU、多GPU协同处理模式。

图5给出了多基线立体匹配过程的GPU-CPU整体处理模式，具体步骤包括：

①对于构建的多个多基线匹配立体系统，采用粗粒度数据并行的方式，按照GPU节点(GPU卡)的数量对构建的多基线立体系统进行平均分配或近似平均分配。

②对于单个多基线匹配立体系统，把基准影像中的所有像点对应于一个GPU线程格网，而其中的多个像点组成一个线程块，且每个线程块中的像点利用一个线程来计算。该过程中单个像点的多基线匹配工作利用一个线程来完成，并且一个线程块同时处理多个像点，整体上属于细粒度算法并行计算模式，而对于GPU则属于基于GPU的粗粒度并行模式。

图4 多基线立体匹配处理的并行模式

图5 多基线立体匹配GPU-CPU协同处理整体模式

3 实验分析

3.1 实验数据与实验参数

实验采用两套航空面阵影像数据来验证本技术方案的处理效率和精度。数据一为UCD面阵数字相机获取的江苏宝应地区的航空影像，影像获取时间为2006-11-06；数据二为Z/I DMC面阵数字相机获取的河南某地区的航空影像，影像获取时间为2009-12-19。具体参数见表 1。

表1 实验数据参数

3.2 实验平台

实验平台主要由1个管理/存储节点、三个计算节点和相应的网络设备组成。其中，每个计算节点配置2块专业级高性能GPU显卡，形成6个计算节点，具体配置见表2。

表2 实验平台硬件配置

序号功能型号配置数量1GPU计算节点Xr2201GE5-2620∗2，8GB∗8，K20∗2，Intel240GBSSD∗1，32管理/存储节点Xr22301E5-2620∗2，8GB∗8，240GBSSD∗2，Quadro2000∗1，2TB∗10134网络部分H3CH1224RH3C24port千兆交换机1mellanxIS5023IB40GB18PortsSwtich15HCAcardmellanxMHQH19B-XTR1Port40Gb/sQSFPInfiniBandNetworkAda⁃ptorCard5

3.3 实验结果

①处理效果和精度

UCD影像和DMC影像生成的DSM局部放大图分别如图 6和图 7所示，87个控制点统计的UCD影像、17个均匀分布的控制点统计的DMC影像的DSM点云精度结果见表3。从图 6可以看出，虽然UCD影像中建筑物比较密集，但从影像中自动提取的DSM点云较好地保持了实验区中实际地物的形状；从图 7可以看出，虽然实验区属于山地、且山脚下建筑物比较密集，但从影像中自动提取的DSM点云仍然较好地保持了实验测区中实际山地的地形地貌和建筑物的形状。精度统计结果和直观的影像处理结果表明了本文所采用技术方法的有效性。

图6 UCD影像多基线立体匹配点云局部放大图

图7 DMC影像多基线立体匹配点云局部放大图

表3 DSM点云精度分析表

影像类型最大残差绝对值(m)最小残差绝对值(m)中误差(m)XYZXYZXY平面ZUCD0．320．260．530．0340．0320．0570．0710．0430．0830．092DMC0．830．711．060．120．090．160．170．140．220．27

②处理效率和能力

基于GPU-CPU的多基线立体匹配协同处理内容及其处理时间如表 4所示。从表中可以看出，164张UCD影像构建的154个、203张DMC影像构建的189个多基线立体系统近乎平均地分配至6个GPU计算节点。

表4 多基线立体匹配协同处理内容及时间

影像类型GPU节点编号计算硬件处理像对数重叠度(张)匹配点数(万个)内插格网间距(m)DSM点云大小(MB)处理时间(s)UCD影像节点1GPU26≈202500×26×50．52．7×2662820节点2GPU26≈202500×26×50．52．7×2662820节点3GPU26≈202500×26×50．52．7×2662820节点4GPU26≈202500×26×50．52．7×2662820节点5GPU25≈202500×25×50．52．7×2560410节点6GPU25≈202500×25×50．52．7×2560410DMC影像节点1GPU32≈152600×32×51．057．0×3286025节点2GPU32≈152600×32×51．057．0×3286025节点3GPU32≈152600×32×51．057．0×3286025节点4GPU31≈152600×31×51．057．0×3183400节点5GPU31≈152600×31×51．057．0×3183400节点6GPU31≈152600×31×51．057．0×3183400

表5 遥感影像多基线立体匹配协同处理的处理能力

影像类型测区大小(km2)匹配时间(h)匹配点数(亿)影像数量(张)协同处理平台计算能力按面积计(km2/h)按点数计(108point/h)按影像计(image/h)UCD4．9517．45192．51640．2811．039．40DMC129．9523．90249．62035．4410．448．49

表 5为处理能力的统计结果：对于地面分辨率为0.1m的UCD面阵航空影像，每小时能够处理9.40张影像上的11.03亿个像点，获取0.28km2范围内(整个测区长4.15km，宽1.91km)的地面DSM点云。对于地面分辨率为0.25m的DMC面阵航空影像，每小时能够处理8.49张影像上的10.44亿个像点，获取5.44km2范围内(整个测区长11.5km，宽11.3km)的地面DSM点云。

表6 多基线立体匹配时间对比

影像类型匹配点数单GPU-CPU处理时间(s)单CPU处理时间(s)UCD影像4000×4000×5148030500DMC影像4000×4000×5156031220

表 6为GPU-CPU混合协同处理模式与单CPU处理模式下耗用时间的对比。可以看出，与单CPU相比，CPU-GPU协同处理的加速比达到了20倍以上。

4 结 论

本文对航空面阵数字影像的多基线立体匹配的技术流程和策略方法进行了简要阐述，重点给出了GPU-CPU协同处理方案，并通过实际数据验证了本文的技术方法、计算效率和整体处理能力。结果表明，本文提出的协同处理方案在保证DSM产品高精度的同时，能够大幅提高多基线立体匹配的计算效率。与单CPU处理模式相比，采用专业级的单GPU，多基线立体匹配的计算加速比达到了20倍；采用3个计算节点的GPU-CPU混合集群遥感影像协同处理系统，多基线立体匹配的整体处理能力大大跃升。

[1]张力，张继贤．基于多基线影像匹配的高分辨率遥感影像DEM的自动生成[J]．武汉大学学报·信息科学版，2008，33(9)：943-946.

[2]张永生，范大昭，纪松．用于ADS40传感器的多视觉立体匹配算法模型[J]．测绘科学技术学报，2007，24(2)：83-86．

[3]纪松．多视匹配策略与优化方法研究[D]．郑州：信息工程大学，2012．

[4]张丽，汤晓涛，戴晨光．多视匹配方法的计算任务分析及其GPU并行实现[J]．测绘科学技术学报，2013，30(5)：480-483．

[5]杨靖宇．摄影测量数据GPU并行处理若干关键技术研究[D]．郑州：信息工程大学，2011．

[6]肖汉，张祖勋．基于GPGPU的并行影像匹配算法[J]．测绘学报，2010，39(1)：46-51．

[7]田斐，崔玉连.快速互信息匹配及GPU实现[J].电光与控制，2010，17(2)：63-67.

[8]袁修孝，明洋．一种综合利用像方和物方信息的多影像匹配方法[J]．测绘学报，2009，38(3)：216-222．

Multi-baseline Stereo Matching and Cooperative Processing for the Digital Aerial Frame Image

Zhang Li1,2,3,Tang Xiaotao2,3, Li Gang1,2,3

1. Institute of Geospatial Information, Information Engineering University, Zhengzhou 450052, China 2. Xi’an Research Institute of Surveying and Mapping, Xi’an 710054, China 3. State Key Laboratory of Geo- information Engineering, Xi’an 710054, China

Multi-baseline stereo matching is one of the most effective methods to generate reliable DSM. This paper designs the multi-baseline stereo matching technique flow in view of the digital aerial frame image and proposes the cooperative processing scheme based on the characteristic of the multi-baseline stereo matching algorithm. Besides the paper tests and verifies the scheme by the professional GPU parallel computing platform. The results show that the scheme ensures DSM high accuracy and at the same time it greatly improves the computational efficiency and entirety processing capacity of multi-baseline stereo matching.

multi-baseline stereo matching； GPU-CPU；cooperative processing； computational efficiency

2014-12-24。

张丽(1973—)，女，副研究员，主要从事摄影测量方面的研究。

P231

A