面向立面大角度影像拼接的稳健匹配方法

徐振亮，李艳焕，闫　利，晏　磊

(1. 北京大学空间信息集成与3S工程应用北京市重点实验室，北京 100871；

2. 辽宁工程技术大学审计处，辽宁 阜新 123009； 3. 武汉大学测绘学院，湖北 武汉 430079)

Facade Facing the Wide-angle Image Stitching Robust Matching Method

XU Zhenliang，LI Yanhuan，YAN Li，YAN Lei



面向立面大角度影像拼接的稳健匹配方法

徐振亮1，李艳焕2，闫利3，晏磊1

(1. 北京大学空间信息集成与3S工程应用北京市重点实验室，北京 100871；

2. 辽宁工程技术大学审计处，辽宁 阜新 123009； 3. 武汉大学测绘学院，湖北 武汉 430079)

Facade Facing the Wide-angle Image Stitching Robust Matching Method

XU Zhenliang，LI Yanhuan，YAN Li，YAN Lei

摘要：建立了一种面向大角度立面影像拼接的可靠匹配方法。该方法首先以SIFT特征向量双向最邻近距离比(BNNDR)作为匹配测度条件得到初匹配，考虑到大角度影像特点，分别应用核线约束和视差梯度约束条件，精化得到可靠的同名特征点，最后通过多次单应性确定立面待拼接区域的同名特征点，匹配结果和拼接效果表明，该方法可保障大角度立面影像拼接同名点的可靠性与准确性。

关键词：影像匹配；影像拼接；立面；核线；视差梯度；单应性

一、引言

全景图技术是近年来地理信息及计算机信息领域比较活跃的一个方向，它是表示和绘制具有真实感的交互式的虚拟场景的方法，依投影方式包括柱面投影和球面投影等方式，在视觉导航、浏览方面发挥了重要作用。全景图主要依靠普通数码影像拼接技术完成，而且使用较多的是基于特征点的拼接技术，也就是利用待拼接影像间的重叠部分的同名特征建立影像重叠区间几何透视变换关系，实现影像之间的变换与融合。这种变换关系一般来说视重叠区域特点而确定，如街景影像中主要分布着建筑立面的特征，可以通过重叠区内同名特征点间单应性变换关系实现。因此，稳健、准确、快速匹配得到重叠区内的具有单应性条件同名特征点至关重要。

影像匹配首先要明确两个基本问题：匹配相似性测度和同名点搜索范围。匹配测度是判断两个像点是否匹配的重要依据，影响匹配的稳健性。而搜索范围反映了寻找候选匹配点的途径，直接影响匹配的效率和可靠性，包括基于灰度和特征的匹配相似性测度方法；在同名点搜索范围方面，主要有核线约束[1-2]、视差连续性约束或视差梯度约束[3-5]、分级匹配策略[6-7]、冗余匹配策略(如多视匹配[8])等。

近景大角度影像特别是建筑物立面影像获取较容易，在测量、模型重建等领域有广泛用途。但长久以来，近景影像限于遮挡、视角、光照变化大、尺度不一致、目标多样复杂和视差断裂等因素的影响，近景影像建筑立面特征点可靠匹配一直比较困难，近几年来，尺度不变特征转换描述子SIFT及其改进算子以其优异性能在近景大角度影像匹配等处理中得到广泛研究，为影像拼接等相关应用奠定了基础。

本文先采用多(约束)匹配策略获得可靠同名点，即以SIFT特征双向最邻近距离比为匹配测度获得初匹配，通过核线约束条件和视差约束条件剔除误匹配点和无效点(地面和天空点等)，再通过多次拟合精化单应性继而保证立面内的可靠同名点。

二、重叠区内特征点可靠匹配策略

1. 双向最邻近距离比匹配测度

邻近距离比匹配测度在特征匹配中应用最为广泛，文献[9]通过比较固定阈值、最近邻和最近邻距离比(nearest neighbor distance ratio， NNDR)测评特征描述子的性能后发现，NNDR整体性能要优于前两者，因此该策略广泛应用于基于特征的匹配方法。如图1所示，其定义

(1)

其中，d1和d2是最近邻和次近邻距离;DA是目标特征描述子；DB和DC是最近邻两个特征描述子。

图1　固定阈值、最近邻和NNDR比较

而双向匹配方法是基于如下思想的：如果两特征点是匹配的，那么参考图像IA的特征与搜索图像IB的特征匹配成功的同时，从搜索影像IB向参考影像IA也应该是匹配成功的。如图2所示，前图显示了单向匹配成功，而后图中展示的是反向匹配，如果双向匹配都是同样两个特征点时，说明匹配成功的几率大大增强。

图2　双向匹配原理

2. 匹配点核线约束

核线约束方法是立体视觉中最常用的方法，即同名像点必然在同名核线上，在摄影测量领域主要利用这一特性提高匹配效率。在本文可以利用这一特性作为约束条件，即从上述获得的匹配点采用随机采样一致性方法拟合出两幅影像的基础矩阵，继而得到两幅影像的核线关系，剔除错误匹配点

pTFp′=0

(2)

3. 匹配点视差梯度约束

匹配点视差梯度约束是消除近景影像由于目标表面突变和视角变化造成的匹配奇异性，一般情况下认为，在没有视差断裂情况下，若两点是同名点，那么同名点对之间的视差梯度要满足一定阈值τ(设为0.8)条件。根据视差梯度的定义

(3)

三、面域重叠区内匹配点的单应性关系

单应性条件同样是摄影测量与计算机视觉领域的一个重要特性，它是物方平面点集在影像平面上的投影映射关系。

如果目标点在平面内，那么针孔模型的投影变换可表示为

(4)

式中，H为单应性矩阵。消去比例因子λ，则

(5)

四、试验与分析

1. 匹配结果

本节通过两组室内室外大角度影像数据验证方法的有效性。试验1：车载系统大角度影像，立面(平面)特性不明显，像幅1200×1600；试验2：室内手持相机拍摄的影像，像幅1368×1712，立面特征较明显。

表1为两组数据匹配结果。可以看出，每个立体像对经过双向初次匹配后错误点较多(椭圆框所示)，包括天空和路灯等无效的特征点。在经过核线约束后，误匹配点明显减少，但室外场景仍存在部分无效特征点。通过视差约束后，进一步剔除了由于遮挡、视差断裂等因素造成的无效匹配点，单应性约束后可以将明显的非建筑立面特征点除去，目测检查没有明显误匹配点，通过选取的两组典型影像测试，经过几种约束条件后匹配特征点基本分布在建筑立面上，说明多约束条件下获得的匹配点作为拼接是可靠和有效的。

2. 拼接效果

从拼接结果(如图3所示)来看，达到了预期按照单应性关系拼接的目的，影像对右影像经过单应性变换关系与左影像完全融合在一起，由于没有在融合上作进一步处理，因此，从拼接后的图像上可以看出有一定的色差，在拼接处有小的锯齿现象，初步确定为SIFT算子定位精度(子像素)原因导致求解的单应性矩阵模型不精确所致。

图3　拼接结果

五、结论

1) 本文建立了一种面向大角度影像拼接的多约束条件下影像中建筑立面特征点的可靠匹配方法，该方法能有效提高匹配点的可靠性，应用于大角度影像拼接是可行的。

2) 室外场景大角度影像受外部目标干扰较多，需要利用多种约束策略加以剔除。而对于场景目标相对单一的室内大转角影像来说，主要是纹理重复带来的匹配困难，但通过多约束条件，可以有效剔除错误或者无效匹配。

3) 针对选取的试验影像起到了较好的效果，为验证方法的有效性，下一步将针对倾斜航空影像作进一步测试。

表1

参考文献：

[1]ZHOU J,SHI J Y. A Robust Algorithm for Feature Point Matching [J].Computers & Graphics, 2002(26): 429-436.

[2]ZHANG K, SHENG Y H, LI Y Q, et al. Image Matching for Digital Close-range Stereo Photogrammetry Based on Constraints of Delaunay Triangulated Network and Epipolar-line[C]∥M Proceedings of SPIE, Geo-informatics.[S.l.]：SPIE，2006.

[3]朱庆，吴波，赵杰.基于自适应三角形约束的可靠影像匹配方法[J].计算机学报, 2005,28(10):1734-1738.

[4]ZHU Q, WU B, TIAN Y X. Propagation Strategies for Stereo Image Matching Based on the Dynamic Triangle Constraint [J].ISPRS Journal of Photogrammetry and Remote Sensing, 2007,62(4):295-308.

[5]龚声蓉，赵万金，刘纯平.基于视差梯度约束的匹配点提纯算法[J].系统仿真学报，2008(20)：407-410.

[6]DUFOURNAUD Y, SCHMID C, HORAUD R. Image Matching with Scale Adjustment [J]. Computer Vision and Image Understanding, 2004,93(2):175-194.

[7]陈鹰，林怡.基于提升小波的影像变换与匹配[J].测绘学报，2006，35(1)：19-23.

[8]FURUKAWA Y，PONCE J. Accurate Camera Calibration from Multi-view Stereo and Bundle Adjustment[J]. International Journal of Computer Vision, 2009,84(3):257-268.

[9]MIKOLAJCZYK K,SCHMID C. A Performance Evaluation of Local Descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(10):1615-1630.引文格式： 李刚，万幼川. 基于CDIO模式的“遥感原理与应用课程设计”创新型实验教学示范[J].测绘通报，2015(1)：134-136.DOI:10.13474/j.cnki.11-2246.2015.0028

引文格式： 徐振亮，李艳焕，闫利，等. 面向立面大角度影像拼接的稳健匹配方法[J].测绘通报，2015(1)：131-133.DOI:10.13474/j.cnki.11-2246.2015.0027

作者简介：徐振亮(1982—)，男，博士生，讲师，主要从事近景摄影测量与计算机视觉研究。E-mail：xuzhenliang@whu.edu.cn

基金项目：国家自然科学基金(41271456；41371492)

收稿日期：2013-12-17

中图分类号：P23

文献标识码：B

文章编号：0494-0911(2015)01-0131-03