基于特征点的影像匹配

（武汉大学遥感信息工程学院，武汉,430079）

基于特征点的影像匹配

冯莞舒

（武汉大学遥感信息工程学院，武汉,430079）

在数字摄影测量中，影像匹配代替了传统的人工观测，来达到自动确定同名像点的目的。影像匹配的理论与实践，是实现自动立体量测的关键，也是数字摄影测量的重要研究课题之一。本文中对基于特征点的影像匹配思路及特征点的提取与匹配中所涉及到的各种算法进行说明，并通过实验对算法展开分析。

特征点；提取；匹配；影像

0 引言

随着现代技术发展的不断推进，影像匹配技术已成为影像处理与信息获取领域中一项重要的技术，并在国防、科技、工农业与日常生活中都发挥着越来越重要的作用。目前已经提出的影像匹配主要可分为基于灰度的匹配和基于特征的匹配两大类。基于灰度的匹配是以待定点为中心的窗口内，以影像的灰度分布为影像匹配的基础。其计算量比较大，匹配速度较慢，若待匹配的点位于低反差区内，匹配的成功率不高。此外，在很多应用场合，影像匹配不一定用于地形测绘目的，也不一定要生成秘籍的DEM（或DSM）网格点。

基于特征的匹配方法有效的避免了基于灰度匹配的缺点，该方法不是直接利用灰度信息进行匹配，而是在影像灰度的基础上提取特征点、线或面，然后在纹理基础上进行匹配。其大大压缩了匹配的信息量，提高了匹配的速度，且特征的匹配度量值对位置变化比较敏感，提高了影像匹配的精度。此外，特征受噪声的影响小，对灰度变化、影像形变以及遮挡等都有较好的适应能力。

在目前基于特征的匹配方法中，由于特征点具有稳定性、旋转不变性等特点，同时在利用特征点进行匹配运算时不会损失影像中的重要灰度信息，因而基于特征点的匹配方法应用较为广泛。在本文中就基于特征点的影像匹配的各种实现方式进行研究，并通过实验结果对实施效果进行比较。

1 基本思想

在基于特征点的影像匹配方法中，主要的内容分为两个部分：特征点提取与特征点匹配。首先采用特征点提取算子对左影像进行特征点提取，常用的提取方法有Moravec算子、Forstner算子、Harris角点提取算法等多种算子。各种特征点提取算子的特点及适用情况不同，这将在下部分中进行分别阐述。然后根据左影像中已得到的特征点对右影像进行点匹配，常用的相似性测度包括相关系数（矢量夹角）、协方差函数（矢量投影）、相关函数（矢量数积）、差平方和（差矢量模）和差绝对值和（差矢量分量绝对值和），其中相关系数的匹配应用最为常见。

影像匹配中为了得到较好的精度，会用到金字塔影像结构，采用由粗到细的策略对匹配点进行搜索。将上一层影像的特征点匹配结果传到下一层作为初始值，并考虑对粗差的剔除和改正，分辨率逐渐提高，搜索区域逐渐变小，最后用原始分辨率影像进行相关。金字塔影像结构在影像匹配中的应用非常广泛，也可以只用原始影像（相当于只有一层的“金字塔”影像）。

2 特征点提取

通常进行特征点提取时，采用Moravec算子、Forstner算子及Harris算子三种方法，不同方法有各自的提取特点。对Moravec算子、Forstner算子、Harris角点提取算法分别进行程序实现。调整算法中各项参数的数值，使得提取出的特征点数目大致相当，以便于对三种算法有一个纵向比较。观察算子的特征点提取效果，结合其原理可对算子各自特点进行分析。

其中Moravec算子计算兴趣值的窗口尺寸设为5，提取极值点的窗口设为30，经验阈值设为1500。在相同参数条件下对图像和旋转90°后的图像分别提取特征点，得到的结果如图1所示。分析可知Moravec算子具有如下特点：

（1）Moravec算子原理上较为简单，提取速度较快；

（2）由于响应值是自相关的最小值而不是差值，算子对边缘比较敏感；

（3）不是旋转不变的，当影像发生旋转时，检测出的特征点具有较低的重复率；

（4）对噪声也比较敏感。

图1 Moravec算子提取特征点

在实验中，Forstner算子兴趣窗口设为5，抑制窗口为30。旋转90°前后的两幅影像的特征点提取效果对比如下图2所示，观察提取效果可知：

（1）对比特征点数等级相近的Moravec算子与Harris算子可知，Forstner算子对边缘点提取效果较好，对于影像中操场上半部分的边缘点也能较完整的提取出来；

（2）Forstner算子提取的特征点定位精度高，且能给出特征点的类型；

（3）Forstner算子可以在一定程度上保持旋转不变性，对于一些纹理特征明显的区域能够在旋转后保持特征点位置不发生变化；

（4）原理复杂，与其余算法相比提取速度慢。

图2 Forstner算子提取特征点

在实验中，Harris角点提取算法中高斯窗口为3，卷积模版的取0.8，阈值为3000。旋转90°前后的两幅影像的特征点提取效果对比如下图3所示，可知Harris算子的特点有：

（1）通过差分运算和自相关矩阵来检测角点，能反映象素点在任意方向上的灰度强度变化，因而能够有效的区分角点和边缘，使得算子具有旋转不变性；

（2）对梯度值进行高斯平滑滤波，在一定程度上抑制了噪声的影响；

（3）分析效果图像可知，相比较于Moravec算子与Forstner算子，Harris算子提取的点分布较不均匀。在纹理信息丰富的区域提取的特征点分布较为密集，而在纹理信息匮乏的区域几乎没有特征点分布。

图3 Harris角点提取效果

综上可知，Moravec算子原理简单，Forstner算子过程复杂但提取精度高。Harris算子复杂程度介于前两者之间，其抗噪性、旋转不变性均较好，而且Harris算子提取的特征点较Moraec算子与Forstner算子的分布均匀更有利于影像的匹配。因而在实际中，Harris算子的应用最为广泛。在本次实验中亦选用Harris算子进行影像匹配操作。

3 特征点匹配

3.1金字塔影像结构

金字塔算法基本思想是用不同带宽的低通滤波器对原始影像进行低通滤波，将原始图像分解成许多不同空间分辨率的子图像。低分辨率的子图像在上层，高分辨率的子图像在下层，最下层是原始分辨率的影像，从而形成一个金字塔形状。

金字塔算法采用逐次低通滤波和增大采样间隔的方式来实现影像分层，其中包括两像元平均、三像元平均、四像元平均等多种实现方式。以两像元平均为例，一频道是取采样间隔为的原始影像灰度数据；二频道是采样间隔为、灰度值为一频道中相邻两像元灰度平均值；三频道是间隔为、灰度值为二频道中相邻两像元灰度平均值，以此类推。在实验中对要匹配的影像对采用两像元平均生成三层金字塔结构如下图4所示。

图4 金字塔影像结构

采用金字塔影像结构进行匹配的基本思想是：从金字塔的最高层（分辨率最低）开始，对左右影像进行特征点匹配，找到同名点的粗略位置作为预测值，对下一层子影像利用高频信息进行精确相关，最后达到原始分辨率。

3.2特征点匹配方法

在匹配操作的实现部分，可使用相关系数（或其它相似性度量方法）作为匹配测度。在左影像上以一个特征点为中心建立目标窗口，然后在右影上按照一定的准则确定一个大于目标窗口的搜索窗口。利用目标窗口对搜索窗口进行遍历计算相关系数。

在本文中主要考虑了两种方法。

方法一：对右影像也进行相应的特征点提取，利用左影像的特征点对右影像搜索窗口内的特征点进行遍历，寻找相关系数最大的点，若最大相关系数大于设定的阈值，则可认为两特征点匹配。

该方法匹配速度较快，当用于匹配的影像对间仅存在单一方向的偏移量时，匹配效果非常好。但在实际中两幅影像由于存在各种误差导致的形变，其偏移量往往不是单一方向的，不能保证提取的特征点相应位置都绝对一致，因而会导致特征点损失和误判现象。

方法二：右影像不进行特征点提取，对右影像搜索窗口内的所有点均求取与左影像相应特征点的相关系数，取相关系数最大且大于预设阈值的右影像点为特征点。该方法的实现相对于方法一要慢，但在多数条件下适用，匹配效果比较稳定，精度更高。

不管采用哪种方法，在匹配过程中需要注意同名点的唯一性，一个右影像特征点只可与一个左影像点相对应。在提取特征点的算法中都会进行抑制局部非最大，使特征点分布均匀的步骤，但在纹理信息丰富的区域仍会存在特征点分布密集的情况，在进行点匹配时可能会有一个以上的左影像特征点与右影像同一点相匹配。针对这种情况，在实验中对右影像建立内存空间记录点标记情况，未匹配的点标记值为0，匹配点则记为1。

3.3匹配结果及分析

在影像匹配的实施环节，采用VC6.0环境下基于MFC的编程实现特征点提取与匹配。添加CBmpFile类来实现对bmp文件的信息获取、读取，显示、保存等操作；建立CRightView类来实现左右影像同时显示与操作；建立CFunction类来封装三种特征点提取算法、构建金字塔结构以及利用相关系数进行影像匹配的算法。

在实验中，采用方法二，对左影像利用Harris算子提取到125个特征点，根据左影像特征点对右影像搜索窗口内的所有点计算相关性，最后得到118个匹配点。为了使效果更加直观，将匹配点设置为红色，其匹配前后的左右影像如下图5所示。分析前后结果可知，影像同名点提取与匹配效果较好。

图5 影像匹配

4 结束语

本文通过对特征点提取算子与特征点匹配方法进行列举、分析与实验验证，对基于特征点的影像匹配方法有了较为完整与系统的说明。目前来说，影像匹配技术在图像镶嵌、图像融合、动态跟踪与军事侦查等领域的应用都十分广泛。随着计算机软硬件技术、网络通信技术与软件研发应用能力的飞速发展，影像匹配将向实时、高效、智能化地完成海量遥感影像的高精度匹配方向发展。

[1] 谢萍.基于Harris角点与SIFT特征的近景影像匹配[D].长沙:中南大学地球科学与信息物理学院,2011.

[2] 张祖勋,张剑清.数字摄影测量学[M].武汉:武汉大学出版社,2012

[3] 田慧云.基于特征点的立体影像匹配[D].北京:北京建筑工程学院, 2008

[4] 李峰,周源华.采用金字塔分解的最小二乘影像匹配算法[J].上海交通大学学报,1999,33(5):513-519.

[5] 全斌,刘二洋.金字塔影像结构在影像匹配中的应用[J].测绘通报, 2010(3):10-34

[6] 李健,刘凤德,赵利平.基于影像特征点、线整体匹配的DSM自动生成[J].测绘科学,2007,32(4):96-97

[7] 郑悦,程红,孙文邦,苏清贺.遥感影像匹配技术研究[J].电子设计工程,2011,19(20):97-101

Feature based image matching

Feng Guanshu
(Remote Sensing Information Engineering College of Wuhan University,Wuhan,430079)

In digital photogrammetry,image matching instead of the traditional manual observations,to automatically determine the corresponding image points to.The theory and practice of image matching,is the key to realize automatic stereo measurement of digital photogrammetry,is also one of the important research topics.A description of the feature point based image matching method and feature point matching algorithms and involved in this paper,and the results of the algorithm.

Feature extraction;image matching