基于增强MSER和Harris-Laplace 互补不变特征的遥感图像配准

王晓华，李 克，邓喀中，杨化超



基于增强MSER和Harris-Laplace 互补不变特征的遥感图像配准

王晓华1，李 克1，邓喀中2，杨化超2

（1.河南理工大学，河南 焦作 454000；2.中国矿业大学江苏省资源环境信息工程重点实验室，江苏 徐州 221116）

针对具有倾斜的遥感图像的自动配准问题，提出一种增强自动配准方法。该方法首先应用最大极值稳定区域（Maximally Stable Extremal Regions，MESR）特征的仿射不变性结合匹配能力较强的SIFT（Scale Invariant Feature Transformation，SIFT）描述子进行粗匹配，初步校正倾斜图像的空间变换；然后利用Harris-Laplace（H-L）在图像旋转、光照变化条件下能最稳定的提取2维平面特征点和在3维尺度空间中能最稳定高效地提取特征点的特性结合随机一致性检验（Random Sample Consensus，RANSAC）方法进行精匹配。通过实验分析证明，与SIFT配准方法相比该方法能够对倾斜的遥感图像实现更精确的自动配准。

特征配准；最大极值稳定区域；尺度不变特征变换；Harris-Laplace特征

0 引言

图像配准不仅是遥感图像处理的一项关键技术之一，而且在医学影像[1]、计算机视觉[2]及模式识别[3]等领域中也是一个核心问题。目前，快速、高精度自动图像配准技术[4]是图像配准领域研究的重点，也是难点。

基于特征的图像配准的关键步骤是特征提取和匹配，这也是配准领域的两大难点。在多尺度条件下检测到的特征具有仿射不变性或具有尺度不变性，这为图像特征提取和匹配提供了非常有利的条件。文献[5]对Harris-Affine[6]、Hessian-Affine[7]、MSER[8]等具有仿射不变性的区域检测子进行比较，指出目前具有最佳仿射不变性的区域特征提取算子是Matas提出的MSER特征[8]区域提取算子，而且该算子还具有最优的对抗光照、视角和模糊等变化方面的性能，目前已被成功应用于特征匹配中。H-L特征提取算子由Mikolajczyk等[6]提出，并证明应用该算子提取的H-L特征在位置重复度、定位误差、尺度不变性等方面的性能均优于其他特征检测算子。SIFT特征提取算法[9]由Lowe提出后即被成功应用于特征匹配中，并在短短的几年内获得广泛应用，该算法已被证明具有稳定的尺度不变性和旋转不变性，文献[10]对Harris 描述算子[11]、DoG（Difference of Gaussian）描述算子[12]、SIFT描述算子[9]等进行实验比较，指出目前性能最佳的描述算子是SIFT描述算子。由于遥感图像间存在变形大，数据量大的特点，如果采用单一特征进行配准，则获得的配准精度很不理想。因此，本文应用MSER特征提取算子提取具有最佳仿射不变性的特征区域，而根据SIFT特征描述子具有尺度、旋转、平移等不变性对MSER特征区域进行描述，以产生特征矢量，然后利用欧氏距离进行图像的粗匹配，以初步校正图像的空间几何变形。再应用H-L特征具有的尺度不变性结合SIFT描述子具有的旋转不变性，并利用随即一致性（RANSAC）检测算法[13]去除错配点进行图像的精匹配。通过实验并与SIFT配准方法比较，得出本文方法不仅在特征匹配正确率方面比SIFT方法高，而且在仿射不变性方面也优于SIFT方法。

1 基于MSER和H-L不变特征检测与描述

特征选择和提取是图像配准中的关键步骤。但在图像间存在大失配的情况时，若使用单一特征进行匹配精度较低，且成功率也不高。由于MSER特征具有仿射不变性，对不同精细程度的区域均可以检测到。而H-L特征具有尺度不变性，包含大量图像结构信息的特征点都能够被检测到。因此，若有效增强这两类互补不变特征进行图像配准，将会增强匹配效果，提高配准精度。

1.1 特征检测

MSER局部不变特征提取算子是基于灰度图像，这与其他特征提取算子是一样的。该提取算子是首先通过预先设定的一系列阈值，得到一组二值影像，该二值影像是基于设定的阈值分割的影像。然后对相邻阈值影像间的连通区域进行分析，最后获得MSER特征区域。这样得到的MSER特征区域分为2种区域，一种是MSER＋区域，对应图像的黑色区域，另一种是MSER－区域，对应图像的白色区域[14]，如图1所示。但是这样的区域是不规则的，为方便后期描述，还要进一步使用椭圆拟合算法进行规则化，即把不规则的MSER区域拟合成规则的椭圆区域。

获得MSER椭圆拟合区域后，对该区域进行归一化处理。这样即获得一系列具有仿射不变性，且对大失配遥感图像匹配具有良好鲁棒性的局部不变区域。MSER椭圆拟合归一化方程表示为：

(－)2＋2(－)(－)＋(－)2＝1 (1)

由(1)式可知，每个MSER特征区域都有2个信息，分别是椭圆中心坐标(,)和椭圆参数(,,)。

传统的Harris算子提取到的特征在大尺度缩放下稳定性能较差，因此Schaffalitzky[15]结合Harris算子[16]与归一化Laplace算子[17]的优点，提出Harris-laplace (H-L)算子。这样H-L算子在一定程度上克服了传统Harris算子的缺点，并且对旋转、噪声及压缩等变换也具有较好的鲁棒性。H-L特征检测时，首先计算多尺度的Harris特征点，然后在多尺度下选择具有局部最大值的点，此时会得到一组不随尺度、旋转、平移等变化而变化的点。这些特征点由于是在多尺度下提取的，其位置和尺度有时会有偏差，在实际应用中，会导致严重误匹配。因此还要通过迭代算法精确修改这些点的位置、尺度及每个点的邻域。

1.2 特征描述

对检测到的MSER特征区域和H-L特征点还需要采用合适的描述子进行描述，然后形成特征矢量，进而实现特征匹配。对检测到的H-L特征点采用SIFT描述子[9]进行描述，使每个H-L特征点具有3个信息：位置(,)、所处尺度和方向。

图1 MSER＋和MSER－提取结果

对MSER区域描述时，本文参考SIFT描述子构造方法，对检测到的椭圆MSER特征区域构造SIFT特征向量。与正方形SIFT特征构造不同在于椭圆区域划分和高斯加权函数。为保证每个子区域计算特征的梯度方向数相同，因此本文将每个椭圆区域按等面积划分成8个子区域，划分结果如图2所示。

图2 椭圆区域划分

划分过程：首先根据提取的椭圆MSER区域确定该椭圆的外接矩形，然后分别连接矩形的2对角线和对边中点，这样椭圆就被划分成8个面积相等的区域。在高斯加权函数选取方面与正方形SIFT描述子不同，椭圆SIFT高斯加权函数选取是分别计算出椭圆区域的长轴值、短轴值和短轴的方向,,，令1＝/2、2＝/2作为二维高斯函数的方差，这样椭圆SIFT即具有2个不相等的方差，运用二维高斯函数对每个区域进行加权，这样即可使每个区域具有相同的加权值，然后将高斯函数旋转到与短轴方向一致。在用高斯函数加权时，离中心点越远其函数值就越小，这个特点突出了区域中心的作用，能够起到抑制或削弱区域边缘的作用，这样可以使提取的特征向量具有一定程度的尺度不变性。

对提取的MSER椭圆区域进行等面积划分，并确定高斯加权函数后，就可以利用Lowe方法构造特征向量，其构造过程主要分2步进行。第一步，在各个子区域内将每个点的梯度方向均与椭圆短轴方向相减，以保证特征量的旋转不变性，这是因为在图像发生旋转变换时，椭圆短轴旋转的角度与图像旋转变换的角度相同。第二步，对第一步差值结果进行8个等级量化，并且对每个点的梯度方向进行直方图统计，然后用高斯函数与梯度幅度的乘积进行加权计算直方图。这样对每个子区域都以梯度方向直方图作为特征向量产生一个8维的特征向量，由于每个椭圆区域的特征向量由8个子区域组成，因此形成一个8×8＝64维的特征向量。

2 增强特征匹配

为建立参考图像与待配准图像之间特征点的对应关系，需进行特征匹配，且要求较高的匹配精度。如果利用单一特征进行匹配，则单一特征自身的局限性会导致很难一次性达到特征点的高精度匹配。本文结合MSER特征与H-L特征的互补不变性，采用MSER特征粗匹配，然后采用H-L特征结合随机一致性（RANSAC）检测算法去除误匹配的方法进行精确配准。

2.1 MSER特征粗匹配

粗匹配目的[18]是获得配准图像间的旋转角度及缩放尺度，初步校正待配准图像的空间几何变换。匹配过程是，首先对提取的MSER特征区域采用椭圆SIFT描述子描述，形成特征向量；然后采用欧氏距离的最近邻距离与次近邻距离的比值用以确定初始匹配点对的匹配策略，这是因为正确匹配点对总是比错误匹配点对存在明显的最近邻距离，而且该步以牺牲正确匹配点数，来提高匹配精度，因此运用该策略可以获得稳定的初始匹配点对。

配准图像间的变换关系采用仿射变换模型式(2)表示：

式中：(x,y)是匹配点对在待配准图像中的坐标；相应的在参考图像中的坐标是(x,y)；(11,12,21,22)是由图像间旋转角度和缩放尺度决定的变换模型参数；(t,t)是图像间的平移参数。这6个参数至少需要3对正确的匹配特征点确定。因此，在粗匹配点对中任选3对匹配点即可求取模型的变换参数。

2.2 H-L特征精匹配

对经过粗匹配校正后的图像，为了能够实现图像间的高精度配准，在精匹配阶段运用H-L特征的欧氏距离进行匹配。但是受背景噪声和计算精度等影响，经欧氏距离匹配后，仍会存在大量的错误匹配，因此，在此选用RANSAC剔除错误的匹配点对，以此达到图像的高精度配准，其具体步骤是：

1）应用H-L特征的欧氏距离的最近邻与次近邻距离比值确定候选匹配点对，在候选匹配点对中任选3对匹配点对确定模型式(2)的参数。

2）在余下的匹配点对中，若任选第对候选匹配点(x,y)和点(x,y)，将点(x,y)通过模型式(2)变换得到在待匹配图像中坐标为(x,y)，如果|x－x|＜，且|y－y|＜，则认为该点对在误差范围内满足模型式(2)的变换参数，如果满足这个条件，则匹配点计数cP（control Point）就增加1，继续重复该步骤，当余下的点都被取完时即进行下步操作。

3）当cP＞（阈值）时，则此时的变换参数即作为最终仿射变换参数，此时结束运算，否则返回步骤1）。

4）在计算所有任意3点对组合后，结束运算，取cP达到最大值时的变换参数作为模型式(2)的最终仿射变换参数，并把满足最终参数的变换点对作为正确匹配点对。

在实验中，取误差＝2，如候选匹配数为，则阈值可取/4。由于错误匹配点对总是少于正确匹配点对，因此，RANSAC收敛速度比较快，不需要计算所有候选匹配点的组合。

3 实验分析

本实验采用10幅具有代表性无人机影像，限于篇幅本文仅提供一组实验数据及分析过程。本文采用的实验图像大小分别为417×566像素和387×566像素，图像间存在旋转（约25°）、尺度（约1.6）和平移（约(270m, 150m)）及光照变化。应用本文方法进行配准实验。图3(a)显示匹配图像对提取的MSER特征区域，数目分别为146和130；图3(b)为提取的H-L特征点，数目分别为232和246。采用SIFT描述的MSER区域进行距离粗匹配，为提高匹配正确率，因此最近距离与次近距离的比值取0.3作为阈值，获得5对正确匹配点对，如图3(c)。从这5对匹配点对中任选3对为一组求解模型式(2)的变换参数，初步校正匹配图像的空间几何变换。经过初步校正后再对匹配图像采用SIFT描述的H-L特征点进行匹配，并运用RANSAC进行错误匹配的剔除，最终获得精确匹配点对28对，结果如图3(d)。最后对正确的匹配点对进行最小二乘估计，获得精确的仿射变换参数，其配准结果如图3(e)。不同配准算法的各项参数指标如表1所示。

表1 配准算法的参数指标比较

表1中MSER＋H-L项的总特征点数是指MSER特征数与H-L特征点数之和。由表1可知，虽然MSER＋H-L在特征提取时耗时要比SIFT算法耗时稍多，但是在匹配耗时要比SIFT少近1/3，因此匹配过程总耗时方面MSER＋H-L算法还是少于SIFT算法。尽管MSER＋H-L提取的特征点数要比SIFT点数少将近1/5，但是正确匹配率却比SIFT高7%。

由于SIFT仅仅通过高斯加权提高特征点附近的梯度幅值的权重，因此利用SIFT提取的特征点在仿射不变性方面不可能比本文提出的算法优越。

4 结论

本文采用具有仿射不变性的MSER算子提取图像区域，进行图像的粗匹配，从而初步校正倾斜图像空间几何畸变。然后采用具有尺度不变性的H-L算子提取图像特征点，通过距离匹配和RANSAC方法获得无错误的特征匹配。并通过与SIFT配准方法比较得出，本文方法具有匹配速度快，精度高的优点。其主要原因是MSER特征良好的仿射不变性与H-L特征的尺度不变性的有机增强，使算法有更强的抗噪性。实验证明本文提出的算法具有较强的仿射不变性，且在配准效率方面要比应用单一特征配准的高。

[1] 杨安荣, 林财兴, 李红强. 用于医学影像配准的快速框架[J]. 计算机应用, 2010, 30(3): 632-634.

[2] 余宏生, 金伟. 视频图像的SIFT特征点自适应提取算法[J]. 红外技术, 2013, 35(12): 768-772.

[3] 胡正平, 王玲丽. 基于L1范数凸包数据描述的多观测样本分类算法[J]. 电子与信息学报, 2012, 34(1): 194-199.

[4] 李伟生, 王卫星, 罗代建. 用Harris-Laplace特征进行遥感图像配准[J].四川大学学报: 工程科学版, 2011, 43(4): 89-94.

[5] Mikolajczyk K, Tuytelaars T, Schmid C, et al. A comparison of affine region detectors[J]., 2005, 65(1): 43-72.

[6] Mikolajczyk K, Schmid C. A scale and affine invariant interest point detectors[J]., 2004, 60(1):63-86.

[7] Mikolajczyk K, Schmid C. An affine invariant interest point detector[C]//Proceedings of the 7 European Conference on Computer Vision. Copenhagen, Denmark, 2002.

[8] Matas J, Chum O, Urban M, et al .Robust wide-baseline stereo from maximally stable extremalregions[J]., 2004, 22(10): 761-767.

[9] Lowe D G. Distance image features from scale-invariant keypoints[J]., 2004, 60(2): 91-110.

[10] Mikolajczyk K, Schmid C. A performance evaluation of local descriptors[J]., 2005, 27(10):31-47.

[11] Harris C. Stephens M. A combined corner and edge detector[C] //. 1988: 147-152.

[12] Lowe D. Object recognition from local scale invariant features[C] //, 1999:1150-1157.

[13] 季顺平, 袁修孝. 基于RFM的高分辨率卫星遥感影像自动匹配研究 [J]. 测绘学报, 2010, 39(6): 593-598.

[14] 廉蔺, 李国辉, 等.基于MSER的红外与可见光图像关联特征提取算法[J]. 电子与信息学报, 2011, 33(7): 1625-1631.

[15] F. Schaffalitzky, A. Zisserman. Multi-view matching for unordered image sets, or “How do I organize my holiday snaps?”[J]., 2002.

[16] 王明富, 杨世洪, 吴钦章. 基于角点检测的遥感图像几何质量评价方法[J]. 测绘学报, 2011: 40(2): 175-179.

[17] Mikolajczyk K, Cordelia Schmid. Indexing based on scale invariant interest points[C]//Proceedings of the 8 International Conference on Computer Vision. Vancouver, Canada, 2001:525-531.

[18] 孙辉, 李志强, 孙丽娜, 等. 一种空域和频域相结合的运动图像亚像素配准技术[J]. 中国光学, 2011,4(2): 154-160.

Remote Sensing Image Registration Based on Strengthened MSER and Harris-Laplace Local Invariant Features

WANG Xiao-Hua1，LI Ke1，DENG Ka-zhong2，YANG Hua-chao2

(1.,454000,;2.,,221116,)

A strengthened local invariant feature automatic registration method is proposed for registration of remote sensing images with tilt. The image space transform is corrected by coarse matching with the affine invariant of the MSER features and SIFT descriptor. Then the images are precisely matched by using H-L that can be stable and efficient to extract feature points in 2D and 3D scale space on image rotation and illumination changes condition. Experiment shows that this method can achieve more accurate registration and correct matching rate than SIFT matching method with respect to tilt remote sensing images.

feature registration，MSER，SIFT，Harris-Laplace feature

TN911.73

A

1001-8891(2015)01-0020-05

2014-09-04；

2014-12-01.

王晓华（1981-），女，河南永城人，博士后，主要研究方向为数字摄影测量与遥感图像处理。E-mail:hxwwh@126.com。

河南理工大学2014年度博士基金资助项目，编号：B2014-07；测绘地理信息公益性行业科研专项项目，编号：201412020；校内青年基金，编号：Q2014-02A。