一种结合拓扑信息和SIFT特征的多源遥感影像自动匹配方法

杜春鹏，李景山

(1. 中国科学院遥感与数字地球研究所，北京 100094; 2. 中国科学院大学,北京 100000)

一种结合拓扑信息和SIFT特征的多源遥感影像自动匹配方法

杜春鹏1,2，李景山1

(1. 中国科学院遥感与数字地球研究所，北京 100094; 2. 中国科学院大学,北京 100000)

基于单一特征的匹配办法在多源遥感影像匹配中往往不适用的问题，提出了一种结合拓扑信息和SIFT特征的自动多源遥感影像匹配方法。该方法首先在两幅影像中使用SIFT算法在尺度空间上提取特征向量，其次对这些特征点使用最近邻提取1：N的多个可能的匹配点对，然后结合位置信息和拓扑信息对这些可能的匹配点对进行剔除，并使用RANSAC方法剔除粗差，最终得到同名匹配点。试验结果表明，相比于计算机视觉领域常用的SIFT算法，本文方法可有效地提高匹配正确率，并获得更多正确的同名点。

多源影像配准；拓扑信息；SIFT

图像匹配是指将两幅或多幅具有同一场景的，成像于不同时间、不同视角的图像进行几何匹配的过程[1]。图像匹配算法主要可以分为基于区域的算法、基于特征的算法及基于理解的算法，每种算法都有各自的特点和适用的场景。

近年来，SIFT(scale invariant feature transform)特征[2]在图像匹配方面取得了很大的成功。SIFT算法是基于尺度空间的，对图像缩放、旋转、尺度保持不变性的一种局部特征提取和描述算法，由于其较好的鲁棒性和较快的运算速度，因此在图像匹配领域得到了广泛的应用。

但是遥感影像与常见的计算机视觉处理的图像并不完全相同，遥感图像纹理更加丰富，而多源遥感影像则更加复杂。由于成像于不同传感器，多源遥感影像的几何和灰度特征变化比较复杂，计算机视觉中的一些匹配算法往往不能很好地适用于多源遥感影像匹配中。

针对这一情况，国内外许多学者作了大量的分析和研究。吕步云等[3]结合SIFT特征和NDVI指数提取特征点，并使用光谱角对得到的特征进行相似性度量从而实现多源遥感影像配准。李芳芳等[4]提出了一种基于线特征和SIFT点特征的多源遥感影像配准方法，利用线特征来约束SIFT点特征从而实现配准。Li Q等[5]通过附加尺度方向约束，细化特征向量来改善SIFT算法匹配效果。Yi Z等[6]提出了SR-SIFT算法，该算法使用尺度限制剔除误匹配点，进而提高匹配精度。刘志文等[7]通过波段代数将遥感影像的非线性灰度变化转化为线性或近似线性的方法来完成匹配。崔建军等[8]利用摄影基线改进SIFT算法，在一定程度上解决了大倾斜航空影像的自动匹配问题。陈华等[9]提出了一种利用SIFT算法来解决不同分辨率、不同波段的SAR影像配准方法。肖雄武等[10]结合SIFT算法提出了一种较为快速且具有仿射不变性的倾斜影像匹配方法。

本文针对多源影像匹配时匹配点分布严重不均匀及错配率高等问题进行了研究，提出一种结合拓扑信息和SIFT特征的多源遥感影像自动匹配方法。

1 多源遥感影像自动匹配方法

多源遥感影像匹配的关键在于找到一种稳定的特征点提取和描述算法，该算法可以在两幅影像上稳定地呈现大量潜在特征点，进而用一种鲁棒的描述方法从这些潜在特征点中提取不变量进行相似性度量。即多源遥感影像匹配的重点就是在参考影像和待配准影像上提取不受旋转、缩放、尺度、灰度因素影响的不变量。

SIFT算法可以提取到对缩放、旋转、仿射变换具有鲁棒性的不变量，这些特点使得SIFT算法被广泛运用于图像匹配领域。然而如果在多源遥感影像匹配中直接应用SIFT算法，虽然能够检测到大量特征点，但是会出现匹配点分布严重不均匀及错配率高的情况。这是由于SIFT算法对于匹配点的选取是以特征向量的相似度大小为准则。一般认为特征向量相似度最大的点为正确匹配点，但当待匹配影像受到外界环境干扰较大时，特征向量相似度最大的点很可能不是正确匹配点。并且通过对SIFT生成特征向量的算法进行分析，SIFT算法在计算描述符时，采用关键点邻域上的信息来表示关键点的特征量，只利用了局部的像素信息量。如果一幅影像在不同区域内具有相似邻域特征，那么SIFT算法对这些区域提取到的特征向量不能很好地进行区分，很容易产生误匹配。

而对于一幅遥感影像来说，除了特征之外，还可以从影像上得到关键点的位置和拓扑信息。位置信息能够帮助缩小匹配的检测区域，在相对小的邻域范围内找寻匹配点。而拓扑信息描述了影像的空间位置关系，在成像条件变化时也能保持一定的稳定性。

因此，本文在SIFT粗匹配的基础上从位置和拓扑信息两方面对错误匹配进行剔除，最后利用RANSAC(random sample consensus)粗差提纯法进一步保证匹配的正确性。

试验步骤如图1所示。

图1 自动匹配算法过程

(1) 首先在待校正影像上利用SIFT算法生成特征点集A，SIFT算法中关键点检测是在多尺度空间完成，一幅图像的尺度空间定义为

L(x,y,σ)=G(x,y,σ)I(x,y)

(1)

式中，I(x，y)表示原图像；G为高斯核，其中

(2)

为尺度可变高斯函数；(x，y)代表图像的像素位置；σ为尺度空间因子，其值越小表示图像被平滑得越少，相应的尺度也就越小。为了有效检测到关键点，继续在高斯差分空间寻找极值点，这些极值点就是可能的同名点，高斯差分空间定义为

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))I(x,y)

(3)

(2) 由于获取的很多经过系统级几何校正的一级遥感影像产品都会提供RPC参数信息，因此，可以利用这些参数信息计算相对位置，从而对SIFT特征进行规范。

这种做法主要是出于两方面的考虑，在实际数据试验时使用SIFT算法对大幅面高分辨率遥感影像进行特征提取时会遇到以下两个问题：①第一个问题，SIFT算法在进行整幅影像特征点匹配时一对多的情况经常出现。这是由于SIFT算法特征提取是局部的，这就导致了匹配上的特征向量可能是不准确的。虽然SIFT在尺度空间可以产生高达128维的特征描述符，但是这并不能保证匹配上的两个特征向量是地理位置相邻的，这就导致错配比较严重，进而会导致影像经过SIFT算法自动匹配获取的同名点分布并不均匀，这种情况会导致图像局部匹配精度不高[11]。②第二个问题是由于SIFT算法具有较高的时间和空间复杂度，对大分辨率影像进行处理时计算机的内存大小和CPU处理速度都可能成为遥感图像匹配的瓶颈。SIFT算法在构建高斯差分金字塔时需要申请很大内存空间，并且由于算法基于尺度空间对图像进行分析，在特征检测阶段需要运行较多的卷积运算和直方图加权运算，对高达128维的特征描述符进行匹配也包含了大量的浮点运算，导致大分辨率图像的匹配时间呈几何增长[12]。

针对这两方面的问题，可以借助遥感卫星数据预处理平台提供的粗精度RPC参数来解决。通过RPC参数可以将SIFT特征向量的搜索空间限制在一定的范围内，这是因为建立起两幅影像之间的位置关联就可以用位置信息去约束搜索空间的大小。因此，对特征点集A中的每个点，利用遥感卫星预处理平台提供的RPC参数演算出在参考影像上的大体位置，并设定搜索窗口的大小。这样不仅解决了特征点分布不均匀的问题，也解决了搜索空间过大导致误匹配过多的问题。

(3) 最关键的是相似性度量，传统的SIFT算法常常采用Lowe提出的最近邻次近邻距离比值法来提取匹配的同名点。在进行匹配时首先计算待校正影像上某一个关键点与参考影像上所有关键点之间的欧氏距离，取出其中的最小值和次小值，将最小值和次小值相除，如果它们的结果小于某个阈值，就认为它们是匹配的同名点，否则就将它抛弃[13]。

在使用这种方法进行相似性度量时，会出现两个特征符合阈值条件的关键点，但又不是同名点的情况。本文对两幅影像使用SIFT算法进行了匹配试验，图2为两幅对同一地物进行拍摄的影像，使用箭头标明了SIFT特征向量主方向。

接着以Lowe通过多次试验得出的建议阈值0.8作为滤除阈值，将符合条件的点用白线标出，匹配结果如图3所示。

在图3中通过目视就可以看到许多满足了阈值条件的匹配点明显不是同名点。

而对于两幅由不同传感器拍摄的遥感影像来说，拓扑信息描述了影像中空间元素的位置关系，在成像条件变化时也能保持一定的稳定性。具体到遥感影像的特征匹配中时，可以得到以下拓扑不变性约束条件：①关键点与线段的关系保持不变，如位于直线上的点和位于曲线上的点等，并且线段上点的顺序也保持不变。②关键点与其他关键点组成的三角形位置约束。如取4个关键点，以其中3个点组成三角形，另外一个关键点与这个三角形的位置关系保持不变。③邻域约束不变。对于一个关键点A来说，它周围一定邻域内存在的关键点B和关键点C。那么，就应该在A对应同名点的附近邻域范围内找到B和C的同名点。

图2 SIFT特征提取效果

图3 SIFT匹配效果

因此，基于以上分析，本文利用拓扑信息来消除SIFT特征向量的误匹配，以提高匹配精度。

本文在实现时，主要参考了拓扑约束条件①，首先对影像使用Canny算法进行边缘检测，提取影像特征直线，然后利用直线匹配测度获取同名直线。接着通过同名直线对之前的初匹配点进行拓扑约束，从而获得同名点。在直线的匹配过程中，本文采用的是苏娟[14]的直线匹配模型。

(4) 对得到的初步匹配点使用RANSAC算法进一步筛选。在实际的匹配过程中可以发现，生产实践中的数据往往会有一定的偏差，即使通过相似性度量测度之后，仍然会有一些错误匹配点存在。可以使用RANSAC算法来剔除这些错误匹配。RANSAC算法是根据一组包含异常数据的样本数据集，迭代计算出正确数学模型参数，从而得到有效样本数据[15]。

RANSAC算法将从试验数据到真实数据的映射看作是进行了一个仿射变换模型。该模型的参数是未知的，通过从众多既包含正确值也包含异常值的匹配中采用多次迭代的方法计算其变换矩阵，进而筛选出正确的匹配。

使用RANSAC算法可以极大地提高匹配的正确率，将不正确的匹配点筛选出来，最终得到大部分正确的匹配点。

2 试验与分析

为了验证基于RPC模型的高分卫星自动遥感影像精校正算法的有效性，本文以中国遥感卫星地面站卫星数据技术部通用遥感卫星数据处理预系统获取的高分卫星一级产品作为研究对象，并以Landsat8影像作为标准影像进行试验。其中高分一号卫星宽幅载荷影像作为待校正影像，分辨率为16 m，成像时间为2016年10月30日。Landsat8卫星全色波段影像作为参考影像，分辨率为15 m，成像时间为2016年5月1日。

得到的同名点分布如图4所示。

图4 同名点分布对比

控制点提取结果见表1。

从试验结果分析，从图4可以看到匹配的同名点分布均匀，通过目视观察就可以确认这些点即所需要的同名点。通过表1可以看出X方向的最大误差为27.4 m，最小误差为1.0 m；Y方向的最大误差为27.9 m，最小误差为2.8 m，可以判定为稳定的同名点。

表1 控制点结果

3 结 语

本文首先分析了SIFT算法应用在多源遥感匹配时的缺点，然后结合拓扑信息、位置信息和SIFT特征向量实现了自动多源遥感影像匹配。经过对比试验验证，相比于计算机视觉领域常用的SIFT算法，本文方法可有效地提高匹配正确率，并且能够获得更多正确的同名点。

[2] LOWE D G. Distinctive Image Features from Scale-iInvariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2):91-110.

[3] LÜ B, ZHAO L, LI X. Remote Sensing Image Registration using SIFT and Vegetation Index Analysis[C]∥Global Navigation Satellite Systems. [S.l.]: CRC Press, 2015:575-579.

[4] 李芳芳, 贾永红, 肖本林,等. 利用线特征和SIFT点特征进行多源遥感影像配准[J]. 武汉大学学报(信息科学版), 2010, 35(2):233-236.

[5] LI Q, WANG G, LIU J, et al. Robust Scale-invariant Feature Matching for Remote Sensing Image Registration[J]. IEEE Geoscience & Remote Sensing Letters, 2009, 6(2):287-291.

[6] Z Y,C Z,X Y. Multi-spectral Remote Image Registration Based on SIFT[J]. Electronics Letters, 2008, 44(2):107-108.

[7] 刘志文, 刘定生, 刘鹏. 应用尺度不变特征变换的多源遥感影像特征点匹配[J]. 光学精密工程, 2013, 21(8):2146-2153.

[8] 崔建军, 李亚东, 张晓栋,等. 利用摄影基线改进SIFT算法[J]. 测绘通报, 2016(8):62-64.

[9] 陈华, 邓喀中, 张以文,等. 结合SIFT和RANSAC算法的InSAR影像配准[J]. 测绘通报, 2015(12):30-33.

[10] 肖雄武, 郭丙轩, 李德仁,等. 一种具有仿射不变性的倾斜影像快速匹配方法[J]. 测绘学报, 2015, 44(4):414-421.

[11] 倪希亮. 基于尺度不变特征的多源遥感影像匹配[D]. 济南：山东科技大学, 2010.

[12] 唐坤. 尺度不变特征的研究及其在图像匹配中的应用[D]. 镇江：江苏科技大学, 2014.

[13] 徐展. 基于SURF特征点库的遥感影像自动匹配研究[D]. 上海：华东师范大学, 2010.

[14] 苏娟, 林行刚, 刘代志. 一种基于结构特征边缘的多传感器图像配准方法[J]. Acta Automatica Sinica, 2009, 35(3):251-257.

[15] 魏征. 车载LiDAR点云中建筑物的自动识别与立面几何重建[D]. 武汉：武汉大学, 2012.

AMulti-sensorRemoteSensingImageAutomaticMatchingMethodBasedonTopologicalInformationandSIFTFeatures

DU Chunpeng1,2,LI Jingshan1
(1. Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences, Beijing 100094, China; 2. Chinese Academy of Sciences, Beijing 100000, China)

Based on the question of matching method of single feature matching in multi-source remote sensing images are often not ideal, a matching method for combination of topology information and SIFT automatic feature of multi-source remote sensing image is proposed in this paper. The method first in two images using the SIFT algorithm in scale space to extract feature vectors, then these feature points using the nearest neighbor the extraction of 1∶Nmultiple possible matching points. Secondly, the matching points are eliminated by the combination of location information and topological information, and the double edge matching strategy and the RANSAC method are used to eliminate the coarse tea. The experimental results show that compared with the SIFT algorithm commonly used in the field of computer vision, the proposed method can effectively improve the matching accuracy and obtain more correct points of the same name.

multi-sensor image registration; topological information; SIFT

杜春鹏，李景山.一种结合拓扑信息和SIFT特征的多源遥感影像自动匹配方法[J].测绘通报，2017(10)：115-119.

10.13474/j.cnki.11-2246.2017.0327.

2017-04-14；

2017-05-31

杜春鹏(1991—)，男，硕士，主要从事高性能遥感卫星数据地面预处理研究。 E-mail: ducp@radi.ac.cn

李景山。E-mail : jsli@ceode.ac.cn

P23

A

0494-0911(2017)10-0115-05