基于SIFT的遥感图像配准技术综述

李孚煜， 叶发茂

(南昌大学计算机科学与技术系,南昌　330031)

基于SIFT的遥感图像配准技术综述

李孚煜， 叶发茂

(南昌大学计算机科学与技术系,南昌330031)

摘要：遥感图像配准是图像融合、变化检测、图像镶嵌等应用中不可缺少的步骤。近年来，出现了大量基于尺度不变特征变换(scale invariant feature transform,SIFT)的遥感图像配准方法。在对已有基于SIFT的遥感图像配准文献的调研分析基础上，对各种SIFT遥感图像配准技术进行了系统性评述，将各种改进方法分为SIFT提升算法、针对遥感图像性质的改进、混合方法以及针对算法流程的改进等4类； 分析了不同类型改进方法的适用范围和优缺点； 指出了SIFT遥感图像配准技术存在的主要问题和难点，对其未来的发展方向进行了展望，为后续研究提供参考。

关键词：尺度不变特征变换(SIFT)； 遥感图像； 图像配准； 特征提取

0引言

图像配准是对同一场景从不同视角、用不同传感器获取的，有重叠区域的2景图像进行几何配准的过程[1]。在遥感图像的实际应用中，配准是图像融合、目标变化检测、地物识别以及图像镶嵌过程中必不可少的步骤。近年来，基于图像特征的配准方法得到了较快的发展，其中尺度不变特征(scale invariant features,SIF)是图像特征中一种重要特征; 尺度不变特征变换(scale invariant features transform,SIFT)是Lowe[2]在总结现有基于不变量技术的特征检测算法基础上提出的一种基于尺度空间对图像缩放、平移、旋转、仿射变换、视角变换和光照变换保持不变的特征提取算法。由于其匹配能力强，提取出的特征稳定，所以从各种图像局部不变特征描述子(discripter)中脱颖而出[3-4]，近年来在遥感图配准领域得到了越来越多的应用。本文对SIFT遥感图像配准技术的研究情况进行了系统评述。首先简单描述了一般性的SIFT图像配准方法； 然后介绍了为提高遥感图像配准的准确度近年对SIFT提出的一些改进算法，并分析了各种改进算法的适用范围和优缺点； 最后总结了SIFT遥感图像配准技术目前存在的主要问题和缺陷，并对其未来的发展方向进行了展望。

1SIFT图像配准

SIFT算法主要用于描述与检测图像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度和旋转不变量。该算法由 Lowe 在1999年提出[5]，2004年完善[2]。SIFT遥感图像配准的基本步骤[1]包括： ① 特征提取； ②特征匹配； ③配准模型确定； ④图像重采样。具体流程见图1。

① RANSAC为随机抽样一致性(random sample consensus)算法。

图1基于SIFT的图像配准流程图

Fig.1Flowchart of SIFT-based image registration

其中特征提取及特征匹配主要包括关键点检测、局部特征描述子生成和特征点匹配。

1.1关键点检测

SIFT算法是基于点的匹配算法，所以首先要找出具有代表性和稳定性的关键点。SIFT算法关键点检测的目的就是在图像的尺度空间中找出对图像缩放、旋转以及一定程度的噪声保持不变的点的精确位置，并对这些点进行筛选，为后续处理搜集足够多的信息。SIFT的关键点检测分为以下4个步骤：

1)生成高斯差(difference of Gaussians, DoG)尺度空间。图像的尺度空间L(x,y,σ)由一个变尺度的高斯函数G(x,y,σ)和图像I(x,y)卷积得到，即

L(x,y,σ)=G(x,y,σ)*I(x,y) ,

(1)

如果把σ看成是尺度变量，那么在尺度空间中，不同σ的G(x,y,σ)就组成一个组(Octave)。DoG响应值图像D(x,y,σ)由2个相邻高斯尺度空间的图像相减得到。实际算法中，DoG通过构建图像金字塔来实现，即将图像金字塔分成O组，每组S层，下一组的图像由上一组图像隔点降采样取得。将每组上下相邻2层的高斯尺度空间的图像相减，得到DoG。

2)寻找尺度空间中的局部极值点作为候选关键点。每个检测点都跟与其同尺度的8个相邻点以及上下相邻尺度的9个点(共8+9×2=26个点)进行比较，只保留局部极值点。这样得到的局部极值点即为粗略特征点。

3)精化关键点检测结果。通过子像元插值得到特征点的精确尺度，删除受边缘效应影响较大的点，通过子像元插值和去边缘效应，精化关键点检测结果。

4)生成关键点的主方向。根据关键点所在的尺度选取邻域，在该邻域内分36个方向统计所有点的梯度方向，取方向统计直方图中主峰的对应方向为主方向。若存在相当于主峰80%以上的方向，则将这些方向取为辅方向。每个关键点只有一个主方向，大约20%的关键点有1个或多个辅方向。每个探测到的关键点都包括位置信息、所在尺度及主方向信息，可以用1个4维向量来描述。

1.2局部特征描述子生成

得到在尺度空间中对图像缩放、旋转保持不变的关键点之后，SIFT为每一个关键点的主方向和每个辅方向生成一个描述子，并让这些描述子拥有尽可能多的不变性：

1)根据关键点所在尺度，选择相应大小的邻域，分为4×4个子区域，每个子区域有4像元×4像元。以主方向为基准对齐后，对每个子区域的梯度方向进行统计，形成8个方向的直方图。因存在4×4个子区域，每个子区域的梯度直方图有8个方向，故SIFT特征矢量有4×4×8=128维。由于直方图只有局部小区域的灰度统计信息，而仿射变换对灰度频率的影响甚微，所以如此产生的描述子对仿射变换也具有一定程度的不变性。

2)对特征矢量进行归一化处理，以使其拥有一定程度的光照强度不变性。

1.3特征点匹配

SIFT算法根据描述子之间的欧氏距离来判断其相似性，并根据相似性的大小进行特征点匹配。为减少误匹配，通常先使用比值提纯法对匹配结果进行提纯。除查询最近邻的描述子之外，还要考虑次近邻； 当次近邻距离与最近邻距离的比值小于阈值时，则认为这个SIFT图像配准基本流程不够显著，剔除该匹配对。匹配对比值提纯之后，一般还要使用随机抽样一致性(random sample consensus, RANSAC)方法剔除离群匹配对，以进一步减少误匹配。

2遥感图像配准

传统SIFT算法是为解决不同视角之间目标或场景的可靠匹配而提出的。该方法针对同一种传感器图像之间的图像匹配效果较好，但直接用于不同性质遥感图像之间的配准可能会失效； 在复杂场景或相似场景下，SIFT算法容易出现误匹配； 同时，传统SIFT算法也存在生成128维的描述子速度慢等问题。为了使SIFT算法能更好地应用于遥感图配准，很多研究者提出了不同的改进方案，可分为4类： ①SIFT提升算法； ②针对遥感图像性质的改进； ③混合方法； ④针对算法流程的改进。

2.1SIFT提升算法

在计算机视觉领域，继SIFT后又有大量提升算法[6-19]，有些已经被应用于遥感图像配准。Bay等[20]借鉴了SIFT的思想，于2008提出加速鲁棒特征(speeded-up robust features,SURF)描述子，用图像积分代替卷积运算，提高了特征提取的速度； Liu等[21]把SURF应用于SAR图像匹配，获得了高匹配率。Morel等[8]提出了仿射无关的ASIFT(affine-SIFT )算法； Yang等[22]将ASIFT应用于图像配准问题； Lin等[11]借鉴ASIFT的思想，改进了SURF，提出了仿射无关的ASURF(affine-SURF)算法。

针对SIFT描述子维数高(128维)导致计算量大的问题，Liu等[17]提出了利用核独立成分分析(kernel independent component analysis, KICA)降维的KICA-SIFT，并将其应用于遥感图配准。但这种提升方法需要图像的学习样本以生成特征空间投影矩阵，因而对不同类型的遥感图像需要分别训练，不能用于不同种类遥感图像的配准。此外，SURF的描述子只有64维，计算速度比SIFT快，但对尺度变化较大的图像无法保持特征的不变性。

Mikolajczyk等[7]于2005年提出的梯度位置定向直方图(gradient location-orientation histogram, GLOH)采用对数极坐标同心圆计算梯度直方图，在维度不变(128维)的情况下，提高了SIFT特征描述子的独特性，提升了算法的鲁棒性； 但此方法也需要训练样本。Sedaghat等[23]提出的鲁棒性一致的尺度不变特征变换(uniform robust SIFT,UR-SIFT)算法利用网络规则优化了SIFT特征点的分布，从而提高对具有局部变换的光学遥感图像的配准精度。

此类算法将计算机领域的SIFT提升算法应用到遥感图像配准，没有针对遥感图像的特点进行改进，对于光学遥感图像之间的配准，能够取得较好的效果； 但对于不同性质遥感图像之间的配准，可能得不到好的效果，甚至可能会失效。

2.2针对遥感图像性质的改进

遥感图像种类繁多，性质各异，有些图像与一般光学图像性质的差异较大。为使专为一般光学图像设计的SIFT算法能更好地应用于其他图像，许多针对遥感图像性质的改进被相继提出。

2.2.1针对SAR图像

SIFT本身是为有少量加性高斯噪声的一般光学图像设计的，SAR图像固有的乘性相干斑噪声严重影响了SIFT算法的关键点检测及特征描述子的稳定性。针对SAR图像的特征，研究者对SIFT做了相应的改进[24-29]。Lu等[24]在寻找尺度空间的局部极值点时，用24邻域替代8邻域，使提取出来的关键点有更好的抗噪性。Schwind等[25]提出跳过受光斑噪声影响最大的尺度空间金字塔第一层(SIFT-OCT)，并且用无限对称指数滤波器(infinite symmetric exponential filter, ISEF)处理图像，以进一步减少光斑噪声的影响，有效减少了计算量，抑制了光斑噪声产生的伪关键点。其后Suri等[26]又提出在描述子匹配阶段混合图像互信息，以提高采集方式不同的SAR图像之间匹配的一致性。Wang等[27]提出的双边滤波SIFT(bilateral filter SIFT,BFSIFT)算法用双边滤波器取代高斯滤波器生成尺度空间，用各向异性滤波器使滤除光斑噪声时边缘信息丢失较少； 该方法也略过尺度空间金字塔第一层，以减少光斑噪声的影响并提高速度。Dellinger等[28]提出的SAR-SIFT算法依照雷达图像特性重新定义了SAR图像梯度，并修改了SIFT的关键点检测算法，调整了主方向和描述子的生成方法； 实验表明，该方法在SAR图像匹配方面的效果远优于传统SIFT算法。

2.2.2针对不同类型图像

SIFT本身对线性灰度变化具有不变性，但多源遥感图之间的灰度差异复杂，可以是非线性的。Abedini等[30]对灰度差异较大的航摄图像和LiDAR图像分别用参数不同的SIFT算子提取特征，在匹配过程中用RANSAC和Baarda数据探测法剔除离群误匹配。Yi等[31]针对多光谱遥感图像配准问题提出的尺度约束SIFT (scale restricted SIFT,SR-SIFT)在匹配过程中有效减少了因多光谱遥感图像灰度差异大而导致的误匹配，但会减弱匹配的旋转不变性。Li等[32]在此基础上提出了尺度-方向联合约束准则，并提升了特征描述子的鲁棒性, 使其适用于多光谱及多传感器的情况。Vural等[33]提出的方向限制SIFT (orientation-restricted SIFT, OR-SIFT)不区分反向的灰度，以此将构造特征描述子时所用的方向柱(bin)数量减少为4； 该方法能适应灰度可能相反的多光谱遥感图像配准，速度快，但描述子的区分度有所下降。

2.2.3利用地理位置信息

遥感图像带有额外的地理位置信息，合理利用这些信息可以显著提高配准的速度和精度。Liu等[34]针对部分由装配了POS系统的机载干涉SAR系统采集的SAR图像，改进了SIFT描述子的匹配步骤： 先根据POS提供的位置和姿态数据剔除距离较远的匹配对，再根据匹配对的相关系数剔除误匹配； 实验结果表明匹配的准确率得到了大幅度提高。岳春宇等[35]提出先根据卫星遥感图像间的几何关系进行粗纠正，消除尺度和旋转差异； 再提取SIFT特征，并用结构相似性指数测度(structure similarity index measure,SSIM)取代欧氏距离作为SIFT特征之间的相似性测度； 该方法适用于星载SAR图像图像与可见光图像配准，几何定位精度影响大，只在变形小的地形平坦地区效果较好。

此类方法充分利用遥感图像特征和遥感图像具有的信息改进SIFT遥感图像配准，取得了一定的效果，也成为目前研究的热点。但遥感图像种类多、成像机理不同，导致图像差异很大，要从不同性质遥感图像中提取稳定、可靠的SIFT特征，还需开展进一步的研究。

2.3混合方法

除针对SIFT算法本身的改进外，还有很多研究将SIFT与其他方法结合起来。这些方法[36-40]将遥感图像配准划分为粗配准和精配准2个阶段，在粗配准阶段使用SIFT及其改进算法，然后使用其他方法进一步精配准。Yu等[36]先用SIFT特征描述子对多源遥感图像进行粗配准以获得相同尺度图像，再从小波域中提取Harris角点进行精配准。刘向增等[37]和Yi等[38]先利用改进的具有仿射不变性的SIFT特征描述符对SAR图像进行粗配准，再用奇异值分解(singular value decomposition,SVD)点匹配算法对图像进行精配准，从而提高了该算法对几何变化及灰度变化大的稳健性，但算法复杂度较高。Li等[39]结合SURF描述子和快速最小截平方和估计算子先对SAR图像进行粗配准，再使用归一化互相关方法进行精配准，取得亚像元级精度的变换参数。Ye等[40]先利用SR-SIFT对多光谱遥感图像进行粗配准，然后用Harris算子和局部自相似性描述子找到匹配对，并用全局一致性检验移除误匹配，完成精配准。宋智礼[41]针对多模态图像之间灰度差异巨大会造成SIFT算法特征点的正确匹配率低的问题，提出了一种综合利用特征点信息和图像中轮廓信息的图像配准新方法，有效提高了图像特征点的正确匹配率。王晓华等[42]首先利用Canny边缘检测算法提取SAR图像的闭合区域，用7阶不变矩特征作为闭合区域的描述子进行粗配准，再运用改进Canny边缘特征的SIFT算法进行精配准。

上述方法适用于尺寸、角度、平移以及各自畸变较大的图像之间的配准，配准精度高，通常能达到亚像元级水平。其缺点是由于综合了多种方法，增加了额外处理步骤，因而计算复杂度高，耗时长。

2.4针对算法流程的改进

还有些方法[43-50]改进了基于SIFT的图像配准流程，在一些步骤中结合或直接用其他方法替换了原有步骤。为了找出尽可能多的有效候选匹配对，2006年李晓明等[43]提出先设定比较小的最近邻与次近邻的距离比率阈值，选出可靠性较高的匹配对，据此初步计算出几何约束模型； 然后在该约束下对其余可能的匹配对进行挑选，以此扩展更多的匹配对。2008年Liu等[44]在特征提取中加入多尺度Harris检测算子空间尺度表示，并通过聚类方法和归一化互信息剔除误匹配，使大尺度图像和不同传感器图像配准效果得到提高。针对Lowe[2]提出的采用最近邻与次近邻的距离比率进行匹配的流程容易出现重复匹配、多对一匹配的问题，李芳芳等[45]与张建花等[46]分别提出了双向匹配算法，减少了原流程的误匹配。2010年Song等[47]在匹配步骤中使用三角区域取代RANSAC，能更好地处理大量SIFT描述子误匹配的情况； 并提出了一种基于Lissajous曲线的新的相似性度量方法，提高了配准准确率。Goncalves等[48]在SIFT配准流程中加入了图像分割步骤，通过分块选取减少数据量。Qiu等[49]先用Contourlet变换将遥感图像分解为高频和低频部分，再用不同方法分别提取特征区域对(低频部分使用SIFT特征，高频部分使用互相关系数)，最后再综合配准，克服了传统SIFT匹配算法完全忽略不同特征描述子之间的几何关系、只注重局部优化的局限。

此类方法针对SIFT的配准流程进行改进，主要目的在于获取更多可靠的SIFT特征匹配对，以提高配准精度。但这些方法将SIFT特征独立看待，没有将多个SIFT特征或者所有的SIFT特征作为一个整体，进行整体匹配。通过这种整体匹配，可以利用SIFT特征之间的空间位置和形状等信息，减少单个SIFT算法因特征信息不足而可能导致的误匹配。李伟峰等[50]把SIFT特征作为特征点集，用Hausdorff距离作为适应度函数,通过遗传算法(genetic algorithm, GA)寻求图像间的几何变换参数。这种方法把基于特征点的匹配转变为基于点集的匹配，具有更高的抗噪性。高华等[51]将所有的SIFT作为一个整体进行匹配，并用置信传播(belief propagation,BP)算法求解最优匹配。

3问题与展望

3.1面临的问题

对SIFT遥感图像配准技术研究已有很多，但仍存在一些难点没有解决，主要表现在2个方面：

1)不同性质遥感图像配准的问题。对不同类型传感器获取的图像进行配准时，由于噪声性质差异和成像机理不同，像元表现形式不同，使得图像之间灰度分布差异较大，直接使用SIFT方法进行配准的精度很低，甚至会匹配失败。SIFT特征描述子很适合多源遥感图像之间的配准，很多研究利用SIFT特征描述子并做出种种改进用于解决多源遥感图像配准问题，但基本上都是针对有明显地物(道路、河流等)特征的图像，目前仍没有统一的框架，尚未形成很成熟的方法及处理流程。因此，如何把SIFT方法更好地应用于多源遥感图配准，仍需进一步深入研究。

2)关于配准速度的问题。许多实际应用对遥感图像配准速度有较高要求。SIFT方法在特征提取和匹配过程中普遍耗时较多，不能满足有实时性或应急需求的配准任务的要求。随着遥感图像的空间分辨率和光谱分辨率越来越高，单景遥感图像的数据量会加倍增长，数据处理时间也会越来越长。因此，如何在保证配准精度的前提下提高配准效率越发显得重要。

3.2展望

SIFT算法具有一些良好的特性，非常适用于遥感图像配准。如何更好地发挥SIFT算法的特性，提高遥感图像配准的精度和速度，以下几方面可能会是有益的探索：

1)适用于不同性质遥感图像配准的SIFT 特征描述子研究。很多研究者已经开始研究适用于不同数据源遥感图像配准的SIFT特征描述子，并取得了一定的成果。但这些研究只是针对特定2种或几种类型遥感图像的SIFT特征描述子，尚未研究通用的遥感图像配准SIFT特征描述子。因此，研究与遥感图像性质无关、适用于不同数据源遥感图像配准的SIFT特征描述子是未来研究的一个方向。

2)与人工智能技术结合。随着人工智能技术的发展，已有一些人工智能方法应用到遥感图像配准，如Ye等[52]应用人工免疫优化算法实现了遥感图像粗配准。但目前还鲜有将人工智能方法应用于SIFT遥感图像配准中。很多人工智能方法的引入可以改善SIFT遥感图像配准方法，例如： 利用人工智能中的粗糙集方法进行SIFT描述子的降维； 利用人工智能中一些优化方法进行SIFT特征的匹配。

3)与并行计算技术结合。计算机硬件的发展以及并行计算和网格计算技术的发展，可为解决SIFT方法在特征提取和匹配过程中耗时较多、不能满足实时性要求的问题提供较好的解决方案。有些研究者已经开始这方面的尝试，例如Warn等[53]使用现场可编程逻辑门阵列(field programmable gate array,FPGA)直接在硬件上实现并行SIFT算法。因此，研发并行化SIFT遥感图像配准算法也是未来研究的一个重要方向。

4)与其他配准方法结合。将SIFT的遥感图像配准算法与其他配准方法进行集成，研究能够根据具体情况自动评价和选择配准算法的引擎[54]，为用户提供更好的图像配准解决方案，无疑将成为未来研究的一大趋势。

4结论

1)SIFT方法从1999年被提出之后，在短短的10余年间，在遥感图像配准领域得到了广泛的应用，并且仍然处于蓬勃发展之中。

2)在对SIFT遥感图像配准技术的研究进程进行系统评述的基础上，本文描述了一般性的SIFT图像配准方法和4类SIFT应用于遥感图配准的改进算法，包括SIFT提升算法、针对遥感图像性质的改进、混合方法以及针对算法流程的改进等，并分析了各种改进方法的适用范围和优缺点。

3)SIFT遥感图像配准技术目前所面临的主要问题是如何实现多源不同性质遥感图像的配准和在保证配准精度的前提下提高配准速度。

4)为更好地发挥SIFT算法的良好特性，进一步提高遥感图像配准的精度和速度，有必要在适用于不同性质遥感图像配准的SIFT 特征描述子研发、与人工智能技术结合、并行计算以及与其他配准方法相结合等方面做更深入的研究探索。

参考文献(References)：

[1]Zitová B,Flusser J.Image registration methods:A survey[J].Image and Vision Computing,2003,21(11):977-1000.

[2]Lowe D G.Distinctive image features from scale-invariant key points[J].International Journal of Computer Vision,2004,60(2):91-110.

[3]王永明,王贵锦.图像局部不变性特征与描述[M].北京:国防工业出版社,2010.

Wang Y M,Wang G J.Image Local Invariant Features and Descriptors[M].Beijing:National Defense Industry Press,2010.

[4]余先川,吕中华,胡丹.遥感图像配准技术综述[J].光学精密工程,2013,21(11):2960-2972.

Yu X C,Lyu Z H,Hu D.Review of remote sensing image registration techniques[J].Optics and Precision Engineering,2013,21(11):2960-2972.

[5]Lowe D G.Object recognition from local scale-invariant features[C]//The Proceedings of the 7th IEEE International Conference on Computer Vision.Kerkyra:IEEE,1999,2:1150-1157.

[6]Vedaldi A.An Implementation of SIFT Detector and Descriptor[R].Los Angeles:University of California,2006.

[7]Mikolajczyk,Schmid C.A performance evaluation of local descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(10):1615-1630.

[8]Morel J M,Yu G S.ASIFT:A new framework for fully affine invariant image comparison[J].SIAM Journal on Imaging Sciences,2009,2(2):438-469.

[9]Zhang N.Computing parallel speeded-up robust features(P-SURF) via POSIX threads[M]//Huang D S,Jo K H,Lee H H,et al.Emerging Intelligent Computing Technology and Applications.Berlin Heidelberg:Springer,2009:287-296.

[10]Duan C,Meng X,Tu C,et al.How to make local image features more efficient and distinctive[J].IET Computer Vision,2008,2(3):178-189.

[11]Lin C,Liu J,Cao L.Image matching by affine speed-up robust features[C]//Proceedings of Pattern Recognition and Computer Vision.Guilin,China:SPIE,2011,8004:80040G.

[12]Tuytelaars T,Mikolajczyk K.Local invariant feature detectors:A survey[J].Foundations and Trends in Computer Graphics and Vision,2008,3(3):177-280.

[13]Cheung W,Hamarneh G.N-sift:N-dimensional scale invariant feature transform for matching medical images[C]//Proceedings of the 4th IEEE International Symposium on Biomedical Imaging:From Nano to Macro.Arlington,VA:IEEE,2007:720-723.

[14]Ke Y,Sukthankar R.PCA-SIFT:A more distinctive representation for local image descriptors[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington,DC:IEEE.2004,2:506-513.

[15]Kupfer B,Netanyahu N S,Shimshoni I.An efficient SIFT-based mode-seeking algorithm for sub-pixel registration of remotely sensed images[J].IEEE Geoscience and Remote Sensing Letters,2015,12(2):379-383.

[16]Lingua A,Marenchino D,Nex F.Performance analysis of the SIFT operator for automatic feature extraction and matching in photogrammetric applications[J].Sensors,2009,9(5):3745-3766.

[17]Liu X Z,Tian Z,Leng C C,et al.Remote sensing image registration based on KICA-SIFT descriptors[C]//Proceedings of the Seventh International Conference on Fuzzy Systems and Knowledge Discovery(FSKD).Yantai:IEEE,2010,1:278-282.

[18]Bu F,Qiu Y,Liu J,et al.Improved bidirectional image registration based on Radon-SIFT[J].Journal of Computational Information Systems,2012,8(12):4997-5004.

[19]Gong M G,Zhao S M,Jiao L C,et al.A novel coarse-to-fine scheme for automatic image registration based on SIFT and mutual information[J].IEEE Transactions on Geoscience and Remote Sensing,2014,52(7):4328-4338.

[20]Bay H,Ess A,Tuytelaars T,et al.Speeded-up robust features(SURF)[J].Computer Vision and Image Understanding,2008,110(3):346-359.

[21]Liu R H,Wang Y G.SAR image matching based on speeded up robust feature[C]//Proceedings of WRI Global Congress on Intelligent Systems.Xiamen:IEEE,2009,4:518-522.

[22]Yang J B,Hu F Y.Image registration algorithm based on ASIFT[J].Electronic Technology,2012(7):39-42.

[23]Sedaghat A,Mokhtarzade M,Ebadi H.Uniform robust scale-invariant feature matching for optical remote sensing images[J].IEEE Transactions on Geoscience and Remote Sensing,2011,49(11):4516-4527.

[24]Lu J,Wang B,Gao H M,et al.SAR images matching based on local shape descriptors[C]//Proceedings of IET International Radar Conference.Guilin:IEEE,2009:1-4.

[25]Schwind P,Suri S,Reinartz P,et al.Applicability of the SIFT operator to geometric SAR image registration[J].International Journal of Remote Sensing,2010,31(8):1959-1980.

[26]Suri S,Schwind P,Reinartz P,et al.Combining mutual information and scale invariant feature transform for fast and robust multisensor SAR image registration[C]//Proceedings of the 75th annual ASPRS Conference.Wessling,Germany:Remote Sensing Technology Institute,2009.

[27]Wang S H,You H J,Fu K.BFSIFT:A novel method to find feature matches for SAR image registration[J].IEEE Geoscience and Remote Sensing Letters,2012,9(4):649-653.

[28]Dellinger F,Delon J,Gousseau Y,et al.SAR-SIFT:A SIFT-like algorithm for applications on SAR images[C]//Proceedings of IEEE International Geoscience and Remote Sensing Symposium(IGARSS).Munich:IEEE,2012:3478-3481.

[29]Fan J W,Wu Y,Wang F,et al.SAR image registration using phase congruency and nonlinear diffusion-based SIFT[J].IEEE Geoscience and Remote Sensing Letters,2015,12(3):562-566.

[30]Abedini A,Hahn M,Samadzadegan F.An investigation into the registration of LIDAR intensity data and aerial images using the SIFT approach[C]//Proceedings of the 2nd International Archives of Photogrammetry,Remote Sensing and Spatial Information Sciences.Beijing,2008,37:3-11.

[31]Yi Z,Zhiguo C,Yang X.Multi-spectral remote image registration based on SIFT[J].Electronics Letters,2008,44(2):107-108.

[32]Li Q L,Wang G Y,Liu J G,et al.Robust scale-invariant feature matching for remote sensing image registration[J].IEEE Geoscience and Remote Sensing Letters,2009,6(2):287-291.

[33]Vural M F,Yardimci Y,Temizei A.Registration of multispectral satellite images with orientation-restricted SIFT[C]//Proceedings of IEEE International Geoscience and Remote Sensing Symposium.Cape Town:IEEE,2009,3:III-243-III-246.

[34]Liu J Z,Yu X C.Research on SAR image matching technology based on SIFT[C].Proceedings of the 2nd International Archives of Photogrammetry,Remote Sensing and Spatial Information Sciences.Beijing,2008,37:403-408.

[35]岳春宇,江万寿.几何约束和改进SIFT的SAR影像和光学影像自动配准方法[J].测绘学报,2012,41(4):570-576.

Yue C Y,Jiang W S.An automatic registration algorithm for SAR and optical images based on geometry constraint and improved SIFT[J].Acta Geodaetica et Cartographica Sinica,2012,41(4):570-576.

[36]Yu L,Zhang D R,Holden E J.A fast and fully automatic registration approach based on point features for multi-source remote-sensing images[J].Computers & Geosciences,2008,34(7):838-848.

[37]刘向增,田铮,温金环,等.基于仿射不变SIFT特征的SAR图像配准[J].光电工程,2010,37(11):121-127.

Liu X Z,Tian Z,Wen J H,et al.SAR image registration based on affine invariant SIFT features[J].Opto-Electronic Engineering,2010,37(011):121-127.

[38]Yi Z,Zhang X,Mu X,et al.SAR image registration based on SIFT and MSA[C]//Conferences of the Photoelectronic Technology Committee of the Chinese Society of Astronautics:Optical Imaging, Remote Sensing,and Laser-Matter Interaction.Suzhou:SPIE,2014,9142:91421K.

[39]Li D,Zhang Y H.A fast offset estimation approach for InSAR image subpixel registration[J].IEEE Geoscience and Remote Sensing Letters,2012,9(2):267-271.

[40]Ye Y X,Shan J.A local descriptor based registration method for multispectral remote sensing images with non-linear intensity differences[J].ISPRS Journal of Photogrammetry and Remote Sensing,2014,90:83-95.

[41]宋智礼.基于特征点与边界信息的全自动多模态遥感图像配准方法[J].国土资源遥感,2014,26(3):48-54.doi:10.6046/gtzyyg.2014.03.08.

Song Z L.Automatic approach based on point and curve features for multimodal remote sensing image registration[J].Remote Sensing for Land and Resources,2014,26(3):48-54.doi:10.6046/gtzyyg.2014.03.08.

[42]王晓华,邓喀中,杨化超.集成互补不变特征的SAR影像自动配准[J].国土资源遥感,2014,26(1):52-56.doi:10.6046/gtzyyg.2014.01.10.

Wang X H,Deng K Z,Yang H C.Automatic SAR image registration of integrated complementary invariant features[J].Remote Sensing for Land and Resources,2014,26(1):52-56.doi:10.6046/gtzyyg.2014.01.10.

[43]李晓明,郑链,胡占义.基于SIFT特征的遥感影像自动配准[J].遥感学报,2006,10(6):885-892.

Li X M,Zheng L,Hu Z Y.SIFT based automatic registration of remotely-sensed imagery[J].Journal of Remote Sensing,2006,10(6):885-892.

[44]Liu X J,Yang J,Sun J W,et al.Image registration approach based on SIFT[J].Infrared and Laser Engineering,2008,37(1):156-160.

[45]李芳芳,肖本林,贾永红,等.SIFT算法优化及其用于遥感影像自动配准[J].武汉大学学报:信息科学版,2009,34(10):1245-1249.

Li F F,Xiao B L,Jia Y H,et al.Improved SIFT algorithm and its application in automatic registration of remotely-sensed imagery[J].Geomatics and Information Science of Wuhan University,2009,34(10):1245-1249.

[46]张建花,白仲斐,惠广裕.基于SIFT算法的异源遥感影像自动匹配研究[J].电子设计工程,2011,19(13):176-179.

Zhang J H,Bai Z F,Hui G Y.Research on automatic registration of multi-source remote sensing images based on SIFT algorithm[J].Electronic Design Engineering,2011,19(13):176-179.

[47]Song Z L,Li S,George T F.Remote sensing image registration approach based on a retrofitted SIFT algorithm and Lissajous-curve trajectories[J].Optics Express,2010,18(2):513-522.

[48]Goncalves H,Corte-Real L,Goncalves J A.Automatic image registration through image segmentation and SIFT[J].IEEE Transactions on Geoscience and Remote Sensing,2011,49(7):2589-2600.

[49]Qiu P R,Liang Y.The improved algorithm of remote sensing image registration based on SIFT and CONTOURLET transform[C]//Proceedings of the 4th IEEE International Conference on Software Engineering and Service Science(ICSESS).Beijing:IEEE,2013:906-909.

[50]李伟峰,周金强,方圣辉.基于改进Hausdorff距离的图像配准方法[J].国土资源遥感,2014,26(2):93-98.doi:10.6046/gtzyyg.2014.02.16.

Li W F,Zhou J Q,Fang S H.Image registration method based on improved Hausdorff distance[J].Remote Sensing for Land and Resources,2014,26(2):93-98.doi:10.6046/gtzyyg.2014.02.16.

[51]高华,曹锋,陈明星.基于SIFT-BP的图像配准算法[J].重庆理工大学学报:自然科学,2011,25(12):106-110.

Gao H,Cao F,Chen M X.Algorithm of image registration based on SIFT-BP[J].Journal of Chongqing Institute of Technology:Natural Science,2011,25(12):106-110.

[52]Ye F M,Xu S P,Xiong Y H.Two-step image registration by artificial immune system and chamfer matching[J].Chinese Optics of Letters,2008,6(9):651-653.

[53]Warn S,Emeneker W,Cothren J,et al.Accelerating SIFT on parallel architectures[C]//Proceedings of IEEE International Conference on Cluster Computing and Workshops.New Orleans,LA:IEEE,2009:1-4.

[54]Moigne J L,Netanyahu N S,Eastman R D.Image Registration for Remote Sensing[M].Cambridge:Cambridge University Press,2011.

(责任编辑： 刘心季)

Summarization of SIFT-based remote sensing image registration techniques

LI Fuyu， YE Famao

(DepartmentofComputerScienceandEngineering，NanchangUniversity，Nanchang330031，China)

Abstract:Remote sensing image registration is an indispensable part in such aspects as remote sensing image fusion, change detection, and image mosaicking. Recently, many SIFT-based remote sensing image registration methods have been presented. In this paper, SIFT-based remote sensing image registration techniques are discussed in a systematic way. Improvements of these techniques are categorized into 4 types, i.e., application of improved-SIFT, improvement of remote sensing image properties, combination with other methods, and improvement of the algorithm process. Then, the advantages, disadvantages and scope of applications are analyzed for each category. The existent problems and difficulties of SIFT-based remote sensing image registration are summarized. Finally, the prospects of SIFT-based remote sensing registration are predicted so as to provide some valuable references for researchers in this field.

Keywords:scale invariant feature transform(SIFT)； remote sensing image； image registration； feature extraction

doi:10.6046/gtzyyg.2016.02.03

收稿日期：2014-12-17；

修订日期：2015-03-18

基金项目：国家自然科学基金项目“基于人工禁忌免疫原理的多源遥感图像自动配准研究 ”(编号： 41261091)资助。

中图法分类号：TP 79

文献标志码：A

文章编号：1001-070X(2016)02-0014-07

第一作者简介：李孚煜(1989-),男,硕士研究生,主要研究方向为遥感图像配准。Email: lifuyu198919@gmail.com。

通信作者：叶发茂(1978-),男,副教授,主要从事遥感图像处理和人工智能方面研究。Email: yefamao@ncu.edu.cn。

引用格式： 李孚煜,叶发茂.基于SIFT的遥感图像配准技术综述[J].国土资源遥感,2016,28(2)：14-20.(Li F Y,Ye F M.Summarization of SIFT-based remote sensing image registration techniques[J].Remote Sensing for Land and Resources,2016,28(2)：14-20.)