基于SIFT算法的图像配准综述

黄海波 李晓玲 熊文怡

摘 要：SIFT图像配准是图像处理领域的一项重要技术，在遥感测绘、目标识别、图像及视频检索、导航制导和场景分类等多个领域应用广泛。在对现有SIFT图像配准文献研究的基础上，介绍了经典SIFT算法，将各种SIFT改进方法划分为基于特征点提取的改进和基于图像匹配的改进两类，对各类型的改进方法进行了系统阐述。介绍了点特征图像配准算法性能评价指标，展望了该算法的研究前景。

关键词：SIFT;图像配准;点特征;图像处理

DOI：10. 11907/rjdk. 182042

中圖分类号：TP301文献标识码：A文章编号：1672-7800（2019）001-0001-04

Abstract： Image registration based on SIFT is an important technology in image processing. This technology has been widely used in many fields such as remote sensing mapping， object identification， image and video retrieval， navigation guidance and scene classification. With the study of existing documents of SIFT image registration， the classical SIFT algorithm is introduced in this paper. And the improved methods of SIFT are divided into two categories： the improvement of feature point extraction and the improvement of image registration. And then， the systematical introduction of them are conducted. At the same time， several performance evaluation standards of feature points image registration algorithms are introduced， and the research prospects of this algorithm are forecasted.

Key Words： SIFT; image registration; point feature; image processing

0 引言

图像配准是对不同时间、不同角度或不同传感器获取的同一场景两幅或多幅图像进行空间对准的过程[1]。图像配准技术广泛应用于遥感、医学图像分析、机器视觉和场景分类等多个领域。现有配准方法根据其在配准过程中采用的图像信息差异，大致分为3类：基于特征的图像配准、基于灰度信息的图像配准和基于变换域的图像配准。其中基于特征的图像配准方法因其计算量较低，对位置变化较敏感，同时降低了噪声、遮挡、光照和图像变形的影响，成为当前主流的配准方法[2]。

随着基于特征的图像配准方法的快速发展，Lowe[3]在1999年的计算机视觉国际会议上首次提出了尺度不变特征变换（Scale Invariant Features Transform，SIFT）算法，并在2004年对该方法进一步完善。SIFT算法由于在图像平移、旋转、缩放、视角变换和光照变化等因素下具有很好的效果[4]，因而受到广泛重视。基于此，本文对基于SIFT算法的图像配准方法进行了综述，总结其特点、存在问题，展望了发展趋势，同时介绍了常用的点特征图像配准效果评价指标。

1 SIFT算法

SIFT图像配准算法基本步骤如下：①特征点提取;②生成特征描述子;③特征点匹配。其中特征点提取主要包括生成高斯差分（Difference of Gaussian，DOG）尺度空间、寻找局部极值点、特征点筛选、确定特征点方向;特征点匹配主要包括根据描述子相似性进行匹配、匹配对比值提纯、RANSAC方法剔除离群匹配对。

1.1 特征点提取

采用SIFT算法进行特征点提取步骤如图1所示。

（1） 生成DOG尺度空间。高斯函数与图像卷积能够得到尺度空间[5]，可设[σ]表示尺度参数，则图像[I（x，y）]的尺度空间[L（x，y，σ）]可以表示为：

1.2 生成局部描述子

以特征点为中心取16×16像素大小区域，将此区域均分为4×4的子块，统计每个子块8个方向的梯度方向直方图，便可得到一个种子点。每个特征点由4×4个种子点构成，且每个种子点有8个方向，因此组成了4×4×8=128维的特征向量，该向量具备旋转不变性、尺度不变性等。为保证向量具有一定的光照不变性，还需对其进行归一化处理。

1.3 特征点匹配

SIFT匹配算法是根据特征描述子之间的欧氏距离判断其相似性的，欧氏距离越小相似度越高，反之则越低。此外，为减少错误匹配，提高匹配准确率，还会采用比值提纯法对匹配结果提纯。在比值提纯后，一般还会用随机抽样一致性（Random Sample Consensus，RANSAC）算法剔除离群匹配对，以进一步提高匹配精度。

2 改进的SIFT算法

SIFT算法提出至今已十几年，其间提出了许多行之有效的改进算法，归纳后主要分为基于特征点提取的改进和基于图像匹配的改进两类。

2.1 基于特征点提取的改进

针对SIFT算法会产生很多不稳定的边缘响应特征点问题，杨秋菊等[6]借助Canny边缘检测算子剔除图像的边缘点，以进一步提高SIFT算法的抗噪能力和稳定性。黄登山等[7]针对Canny算法剔除边缘响应点后出现的平滑过度和边缘移位等问题，引入Hillbert-Huang变换以增强图像轮廓，从而提高配准精度以及抗噪性。Bay等[8]沿着Lowe的思路，提出了以图像积分代替卷积运算的SURF （Speeded up Robust Features）算法，在保持其它性能不明显降低的情况下，使配准速度有了非常明显的提高，但是该算法在尺度不变和旋转不变等特性上表现不够理想[9]。

针对遥感图像特点，Sedaghat等[10]提出AB-SIFT（Adaptive Binning SIFT）算法，利用自适应量化策略对SIFT描述符进行优化，极大提高了描述符的可识别性和鲁棒性。冯文斌等[11]在构建特征描述子时引入分级放射状分区思想，将特征点邻域划分为8个区域，并统计各区域内8个梯度方向直方图，最终得到8×8=64维的特征描述子，以降低算法的计算复杂度。该算法提取的特征点较少，因此配准时间较快，但此方法对压缩图像的优化效果不明显。

由于SIFT算法无法直接对彩色图像进行处理，因此Bosch[12]对图像的HSV（Hue、Saturation、Value）颜色空间分别计算其128维SIFT算子，最后生成128×3维的特征向量。Burghouts[13]则验证了彩色SIFT算法的性能优于传统的SIFT算法。

Morel等[14]针对SIFT算法仿射不变效果不好的问题，提出模拟不同精度与维度的图像方法实现仿射无关的ASIFT （Affine-SIFT）算法。

Alkhafaji[15]提出了SS-SIFT（Spectral-Spatial Scale Invariant Feature Transform）算法，以便從高光谱图像中提取具有不同光谱条件的独特不变特征，并为每个特征点提出两个描述符，用于不同光谱条件下的光谱图像配准，该方法在光谱空间图像匹配方面具有一定的鲁棒性。

针对SIFT特征点提取进行改进的目的是提高图像配准的速度以及保证提取的特征点稳定，但这两点很难同时满足。

2.2 图像匹配改进

Lowe采用最近邻与次近邻的距离比率进行匹配，容易出现重复匹配、多对一匹配问题。有学者采用双向匹配算法成功减少了匹配过程中的误匹配[16]。Zhao等[17]针对SIFT算法易受相似描述符影响的问题，利用基于核函数的最小二乘法（KPLS），对匹配点的空间关系进行编译，通过分析KPLS的共线性特征剔除SIFT匹配对中的错误匹配，进而提高配准精度。

李晖晖等[18]根据图像正确匹配特征点对之间存在的角度关系，剔除了错误匹配对，以解决SIFT算法仿射变换问题，同时将该方法与LLT （Locally Linear Transforming）和RANSAC方法进行对比，验证了该方法对平移、旋转、缩放等变化的图像匹配精度更高。

Ye等[19]先利用SR-SIFT算法消除图像间的平移、旋转和尺度的差异，然后结合Harris算子和局部自相似性描述子进行匹配，以完成图像精配准。

Goncalves [20]和李玉峰等[21]将图像分割步骤引入到SIFT配准流程中，通过对图像进行分块选取以减少数据计算量，进而提高图像匹配速度。

Hossein-Nejad等[22]针对SIFT算法提取的特征点存在距离过近问题，提出了冗余关键点消除方法（Redundant Keypoint Elimination Method，RKEM），达到了提高算法运行速度和配准精度的目的。

这类改进方法主要是获得更多可靠的SIFT特征匹配对，以提高配准精度与速度。

3 算法性能评价指标

评价特征图像配准性能是判断其方法优劣的基础。由于图像配准的研究领域不同、目的不同、侧重点不同，导致很难用一个统一的评价标准界定图像配准结果的好坏，因此往往对图像配准结果进行多个标准的综合评定[23-24]，常用的评价指标有推定匹配率、准确率、匹配率和召回率。

3.1 推定匹配率

假定一副图像检测出的总特征点数为[NF]，实际总匹配对数为[Nall]，正确的匹配数为[Ncorrect]，应匹配数即理论上能正确匹配的对数为[Nshould]。推定匹配率（Putative Match Ratio）指匹配上的特征点数占总特征数的比率，其计算公式如式（6）所示。

[Ppmr=NallNF] （6）

匹配率受匹配准则和描述符区分性影响。若匹配准则严格性增大即匹配距离阈值大，则总匹配数降低，推定匹配率下降。描述符区分性低即特征描述符之间相似度高，推定匹配率下降。

3.2 准确率

准确率（Precision）又称正确率、精度，为总匹配中正确匹配所占比例，计算公式如下：

准确率同样受到匹配准则和描述符区分性影响，匹配准则越严格，误匹配数则越低，准确率越高。

3.3 匹配率

匹配率（Matching Score）表示被正确匹配的特征点数占总特征点数的比例，也受匹配准则和描述符区分性影响，计算公式如下：

3.4 召回率

召回率（Recall）又称“查全率”，表示被匹配上的特征点占应被匹配的比例，其公式如下：

召回率和匹配率反映的特征是相似的。召回率低意味着描述符过于模糊，匹配准则过于严格。在算法性能评价中通常会采用召回率-准确率曲线，该曲线可通过改变匹配的距离阈值得到，完美的描述符应在准确率不同的情况下使召回率恒为1。