基于SIFT图像配准算法优化研究

刘 敏， 周 聪， 汤靖博

(湖北工业大学太阳能高效利用湖北省协同创新中心， 湖北 武汉 430068)

图像配准就是将使用不同的传感器在不同的环境条件下采集到的两幅或者多幅图像进行空间匹配的过程[1]。作为数字图像处理中的关键技术之一，图像配准技术已经成为图像拼接[2]和物体检测与跟踪[3]的核心基础，并且广泛应用于计算机视觉[4]、遥感技术[5]、医学成像技术[6]、虚拟现实[7]等领域。图像配准发展阶段大致可以分为三类：基于灰度信息图像配准、基于变换域图像配准和基于特征的图像配准[8]。其中在计算量、匹配精度以及鲁棒性方面，基于特征的图像配准均优于其他两类而受到广泛的研究和应用。

Lowe[9]等人提出SIFT(Scale Invariant Feature Transformation)算法并进一步完善，使得该算法解决了图像尺度不变性和旋转不变性，同时具有一定的抗噪性以及较好的鲁棒性。因此本文采用SIFT算法来提取特征。

在进行图像配准的过程中，特征点在对应的匹配点对中通常会出现部分的误匹配点对。目前对于误匹配点的剔除使用最为广泛的是RANSAC(Random Sample Consensus)算法[10]，然而该算法由于迭代次数多使得运算速度较慢，进而影响配准效率。针对这个问题，近年来国内外学者对此算法进行改进优化[11-13]。

本文提出改进的RANSAC方法，在进行相似关键点匹配过程中，对两个相似关键点的相似性判断进行优化，从而提高配准的准确率和效率。

1 图像配准算法

1.1 提取关键点

在某些情况下，图像中的关键点可以当做是图像中的角点，由于图像的关键点需要包含尺度以及方向，因此需要建立相应的图像尺度空间。经过国内外学者研究证明，高斯核是唯一可以产生尺度空间的核因子，因此SIFT特征采用高斯核作为核心算子来实现图像的尺度空间变换。对于图像f(x,y)，利用其与高斯函数卷积可实现多尺度变换，尺度空间D(x,y,σ)满足下式：

D(x,y,σ)=f(x,y)*G(x,y,σ)

(1)

(2)

其中G(x,y,σ)表示多尺度变换的高斯函数，参数σ为尺度因子，其大小决定图像曲线平滑变化情况，当尺度因子取值越小时，所得到的图像就越清晰。在检测图像的关键点的过程中，对于连续图像通常是利用高斯差分算子来构建高斯差分金字塔(DoG)。根据不同尺度下高斯差分核来进行极值点检测：

D(x,y,k,σ)=L(x,y,kσ)-L(x,y,σ)

(3)

使用DoG对图像进行操作，相比于传统的方法，在对图像进行梯度检测过程中能够产生更加稳定的最大输出响应和最小输出响应。在对特征点中的极值点进行判定时，该特征点需要满足上下尺度平面集在进行差分高斯操作时对应的26个点中的极值，进而确保获取到的点是局部极值点。

由于高斯差分算子对边缘及噪声相对敏感，会产生伪边缘信息和伪极值响应信息，原因在于该算子函数最主要的特性是水平边缘方向上存在较大主曲率，而垂直方向却存在较小主曲率。从而形成伪关键点，然而伪关键点在大部分场景中不能直接进行特征描述。主曲率可以利用Hessian矩阵得到：

(4)

特征点高斯差分算子函数的主曲率与H矩阵特征值成正比，假设λ1为矩阵较大特征值，λ2为矩阵较小特征值，那么可以计算出H矩阵的迹和行列式的值：

det(H)=λ1λ2=AC+B2

(5)

trace(H)=λ1+λ2=A+C

(6)

令λ1=kλ2，同时考虑H矩阵的迹的平方与行列式值的比：

(7)

当检测到的主曲率对应的M满足阈值T时，即M<(T+1)2/T时，对应特征点判定为边缘点，也就是伪关键点，并进行去除。

1.2 确定主方向

通过伪关键点去除可以实现图像特征尺度不变性，但是要实现特征旋转不变性，则需要对特征点方向进行重新分配。假设关键点领域像素梯度方向为指定的主方向，每个采样图像生成相应的特征向量，图像中的特征点梯度和方向计算如下：

(8)

其中，a1=i+1,j,k,σ；a2=i-1,j,k,σ；a3=i,j+1,k,σ；a4=i,j-1,k,σ

(9)

首先在梯度方向上将整个圆周平均分为36份；然后对每个特征点所属的图像尺寸空间，在特征中心点领域窗口内进行采样；最后利用直方图统计领域的每个像素点的梯度方向，对得到的关键点梯度方向利用高斯函数对其进行平滑操作。直方图的峰值表示特征点在此领域梯度上的方向，最高峰表示关键点的主方向。

1.3 生成特征描述符

图像中的每个SIFT特征包含128维特征，矩形区域被分为16个子块，每个子块的梯度方向直方图分为8个子部分，每个梯度方向子块部分对特征的贡献一样，进而生成具有尺度不变与旋转不变特性的128维特征向量。

在特征描述过程中为了消除飞线性光照或环境的影响，特征向量通常需要进行归一化操作，经过归一化操作后得到的特征向量可直接用于特征匹配。

1.4 改进的特征点匹配方法

特征匹配方法主要有单向匹配、双向匹配和最近邻匹配三种。其中单向匹配耗时短，但误匹配率较高；双向匹配相当于进行两次单向匹配，实时性较差；本文采用常用的最近邻匹配方法进行特征粗匹配，但是当两幅图像存在较大范围的相似区域时，经过粗匹配之后依然存在大量的误匹配点对。因此需要使用RANSAC算法进行误匹配点剔除，传统RANSAC算法步骤如下。

算法伪代码输入：

Data—一组观测数据

Model—适应于数据的模型

N—适用于模型的最小数据个数

K—算法的迭代次数

t—用于决定数据是否应用于模型的阈值

d—判定模型是否适用于数据集的数据数目

输出：

Best_model—与数据最匹配的模型参数

Best_consensus_set—估计出模型的数据点

IG战队在LPL联赛当中一路势如破竹，让大家看到了他们的勇气和实力，最终为中国赢下宝贵的冠军荣耀。这一役，IG战队不仅展现出了惊人的实力，更意味着，我们在这一年里所取得的荣誉，并非是虚妄和运气。

Best_error—估计出模型的错误数据点

通过传统的RANSAC方法进行误匹配点剔除之后，仍然存在部分误匹配点对，从而会影响配准的准确度和效率。在当前的研究当中，通常会在经过初匹配之后再进行精匹配。在进行精匹配时，本文提出了一种改进的RANSAC误匹配点对剔除的方法，提高配准率。具体实现方法如下：

若一组正确的匹配点(Pi,Qi)和(Pj,Qj)，d(Pi,Pj)为Pi到Pj的距离，d(Qi,Qj)为Qi到Qj的距离，两个距离相似。利用Pi与第一幅图像中所有感兴趣的点Pj的关系和Qi与第二幅图像中所有感兴趣的点Qj的相似性来评价两点的对应关系，提出如下评价函数：

(10)

其中，Pi和Qi与每一对兴趣点的平均距离是D(i,j)=[d(Pi,Pj)+d(Qi,Qj)]/2，r(i,j)=exp(-uij)，uij=|d(Pi,Pj)-d(Qi,Qj)|/D(i,j)是Pi和Qi与每对兴趣点距离的相似性差异。

改进之后的RANSAC算法步骤如下：

1)计算ω(i)的所有值；

2)求出全部ω(i)的均值ω；

3)判断ω(i)，如果ω(i)>0.8ω，Pi和Qi是正确相似点对，则保留，否则删除；

4)将筛选出来的正确相似点作为RANSAC算法的初始迭代特征点对；

6)通过变换模型计算出其他特征点与候选匹配点之间的距离，并设置阈值τ，当距离小于此阈值时，判定该特征点为内点，否则为外点。

7)使用内点对变换模型进行重新估计，进行N次迭代。

2 实验结果与分析

本文实验环境为Windows10操作系统，酷睿i7-3770，cpu Intel @3.40MHz，内存4GB，使用仿真软件为VS2017+OpenCV 3.4.0。

实验分为两组：第一组实验过程选取相同场景不同成像条件下采集到的两幅像素均为400×300的图像，如图1所示。分别使用传统的SIFT + RANSAC方法和本文改进的方法对两幅图像进行图像配准实验，所得实验结果(主要是匹配时间、匹配点对、正确匹配点对和配准率)进行分析比较。图2是利用改进之前的RANSAC算法进行配准后的图像，图3是通过改进后的RANSAC进行配准后的图像。

图 1 配准原图像

图 2 SIFT+RANSAC

图 3 SIFT+RANSAC(改进)

从图2和图3对比中可以看出，使用传统的RANSAC算法时，并没有完全将误匹配点对全部剔除，仍然出现了少量的误匹配点对。使用本文提出的改进的RANSAC算法能够有效的将误匹配点对进行剔除，从而达到提高匹配的准确率的目的。同时将两种方法进行特征点匹配时的数据进行对比分析，结果见表1。

表1 配准数据对比

由传统RANSAC算法步骤可知，从时间上分析，改进之后的算法在特征点匹配过程中从0.82 s减少到0.77 s，即优化之后进行特征点匹配所用的时间能够得到有效的减少，并且通过相似性判断优化之后，能够有效的降低相似特征点的误判断，从而得到更加精确的相似特征点。同时将匹配正确率从64%提高到91%，明显提高了匹配正确率，由此可以证明改进之后的算法综合性得到了提升。

第二组实验过程采用的是同一条件下采集到的相同场景的一组图像，但是在旋转、亮度和尺度方面存在差异性的一组图像a，b，c，d。像素分别为400×300，300×400，400×300和300×225(图4)。分别使用传统的SIFT+RANSAC方法和本文改进的RANSAC方法对4幅图像进行特征点提取，同时将a图与b图，c图和d图记性特征点匹配，将匹配之后的实验结果进行分析比较。其中图5是将原图a经过90°旋转之后，使用改进后方法进行配准之后的图像。图6是将原图a通过亮度和对比度调整之后，使用改进之后的方法进行配准之后的图像。图7是将原图a通过尺寸大小调整之后，使用改进之后的方法进行配准之后的图像。

图 4 配准原图像

图 5 改进算法(旋转)

图 6 改进算法(亮度)

图 7 改进算法(尺度)

其中，图5、图6和图7均是利用本文的方法进行特征点匹配所得到的配准图形，从图中可以看出，误匹配点对较少。通过使用两种方法进行试验，对第二组实验数据进行对比分析，结果见表2。

表2 图像调整匹配算法数据对比

从表2可以看出，同一场景中，采集到的相同的图像在不同角度、亮度和对比度的条件下，使用传统的RANSAC方法，正确匹配率均能达到92%以上，使用本文方法能够将正确率提高到99%。在不同的尺度条件下，正确率的提升较少。通过第二组实验也可以证明，改进之后的方法的综合性能得到了提升。

3 结论

本文采用SIFT特征描述子，该特征能够有效地对目标特征信息进行表达，并且根据场景调整特征点数量，具有很强的特征分析能力。在进行特征点匹配过程中，对RANSAC算法中相似特征点的相似性评价进行优化，通过实验和数据分析与对比，得到以下结论。

1)优化之后的方法在图像配准时间上有所提升。

2)改进之后的方法能够更加有效的对相似特征点对进行判断。

3)在相同场景不同成像条件下，改进之后的方法能够提升正确匹配率。

4)在相同场景相同条件下，对于采集到的图像经过不同方面的调增，改进之后的方法能够提升正确匹配率。