拓扑约束优化特征匹配的图像配准与拼接

周露露，路 纲，田艳玲

(陕西师范大学 计算机科学学院，陕西 西安 710000)

0 引 言

图像拼接技术[1]是将两幅或多幅不同情况下拍摄有共同区域的图像经过匹配、配准、融合等操作，拼接成宽视角、高分辨率图像的过程。该技术目前广泛应用于医学图像诊断、虚拟场景设置、数字化图像呈现等领域。

其中，图像拼接过程中的核心环节是图像配准。图像配准的算法根据区域和特征具体分为两大类。基于区域的配准方法是比较每个对应区域中的像素并计算出两幅图像之间的最佳转换矩阵。另外，基于特征的配准方法是通过找到两图像之间的相对特征点实现配准。目前，广泛使用的特征提取方法包括：SIFT特征提取算法[1]、SURF特征点检测算法[2]、Harris角点检测算法[3]等。文献[4-7]表明，SIFT算法对图像的旋转、噪声的干扰和光线的影响都具有很强的鲁棒性，可以及时检测到足够的特征点。不同特征提取算法的实验对比表明，SIFT特征提取算法在图像旋转、光照变化、缩放、几何变化等情况下具有最好的特征提取性能。但在实践中发现，尽管SIFT特征匹配方法可以获得丰富的特征点，仍然存在两个缺陷：一是在配准结果中存在不匹配的特征点，特别是对于具有大量类似区域的图像；二是对于正确匹配的特征点，它们的对应位置不严格对应，导致转换矩阵出错，致使拼接图像明显重影。

拓扑学属于几何类范畴[8]。每个节点之间的关系被认为是一条连接线，并且节点之间的连接关系被称为拓扑结构。通过点之间形成的拓扑图，显示各个节点的连接。

基于SIFT算法，文中利用特征点之间欧氏距离匹配，结合拓扑结构理论消除误匹配特征点，以提高特征点的正确匹配率，达到较少耗时和高精度的图像拼接效果。运用特征点重复率、辨识率等对配准与拼接结果进行评价，结果显示改进后的拼接效果更好，拼接精度更高。

1 特征点提取

特征点被用作图像拼接处理中图像区域的定位信息。利用图像中对应的特征点，对图像进行对齐匹配；使用匹配的特征点计算两幅图像之间的转换矩阵，然后完成拼接。

1.1 尺度空间的建立

SIFT特征提取算法[1]，首先构造卷积图像的尺度空间，并在尺度空间中进行特征点搜索，然后利用拟合的方法获得特征点的确切方位，之后将特征点邻域梯度的主方向作为该特征点方向。特征点的描述符根据确切的主方向得到。具体实现步骤如下：

一幅图像的不同尺度空间可以定义为图像I(x,y)与高斯核G(x,y,σ)的卷积：

L(x,y,σ)=G(x,y,σ)×I(x,y)

(1)

其中，L为图像所在的比例空间；(x,y)为图像的像素坐标；σ为比例因子。

尺度空间的建立过程为:第一层为原图像，然后利用不同大小高斯因子逐个与原图像做卷积处理，以形成一系列不同比例的空间图像，形成图像金字塔。

依据文献[4]的研究证明，σ22G作用于图像后，将查找出的局部极大值以及极小值作为图像稳定的特征点。Lowe定义了DoG算子来近似替代σ22G，DoG算子如下：

D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]*I(x,y)=

L(x,y,kσ)-L(x,y,σ)

(2)

遍历尺度空间中图像的所有像素点，并判断其相邻像素的大小，该像素点的值大于或小于邻域内其他点的像素值，则将该点列为候选特征点。

1.2 特征点选取与描述

(1)特征点筛选及位置的确定。DoG算法将产生很强的边缘响应，因此具有边缘响应关键点不能作为稳定的特征点，须要消除不稳定的边缘响应点。同时，为了确保匹配的稳定性，需要去除低对比度的特征点。根据特征点邻域像素梯度分布，拟合函数来确定特征点位置。

(2)特征点方向的分配。通过直方图估计特征点邻域像素梯度的方向，并且与直方图的峰值相对应的方向为特征点的主方向。如果存在相当于主峰值80%能量的峰值，则将其作为该特征点的辅方向，使得检测出来的特征点具有旋转不变性。

(3)特征描述子的生成。将坐标系的横坐标轴旋转至特征点的主方向[5]，确保旋转不变。以特征点为中心8×8窗口，将该窗口分成16个2×2的小块，计算小块内各点的梯度方向。计算每个小块中8个方向上的累加值，一个特征点对应16×8=128维的向量。

从上面的算法描述中可以看出，SIFT算法利用特征点邻域的梯度信息来描述特征点，使算法对图像旋转、光线影响较不敏感。同时，它也减少了对特征点位置的精确要求。通过实验可以发现，匹配的特征点对的位置并不完全一致，它会给转换矩阵带来更明显的错误。文章将针对上述问题进行相应的改进。

2 拓扑约束去除错误匹配特征点

在特征点匹配过程中，现有拼接算法只考虑了单个特征点的相关信息，而忽视了同幅图像中特征点间的关联信息[9]。在图像的共同区域，特征点间具有类似的关联，可以利用这种关联信息来判定特征点间的空间关系。

2.1 定义连接节点

结合拓扑理论[10]，每个特征点被认为是一个节点，并且节点通过特定的规则连接起来。匹配的特征点具有类似的连接。对同一幅图像特征点通过欧氏距离确定距离最近的点集，距离最近的特征点间应具有相同的匹配关系，以此作为匹配过程中的约束项。由此，设计特征点间的连接规则。

拓扑结构非常稳定，不受缩放、位移、拉伸等影响。如果图像的拓扑关联不同，则意味着两幅图像中有不匹配的特征点。文中定义了一个矩阵Pn×n，其中n为当前特征点集中元素的数量。

(3)

令Ai和Aj是图像特征点集中的任意两点，如果特征点Ai和Aj不满足两者之间距离最小，P(i,j)和P(j,i)的值为0，否则P(i,j)和P(j,i)值为1，矩阵对角线值为0，生成连接矩阵。

2.2 剔除错误匹配点

首先，建立待匹配图像特征点间的连接矩阵P1,P2。如果P1(j,i)和P2(j,i)均为1，则意味着两幅图像的特征点集合中的第i个特征点Ai与第j个特征点Aj均具有连接关系[11]。如果P1(j,i)为0，P2(j,i)为1，则表示第一幅图像的特征点集合中的第i个特征点Ai与第j个特征点Aj不具有连接关系，第二幅图像的特征点集合中的第i个特征点Ai与第j个特征点Aj具有连接关系，也就是说，两幅图像的特征点集合中第i个特征点和第j个特征点具有不同的连接性。如果P1(j,i)和P2(j,i)都为0，则意味着两幅图像的特征点集合中的第i个特征点Ai与第j个特征点Aj都不存在连接关系。也就是两幅图像的特征点集合中第i个特征点和第j个特征点都不存在连接性。

(4)

P1和P2做异或运算得到判断矩阵C。如果判断矩阵C(j,i)为0，P1(j,i)和P2(j,i)都为1或0，则两幅图像特征点集合中Ai与Aj均具有相同连接性。如果判断矩阵C(j,i)为1，P1(j,i)和P2(j,i)一个为0，一个为1，则这两幅图像中Ai与Aj具有不同的连接性，表明相应的特征点不具备匹配关系。去除特征点集合中不具有一样连接性的特征点，也就是判断矩阵C中1对应的特征点，并更新特征点集合直到C为全0矩阵，意味着此时的特征点集合中的所有特征点具有相同的连接性，用这些点生成的拓扑矩阵完全相同，计算流程如图1所示。

通过拓扑结构去除误匹配特征点，得到特征点匹配图，在此基础上通过随机抽样一致[12]估计图像间的转换矩阵，对图像进行融合与拼接。结果显示特征点匹配正确率有所提高，拼接结果图拼接精度更高。

图1 误匹配点去除流程

3 配准与拼接效果评估

为了评价特征点检测算法的质量，常用指标是特征点的重复率[13]，即检测图像发生尺度变化、平移、旋转、受噪声干扰特征点的重复程度。文中对两幅实验图像检测到的特征点与拼接后图像特征点进行重复率检测。这里定义的重复率越接近100%，表明拼接图像与原图像有更多的重复特征点，并且图像匹配的效果也更好。假定在原始图像1检测到的特征点数量是n1，在原始图像2检测到的特征点数量是n2，在拼接后的图像检测到的特征点数量是n3，重复率R定义为：

(5)

特征点描述符可以用来记录特征，具有较高辨识性的特征点描述符，则具有更高图像的匹配精度。文中用辨识率衡量特征点描述算子的辨识性，用L来表示辨识率，若去除错误匹配后的算法中的正确匹配点对的数量为m1，如果用欧氏距离提取符合要求的特征点匹配点对数量为m2，则辨识率L定义为：

(6)

4 结果与分析

4.1 图像拼接结果

基于SIFT算法加入拓扑约束以去除错误匹配的特征点，文中分别用30对存在光照、旋转等影响的图像进行实验拼接[14]，分别观察图像拼接过程中的重复率、辨识率和图像拼接运行时间，对改进前后进行对比。如图2所示，在做改进之前，特征点临近区域的拼接效果较好，远离重叠区的拼接误差很大，特别是在拼接缝附近区域。改进后的图像拼接总体效果更好。

图2 拓扑约束前后匹配和拼接效果

4.2 结果分析

采用拓扑约束对SIFT特征点检测配准与拼接算法[15-16]进行改进，在应用改进算法前后分别对30对图像进行配准与拼接。并记录统计分析重复率R(单位为%)、拼接图像运行时间T(单位为s)的数据，同时与典型的SIFT、SURF、Harris算法等[17]进行对比。对比数据结果如图3所示。

图3 配准与拼接测试数据

为了评估改进算法的效果，分别对SIFT重复率Rsift、改进后重复率Rtopology、SURF算法重复率Rsurf、Harris算法重复率Rharris，改进前后运行时间Tsift、Ttopology以及SURF运行时间Tsurf和Harris运行时间Tharris，进行均值、标准差、极值等的分析，结果如表1和表2所示；去除错误匹配后获得的辨识率，结果如表3所示，辨识性越高的特征点描述符，对应图像的匹配精度越高。

表1 特征点重复率 %

表2 算法用时比较 s

表3 特征点辨识率 %

从表1的数据分析可知，使用拓扑约束去除错误匹配后特征点的重复率为98.6%，与待拼接图像中具有最多重复的特征点，从而达到提高匹配的准确性和鲁棒性以及图像拼接精度的效果。表2比较了四种不同的图像拼接算法，拓扑约束后算法运行时间与SIFT算法时间接近，但拼接运行效果有明显提高，与SURF和Harris用时比较则有明显的提高。另外，拓扑约束后特征点辨识率达到0.83的平均水平，原算法特征匹配过程确实存在少量错误匹配对，改进算法去除了错误匹配对，提高了特征点的匹配稳定性和图像匹配的正确性，大大提高了拼接效果。

5 结束语

针对图像拼接中的SIFT特征匹配算法存在错误匹配以及拼接精度低的问题，提出利用拓扑理论，将拓扑约束与SIFT拼接相结合，以提高拼接算法的准确性和正确性。并通过对图像匹配拼接过程中的特征点重复率、辨识率、运行时间等进行分析，与传统SIFT算法相比，拓扑约束的拼接算法特征点匹配正确率有显著提高。继承了SIFT算法的稳健性，进一步提高了拼接的准确性。然而，当图像的分辨率较大时，算法拼接过程需要较长的时间，从而影响了图像拼接的效果，这将是下一步要研究的问题。