图像匹配中的特征点筛选方法

卫保国，张玉兰，周佳明

西北工业大学 电子信息学院，西安710129

图像匹配技术在图像处理领域占重要地位，在计算机视觉[1]、模式识别[2]、遥感图像处理[3]、医学图像分析[4-6]等领域都有广泛应用。其本质是在拍摄角度、拍摄位置或传感器等有差异的情况下，对于同一场景所拍摄的两幅或者多幅图像进行某种操作与分析，找出图像之间变换关系的过程。图像匹配的方法主要分为基于灰度的匹配算法、基于变换域的匹配算法和基于特征的匹配算法。其中，基于特征的匹配算法是主流的，本文在该匹配方法的基础上进行研究。

图像的匹配效果除了受特征检测算法和匹配方法的影响，还与特征点的质量有关，提取高质量的特征点有助于提高图像匹配的正确率和效率。高质量的特征点主要有三个特点：一是无论图像受到干扰与否，都能检测到稳定的特征点；二是特征点中包含的特征信息具有代表性；三是特征点必须位于明显的景物边缘或角点上，同时保证点与点之间有一定的距离，避免密集分布。

为了获得高质量的特征点，以增强图像的匹配效果，学者们已经进行了相关研究。针对特征点的稳定性问题，吴丽君等人[7]提出了一种基于特征点邻域灰度值差熵的稳定性准则，该准则虽然能有效减少不稳定特征点，但可能在局部邻域内，有多个点满足稳定性准则而被保留下来，造成特征点分布密集的情况；向程谕等人[8]利用Harris角点检测算子筛选SIFT特征点，以剔除图像边缘区域中大量不稳定的伪特征点，虽然该方法有效，但Harris 角点对人为设定的阈值比较敏感。针对特征点的唯一性问题，李嘉祥等人[9]提出脉冲信息流的反馈机制，以获得视觉注意机制下的代表性特征点；邹承明等人[10]利用改进的区域匹配法屏蔽无效区域，再检测所有匹配块上的特征点。针对特征点的显著性问题，江泽涛等人[11]提出利用优化的HC-GHS 显著性检测算法得到图像的显著性结构图，然后在显著性结构图上检测特征点，以保证其显著性；高飞等人[12]提出利用图像的信息熵，改善特征点分布过于密集的问题，该方法保证了特征点的均匀性，但没有解决复杂干扰图像的匹配问题。由此看来，目前没有较好的准则来筛选稳定性好、唯一性强和显著性强的特征点。

针对特征点分布密集且重复提取，而影响匹配精度和效率的问题，本文提出三条特征点筛选准则：稳定性准则、唯一性准则和显著性准则。稳定性准则保证筛选出健壮稳定的特征点，唯一性准则剔除特征重复的特征点，显著性准则保留带有明显特征信息的点。利用常用特征检测算法提取特征点，先对特征点筛选，保证特征点的稳定性、唯一性和显著性，然后计算特征描述向量，最后进行匹配。实验结果验证了所提筛选准则的有效性。

1 特征点筛选准则及方法

1.1 稳定性筛选准则及方法

1.1.1 筛选准则

一般情况下，参考图像和待匹配图像是在不同拍摄位置、不同角度或不同传感器下拍摄得到的图像。如果一个特征点在不同拍摄条件和受到干扰之后依然能被检测到，则认为该特征点是稳定的，利用稳定的特征点进行匹配，不仅能加快匹配速度，同时能提高匹配正确率。

准则1（稳定性准则）对参考图像进行干扰变换，若对于原始参考图像中的任意一个特征点p(x,y)，在以该点为中心的N×N局部邻域内，存在干扰后的参考图像中的特征点q(x′,y′)，满足式（1）：

则认为p(x,y)是稳定点。

1.1.2 筛选方法

在稳定性筛选中，要对参考图像进行干扰变换，本文选择模糊、尺度缩放、椒盐噪声三种干扰变换且并行实施，以筛选稳定的特征点。具体筛选步骤如下所述：

（1）检测参考图像的特征点。

（2）对参考图像依次添加模糊、尺度缩放、椒盐噪声干扰，然后对干扰后的参考图像提取特征点。

（3）对于原始参考图像的某个特征点，若在受干扰图像中以该点为中心的N×N局部邻域内，能够找到对应的特征点，则认为该点是稳定的，保留此特征点，否则滤除。

（4）遍历原始参考图像的所有特征点，根据步骤（3）筛选出所有稳定特征点。

1.2 唯一性筛选准则及方法

1.2.1 筛选准则

如果特征点之间的距离较近，且计算的描述子相似度较大，会导致误匹配的概率很大，为了保证某个特征点在以其为中心的局部邻域内具有代表性，本文提出唯一性准则来筛选特征点。

对每个特征点进行N×N邻域搜索，若局部邻域内存在其他特征点，且与中心位置处的特征点相似度很高，则认为中心位置处的特征点唯一性较差，需要滤除。

准则2（唯一性准则）假设g(p)为中心位置处的特征点p的描述符，g(p′)为在局部邻域中找到的某个特征点p′的描述符，若两者的相似度S(g(p),g(p′))满足式（2）：

则p点具有唯一性，其中T为设定的阈值。

1.2.2 筛选方法

在唯一性筛选中，根据特征点对应描述符的相似度来判定特征唯一的点。一般情况下，采用欧氏距离衡量描述符的相似性，但欧氏距离只利用了特征点的空间位置信息，弱化了复杂背景的差异，同时随着特征向量维数的增加，查询点和最近邻点的期望距离将接近查询点和最远邻点的期望距离，导致误匹配率增大；而交叉熵[13]直接利用特征点的描述符来衡量其相似性，特征向量维数的增加不会改变查询点与最近邻点、最远邻点的距离，故使用交叉熵来判定特征点相似度。交叉熵的计算公式为：

其中，n为描述符的维数，g(p,i)为特征点p的描述符，为特征点p′的描述符。

根据筛选准则，使用如下所述的筛选步骤来获得唯一性强的特征点：

（1）对参考图像进行特征点提取，并计算特征描述符。

（2）对于某个特征点，在以该点为中心的N×N局部邻域内搜索其他特征点，根据这两点的交叉熵与阈值的大小关系来判断该特征点是否具有唯一性。交叉熵越大则特征点对应的描述符相似度越低，表明特征点的唯一性较好。

（3）遍历所有特征点，根据步骤（2）筛选出满足唯一性准则的特征点。

1.3 显著性筛选准则及方法

1.3.1 筛选准则

若特征点中含有明显的特征信息，在匹配时更容易匹配成功，提高正确率，因此提出显著性准则来筛选显著的特征点。

若局部区域的信息量大，则特征明显；否则特征不明显，因此可以利用信息量的大小来判断图像特征的显著性[14]。而信息熵反映了图像中平均信息量的多少，可以利用该值的大小来判断显著特征的区域，再进一步提取显著特征点。

准则3（显著性准则）将图像均匀分割成N×N的子区域，假设Hi为第i个子区域的信息熵，Hˉ为子区域的平均熵，若满足式（4）：

则认为该子区域含有特征显著的点，其中i=1,2,…,N2。

1.3.2 筛选方法

在显著性筛选中，使用如下所述的筛选方法完成特征点的筛选：

（1）提取参考图像和待匹配图像的特征点。

（2）将参考图像均匀分割成N×N的子区域，然后将特征点对应到各个子区域中，并按照响应值大小进行排序。

（3）利用式（5）计算各子区域的信息熵Hi，式（6）计算子区域的平均熵

其中，n为灰度级数，Pi表示灰度值为i的像素点数占图像总像素点数的比值。

（4）在局部熵大于平均熵的区域内提取比例为r的响应值较大的特征点；为了避免特征点过于稀疏，在其他区域内强制提取出最强响应点。假设表示第i个子区域的特征点集，mi表示第i个子区域的特征点数目，并按响应值大小排序，则第i个子区域筛选出的显著特征点集为：

比例r的计算公式为：

（5）最后筛选得到的显著性特征点为：

2 基于特征点筛选的图像匹配算法

本文所提的特征点筛选准则主要是为了增强匹配效果，且具有通用性，故将其运用到常用的图像匹配算法中，提出了基于特征点筛选的图像匹配算法。该算法是在各种常用特征检测算法的基础上，提取对应特征点后，先对特征点进行筛选，保留稳定、特征明显且唯一的点，再计算特征描述符，利用快速近似最近邻查找（Fast Library for Approximate Nearest Neighbors，FLANN）算法[15]进行匹配，最后通过随机抽样一致性（Random Sample Consensus，RANSAC）算法[16]剔除误匹配。算法流程图如图1所示。

图1 本文算法流程图

3 实验结果及分析

为了验证本文所提筛选准则和算法的有效性，采用Mikolajczyk 数据集的boats、graf、trees、ubc、leuven 五组图像序列进行实验，这五组图像分别存在不同程度的旋转和缩放、视角变化、模糊变化、压缩变化和光照变化的情况，且拍摄场景不同，以测试筛选准则的有效性和对不同场景图像的适用性。每组图像序列有六幅子图像，后五幅图像与第一幅图像的拍摄场景相同，但采用不同的拍摄参数。五组图像序列的部分图像如图2 所示。实验运行环境采用CPU 为Intel Core i5，3.20 GHz，内存为4 GB，64 位Windows 10 操作系统的PC 机。本文实验的所有算法基于OpenCV 3.4.3，编程语言为C++，编程环境为Visual Studio 2015。在实验过程中，稳定性准则中局部邻域N取值为3；唯一性准则中局部邻域N取值为50，阈值T取值为0.3；显著性准则中N取值为5。

图2 实验所用图像序列

实验包括两部分：准则的有效性及适用性实验、匹配结果与分析。先通过对不同变换类型及不同变换程度的图像筛选特征点，并计算匹配率，来测试筛选准则的性能。然后分别利用SIFT算法[17]和最近提出的KAZE算法[18]提取特征点，将本文所提算法与文献[19]中的FS算法、传统匹配算法进行性能对比，测试本文算法的匹配效果，性能指标包括正确率[20]、重复率[21]和匹配时间。

3.1 性能指标

本文采用匹配正确率、重复率及匹配时间作为匹配算法的性能评价指标，三种指标数据均是10 次实验结果求得的平均值。

（1）正确率

正确率P定义为两幅图像之间的正确匹配对数目与总匹配对数目的比值，计算公式为：

其中，m表示两幅图像之间的正确匹配对数目，n为两幅图像的总匹配对数目。P值越大，匹配算法的精度就越高。

（2）重复率

重复率re定义为两幅图像之间存在匹配关系的特征点数目与两幅图像中检测到的较少特征点数目之比，计算公式为：

其中，n1和n2分别表示参考图像和待匹配图像检测到的特征点数目，C(n1,n2)表示两幅图像中存在匹配关系的特征点数目，min(n1,n2)表示两幅图像中检测到的较少特征点数目。重复率是衡量检测算法的重要指标，该值越大越好。

（3）匹配时间

匹配时间是指利用描述符进行匹配所消耗的时间，不包括特征点检测及筛选的时间、描述符的构造时间[22]。一般进行多次实验，求取匹配时间的平均值。

3.2 准则的有效性及适用性实验

为验证所提筛选准则的有效性及适用性，采用不同拍摄场景和不同变化情况的boats、graf、trees、ubc、leuven五组图像序列进行实验，选择后五幅图像作为参考图像，第一幅图像作为待匹配图像，提取图像的KAZE特征点。表1记录了五组图像序列的匹配数据。

表1 不同变化情况下的图像匹配数据

从表1中可以看出，参考图像在不同程度的旋转和缩放、视角变化、模糊变化及压缩变化的情况下，随着变换的剧烈程度，匹配正确率随之下降，筛选出的特征点数目最多为412个，最少为216个，变化的剧烈程度对筛选到的特征点数目没有很大影响，这间接证明了所提筛选准则的有效性。在光照情况下，检测到的特征点数目较少，筛选后的特征点数目也随之减少，但随着光照减弱，筛选后的特征点数目由174变为139，光照的变化对筛选后的特征点数目影响不大，这也证明了准则的有效性。此外，实验所用的五组图像具有完全不同的背景，但筛选准则依然有效，证明了准则的适用性较强。

3.3 匹配结果与分析

在匹配效果测试中，选用boats、graf 两组图像序列进行实验，第一幅子图像作为参考图像，其他五幅作为待匹配图像。

利用传统匹配算法、FS 算法和本文所提算法对两幅参考图像提取KAZE 特征点，其中boats 组参考图像三种算法最终得到的KAZE 特征点数目分别为5 053、667、327，graf 组参考图像三种算法最终得到的特征点数目分别为3 157、467、233，两组参考图像的特征点筛选结果分别如图3、图4 所示。蓝色表示提取的全部特征点，绿色表示筛除的特征点，红色表示保留下来的特征点。

从图3、图4中可以看出，传统匹配算法提取的特征点过多，且分布比较密集，FS算法筛选的特征点虽然数量上减少了，但无法保证稳定性和唯一性，本文算法不仅很大程度减少了特征点数目，同时保证了特征点均匀地分布在整幅图像中，且保留下来的特征点都具有较强的稳定性和唯一性，有利于后续匹配工作顺利进行。

三种算法对两组图像序列匹配时的性能对比分别如图5、图6所示。可以看出，传统匹配算法的匹配时间最长，FS算法次之，本文基于特征点筛选准则的匹配算法的匹配时间最短，这是因为传统算法中参考图像检测到的特征点数目最多，而FS 算法和本文算法筛选后得到的参考图像的特征点数目急剧减少（分别是传统匹配算法特征点数量的0.13 倍和0.06 倍），因此相似度计算的次数急剧减少。故相比其他两种算法，本文算法有效缩短了匹配时间。同时由于剔除了对匹配作用不大的重复特征点和不够显著的特征点，匹配正确率和重复率都高于其他两种算法，证明了筛选准则的可行性。

图3 boats组参考图像的KAZE特征点筛选结果

图4 graf组参考图像的KAZE特征点筛选结果

图5 boats组图像序列三种算法的性能对比（提取KAZE特征点）

图6 graf组图像序列三种算法的性能对比（提取KAZE特征点）

图7 boats组图像序列三种算法的性能对比（提取SIFT特征点）

图8 graf组图像序列三种算法的性能对比（提取SIFT特征点）

选择SIFT 传统匹配算法、FS 算法和本文所提算法进行比较。三种算法对两组图像序列的匹配性能对比分别如图7、图8所示。

从图7、图8可以看出，提取SIFT特征点时，三种匹配算法的性能对比和提取KAZE 特征点时变化趋势一致。传统匹配算法的正确率和重复率仍是最低，FS 算法的正确率和重复率虽然高于传统匹配算法，但当图像中存在复杂的几何变化时，匹配效果不好；本文所提算法不仅很大程度缩短了匹配时间，同时匹配正确率和重复率都有很大提高。

4 结束语

本文提出了一种图像匹配的特征点筛选方法。在各种常用特征检测算法的基础上，利用三条特征点筛选准则来筛选特征点，保留健壮稳定且特征唯一的点，同时使得特征点均匀地分布在图像中。实验中利用不同变换类型及不同场景的图像进行测试，验证了本文所提筛选准则的有效性和适用性；同时将本文算法与其他算法分别从正确率、重复率和匹配时间三种性能指标进行对比，实验结果表明，本文算法的匹配正确率和重复率、匹配速度都优于其他两种算法，整体性能更好。今后将研究混合特征点的筛选和图匹配。