基于多特征融合的图像匹配算法

董振鑫+廖仕荣+程慧+林梦兰+张泽均+詹仕华

摘 要：为解决SIFT算法在视角变换、对比度变换、尺度变换及旋转变换混合复杂情况下匹配精准度低的问题，提出一种结合SIFT和RILBP（rotation invariant LBP）的特征匹配算法。首先在图像SIFT特征点集上提取局部图像区域的RILBP特征向量；然后将SIFT的特征向量和RILBP特征向量融合成一个新的特征向量；其次，利用高维可扩展最近邻匹配算法实现两幅图像特征向量集之间的匹配；最后，使用VFC算法的筛选匹配策略对特征向量集进行筛选，找到两个特征向量集中的匹配对。实验结果表明，在视角变换和对比度较大的复杂情况下，该算法匹配精准度比SIFT算法提升了19.83%。

关键词：图像匹配；SIFT；视角变换；RILBP；特征融合

DOIDOI：10.11907/rjdk.171670

中圖分类号：TP312

文献标识码：A 文章编号：1672-7800（2017）007-0044-04

0 引言

图像匹配作为图像处理的关键技术被广泛应用于文字匹配、人脸识别、物象跟踪、图像拼接、生物特征识别及车牌识别等领域，一直是图像处理的热点研究方向。实践中，图像处理往往面临着多种情况的结合，特别是在视角变换和光照对比度变换相结合的复杂情况下，匹配算法对物体图像的匹配效率和精准度明显下降。

研究在视角、光照及对比度变换较大情况下图像匹配算法具有重要的现实意义。

2004年，加拿大学者Lowe所提出的局部特征匹配算法SIFT（Scale Invariant Feature Transform）[1，2]，对于目标图像在平移、旋转变换、光照强度变化较大等情况下有较好的匹配性能和鲁棒性，并且具有较好的扩展性和多量性等良好特性[1，2]。但是，SIFT算法效率较低，在应用过程中导致无法进行大量的实时匹配，并且SIFT在视角变换、旋转变换相结合的复杂情况下匹配率和准确率较低。因此，本文利用SIFT可扩展性好的特点，提取SIFT和RILBP[3]特征向量，在高维可扩展最近邻算法[4]的基础上，结合VFC算法[5]进行筛选匹配，以增强SIFT在上述视角变换混合情况下的匹配精准度。首先，对于两张待匹配图像作SIFT特征点检测；然后，计算每个特征点邻域的RILBP特征；其次，将SIFT的特征向量和RILBP的特征向量进行线性融合；最后，在高维数据可扩展最近邻算法匹配的基础上，使用VFC算法进行匹配筛选。通过INRIA Data Sets & Images数据集测试，实验结果表明本文算法在视角、尺度、对比度及旋转等混合的复杂情况下匹配准确率比SIFT算法大为提升，在执行效率上也有所提高。

1 基于多特征融合的算法设计

SIFT具有良好的可扩展，且在光照、旋转、对比度变换条件下具有良好的稳定性[1，2]。LBP由Ojala[6]于1996年提出，此后改进的RILBP对于视角变换和纹理变换具有较好的稳定性[3]。本文结合两者优势，在SIFT特征点下提取RILBP特征，并将其和SIFT进行线性融合。

1.1 SIFT算法

采用SIFT算法检测图像局部特征[2]。首先，进行图像DoG尺度空间创建，利用高斯核函数[7]对图像作模糊处理进而得到DoG金字塔，高斯核函数如式（1）所示：

式（1）中，m和n代表高斯模板对应的维度。为达到更好的稳定性和独特性，Lowe使用DoG算子[1，2]来创建图像的尺度空间，并寻找尺度空间中的DoG极值点，将每个像素点与邻域的26个点进行对比，当其高于（或低于）所有相邻点的值时，即为极值点，并且利用2×2的 Hessian 矩阵剔除不稳定的特征点。然后，实现特征点方向赋值。梯度的模值m（x，y）和方向θ（x，y）如分别式（2）和式（3）所示：

其中，x和y为图像特征点坐标。最后，完成对应的特征点梯度运算，利用直方图方法计算出周围的像素梯度方向。直方图峰值走向为特征点主方向，至此检测出带有位置、尺度和方向的SIFT特征点。将图像确定区域分为16个小型区域，每个小型区域的梯度方向分为8个子部分，计算这8个子部分的梯度值，然后进行累加，最终获得一个4×4×8=128维的特征向量。

1.2 RILBP特征

原始LBP的策略是将图像像素与其邻域进行比对，编制成二进制后转换为十进制数。如图1所示，在3×3像素区域中，比中心点大的标记为1，比中心点数值低的标记为0，对转换后的数据表从第一列第一行的数开始顺时针排列，组成二进制编码即00011000，然后将二进制编码转化为十进制数即24，十进制数值作为对应特征点的特征值。

RILBP是基于原始LBP的改进方案，即对转换前像素点对应的原始LBP二进制编码循环移位，一个像素点对应8种二进制编码，然后将这8种二进制编码转换为十进制数值，找到其中最小数值作为像素点的特征值。

1.3 多特征融合

SIFT作为局部特征匹配算法对尺度缩放、旋转变换具有较好的抗性[2]，但对视觉变换较为敏感。而RILBP对光照、对比度、视角变换等具有较强的抗性，且SIFT算法和RILBP都具有可扩展性的优点，本文将二者的特征向量矩阵作线性融合。

利用SIFT提取图像特征向量，其中第i个特征点的特征向量记为Fi ，公式如下：

2 特征点匹配

在SIFT的特征点匹配中，David G Lowe于2009年提出了快速最近邻搜索算法[9]，2014年提出了改进高维可扩展最近邻算法[4]，其对高维度的特征向量具有良好的匹配性，且具有较好的可扩展性。文献[5]采用高效匹配算法VFC（Vector Field Consensus）对特征点集进行筛选匹配，进而得出匹配相似度较高的匹配对。

VFC用于在两个点集中建立鲁棒点的匹配[5]。VFC主要使用公认集和几何约束来建立对应点，通过内插两个点集之间的矢量场来求解对应关系[5]，然后使用Tikhonov正则化器计算图像的Hilbert空间。在此基础上，利用EM算法[5]计算所提取的贝叶斯模型方差，最后与预期值对比，剔除误匹配点。

利用高维可扩展最近邻算法搜索图像某特征点在对应图像中的欧式距离，即dist数值最小的原始匹配点对；然后在此基础上利用VFC算法对原始匹配对的匹配进行分类筛选，最终得到存有匹配关系的匹配对。

3 实验结果与分析

本文实验在Intel HM86 + 酷睿i7 4710MQ 2.5GHZ CPU，8GB内存，Windows 7 64位操作系统的环境下进行，利用Visual Studio 2013（编译语言为C++）和OPENCV库实现。在INRIA Data Sets & Images图像集和The Oxford Buildings Dataset中进行了100张图片（两个数据集各50张）测试，由于篇幅有限，仅给出两张图在各种变化下的匹配效果，將SIFT与VFC结合算法作为对照组。

为检验本文算法在旋转变换方面的匹配精准度，本文每张待匹配图片作30～90°旋转，旋转40°匹配结果如图3所示。为比对本文算法和SIFT在对比度变换上的匹配准确性，本文将待匹配图片对比度调为255∶1，并将亮度增强75%（见图4）。在尺度变换方面，将待匹配图像进行2倍的尺度缩放（见图5）。在以上匹配比对基础上，本文对具有一定视角变换的图像进一步混合了对比度变换、尺度变换和旋转变换，进而比对本文算法和SIFT在此复杂情况下的匹配精准度和执行效率（见图6）。

误匹配率和Recall[10]作为常用的图像处理评估标准具有较好的评判性。本文将Recall值和误匹配率作为算法的性能评估指标，3种算法的Recall值如表1所示，Recall计算公式如式（9）。

recall=图像中匹配正确的匹配对[]两张图像中存在匹配关系的匹配对（9）

为避免匹配点数较少而引起数值偏差较大的问题，在视角变换和对比度较大情况下，本文取两组不同特征点数的匹配效果对本文算法和原SIFT进行执行效率及误匹配点、准确度的统计对比，如表2、表3所示。

初次提取特征点数指目标图所提取的特征点数；匹配后点数指目标图与待匹配图在运用对应匹配算法进行匹配后取得的匹配点个数；匹配条件皆为原图及经过较大视角变换、对比度变换和旋转变换后的待匹配图，本文算法对应的匹配算法为高维数据可扩展最近邻算法与VFC结合后的匹配算法，SIFT算法对应的匹配算法为快速最近邻算法。误匹配点指在匹配结果图上出现的错误匹配点数。匹配准确率为正确匹配对除以匹配后点数得到的商。

由实验结果可知，在旋转变换情况下，本文算法召回率比SIFT算法提高了2.94%；在对比度上本文算法的recall值比SIFT提高了3.92%，表明本文算法在旋转角度较大和对比度变换的情况下比SIFT有更强的抗性；在尺度变换情况下，本文算法和SIFT抗性相近；在视觉变换和对比度变换较大的情况下，本文算法准确率比原SIFT提高了19.83%，比SIFT+vfc提高了12.80%；对于相同特征点和匹配对，本文算法比SIFT算法在视觉变换较大和对比度变换较大的情况下召回率提高了30%，表明本文算法对于较大的视角变换和对比度的复杂情况下物象具有较强的鲁棒性和匹配性能；在执行效率上，本文算法为SIFT的1.22倍。

4 结语

本文基于SIFT特征算法和RILBP特征描述，在利用RILBP特征描述SIFT特征点周围邻域的基础上，将原有SIFT特征描述算子和LBP描述子结合生成更高维的特征描述子，并在高维可扩展最近邻搜索算法的基础上结合VFC算法进行了匹配筛选。实验结果表明，本文算法在视角变换、旋转变换、尺度变换的混合情况下准确率比SIFT算法提升了19.83%。本文算法对视角变换和对比度变换有较好抗性，适用于人脸识别、物象跟踪、字迹辨识、建筑物匹配等具有较大视角变换、尺度变换与对比度变换的图像匹配。后续研究将结合其它算法特点进一步提高算法效率。

参考文献：

[1] DG.Lowe distinctive image features from scale-invariant keypoints[J].International Journal of Computer vision，2004，60（2）：91-110.

[2] DG LOWE.Object recognition from local scale-invariant features[C].IEEE International Conference on Computer Vision，1999：1150-1157 .

[3] T OJALA M，PIETIKAINEN T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（7）：971-987.

[4] M MUJA ，D G LOWE.Scalable nearest neighbor algorithms for high dimensional data[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2014（36）：2227-2240.

[5] J MA，Y MA J，ZHAO J.Image feature matching via progressive vector field consensus[J].IEEE Signal Processing Letters，2015（22）：767-771.

[6] T OJALA M，PIETIKINEN D.A comparative study of texture measures with classification based on feature distributions[J].Pattern Recognition，1996（29）：51-59 .

[7] LINDEBERG T.Scale-space theory：a basic tool for analyzing structures at different scales[J].Journal of applied statistics，1994，21（1-2）：225-270.

[8] 郑永斌，黄新生，丰松江.SIFT和RILBP相结合的图像匹配算法[J].计算机辅助设计与图形学学报，2010，22（2）：287-293.

[9] MUJA M，LOWE D G.Fast approximate nearest neighbors with automatic algorithm configuration[C].UISAPP 2009：331-340 .

[10] MIKOLAJCZYK K，SCHMID C.A performance evaluation of local descriptors[J].IEEE transactions on pattern analysis and machine intelligence，2005，27（10）：1615-1630.