基于全局颜色传递的SIFT匹配算法

刘 畅，唐加山

1.南京邮电大学 通信与信息工程学院，南京 210003 2.南京邮电大学 理学院，南京 210023

◎图形图像处理◎

基于全局颜色传递的SIFT匹配算法

刘 畅1，唐加山2

1.南京邮电大学 通信与信息工程学院，南京 210003 2.南京邮电大学 理学院，南京 210023

研究在不同光照条件下两幅彩色图像的匹配问题，提出了一种新的基于全局颜色传递的具有尺度不变性的特征变换（SIFT）匹配算法。新算法对不同光照下同一场景或目标的两幅彩色图像进行全局颜色传递，以减小匹配时由颜色差异带来的误差；利用SIFT算法提取处理后的图像的特征信息完成初步匹配；采用随机抽验一致性（RANSAC）算法消除误匹配点。实验结果表明新算法具有良好的彩色图像匹配性能。

颜色传递；尺度不变特征（SIFT）；特征匹配；消除误匹配点

1 引言

众所周知，彩色图像匹配算法大多是将其转化为灰度图像，利用图像的灰度信息寻找图像中的几何不变量，完成图像之间的匹配。SIFT算法[1]是一种在不同尺度空间中寻找图像局部特征点且对图像缩放、旋转甚至仿射变换依然保持尺度不变性的特征匹配算法。然而，经典SIFT算法只利用了图像的灰度信息，忽略了图像的颜色信息。为此，学者们提出了多种针对彩色图像的SIFT算法，如：HSV-SIFT[2]算法：计算HSV颜色空间三个通道，并在三个通道中为每个特征点生成SIFT特征向量。Opponent-SIFT[3]算法：基于对立色理论，形成对立色空间模型，对模型中每一分量计算SIFT特征向量；RGB-SIFT[4]算法：计算RGB颜色空间三个通道，并在三个通道中为每个特征点生成SIFT特征向量；Trans-formed Color-SIFT[5]算法：对RGB空间模型进行改善，生成新的空间模型，并对模型中每一分量计算SIFT特征向量。虽然这些算法在一定程度上提高了SIFT算法对彩色图像的匹配能力，但是当光照发生变化时，这些算法匹配的效率普遍不高。经过研究，发现如果用全局颜色传递算法对图像进行预处理，则能够很好地将源图像的颜色信息传递给目标图像，并且保持目标图像的形状不变。因此，本文提出了一种基于颜色传递的SIFT匹配算法，即先对目标图像进行颜色传递的预处理，把源图像的颜色信息传递给目标图像，再用SIFT算法对源图像和经过处理后的目标图像进行特征点的提取和匹配，实现彩色目标的匹配，仿真实验表明新算法在彩色图像匹配方面具有良好的表现。

2 Transformed Color-SIFT算法

彩色目标的匹配在于特征点的提取和匹配，而基于SIFT的特征点提取和匹配算法在图像匹配中得到了广泛的应用。SIFT算法的目的是生成一个特征描述符，该描述符对于特征尺度具有不变性。该算法的核心思想是：首先构建尺度空间并找到兴趣点，接下来在兴趣点集合中寻找关键点，利用关键点及其周围点的梯度方向，分配给关键点特定的方向，最后给每一个关键点设置一个矢量作为下一步匹配计算的依据，该矢量的维度为128[6-7]，具体步骤详见文献[8-9]。

Transformed Color-SIFT算法[10]是一种彩色SIFT算法，该算法在源图像和目标图像各自提取SIFT特征矢量（即128维特征向量）之前，在RGB空间模型中定义一个新的空间模型，即对于每个原通道颜色的分布减掉其颜色分布的均值u，并除以该通道下分布的标准差σ，即：

在该模型下提取每个通道分量的SIFT特征向量，即用128×3维向量对特征点进行描述，再对源图像和目标图像的128×3维向量进行特征向量的匹配。本文的核心思想是借鉴Transformed Color-SIFT算法中对图像预处理的方法，把目标图像在每个通道颜色的分布的均值和方差与源图像在每个通道颜色的分布的均值和方差联系起来，以达到全局颜色传递的目的。

3 全局颜色传递

全局颜色传递[11]适合在整体内容和颜色信息都相似的两幅彩色图像之间进行颜色传递，在颜色传递的过程中，合适的颜色空间的选择对算法能否取得更佳的传递效果有着很大的影响。本文主要采用颜色传递算法中常用到的L,α,β颜色空间[12]，因为它的三个颜色分量近似正交，基本消除了各个颜色分量之间的相关性，能够最大限度地减小一个分量的变化给另外两个分量造成的影响；所以可以对三个通道图像进行独立运算，而且不需要修改另外两个通道的信息，其中，L表示亮度信息，α,β分别表示红绿和黄蓝信息。算法主要通过对目标图像每一像素点在L,α,β空间中的各通道值进行平移、缩放实现颜色传递，具体实现如下：

（1）将两幅彩色图像从RGB空间转化为LMS空间，再转化到L,α,β空间，转化公式为：

由于上述的数值矩阵不均衡，所以要通过取对数来调整其均衡性：

L=lgL;M=lgM;S=lgS

最后转换到L,α,β空间的公式如下：

在 L,α,β空间下计算各个通道的总体均值 μ和标准差σ：

其中，参数下标s和t分别代表源图和目标图。

（2）在目标图像中，像素点的各个通道都减去该通道的总体均值：

对目标图像中各个像素点进行缩放：

（3）目标图像的每个像素点各个通道加上源图像相应通道的均值：

目标图像经过颜色传递处理后的图像以及其颜色直方图如图1所示。

4 本文算法

本文采用基于全局颜色传递的SIFT匹配算法：首先如第3章所述对目标图像进行颜色传递，然后如第2章所述对源图像和处理后的目标图像分别提取128维的SIFT特征向量，其次进行彩色图像特征点匹配，特征点匹配分成初次匹配和二次匹配两个步骤完成，最后消除误匹配点完成匹配。

图1 全局颜色传递的效果

当进行特征点初次匹配时，采用基于特征点最近邻与次近邻距离之比BBF（Best Bin First）[13]的搜索算法：取源图像上的一个关键点，在经过颜色传递后的目标图像中，寻找与它距离最近的前两个特特征点，这里的最近距离理解为关键点的描述向量间的最小欧氏距离。为了排除由图像遮挡和背景混乱而产生的无匹配关系的关键点，这里将最近距离与次近距离比设定为阈值参数ratio，设定好ratio后，若比值小于ratio，则源图中的关键点与目标图像中最近距离的那个特征点相匹配，否则匹配不成功。当降低或升高阈值时，匹配成功的点会相对地减少或增加，阈值越小，匹配结果越稳定。经过多次实验可得，阈值取0.8时最佳。这些经过初次匹配的匹配点为实际匹配点。

完成初步匹配后，本文使用二次匹配剔除一些误匹配对来改善匹配效果，进而得到正确的匹配点。具体步骤为：计算出所有匹配点之间距离的最大值maxdist（这里的距离指关键点的描述向量间的欧氏距离），在一对匹配点中，若匹配点之间的距离同maxdist的比值大于某个阈值differ，则删除这一对匹配点。阈值过大或者过小，匹配成功的点会减少，只有当阈值大小适中时，匹配结果才会稳定。经过多次实验可知，阈值取0.6时最佳。最后再采用随机抽检一致性（RANSAC）算法[14-15]来消除误匹配点，即通过反复测试、迭代，找到一个变换矩阵，使得尽量多的特征点间都符合这个变换关系，剔除不满足这个变换关系的匹配点。如此，便能在保留尺度不变性的基础上，减少光照对匹配精度的影响算法流程图如图2所示。

图2 基于全局颜色传递的SIFT匹配算法的流程图

5 实验结果与分析

为了验证新算法的性能，本章对几种彩色图像匹配算法进行仿真实验，实验在Windows8的64位操作系统，CPU主频2.7 GHz配置下运行Visual Studio 2010和Opencv 2.4.10来实现相关算法，选取了阿姆斯特丹（ALOI）图像库中的30组不同光照下的图像，图像大小为384×288。在实验中对 HSV-SIFT、Opponent-SIFT、RGB-SIFT、Transformed Color-SIFT以及本文算法的性能进行了对比分析，为了保证结果的准确性，在本文中，每个算法的阈值ratio均取为0.8，differ均取为0.6。采用平均匹配准确率、平均匹配时间和平均误匹配率来衡量五种算法的匹配能力。

仿真结果是30次独立重复实验的平均值，因此平均匹配准确率是指在30次实验中正确的匹配点数与实际的匹配点数比值的平均值：

其中，N正确匹配表示正确匹配点的数量，N实际匹配表示实际匹配点的数量。

平均匹配时间指在30次实验中匹配时间的平均值：

其中，T表示匹配时间。

平均误匹配率是指在30次实验中误匹配的数量与匹配点数量比值的平均值：其中，N误匹配表示误匹配点的数量，N正确匹配表示正确的匹配点的数量。

由表1可以看出在光照变化的情况下，本文算法的平均匹配率、平均误匹配率和平均匹配时间均比HSV-SIFT、Opponent-SIFT、RGB-SIFT 和 Transformed Color-SIFT等算法均有较大优势。本文算法具有较好性能的原因在于在进行SIFT匹配之前，对目标图像进行了颜色传递的预处理，减小了由光照不同带来的颜色差异，从而提高了彩色目标或者彩色图像之间的匹配率。

表1 不同算法性能的比较

表2 不同算法不同阶段时间的比较s

表2给出了五种算法在光照变化情况下各个阶段所用时间的实验结果，可以看出，虽然本文算法在预处理时花费的时间比HSV-SIFT、Opponent-SIFT、RGBSIFT和Transformed Color-SIFT等算法要长，但是由于HSV-SIFT、Opponent-SIFT、RGB-SIFT 和 Transformed Color-SIFT等算法都是在三个不同通道上提取128维特征向量，生成了128×3维向量，而本文算法只需要在单通道生成128维向量，所以本文算法提取特征点的所用时间要比其他算法要少；同理，在进行特征点匹配时，本文算法依然占据优势，所以本文算法总的匹配时间要比其他彩色SIFT匹配算法所用时间要少。本文算法在预处理时花费的时间比HSV-SIFT、Opponent-SIFT、RGBSIFT和Transformed Color-SIFT等算法要长，但是由于HSV-SIFT、Opponent-SIFT、RGB-SIFT 和 Transformed Color-SIFT等算法都是在三个不同通道上提取128维特征向量，生成了128×3维向量，而本文算法只需要在单通道生成128维向量，所以本文算法提取特征点的所用时间要比其他算法要少；同理，在进行特征点匹配时，本文算法依然占据优势，所以本文算法总的匹配时间要比其他彩色SIFT匹配算法所用时间要少。

本文进一步给出五种算法在光照变化情况下正确匹配点数量的实验结果图像。图3～7的匹配方法分别是本文算法、Opponent-SIFT算法、HSV-SIFT算法、RGB-SIFT算法和Transformed Color-SIFT算法，每一种匹配方法都使用相同的玩偶图像和洗衣粉图像作为实验对象。

图3 本文算法在光照变化的环境下正确匹配点数量

图4 Opponent-SIFT算法在光照变化的环境下正确匹配点数量

图5 HSV-SIFT算法在光照变化的环境下正确匹配点数量

图6 RGB-SIFT算法在光照变化的环境下正确匹配点数量

图7 Transformed Color-SIFT算法在光照变化的环境下正确匹配点数量

6 小结

彩色图像SIFT算法能够解决光照变化、旋转变化、尺度变化、仿射变化等环境下的彩色目标匹配问题。本文针对目前彩色图像SIFT算法在光照条件下匹配效率不高的问题，在Transformed Color-SIFT算法的基础上，提出了一种基于颜色传递的SIFT特征点提取与匹配算法，首先对目标图像进行颜色传递的预处理，再对经过颜色传递的目标图像与源图像分别提取特征点，然后对特征点的128维特征向量进行初次匹配和二次匹配，并消除误匹配点。仿真实验表明，本文方法比现有的彩色图像SIFT算法具有更短的匹配时间和更好的匹配能力，具有较广阔的应用前景。

[1]Lowe D G.Distinctive image features from scale-in-variant keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[2]Bosch A，Zisserman A，Munoz X.Scene classification using a hybrid generative/discriminative approach[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2008：712-727.

[3]Tuytelaars T，Mikolajczyk K.Local invariant feature detectors：A survey[J].Foundations and Trends in Computer Graphics and Vision，2008：177-280.

[4]Gevers T，Smeulders A W M.Color-based object recognition[J].Pattern Recognition，1999：453-464.

[5]Burghouts G J，Geusebroek J M.Performance evaluation of local color invariants[J].Computer Vision and Image Understanding，2009：48-62.

[6]Lowe D G.Object recognition from local scale-invariant features[C]//Proceedings of the International Conference on Computer Vision，1999：1150-1157.

[7]王明，刘伟光.基于改进SIFT特征的双目图像匹配算法[J].计算机工程与应用，2013，49（2）：203-206.

[8]Yuen P C.Wavelet-based PCA for human face recognition[C]//IEEE Southwest Symposium on Image Analysis and Interpretation，1998：223-228.

[9]汪松.基于SIFT算法的图像匹配方法研究[D].西安：西安电子科技大学，2013.

[10]Koen E A，Snoek G M C，Gevers T.Evaluating color descriptors for object and scenerecognition[J].IEEE Transactions on pattern Analysis and Machine Intelligence，2010：1582-1596.

[11]陈小娥.两种色彩传递算法适用情况研究[J].计算机应用与软件，2011，9（2）：252-254.

[12]Chiao C C，Ruderman D L，Cronin T W.Statistics of cone responses to natural images：Implications for visual coding[J].Journal of Optical Society of America A，1998，15（15）：2036-2045 ．

[13]丁南南.基于特征点的图像配准技术的研究[D].长春：中国科学院研究生院，2012.

[14]Fischler M A，Bolles R C.Random sample consensus：A paradigm for model fitting with applications to image analysis and automated cartography[J].ACM Graphics and Image Processing，1981，24（6）：381-395.

[15]赵烨，蒋建国，洪日昌.基于RANSAC的SIFT匹配优化[J].光电工程，2014，8（8）：58-65.

LIU Chang1,TANG Jiashan2

1.College of Telecommunications and Information Engineering,Nanjing University of Posts and Telecommunications,Nanjing 210003,China 2.School of Science,Nanjing University of Posts and Telecommunications,Nanjing 210023,China

SIFT matching algorithm based on global color transfer.Computer Engineering and Applications,2017,53（21）：157-161.

This paper investigates the matching problem between two color images coming from the same scene under different illuminations,and proposes a new image matching algorithm with the Scale Invariant Feature Transform（SIFT）based on global color transfer.Firstly,the new algorithm implements the global color transfer between two color images which have different illumination under the same scene,resulting in reducing the error caused by color difference.Then,the SIFT algorithm is used to extract the features information from the processed images and the primary matching between the source image and the processed one is finished.Lastly,the false matched features are discarded by using the Random Sample Consensus（RANSAC）algorithm.Simulation results indicate that the new method has better performance of color images’matching than that in the literatures.

color transfer;Scale Invariant Feature Transform（SIFT）;feature matching;eliminate false matching points

A

TN911.72

10.3778/j.issn.1002-8331.1605-0013

刘畅（1993—），女，硕士研究生，主要研究领域为数字图像处理，现代智能信号处理，E-mail：615914484@qq.com；唐加山（1968—），男，博士，教授，主要研究领域为概率论、随机过程理论及其应用、现代通信中的智能信号处理技术、数字图像处理、信道辨识与均衡等。

2016-05-04

2016-06-30

1002-8331（2017）21-0157-05

CNKI网络优先出版：2016-09-29,http://www.cnki.net/kcms/detail/11.2127.TP.20160929.1650.028.html