彩色描述子SIFT的研究新进展

韩 顺,陶跃华,朱英南

(1.云南师范大学 信息学院,云南 昆明 650092;2.密苏里大学 计算机科学系，美国 哥伦比亚 65201)

随着多媒体技术、计算机技术迅速发展，Internet上呈现大量的图像信息。图像中包含了很多的物体特性，其中颜色是非常重要的特征之一，颜色包含了图像中更多有价值的识别信息。SIFT算法提取图像局部特征，成功应用于物体识别、图像检索等领域。该算法由DAVID G.L.于 1999年提出[1]，并于2004年进行了发展和完善[2]，MIKOLAJCZYK[3]对多种描述子进行实验分析，结果证实了SIFT描述子具有最强的鲁棒性。然而这些描述子仅利用图像的灰度信息，忽略了图像的彩色信息。为了提高光照不变性，获得更高的识别率，研究者提出了基于颜色不变特性的SIFT彩色描述子。目前彩色描述子主要分为基于颜色直方图、基于颜色矩、基于SIFT三类。本文对彩色SIFT描述子进行了深入的研究，阐述了彩色SIFT描述子，给出了每种彩色描述子的性能评价。

1 SIFT算法分析

SIFT描述子对图像的局部特征进行描述，当图像进行旋转、平移、尺度缩放、仿射变换等，SIFT特征具有很好的稳定性。SIFT算法主要分为四个步骤：检测尺度空间极值点、精确定位极值点、为每个关键点指定方向参数、关键点描述子的生成。

1.1 检测尺度空间极值点

计算SIFT描述子的第一步是搜索所有尺度和图像位置，它通过使用高斯差函数识别对尺度和方向不变的潜在兴趣点来实现。关键点就是多尺度高斯差的极大值/极小值。

对输入的图像进行尺度变换，利用高斯核与二维图像做卷积运算：

其中：L(x,y,σ)为图像在尺度空间下不同尺度的表示，G(x,y,σ)为二维高斯核，I(x,y)是输入的图像，*是卷积操作。

高斯核定义如下：

在实际计算中通常用高斯差分算子检测极值点。高斯差分算子（DOG）定义如下：

极值点检测时，每一个采样点要与它同尺度的8个采样点和上下相邻尺度18个点(共26个点)进行比较。Lowe在计算时，取关键点尺度k=，取多倍因子常数σ=1.6。

1.2 精确定位极值点

为了增强特征点的抗噪能力,增强匹配的准确性，需要去除低对比度、对比度的关键点和不稳定的边缘响应点。通过计算DOG算子D(x,y,σ)的二阶泰勒展开式：

即可得到极值点精确位置：

当|D(xˆ)|＜0.03 时，抛 弃xˆ（低对比度关键点）。

边缘不稳定的点通过2×2的Hessian矩阵来判断。

1.3 为每个关键点指定方向参数

为了使特征描述子具有更好的稳定性，通过计算邻域像素梯度方向为关键点分配主方向，梯度模值m(x,y)和梯度方向θ(x,y)定义如下：

实际计算中，是在特征点的领域内采样，创建梯度方向直方图。直方图每10度分为一柱，共36个柱。然后将领域内的每个采样点按梯度方向θ归入适当的柱，以梯度模m作为权重。选择直方图的主峰值作为梯度的主方向，能量值达到主峰值80%以上的局部峰值作为辅助方向。

1.4 关键点描述子的生成

以特征点为中心取8×8的采样窗口，在4×4的小块区域上计算其梯度方向直方图。绘制好每个方向梯度累加值，形成了一个种子点。每个特征点由4个种子点构成。在实际计算过程中，通常使用4×4共16个种子点来描述特征点。这样总共产生了4×4×8共128维的特征描述子向量。

2 基于彩色的SIFT研究进展

SIFT描述子对图像的高斯梯度进行编码，该描述子在空间模式下描述了灰度图像16个种子点及每个种子点8个梯度方向。由于SIFT算法只是利用图像的灰度信息，不能很好地区分形状相似但颜色不同的物体。光照的变化很大程度上影响着彩色物体识别的效果。在物体描述与匹配中,颜色可以提供更加有用的信息，物体的颜色信息被忽略，致使一些物体会被错误地分类。在图像处理中彩色图像能够表达更多的信息，彩色信息可以获得更高的辨别率。针对这一问题，研究人员对基于彩色的SIFT特征点提取算法进行了深入的研究。

2.1 SIFT彩色描述子

彩色描述子主要分为基于直方图、基于颜色矩和基于SIFT三类。这三类描述子的选取依据其具体的环境。彩色直方图描述子丢失了颜色的空间分布，彩色矩包含了图像局部的光度信息与颜色空间信息分布。SIFT描述子包含了颜色局部空间信息分布。为了提高光照不变性,获得更高的识别率,基于SIFT的彩色描述子得到发展, 例如：HSV-SIFT、HueSIFT、opponent SIFT、WSIFT、rgSIFT和transformed Color SIFT。

彩色SIFT描述子基于颜色不变特性。在尺度空间中，对彩色图像特征点进行检测，确定特征点的位置，在颜色空间模型下计算特征点相关种子点的颜色梯度，对每个特征点用128×3维的特征描述子进行描述。该描述子融合了特征点的颜色信息与几何信息。

HSV-SIFT HSV颜色空间中，H表示颜色的色调，S表示颜色的纯度，即表示一种颜色中加入了多少白光，V表示颜色值的大小。该颜色空间的模型对应于圆柱坐标系中的一个圆锥形子集。BOSCH[5]计算HSV颜色空间三个通道为每个特征点生成彩色描述子。每个通道经过计算生成128维向量，这样总共生成128×3维的向量。

HueSIFT在HSV颜色空间中，色调捕捉了颜色的主要波长，描述了图像的彩色信息。VAN de Weijer[4]采用级联色调直方图的方法应用于SIFT描述子,计算三个通道为每一关键点生成128×3维HueSIFT描述子向量。

OpponentSIFT对立色理论认为人类视网膜上存在三种光化学物质－视素，每种视素都能发生同化和异化两种变化，在同化过程中，视素产生合成，异化过程产生分解。同化异化的发生完全是由于不同光谱组成的色光刺激的结果。而同化异化的结果使人产生相应的对立颜色感觉。即红-绿、黄-蓝、黑-白等六种不同色觉。基于对立色理论，对立色空间模型如下：该彩色模型具有 O1、O2、O3三个通道分量。O3通道包含了大部分强度信息，O1与O2通道包含了彩色信息。生成特征点描述子时，对模型中每一分量计算SIFT特征描述子，这样生成了128×3维的描述子向量，该描述子称为OpponentSIFT。

W-SIFT在对立色空间模型中O1与O2通道分量仍然会包含一些强度信息，为使强度的变化不影响SIFT特征，GEUSEBROKE[6]提出了用于消除强度信息的方法。消除强度信息直观表示为在对立色空间模型中定义3与，对O1、O2分量做除法，这样去除了3强度信息变化的干扰，然后对每一分量计算生成特征描述子，该描述子称为W-SIFT。

rgSIFT rgb空间模型是一种归一化的RGB模型，定义如下：

r与g分量描述了图像的颜色信息。由于归一化的r与g分量具有尺度不变特征，因此不受其光照强度的变化、阴影与底纹的影响。计算rgSIFT特征描述子时结合了归一化RGB彩色模型中r分量与g分量。

Transformed color SIFT在RGB空间模型中，光照的变化对RGB直方图稳定性产生影响。光强度的变化引起颜色不规则分布，致使直方图产生偏移。为了消除偏移，在RGB模型中对于每个通道颜色的分布减掉其颜色分布的均值μ，除以该通道下分布的标准差σ。定义后的空间模型如下：

在该模型下计算每个通道分量的SIFT描述子,对特征点进行描述，该描述子称为Transformed color SIFT。

2.2 彩色SIFT描述子的性能评价

BURGHOUTS G J[7]在试验中对比彩色SIFT描述子与灰度SIFT描述子，当光照颜色变化与光散射时彩色SIFT描述子具有更好的性能。然而彩色空间的选择与光照的变化对彩色SIFT描述子的性能还是有一定的影响。为了得到各种彩色描述子的性能，Koea[8]在光强度变化、光强度偏移、光强度的变化与偏移、光色的变化、光色的变化与偏移等多种光照变化情况下对描述子进行实验与分析，可以得到每种彩色描述子的性能如表1所示。

SIFT算法是多尺度空间理论提出后产生的，对图像的局部特征进行提取，SIFT描述子对于旋转、尺度缩放、仿射变换、视角的变换具有很好的稳定性。对大多数图像尺度变换、旋转、仿射变换等具有很强的不变性。基于颜色不变特性的彩色描述子不仅保留了SIFT原有特性，可以获得更高的辨别率,而且对于光照的变化也保持了很好的不变性。

为了提高SIFT的一些能力和加快匹配速度，对标准的SIFT描述子改进的技能是：(1)在标准的SIFT上利用不同的直方图、不同区域的形状、HSV组件、使用RGB直方图等等； (2)利用降维方法 (如主成分分析(PCA))，以减少SIFT的特征维数。

表1 各类彩色描述子性能比较

[1]DAVID G L.Object recognition from local scale-invarint features[C].International Conferenceon Computer Vision,1999：1150-1157.

[2]DAVID G L.Distinctive image features from scale-invariant key-points[J].International Journal of Computer Vision，2004,60(2)：91-110.

[3]MIKOLAJCZYK K,SCHMID C.A performance evaluation of local descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(10)：1615-1630.

[4]WEIJER J,GEVERS T,BAGDANOV A.Boosting color saliency in image feature detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(1)：150-156.

[5]BOSCH A,ZISSERMAN A,MUOZX.Scene classification using a hybrid generative/discriminative approach[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2008,30(04)：712-727.

[6]GEUSEBROEK J M,BOOMGAARD R,SMEULDERS A W M,et al.Color invariance[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(12)：1338-1350,

[7]BURGHOUTS G J,GEUSEBROEK J M.Performance evaluation of local color invariants[J].Computer Vision and Image Understanding.2009,133：48-62.

[8]SANDE K E A,GEVERS T,SNOEK C G M.Evaluation of color descriptors for object and scene recognition[C].IEEE Conference on Computer Vision and Pattern Recognition,Anchorage,Alaska,USA,June 2008.