基于方向图的空间颜色直方图的图像检索

林 雅，陈华华

(杭州电子科技大学通信工程学院，浙江杭州310018)

0 引言

在信息大爆炸时代，每天都有成千上万的视频、图像、文字出现。如何充分地利用这些信息，是一个重要的课题。为了能够从浩瀚的图像库中获取用户所需要的内容，基于内容的图像检索技术得到广泛地关注，并成为研究的一个热点［1］。图像的特征提取与特征表示是基础核心。其中颜色、纹理、形状及空间位置关系是图像的最直观的特征，也是图像视觉的重要感知特性［2］。颜色直方图以其特征提取简单、对尺度与旋转变化不敏感等优点，广泛用于图像的检索，但无法体现颜色信息的空间分布。文献3提出了用空间金字塔模型结合颜色直方图来表述图像特征的空间关系。图像的边缘能够描述图像局部最显著的变化，但是没有考虑边缘的颜色信息。文献4以图像边缘轮廓为基础，提出了基于边缘的颜色直方图和方向直方图的彩色图像检索方法，但是都没有考虑到图像的颜色、边缘方向、空间位置等潜在的关系。针对上述的分析，本文提出了基于相同或相似的方向图的空间颜色直方图的算法。首先将HSV颜色空间转化到直角坐标系，再计算其颜色方向，然后获取相同或相似方向图，最后在此方向图上计算空间颜色直方图。

1 特征提取

1.1 颜色空间及量化

颜色直方图是一种能够有效地表示图像的全局颜色信息的特征，具有良好的鲁棒性，对旋转、平移等形变都不敏感，并且计算简单。大多数的图像都以红、绿、蓝为三原色的颜色(RGB)空间表示的，然而符合人类视觉感知效果的是以色调、饱和度、亮度为参数的颜色(HSV)空间［5］。因此，将RGB空间转换到HSV空间，并计算其颜色直方图。为了降低特征的维数，将H、S、V3个通道分别均匀量化成8、3、3份。最后，可以获取8×3×3=72维的颜色直方图。图像中每个象素点的位置记为(x，y)，则每个象素点所对应的量化颜色值为

1.2 颜色边缘方向提取

HSV颜色空间能更好地反应人类的视觉感知效果，所以在HSV空间提取图像的颜色边缘方向。HSV是圆柱体坐标系，其中，将它转化到直角坐标系，转化公式如下所示:

对H、S、V3个通道分别利用sobel算子提取水平方向和垂直方向的边缘，记作S'y、V'y。此时，图像的每一个象素点(x，y)的水平方向和垂直方向的分量分别为将它们看成两个向量，计算其向量夹角θ，如下式所示:

由于向量夹角的取值范围为0－360°之间，所以可以将其均匀量化成m份。最后，图像量化后的方向大小为

1.3 基于相同或相似方向图的特征提取

相同或相似的边缘方向暗示其象素颜色之间的某种联系，这种潜在的关系可以通过计算相同或相似方向图的颜色直方图来体现。

1.3.1 相同或相似方向图

用3×3的滑动窗在方向图O( x，y)上从左到右、从上到下依次滑过，在每个3×3象素内，如果中心象素的值i与周围8个象素的值有相同，则该相同象素与中心象素属于同一区域。遍历全图后，将同一区域连接起来，就构成相同或相似方向图。

1.3.2 特征描述

在上述构成的相同或相似方向图上，提取其相对应的颜色量化值构成基于相同或相似方向图的新颜色量化图，并用C( x，y)=n，n∈{1，2，…，72}表示。同时，考虑到上述相同或相似方向图的获取方法，在新的颜色量化图C( x，y)上用相同的方法计算每个中心象素n与周围8个象素相同的个数，并用()N n表示。最后将其归一化处理，得到的特征表示为为在每个3×3象素内其中心象素n与周围8个象素有相同的总个数。

1.4 基于空间金字塔的颜色直方图

空间金字塔是一种简单且计算高效，对特征表示的一种拓展［6］。将图像按等级划分，在各个划分区域提取特征，然后赋予其相对应的权重。最后将这些特征组合起来，作为图像的一种新的特征表示。空间金字塔的颜色直方图的表示方法为:

式中，f'(n)为划分区域中对应的颜色直方图，L为最高划分等级，r为当前划分等级。如取L=2，当r=0时有一个72维特征向量，当r=1时有2×2划分，有一个2×2×72维特征向量，当r=2时有4×4划分，有一个4×4×72维特征向量。将3个结合起来组成的新特征向量的总的维数为三者维数之和。

1.5 本方法的流程描述

首先将输入的图像转化到HSV颜色空间，分别对其H、S、V3个通道进行均匀量化并转化到直角坐标系中;其次利用sobel算子对3个通道分别提取水平和垂直方向的边缘并计算方向角大小;然后对方向角进行量化，将相同或相似的区域连通构成方向图，并在方向图上提取颜色直方图;最后对颜色直方图采用基于空间金字塔结构模型进行描述。

2 相似性度量

获取上述的特征H( n)后，采用L1距离计算图像间内容的相似度。假设待查询图像为Q，其对应的特征为 Hq=( q1，…，qk)，图像数据库中目标图像为T，其对应的特征为则Q与T之间的相似性距离为

3 实验结果

本实验采用常用的corel-1000图像库进行算法的性能测试。图库包含10类不同的图像，即:非洲、海滩、建筑、汽车、恐龙、大象、花卉、马、雪山、食物，每类有100张。

3.1 不同算法的检索效果实验

每类随机抽取5张图作为待检索的对象，共形成50次的查询，每次查询选取最相似的前10张图作为检索结果，并采用MAP(mean average precision)评价检索效果，公式如下所示:

式中，i表示图像库中的第i类图。

利用本文提出的方法与方法SPCH［3］、ECOH［4］做比较，SPCH是在空间金字塔上计算颜色直方图，ECOH是结合了综合边缘颜色直方图和边缘方向直方图，比较结果如表1所示:

表1 与其它算法的MAP比较

由表1可知，本文算法的MAP比其他2种方法都要高，尤其比SPCH效果好，因为考虑了图像的边缘方向。相比ECOH在某些类别中(如海滩、雪山类)检索率没有那么好，原因可能是该类别图像的目标对象不好确定，背景也相似，而且利用soble算子提取的边缘效果也没有ECOH中利用canny算子提取的边缘好。

3.2 不同算法的耗时情况实验

本实验测试环境为奔腾T2390处理器，2G内存的XP系统配置的笔记本电脑，MatlabR2010a仿真软件。实验结果如表2所示，由此可知，本文算法的耗时比ECOH短，但是远大于SPCH。需要寻找到耗时与检索率之间的平衡点，由于检索率相对比较重要，而耗时可以通过软、硬件提高，所以本文算法还是相对比较好的。

表2 与其它算法的耗时情况比较(s)

4 结束语

本文提出了基于相同或相似方向图的空间颜色直方图的算法，其不仅充分利用了颜色的方向信息，而且通过方向信息获取相同或相似方向图，并考虑到图像的颜色、边缘方向、空间位置等潜在的关系。实验表明，本算法比起文献3，4的算法，具有较好的平均检索率，虽然在耗时上并不占优势，但是能够找出用户所需内容的图像。

［1］Datta R，Joshi D，Li J，etal.Image retrieval:ideas，influences and trends of the new age［J］.ACM Computing Surveys，2008，40(2):1 －5.

［2］孙君顶，原芳.基于内容的图像检索技术［J］.计算机系统应用，2011，20(8):240－244.

［3］张鑫，刘秉权，张德园.空间金字塔颜色直方图在图像分类中的应用［J］.计算机工程与应用，2010，46(18):152－155.

［4］杨芳宇，王向阳.一种基于边缘综合特征的彩色图像检索算法［J］.计算机科学，2010，37(2):256－260.

［5］Swain M J，Ballard D H.Indexing via color histograms［C］.Osaka:International Conference on Computer Vision，1990:390－393.

［6］Lazebnik S，Schmid C，Ponce J.Beyond bags of features:spatial pyramid matching for recognizing natural scene categories［C］.Washington:Computer Vision and Pattern Recognition，2006:2 169 －2 178.