基于多特征融合的图像检索方法

邱芹军 谭家政 蔡大伟 刘 勇

（三峡大学智能视觉与图像信息研究所，湖北宜昌 443002）

随着互联网和多媒体技术的迅速发展，多媒体信息资源成指数增长［1］，传统的基于本文的图像检索已经远远不能满足人们的需求，基于内容的图像检索技术引起了国内外很多学者的关注.而图像检索技术中如何描述图像的特征和选择合适的检索机制成为图像检索中的难点问题.

目前，图像检索技术主要分为3个发展阶段，第1阶段：基于文本的图像检索，主要是根据用户输入的关键字来进行检索；第2阶段：基于内容的图像检索，主要是根据图像的颜色、纹理、形状、轮廓等低层特征来描述图像；第3阶段：基于语义的图像检索，用更加接近于人们检索心理的特征来检索图像.

颜色特征和纹理特征一直是基于内容的图像检索中被广泛关注和研究的热点.颜色特征具有很好的鲁棒性，但是它忽略了图像的纹理、形状和空间等信息.纹理特征在计算机视觉领域和模式识别领域得到了广泛的研究，出现了不少经典的纹理特征描述子.其中灰度共生矩阵就是一个非常经典的纹理描述子［2］，它已被广泛应用到纹理分析、对象识别以及图像检索中，并且取得了较好的效果［3－4］.但现有的纹理特征与人类的感知差异较大，仅仅依靠纹理特征进行图像检索，效果并不好［5］.颜色直方图和彩色共生矩阵能够结合颜色信息和纹理信息表达物体表面颜色信息与结构分布之间的相互关系，因此，它能够较好地描述图像内容.

本文针对仅仅使用颜色或者纹理单一特征来表达图像特征的缺陷，从颜色和纹理的角度出发，并结合直方图和灰度共生矩阵的优点，提出了利用颜色直方图和彩色共生矩阵来描述图像内容的方法.

1 颜色直方图

1.1 HSV颜色空间

常见的颜色空间有RGB，Lab，LUV，YUV，HSV，YIQ，HSL，HIS，YCbCr等［6］.最常见的颜色空间是RGB颜色空间，但是这种颜色空间与人眼的视觉感知差异较大，不适合表达视觉特征.而HSV颜色空间包含3个分量：色彩（hue）、饱和度（saturation）、明度值（value），这3个分量能更好地表达人的视觉特征信息.因此本文在对颜色特征进行提取时选择HSV颜色空间.

1.2 颜色量化

颜色特征能够表现出较强的鲁棒性，它对图像平移、尺度、旋转变化不敏感.本文在HSV颜色空间中进行颜色量化.在HSV颜色空间中，假设彩色图像的大小为M×N，QH，QS，QV分别表示H，S和V分量量化的等级数.一般情况下，颜色量化数目越多，算法对颜色的分辨能力越强，但同时会增加计算量.而且很多研究表明，单纯增加颜色量化的数目并不能提高图像检索性能.本文为了减少计算量和存储空间，同时不影响检索性能，在HSV颜色空间中将彩色图像量化为16×4×4＝256种颜色.本文中，256种颜色的索引图像表示为C（x，y），其中x∈［0，1，…，M－1］，y∈［0，1，…，N－1］.

1.3 统计直方图

在确定颜色空间的基础上，对一幅数字图像，计算图像中每个颜色值落在不同颜色区间的像素统计值得到图像颜色直方图.一般来说，颜色小区间的数目越多，颜色直方图的效果越好.同时，过多的颜色小区间会增加计算负担.本文根据1.2中的颜色量化来统计颜色直方图.

2 彩色共生矩阵

灰度共生矩阵能够描述空间信息，但是不具备颜色特征和形状特征.灰度共生矩阵通过一定的扩展可以克服这些弱点，具备描述颜色特征和形状特征的能力.

本文是在灰度共生矩阵的基础上，利用彩色共生矩阵［6］来描述图像的特征.它是一种新的特征描述子，是对灰度共生矩阵的延伸和拓展.彩色共生矩阵主要包括边缘提取、边缘量化和特征描述3个环节.

2.1 边缘提取

图像边缘能够提供和描述较多的图像纹理和形状等信息.其中图像的梯度能够检测出彩色图像中的色彩跃变部分.

在灰度图像处理中，灰度图像计算梯度的方法可应用于二值图像，但是不能直接扩展到彩色空间.本文在RGB彩色空间中提取彩色图像边缘信息.设r，g和b是沿RGB彩色空间的R，G，B轴的单位向量，并定义向量［7］：

令gxx，gyy和gxy表示这些向量的内积

则可得图像在（x，y）处的最大变化率的方向角度

且在角度θ（x，y）方向上点（x，y）处的变化率的值［3，6］

计算整幅图像的梯度值然后进行标准化，使其落在［0，1］范围内，然后将其投影到灰度等级上.因为tan（α）＝tan（α＋π），如果θ是式（8）的一个解，则θ0＋π／2也是该式的一个解.由于Fθ＝Fθ＋π，所以F仅需对θ在半开区间［0，π）内计算.意味着该式在每个点（x，y）处涉及两个正交方向.沿着这些方向之一f最大，沿其他方向f最小.

2.2 边缘量化

为了减少计算量和存储空间，同时不降低检索性能.本文将提取出的最大变化率的方向角度量化为18个等级.本文中，在RGB颜色空间中一副大小为M×N的彩色图，18个等级的索引图像表示为f（x，y），其中x∈［0，1，…，M－1］，y∈，0，1，…，N－1］.

2.3 特征描述

Haralick等人在灰度共生矩阵的基础上提出利用能量、对比度、熵、均匀度等14个统计量来描述图像的纹理特征［8］.但是对于自然的图像来说，仅仅利用能量、对比度、熵、均匀度等统计量并不一定具有优势.

共生矩阵能够描述像素之间的空间关系，但描述图像的特征维数会很高，无法取得理想的检索效果和性能；直方图具有鲁棒性高、检索速度快等特点，但无法描述图像的空间或形状等信息.仅仅利用单一的特征无法有效地描述图像的特征信息.因此，本文结合两者的优点，利用一种二元组直方图［9］来描述图像的纹理特征.

二元组直方图的具体描述为：假设RGB空间的颜色索引图像f的值f（P）＝w，w∈｛0，1，…，W－1｝，W为颜色量化总数目.像素点位置为P（x，y），如果P1（x1，y1），P2（x2，y2），f（P1）＝w1，f（P2）＝w2.在边缘方向分布矩阵中θ（x，y），θ（P1）＝v1，θ（P2）＝v2.随着距离D的不断变化，在边缘方向图像θ（x，y）中，不同的边缘方向有可能有相同的颜色.在颜色索引图像f中，不同的颜色像素有可能出现相同的边缘方向.假设两个相邻像素点的距离为D，w1和w2共同出现的次数为N，v1和v2共同出现的次数为N1，则二元组直方图定义为：

其中

二元组直方图的距离参数以D＝1为基础，即只考虑相邻两个像素之间的空间关系.最终H（f（x1，x2））可以得到64维特征向量，H（θ（x1，x2））可以得到18维特征向量，即可以得到64＋18＝82维特征向量.

3 综合颜色直方图和彩色共生矩阵算法描述

3.1 颜色直方图

本文中假设一幅彩色图像的大小为M×N，首先将该彩色图像按照（1.1）节中的公式从RGB彩色空间转换到HSV颜色空间，把色调H分为6份，饱和度S分为4份，亮度V分为4份，然后将其按照（1.2）节的量化级，把3个颜色分量转化成一维特征向量，即

式中，QS和QV分别表示S和V的量化等级数，本文中QS＝4，QV＝4.因此，式（12）可表示为

这样，H，S，V3个分量就在一维向量上分布开了.根据式（13），L的取值范围是［0，1，2，…，95］.按照上面的方法将颜色划分为96种，这96种代表色的量化方式有效地压缩了颜色特征，较好地符合人眼对颜色的感知.

对图像进行颜色量化之后，统计图像的直方图就可以得到一维的颜色特征向量D1.然后将图像数据库中的图像按照上面的提取流程提取特征向量与D1计算相似性距离，得到相似性距离矩阵M1.最后高斯归一化距离矩阵M1.

3.2 彩色共生矩阵特征提取

灰度共生矩阵是直接将彩色图像转化成灰度图像，然后进行特征提取.本文为了减少颜色信息的损失，直接对彩色图像进行处理.设一幅彩色图像的大小为M×N.首先根据（3）中的方法计算彩色图像的边缘方向矩阵Ori，然后将边缘方向矩阵Ori量化成18个等级，将彩色图像在RGB颜色空间中量化成64个等级，然后按照式（9）和式（10）得到图像的特征向量D2.

对图像库中的所有图像进行上述彩色共生矩阵特征提取得到特征向量Di，计算特征向量Di和示例图像特征向量D2之间的相似性距离，得到相似性距离矩阵M2.最后高斯归一化距离矩阵M2.

3.3 特征权重分配

设w1表示颜色特征的权重，w2表示彩色共生矩阵的权重.得到颜色特征矩阵M1和彩色共生矩阵M2之后，需要对两种特征进行权重分配.理想的情况下是能够根据实际情况动态地分配权重的，从而提高图像的检索性能.但实际实现中困难较大.本文根据实验的方法，对w1和w2的各种情况进行实验测试.其中w1，w2∈［0，1］.最后实验结果表明，w1取0.3，w2取0.7实验效果最好.

4 实验与性能分析

本文图像检索仿真实验采用Windows 7操作系统作为开发平台，开发工具是Matlab 2009R，计算机的硬件配置是：双核CPU，主频为2.83GHz，2G内存和500G硬盘.为了验证本文算法的检索效果，分别采用颜色直方图（CH）和灰度共生矩阵（GLCM）进行对比试验.GLCM采用常用的能量、对比度、熵、均匀度，相关性等共9个统计量提取图像特征.

4.1 图像库

本文实验系统采用Corel－test图像库，它包含1 000张图像.包括土著人、海滩、建筑、巴士、恐龙、大象、花卉、马、雪山和食物等10类图像.每类图像的数目为100张，大小为256×384像素或者384×256像素，图像格式为jpg格式.

4.2 特征匹配

本文中采用将颜色和纹理特征分别度量相似性再外部归一化，之后通过加入权重实现最终的综合特征向量.

设Q表示查询图像，I为图像数据库中任意一副图像，分别用HQ＝｛hkQ｜1≤k≤N｝和HI＝｛hkI｜1≤k≤N｝表示图像Q和I的颜色直方图，用GQ＝｛gkQ｜1≤k≤N｝和GI＝｛gkI｜1≤k≤N｝表示图像Q和I的二元组直方图，在图像检索中分别用Scolor＝（HQ，HI）和Stexture＝（GQ，GI）表示图像Q和I之间的颜色和纹理相似度.图像检索时颜色和纹理相似性度量公式如下：

采用高斯模型对计算出的颜色和纹理相似度分别进行归一化，得到最终的加权相似度量公式：

其中，wc和wt表示加权系数，wc＋wt＝1.根据实验中的测试，wc取0.3，wt取0.7实验效果比较理想.

图像检索时将计算出的查询图像与图像库中各图像的相似度进行降序排列，将前n幅图像输出即为检索结果，相似度越大说明两者越相似.

4.3 性能评价

本文采用精确度（P）和返回率（R）［10］来评价图像检索性能.精确度就是相似图像数目与返回图像数目的比率.查全率就是相似图像数目与图像库中相似图像总数的比率.

4.4 实验结果分析

图像库中分为10类，每类100幅图像.实验中规定两幅图像通过相似性计算后是否属于同类来计算查准率和查全率.具体测试为：从每类图像中随机抽取10幅图像作为例图进行检索，计算平均查准率，这样每种方法进行了100次检索，3种方法共进行了300次检索.本文的图像检索界面以返回的12幅图像作为基准.3种方法的平均检索精确度见表1.

表1 3种方法的检索精确度 （单位：%）

根据表1，在Corel－test图像库中，本文的方法相比灰度共生矩阵和颜色直方图平均检索精确度分别提高了21.17%和29.85%.

图1和图2给出了两幅利用直方图、灰度共生矩阵以及本文的方法检索的例子，例子图像分别为巴士和花卉.其中左上角第一幅为示例图像，检索结果从左到右从上到下按照相似性大小进行排列.从检索结果来看，本文的算法能够结合颜色和纹理特征，具备描述颜色和纹理分布信息的能力.颜色直方图首先将颜色进行量化，然后统计不同的色彩在整幅图像中所占的比例，计算速度比较快、鲁棒性较高，但它无法描述图像像素之间的空间位置关系，这样可能会造成两幅完全不一样的图像具有相同的直方图，会造成误检.

图1 3种方法对巴士图像检索结果

图2 3种方法对花卉图像检索结果

灰度共生矩阵反映的是像素关于方向和相邻间隔之间的综合信息.灰度共生矩阵在自然图像中的检索性能并不是很佳，主要是因为灰度共生矩阵利用统计量来描述图像特征，而统计量的描述能力偏弱.但是灰度共生矩阵提供了一个经典的空间关系计算模式，这使得仍然成为一种很流行的描述图像的工具.正因为统计量不能很好地描述图像特征，所以才提出本文的方法.

根据表1的分析，对于不同类别的图像，本文的方法大多数优越于颜色直方图（CH）和灰度共生矩阵（GLCM），但是本文的方法也存在一定的不足.对于目标与背景差异较大的图像，本文的检索效果较好，但是对于差异较小的图像，比如海滩和雪山，会造成较高的误检，查全率和查准率提高得较少.

5 结 语

针对仅仅利用单一特征无法很好地描述图像特征，提出一种结合颜色直方图和彩色共生矩阵的彩色图像检索方法.该方法结合了两者的优点，不仅有效地利用了颜色空间信息，而且颜色特征和纹理特征的结合克服了单一特征的缺陷，使得图像检索的性能有较大提高.但算法也存在不足，对于目标和背景差别不大的图像，检索效果并不是很好.实验中，权重w1和w2的值是根据实验结果进行反复修改找到的最佳权重值，因此，研究权重的自适应是下一步的主要研究工作.

［1］ 刘 颖，范九伦.基于内容的图像检索技术综述［J］.西安邮电学院学报，2012，17（2）：1－8.

［2］ Haralick R M，Dinstein S.Textural Feature for Image Classification［J］.IEEE Transactions on System，Man and Cybernetics，1973，3（6）：610－621.

［3］ Liu G H，Yang J Y.Image Retrieval Based on the Texton Co－occurrence Matrix［J］.Pattern Recognition，2008，41（12）：3521－3527.

［4］ Liu G H，Zhang L，et al.Image Retrieval Based on Multi－texton Histogram［J］.Pattern Recognition，2010，43（7）：2380－2389.

［5］ 王向阳，陈景伟，于永健.一种基于彩色边缘综合特征的图像检索算法［J］.模式识别与人工智能，2010，23（4）：216－221.

［6］ Liu G H，Li Z Y，Zhang L，et al.Image Retrieval Based on Micro－Structure Descriptor［J］.Pattern Recognition，2011，44（9）：2123－2133，2010，41（10）：1－5.

［7］ Gonzalez R C，Woods R E.数字图像处理［M］.3版.Prentice Hall，2007.

［8］ Liu G H.Image Retrieval Based on Two－Tuples Histogram［J］.Pattern Recognition，2010，22（5）：593－601.

［9］ Haralick R M，Shangmugam，Dinstein.Textural Feature for Image Classification［J］.IEEE Transactions on System，Man and Cybernetics，1973，3（6）：610－621.

［10］Müller H，Müller W，Squire D G，et al.Performance Evaluation in Content－Based Image Retrieval：Overview and Proposals［J］.Pattern Recognition Letters，2001，22（5）：593－601.