颜色和纹理混合描述符图像检索方法*

严 宇，宋 威

1.江南大学 物联网工程学院，江苏 无锡 214122

2.物联网技术应用教育部工程研究中心，江苏 无锡 214122

颜色和纹理混合描述符图像检索方法*

严 宇1,2+，宋 威1,2

1.江南大学 物联网工程学院，江苏 无锡 214122

2.物联网技术应用教育部工程研究中心，江苏 无锡 214122

如何从数据庞大的图像数据库中建立索引并准确检索出相关图像是现阶段急需解决的问题。从图像的局部2×2像素网格提取图像的颜色和纹理特征，其中颜色特征从经过非均匀量化的HSV颜色空间提取，定义了5类新颖的纹理结构描述符用来描述图像的纹理。通过分别提取每个颜色值的纹理特征结构得到最终的具有旋转和尺寸不变性的颜色和纹理混合特征描述符（color and texture hybrid descriptor，CTHD）。在Corel标准图片库和Corel-5K图片库中进行了实验，经过与其他图像检索方法对比，所提方法具有更好的检索准确率。

颜色特征；纹理特征；结构元素描述符；旋转和尺寸不变性

1 引言

随着多媒体技术的发展，图像在各个领域的应用越来越广泛。如何有效地组织、管理和检索大规模的图像数据库已成为目前研究的热点问题[1]。早期的基于文本的图像检索算法是一种人为对图像内容做出注释，并进行关键词搜索的技术。由于人为的注释具有不充分、主观、费时费力等缺点，基于内容的图像检索（content-based image retrieval，CBIR）技术[2]受到学术界及其实际应用领域的广泛关注。CBIR是指根据图像中对象或区域的颜色、形状、纹理、空间位置关系等特征以及这些特征的组合来查询图像[3]。基于内容的图像检索技术在人脸识别、数字图书馆、卫星遥感图像、公安系统、商标版权等领域有着很广泛的应用，CBIR技术的好坏取决于所提取的图像特征描述符对图像的鉴别能力，一个好的检索系统能够提取出图像更多的细节信息。近年来，基于语义的图像检索[4]技术开始流行，相较于CBIR技术，该方法能够描述图像的语义信息，更符合人类的视觉感知。一些研究者运用相关反馈技术获取用户的喜好，能够解决图像底层特征与用户认知之间的语义鸿沟，但是该方法缺少灵活性，且需要用户及时地提供反馈信息。

在CBIR的研究中，学者们提出了很多典型的算法来提取图像的颜色、纹理和形状特征。颜色特征是最主观且易于区分的视觉特征，它计算简单，具有旋转、尺寸、平移无关性。比较常见的颜色检索方法有颜色直方图、颜色相关图、颜色一致性矢量、颜色矩等[5]。纹理是一种反映图像中同质现象的视觉特征，它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性。纹理分析的主要算法有灰度共生矩阵、马尔可夫随机模型、Gabor滤波、小波分解等。形状特征被广泛地应用于目标识别和图片检索等领域，典型的形状描述算法有不变矩、傅里叶变换系数、边缘曲率和弧长等[6]。

近年来，出现了很多典型的基于内容的图像检索算法。吴建波等人提出了一种基于SIFT（scaleinvariant feature transform）优化的图像检索算法[7]，该算法采用高斯核自适应的方法来构建金字塔影像，对于图像的局部位置、尺度、旋转不变量进行特征提取。该算法具有尺度、平移、旋转不变性，但其尺度空间耗时，计算复杂。2013年Subrahmanyam等人[8]在MCM（motif co-occurrence matrix）基础上使用改进后的基元共生矩阵（modified color motif co-occurrence matrix,MCMCM）表示图像。上述两者都主要从纹理特征出发，通过基元描述符提取图像属性信息，然而后者过于依赖权值，且对于一些特定的网格在基元提取中存在歧义。2013年Liu等人提出了颜色差分直方图[9]（color difference histogram,CDH），该方法虽然考虑了图像的颜色以及方向特征，但是未能充分地结合图像的纹理空间分布信息。Wang等人提出的一种新颖的结构元素描述符[10]（structure elements’descriptor,SED）将RGB颜色空间转换为HSV颜色空间，并将颜色空间量化为72柄，提出了5种结构描述符来描述图像的纹理结构。该方法结合了图像的颜色和纹理特征，但因为提取的纹理基元只保留符合条件的像素点，所以容易造成图像信息的失真。

综合上述问题，本文提出了一种有效的颜色和纹理混合特征描述符（color and texture hybrid descriptor，CTHD）来表示图像，该描述符应用定义的5类新颖的结构元素符提取图像的纹理特征，量化为72柄的HSV颜色空间被用来提取图像的颜色特征。实验中，逐次统计每个颜色级数下出现定义的5类结构元素的频数，本文方法能够有效地获取图像颜色和纹理特征之间的相互关联信息。实验表明本文提出的CTHD方法能够高效地结合图像的颜色纹理特征，相比于 SIFT[7]、MCMCM&DBPSP[8]、CDH[9]、SED[10]、HID（hybrid information descriptor）[11]等方法，本文方法具有很好的检索性能。

2 HSV颜色空间量化

HSV颜色空间被广泛地应用于颜色特征的提取。在HSV颜色空间中，H表示图像的色调，S表示饱和度即颜色接近光谱色的程度，V表示图像的明亮程度，HSV颜色空间符合人类的视觉感知。众所周知，颜色提供了图像的很多视觉特征，人眼无法在同一时间分辨出很多颜色，但是可以分辨出相似的一类颜色[10]。

为了分辨出相似的一类颜色，本文参考文献[12]将HSV颜色空间量化为72级，经量化后的颜色空间能够减少计算复杂度。实验中将RGB颜色空间转换到HSV颜色空间，根据HSV颜色空间的属性特征，H∈[0,360],S∈[0,1],V∈[0,1],量化为72柄（bin）的过程如下：

按照人类的视觉分辨能力，将H分量非均匀量化为8级，S分量和V分量量化为3级，见式（1）、（2）、（3）：

构造一维特征矢量，按照以上的量化级，把3个颜色分量合成一维特征矢量:

式（4）中，QS、QV表示分量S、V被量化的级数，显然QS=3,QV=3,则式（4）可以表示为：

这样，H、S、V分量在一维矢量上分布开来。根据上述公式P的取值范围为[0,1,2,…,71],计算P获得72柄（bin）的一维直方图。

3 特征提取

3.1 结构元素描述符

在基于内容的图像检索系统中，颜色、纹理和形状扮演着非常重要的角色。图像是由底层的颜色、纹理和形状等特征表示的。作为同一类型的图片，它们的局部结构特征往往具有一定的相似性。文献[13]认为图片的内容是由多个结构元素按照一定的规则组合而成的。如果能够将特定的结构元素提取出来并进行有效的描述，即可将这些结构特征作为比较与分析不同图像纹理信息的基础。因此如何定义有效的结构元素描述符，将图像的内容用结构元素描述符刻画出来是实现图像匹配的关键。针对2×2的像素网格，本文定义了5类结构元素描述符用来描述图像的纹理结构，见图1。

Fig.1 5 structure elements descriptors图1 5类结构元素描述符

图1中的结构元素描述符由2×2的像素网格定义而成，描述符（1）表示该网格中仅存在某一颜色值的像素；（2）表示两个相邻的像素拥有相同的颜色值；（3）表示对角的两个像素拥有相同的像素值；（4）表示3个像素网格拥有相同的颜色值；（5）表示2×2的4个像素网格拥有相同的颜色值。文献[13]只考虑了2×2的像素网格0°、45°、90°、135°和无方向这5个结构描述符作为图像的纹理结构描述符，该结构元素描述符仅仅考虑了有限的几种特殊的纹理分布，在提取图像纹理特征过程中是一种失真处理，不具有全面性，无法反应图像所有像素的结构信息。文献[8]针对2×2的像素网格定义了6种基元结构，这6种基元都从2×2网格的左上角开始扫描，扫描顺序遵循像素值变化最小的规则，即最先扫描左上角网格，紧接着扫描与左上角网格像素差值最小的网格。不论像素值的大小只要像素值变化趋势一样，就会拥有一样的纹理结构，忽略了颜色信息，且只考虑了从左上角开始扫描的情况。相比于传统的纹理结构描述符，本文的5类结构元素符考虑了2×2网格能够出现的所有纹理结构情况，能更全面地表示图像的纹理信息。

为了说明运用结构元素描述符提取图像纹理特征的原理，针对2×2的像素网格假设原始图像矩阵仅被量化为两个颜色柄。定义Pi(i=0～5)表示2×2网格提取出的结构元素描述符类别，其中Pi由5位字符表示，第1位字符描述结构（1）出现的情况，当某个2×2网格出现结构（1）时，Pi第1位字符置1；依次类推，Pi第i位描述结构（i）的情况，当某个2×2网格出现结构（i）时，Pi的第i位字符置1。具体提取过程见图2。图2（a）中没有出现任何定义的5类结构元素描述符的情况，则Pi所有值皆为0，定义无结构的情况为P0=00000;图2（b）中出现了结构（1）的情况，则有P1=10000;继续观察图2（c）～（f），当2×2网格出现结构（i）的情况时Pi(i=2～5)的第i位字符置为1，其他位字符置为0。分别有P2=01000,P3=00100,P4=00010,P5=00001。

Fig.2 Patterns extracted from structure elements图2 结构元素描述符提取

3.2 颜色纹理结构描述符

Pi存储了2×2像素网格应用5类结构元素符提取的图像纹理信息，但是仅仅刻画了图像的纹理结构信息。为了在提取纹理特征的同时获取图像的颜色特征，定义SPC表示颜色值为C时出现纹理结构Pi的情况。实验中通过统计SPC的情况，可以有效结合图像的颜色和纹理信息。图3描述了2×2的图像网格纹理信息的提取过程，为了更简单直观地描述该提取过程，定义该网格只有0～3共4个颜色值。由图3可以看出，当颜色值为0时，该网格出现的结构元素描述符为结构（2），即P2,则有SP0=P2;颜色值为1和3时出现的都是结构（1），即有SP1=SP3=P1;由于该网格中没有出现颜色值2，不存在任何结构特征，则SP2=P0。

Fig.3 Extraction of structure map for each quantized color图3 不同颜色值的结构图提取

实验中将各级颜色的SPC进行连结得到最终的特征向量SP,计算过程见式（6），其中(x,y)表示大小为m×n的图像M的像素坐标，Q(Q∈[0,71])表示HSV颜色空间量化的颜色值，SPC(x,y)是每个像素点(x,y)的结构特征，其有5种不同的结构描述符。因此SP(x,y)是大小为72×5维的特征向量。

为了提取过程的简单直观，定义原始图像是一幅颜色值为0～3，大小为4×4的图像矩阵。图4描述了SP(x,y)详细的提取过程：

（1）实验从矩阵的(0,0)位置出发，从左往右，从上往下，以两个单位步长依次移动2×2的像素网格扫描图像矩阵；

（2）观察每个2×2网格颜色值i(i∈[0,3])出现结构Pj(j∈[1,5])的情况；

（3）得到最终的SP(x,y)={SP0∪SP1∪SP2∪SP3}。

Fig.4 Extraction flowchart ofSP(x,y)图4 SP(x,y)提取流程图

图4（a）分析了颜色值为0时，纹理结构出现的情况。在图像矩阵中有两个2×2网格出现了颜色值为0的情况，第一个2×2网格颜色值出现在对角像素，即结构（3）的情况，则Pi的第3位字符置1；另外一个2×2网格符合结构描述符（2）的情况，即将Pi的第2位字符置1，得到最终的SP0=01100。图4（b）分析了颜色值为1时的纹理结构信息，2×2网格出现颜色值1且结构（1）的频数为2，出现结构（3）的频数为1，则SP1=20100。依次类推，分别统计出颜色值为2、3时，SP2=30100,SP3=10100。根据式（6）得到最终的特征向量：SP={01100 20100 30100 10100},其中SP的维数为颜色值个数乘以结构元素描述符的个数，即4×5=20维。

观察本文定义的纹理结构描述符，不难发现，它能解决旋转图像的检索问题，本文的结构元素描述符具有旋转不变性。进一步地，为了解决图像缩放带来的检索困难，实验中进行了归一化处理，见式（7）：

式（7）中，Q表示HSV颜色空间被量化的颜色柄数，本文取值72；S表示结构元素描述符的个数，文中为5。因此CTHD是大小为72×5=320维的特征向量。

4 实验结果与分析

实验是在Matlab R2011b，MyEclipse 8.6和My-SQL搭建的平台上进行。计算机系统配置如下：CPU为Intel®Corel i3-3240；主频为3.40 GHz；内存为 4 GB；操作系统为Microsoft Windows7。实验采用Corel标准图像库[14-15]。第一个图像库Corel-1K包括非洲土著、海滩、建筑、大巴、恐龙、大象、花卉、马、山和食物10类图片，每类数目为100张，一共1 000幅RGB彩色图像。图片大小均为256×384像素或384×256像素，JPG格式。第二个图像库Corel-5K包含日落、汽车、老虎等50类彩色图像，每类数目为100张，一共5 000幅RGB彩色图像，图片大小为128×192像素或192×128像素，JPEG格式。

精确度precision与召回率recall是信息检索领域中使用最为频繁的两种评价度量值。本文将PR值作为衡量检索系统性能好坏的标准，其中精确度precision是指检索到的相关图像数M与当前检索到的所有图像总数N之间的比例，用于衡量图像检索的查准率。召回率recall是指检索到的相关图像数M与所有与检索图像相关的图像数S的比例，用于衡量图像检索的查全率。具体计算公式如下：

在Corel-1K及Corel-5K图像库中，相同类别的图像数目都为100，则S的值为100。实验中，随机抽取每个类别图像中的15张图片作为查询图像，则相应的在Corel-1K中要完成150次检索，在Corel-5K中要完成750次检索，求得M为10,20,…,100时precision的值，将其作为本文检索方法的评价指标。

4.1 相似度度量

怎样在数量庞大的数据库中找到所需要的图片，需要通过相应的相似度度量算法衡量图片之间的相似性，从而检索出与检索图片相似的图片。对于图像检索，相似度度量是一个非常重要的环节，它直接决定了检索时间以及检索结果的正确性。常见的相似度度量算法有d1距离、欧氏距离、cos值等。假设查询图片的特征向量为Q={q1,q2,…,qn},图片库中图片特征向量为T={t1,t2,…,tn},则这3种相似度度量公式定义如下。

d1距离：

欧氏距离：

cos值：

式中，M表示图片特征向量的维数。本文针对式（10）～（12）进行了PR值对比实验，对比结果见图5及图6。

在Corel-1K图像库中针对相同的检索算法，本文提出的3种相似度度量方法d1距离、cos值和欧氏距离拥有不同的检索表现。由图5可以看出，d1距离度量方法的平均精确度-召回率曲线位于另外两种相似度度量方法的上方，说明d1距离度量方法拥有比较好的检索性能。

Fig.5 Mean precision-recall pair comparison of 3 similarity metrics on Corel-1K dataset图5 Corel-1K图像库上3种相似度度量的平均精确度-召回率对比

图6显示了Corel-5K图像库中3种相似度度量算法的平均精确度-召回率对比结果。其中d1距离度量方法的检索性能远远好于其他两种相似度度量方法。本文的特征向量是维度为320的一维向量，针对同类样本之间特征值的大小通常差异较小，而对于不同类别的图像样本之间，同维像素值相差通常比较大，通过计算比较检索图像与同种类别图像的距离，及其与异类别图像距离，d1距离的区分度要优于欧氏距离和cos距离。并且本文采用的d1距离公式中不涉及平方、开方操作，运算简单，检索准确率高。因此本文将d1距离作为图像检索的相似度度量方法。

4.2 不同检索方法的实验结果分析

为了验证本文方法的有效性，将其与SED、CDH、MCMCM&DBPSP（以下简称M&D）、HID、SIFT这5种方法分别在Corel-1K和Corel-5K图片库上进行对比实验，得到的平均精确度-召回率对比结果如图7和图8所示。

由图7可以看出，平均精确度-召回率曲线基本都呈现逐渐递减的状态。其中CTHD方法曲线都位于其他曲线上方，这表示本文方法在召回率相同的情况下拥有更高的检索准确率。观察召回率为0.1时的情况，SED、CDH、MCMCM&DBPSP（以下简称M&D）、HID、SIFT方法的检索准确率分别为77.6%、67.8%、62.5%、82.4%、2.1%，而本文方法拥有94.7%的检索准确率，这说明本文方法具有很好的实用性。

Fig.6 Mean precision-recall pair comparison of 3 similarity metrics on Corel-5K dataset图6 Corel-5K图像库上3种相似度度量的平均精确度-召回率对比

Fig.7 Mean precision-recall pair comparison of 6 retrieval methods on Corel-1K dataset图7 Corel-1K图像库上6种检索方法的平均精确度-召回率对比

观察图8，针对Corel-5K图像库，随机抽取每个类别的15张图像，完成750次检索，统计召回率为0.1～1.0时的平均精确度，本文CTHD方法相比于其他检索方法在召回率为0.1时比检索结果次好的HID方法平均检索准确率提高了20%，在召回率为0.2～0.4时平均精确度也高于次好的检索方法10%左右。在其他的召回率下，本文检索方法也拥有最高的检索准确率。说明本文方法拥有较好的检索性能。为了充分说明本文方法的有效性，还针对图像库中各类别图像，对比了CTHD方法与其他方法前N张图像的检索准确率，结果见表1。

Fig.8 Mean precision-recall pair comparison of 5 retrieval methods on Corel-5K dataset图8 Corel-5K图像库上5种检索方法的平均精确度-召回率对比

表1统计了Corel-1K图像库中，每类图片前12张图像的平均检索准确率-召回率。从表1中可以清晰地看出，本文方法针对Corel库中的10个类别，都有着较高的检索准确率，特别是针对花、恐龙、食物、马和建筑，本文方法拥有95%以上的检索精确率，对于沙滩和山这类图像内容不太好描述的自然景观，也有着相对比较高的检索准确率。其中SIFT结构特征提取图像的特征点及每个特征点对应的特征向量，由于某些图像得到特征点数较少，不能很好地表示图像内容，以及检索结果受比例阈值等参数影响较大，鲁棒性不强，因此检索效率不高。SED方法只考虑了符合条件的结构元素描述符，提取过程中存在部分图像纹理信息的失真。而本文方法从更符合人类视觉感知的HSV颜色空间提取图像的颜色特征，提出的5类新颖的结构元素描述符考虑了2×2像素的各种颜色值下纹理分布的情况，综合考虑了图像的颜色和纹理信息。本文的检索算法还拥有旋转、缩放不变性，鲁棒性强。

Table 1 Comparison of mean precision with respect to first-N percentage on Corel-1K dataset表1 Corel-1K图像库上前N张图像平均检索准确率-召回率

为了评价本文方法的检索效率，实验将5种检索方法分别在Corel-1K图像库中提取图像特征的时间进行了对比，对比结果如表2所示。

Table 2 Comparison of time for 5 retrieval methods on Corel-1K dataset表2 Corel-1K图像库上5种算法时间对比

从表2中可知，在特征提取时间的对比中，本文方法CTHD比HID方法慢，但是比其他3种方法快。其中M&D方法需要计算颜色基元共生矩阵，是图像基元二维空间的纹理统计，空间复杂度高，时间消费大。CDH方法涉及LAB颜色空间的转换，需要消耗大量时间。本文方法不涉及复杂颜色空间的计算，特征提取过程简单，计算快速。

进一步地，为了更直观反映检索效果，从Corel-5K图像库中随机抽取2幅图像进行检索，并根据相似度由高到低的顺序进行显示，检索结果见图9及图10。

图9显示了老虎类语义图像的检索结果，分别列出了与查询图像最相似的前12张图像，从检索结果中可以看出，前12张图像都是与检索图像同种类别的。图10绿色植物检索结果除了296.jpeg图像，其他检索结果皆与查询图像属于同类别的图像，其中第296.jpeg属于珊瑚类别，虽然按照Corel-5K的图像分类，珊瑚图像与查询图片不属于同一类别，但是它与绿色植物在纹理及颜色上有着相似的属性，因此会被检索出来。总体来说，本文方法具有良好的检索表现。

5 结束语

Fig.9 Image retrieval for tiger图9 老虎的检索结果

本文提出了一种结合颜色和纹理混合描述符（CTHD）的图像检索方法，运用提取出的5类结构元素描述符归纳图像的纹理结构信息，通过将RGB颜色空间转换到HSV颜色空间，量化为72个颜色柄的HSV颜色空间来描述图像的颜色信息。统计每个颜色柄的纹理结构分布情况，运用该方法可以在考虑图像颜色信息的同时提取图像的纹理结构信息，该方法鲁棒性强，且具有旋转、缩放无关性。通过与其他实验的对比，本文方法具有很好的检索性能。

Fig.10 Image retrieval for plant图10 绿色植物的检索结果

[1]Song Linlin,Wang Xianghai.Image retrieval algorithm based on comprehensive color and texture features[J].Computer Engineering andApplications,2011,47(34):203-207.

[2]Chen Xiangtao,Wang Aiyun,Xie Weiping,et al.Survey of clustering algorithm based in content-based image retrieval.[J].Application Research of Computers,2008,25(12):3546-3549.

[3]Zhuang Yueting,Pan Yunhe,Wu Fei.Web-based multimedia information analysis and retrieval[M].Beijing:Tsinghua University Press,2002:28-70.

[4]Liu Ying,Zhang Dengsheng,Lu Guojun,et al.A survey of content-based image retrieval with high-level semantics[J].Pattern Recognition,2007,40(1):262-282.

[5]Huang Jing,Kumar S R,Mitra M,et al.Image indexing using color correlograms[C]//Proceedings of the 1997 Conference on Computer Vision and Pattern Recognition,San Juan,Puerto Rico,Jun 17-19,1997.Washington:IEEE Computer Society,1997:762-768.

[6]Liu Guanghai,Yang Jingyu.Image retrieval based on the texton co-occurrence matrix[J].Pattern Recognition,2008,41(12):3521-3527.

[7]Wu Jianbo,Zhao Jianmin,Zhu Xinzhong,et al.Image retrieval based on improved SIFT features[J].Microcomputer Applications,2011,27(5):4-7.

[8]Subrahmanyam M,Wu Q M J,Maheshwari R P,et al.Modified color motif co-occurrence matrix for image indexing and retrieval[J].Computers&Electrical Engineering,2013,39(3):762-774.

[9]Liu Guanghai,Yang Jingyu.Content-based image retrieval using color difference histogram[J].Pattern Recognition,2013,46(1):188-198.

[10]Wang Xingyuan,Wang Zongyu.A novel method for image retrieval based on structure elements’descriptor[J].Journal of Visual Communication and Image Representation,2013,24(1):63-74.

[11]Zhang Ming,Zhang Ke,Feng Qinghe,et al.A novel image retrieval method based on hybrid information descriptors[J].Journal of Visual Communication and Image Representation,2014,25(7):1574-1587.

[12]Liu Junling,Kong Degang,Zhao Hongwei,et al.Image retrieval based on weighted blocks and color feature[C]//Pro-ceedings of the 2011 International Conference on Mechatronic Science,Electric Engineering and Computer,Jilin,China,Aug 19-22,2011.Piscataway,USA:IEEE,2011:921-924.

[13]Liu Guanghai,Li Zuoyong,Zhang Lei,et al.Image retrieval based on micro-structure descriptor[J].Pattern Recognition,2011,44(9):2123-2133.

[14]Liu Yang,Jin Rong,Mummert L,et al.A boosting framework for visuality-preserving distance metric learning and its application to medical image retrieval[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2010,32(1):30-44.

[15]Walia E,Pal A.Fusion framework for effective color image retrieval[J].Journal of Visual Communication and Image Representation,2014,25(6):1335-1348.

附中文参考文献：

[1]宋琳琳,王相海.一种综合颜色和纹理特征的图像检索算法[J].计算机工程与应用,2011,47(34):203-207.

[2]陈湘涛,王爱云,谢伟平,等.基于内容图像检索的聚类算法研究[J].计算机应用研究,2008,25(12):3546-3549.

[3]庄越挺,潘云鹤,吴飞.网上多媒体信息分析与检索[M].北京:清华大学出版社,2002:28-70.

[7]吴建波,赵建民,朱信忠,等.基于一种SIFT优化算法的图像检索[J].微型电脑应用,2011,27(5):4-7.

2016-09,Accepted 2016-11.

Image Retrieval Based on Color and Texture Hybrid Descriptor*

YAN Yu1,2+,SONG Wei1,2
1.School of Internet of Things Engineering,Jiangnan University,Wuxi,Jiangsu 214122,China
2.Engineering Research Center of Internet of Things Technology Applications,Ministry of Education,Wuxi,Jiangsu 214122,China
+Corresponding author:E-mail:18762672458@163.com

Accurate image retrieval is required to index and retrieve large number of images from huge databases.This paper presents an efficient approach to encode the color and textural features of images from the local 2×2 pixel grids.The color features are extracted by quantizing the HSV color space into a single channel with reduced number of shades.The texture information is encoded with 5 structuring patterns generated from the locally structured elements chosen as a basis.Color and textural features are fused together to construct the inherent color and texture hybrid image descriptor(CTHD)which is rotation and scale invariant.This fusion is carried out by extracting textural cues over each shade independently.CTHD has been tested on the Corel-1K and Corel-5K datasets,and the experimental results suggest that CTHD outperforms state-of-the-art descriptors.The performance of the CTHD can also be effectively used under more complex image transformations.

color feature;textural feature;structure element descriptor;rotation and scale invariant

10.3778/j.issn.1673-9418.1609080

*The National Natural Science Foundation of China under Grant No.61673193(国家自然科学基金);the Fundamental Research Funds for the Central Universities of China under Grant Nos.JUSRP51635B,JUSRP51510(中央高校基本科研业务费专项资金);the Natural Science Foundation of Jiangsu Province under Grant No.BK20150159(江苏省自然科学基金).

CNKI网络优先出版:2016-11-07,http://www.cnki.net/kcms/detail/11.5602.TP.20161107.1703.010.html

YAN Yu,SONG Wei.Image retrieval based on color and texture hybrid descriptor.Journal of Frontiers of Computer Science and Technology,2017,11(11)：1816-1825.

A

TP391.4

YAN Yu was born in 1991.She is an M.S.candidate at School of Internet of Things(IOT)Engineering,Jiangnan University.Her research interests include image retrieval,pattern recognition and data mining.

严宇（1991—），女，江苏淮安人，江南大学硕士研究生，主要研究领域为图像检索，模式识别，数据挖掘。

SONG Wei was born in 1981.He received the Ph.D.degree in computer science from Chonbuk National University,Korea in 2009.Now he is an associate professor at School of IOT Engineering,Jiangnan University,and the member of CCF.His research interests include pattern recognition,information retrieval,evolutionary computing,neural networks,image processing,data mining and knowledge discovery.

宋威（1981—），男，湖北恩施人，2009年于韩国全北国立大学获得博士学位，现为江南大学物联网工程学院副教授，CCF会员，主要研究领域为模式识别，信息检索，演化计算，神经网络，图像处理，数据挖掘，知识发现。