基于半圆形局部二值模式结构相关性描述子的图像检索

李 　 莉，　冯 　 林*,，　吴 　 俊，　刘 胜 蓝

( 1.大连理工大学 电子信息与电气工程学部 计算机科学与技术学院, 辽宁 大连　116024；2.大连理工大学 创新创业学院, 辽宁 大连　116024；3.大连理工大学 电子信息与电气工程学部 控制科学与工程学院, 辽宁 大连　116024 )



基于半圆形局部二值模式结构相关性描述子的图像检索

李 莉1，冯 林*1,2，吴 俊2，刘 胜 蓝3

( 1.大连理工大学 电子信息与电气工程学部 计算机科学与技术学院, 辽宁 大连116024；2.大连理工大学 创新创业学院, 辽宁 大连116024；3.大连理工大学 电子信息与电气工程学部 控制科学与工程学院, 辽宁 大连116024 )

针对传统的结构基元方法缺少对不同量化颜色层中的中心像素点与其潜在邻居的相似性信息描述问题，提出了一种半圆形局部二值模式结构相关性描述子，并将其应用在图像检索中．首先，定义了一种新的半圆形局部二值模式结构基元；其次，检测不同量化颜色层中的结构基元；最后，提取新结构基元的空间分布和对比度特征．相比传统的结构基元方法，提出的描述子检测的结构基元更加丰富，包含更多可能的结构区分性．在不同图像库上的实验结果表明了所提方法的有效性．

局部二值模式；基元频率特征；颜色差分特征；图像检索

0　引　言

随着多媒体技术和网络技术的飞速发展，图像数据急剧增长，如何有效、快速地从海量图像库中搜索到有用的图像成为当前计算机视觉和模式识别领域研究的热点．图像检索方法主要可分为3类：基于文本、基于内容和基于语义的图像检索方法．基于文本的图像检索方法，使用关键字检索图像，然而这种方法耗时且常常得到一些不相关结果，难以有效地表示图像．此外，由于目前人工智能和相关技术的限制，基于语义的图像检索方法仍存在问题．所以，基于内容的图像检索(CBIR)方法被广泛使用[1]．其中，特征提取是图像检索系统中的关键步骤．

CBIR通常基于图像的颜色、纹理、形状或其他一些能够表示图像信息的底层特征．学者们提出许多颜色和纹理特征用于图像检索，其中使用最普遍的颜色特征为颜色直方图[2]，其具有尺度和方向不变性，描述了图像的全局特征，但丢失了图像的位置信息．基于此，颜色矩[3]、颜色相关图[4]和颜色聚合向量[5]被提出，同时得到颜色的空间相关性信息．纹理特征描述了物体表面特性以及与周围环境的关系，具有旋转不变性和抗噪性等特点．基于纹理特征的方法在图像检索、人脸识别等领域得到广泛应用，包括Gabor滤波[6]、灰度共生矩阵(gray level co-occurrence matrices，GLCM)[7]、局部二值模式(local binary patterns，LBP)[8]等．

由于单一的底层特征很难全面地描述图像信息，很多学者提出了多特征结合的方法．Dubey等[9]提出多特征融合方法，包括图像的颜色、纹理和边缘特征．Liu等[10]提出多纹理直方图(multi-texton histogram，MTH)和颜色差分直方图(color difference histogram，CDH)[11]利用共生矩阵和直方图的优势，提取了图像的颜色、纹理和形状特征信息．Vipparthi等[12]提出MJHM(multi-joint histogram based modelling)方法，使用结构基元和主题模式联合统计描述图像的特征．这些方法使用了图像的多个底层特征表示图像，取得了较好的图像检索效果．

对全局图像内容的描述，可以理解为对图像结构基元的检测与统计．受此启发，本文提出一种新的图像特征描述子：首先定义并检测颜色图像中的结构基元，然后分别统计这些新结构基元的空间分布和对比度特征．相比传统的结构基元，这种特征考虑到了不同量化颜色层中中心像素点与其潜在邻居的相似性．另外，对这些结构基元统计，同时利用了结构之间的对比度和空间位置关系．因此，本文特征描述了图像全局区域内的结构基元分布．

1　颜色和纹理特征描述

1.1HSV颜色空间与颜色量化

最常使用的颜色空间模型为RGB．另一种——HSV颜色空间，表示色调(hue)、饱和度(saturation)和亮度(value)信息．由于HSV颜色空间较好地符合人类视觉感知系统，文献[13]已证明HSV颜色空间优于RGB颜色空间，并广泛地应用在图像处理中．在HSV颜色空间中，H∈[0，360]，S∈[0，1]，V∈[0，1]．色调由0°～360°来度量，不同角度的变化表示不同的颜色．饱和度和亮度的取值范围都为0～1．对于一幅彩色图像，直接统计图像的颜色特征需要非常大的计算量，为了减少计算量且更好地区分相似颜色，本文将HSV颜色空间非等距量化来描述图像，分别将H、S和V量化到8、3和3类，得到颜色空间中的颜色值变化范围为0～71．

1.2局部二值模式

将图像中除边缘像素外的每个像素，作为计算LBP模式[8]的中心像素点gc，以中心像素点gc为阈值与半径为R的周围邻居gp作比较，将产生的8位二进制数转换成十进制数，即

(1)

(2)

利用这种纹理检测方法，总共会产生2P种模式．

2　半圆形局部二值模式结构相关性描述子

图像内容的多样性决定了其特征提取的复杂性，图像特征旨在描述图像中潜在的、主要的区分性信息．根据Julesz[14]纹理基元理论，图像可以看成是由一系列规则排列的模块组成．对这些规则模块的定义与描述，体现了图像纹理信息．但是对于纹理基元的认识，目前并没有统一的定义．对纹理不同的理解与定义，也衍生出不同的纹理特征．例如，LBP就体现了这种思想，利用二进制表示中心像素点与其邻居之间的关系，描述了小邻域内图像的纹理结构．因此，对纹理基元的认识与定义是本文特征描述的前提条件．此外，需要对这些已定义的图像结构包含的信息进行特征描述．其中像素间的对比度和空间分布是图像特征中两种相互独立又相互补充的信息．像素间的空间分布体现了中心像素点在小邻域内与邻居之间的相似性，而对比度进一步刻画了与邻居之间的相似性程度．基于此，本文提出一种新的全局图像特征描述方法——半圆形局部二值模式结构相关性描述子(semicircle local binary patterns structure correlation descriptor，SLBPSCD)．

2.1纹理基元定义与检测

纹理基元是定义在图像局部邻域内的规则模块，图像可以看成是由这些小模块按一定的顺序组合而成．以中心像素点为基准，描述邻域像素点的分布特性．本文在图像HSV空间的颜色量化层中定义纹理基元结构，使得像素点的颜色信息和纹理结构能同时被描述，即检测含颜色信息的纹理结构．

LBP在纹理结构分析中已经取得了成功，并应用于图像纹理分类和人脸识别等领域．LBP具有灰度单调不变性，而且计算简单有效．但是，颜色信息的缺失，使得LBP在实际图像检索中没有很好的区分性．本文采用这种类似的模式定义颜色层中的纹理基元．如图1所示，比较中心像素点与周围邻居的相似性，通过邻居与中心像素点的相似性个数定义基元结构的类型．本文选择半径为R的半圆形邻域和均匀分布在圆弧中的P个邻居像素点，使得邻居像素点的选取更为灵活．半圆形邻域的选择是为了避免相邻像素点间的重复比较．具体的颜色层纹理基元定义描述如下：

将中心像素点与半径为R的相同角度间隔分布的P个邻居的灰度值作比较，得到半圆形LBP结构图中心像素点处的像素分布：

图1　颜色层纹理基元的定义

T≈t(s′(g0-gc)，s′(g1-gc)，…，s′(gi-gc))

(3)

(4)

其中gc表示中心像素点所在颜色层(量化颜色值)，gi(i=0，1，…，P-1)表示均匀分布在半圆形邻域中的P个像素点所在颜色层．通过比较gc与gi的关系，可以得到邻居中相似性分布M．本文中心像素点的纹理结构类型直接由其邻居的相似性个数定义，即

(5)

其中M描述了像素点在对应颜色层的纹理结构类型．因此，结合颜色层和纹理基元类型所包含的信息，得到原始颜色图像中每一像素点的颜色和纹理结构．

本文整体图像像素点结构的检测过程如下：

(1)对图像的HSV颜色空间进行分层量化，每一层的量化颜色值反映了图像像素点的颜色信息．

(2)利用颜色值对比定义中心像素点在半圆形邻域内的分布图．

(3)结合步骤(1)和(2)得到的信息，最终得到每一像素点的特征．

假设彩色图像为I(x，y)，且gc=I(x，y)，相应的基元结构特征图为Cp(x，y)(p=1，2)，其中C1(x，y)∈{0，1，…，71}表示颜色量化图，C2(x，y)∈{0，1，…，7}表示半圆形邻域内的分布图，即C(gc)=(C1C2)，C(gc)=8C1+C2．

2.2特征统计

定义图像像素点的基元结构，为特征描述提供了基础．对于图像像素点间基元结构的描述，对比度和空间分布信息可以相互补充．本文的特征统计流程如图2所示．颜色差分特征H1描述了图像的对比度信息，其中融合了局部颜色差分相关性和全局颜色差分直方图；基元频率特征H2描述了图像基元的空间分布信息，也融合了局部基元频率相关性和全局基元频率直方图．相比传统的直方图和相关性统计，这种统计策略不仅兼顾对比度和空间分布这两种相对独立又相互补充的信息，同时考虑到了颜色差分和基元结构在局部邻域和全局区域中的分布特性．最后，本文的图像特征描述子可表示为

H=(H1H2)

(6)

最终得到的图像特征向量维数为72×8×2=1 152．

图2　特征统计流程图

利用结构特征图统计图像中的基元结构分布特征．基元频率特征就是描述已定义的基元结构在局部邻域和全局图像中的分布情况，由局部基元频率相关性和全局基元频率直方图融合组成．局部基元频率相关性定义为图像中局部邻域内有相同结构的空间分布：

(7)

(8)

融合这两种特征得到的基元频率特征会具备这两种统计的优势，产生更具区分性的基元频率特征描述：

H2=Th×(Tf+1)

(9)

这种基元频率特征是以相似性频率为基础描述结构的空间分布特性．而颜色差分特征是以相似性程度为基础描述结构之间的对比度信息，是由局部颜色差分相关性和全局颜色差分直方图融合得到的．局部颜色差分相关性描述小邻域中心像素点与其邻居的颜色差异对比：

(10)

(11)

同样融合这两种特征后的颜色差分特征更能体现图像中对比度信息在局部邻域和全局图像中的分布情况，可表示成

H1=Ch×(Cf+1)

(12)

颜色差分特征H1和基元频率特征H2分别描述了已定义的结构基元在图像中的对比度和空间分布特性．由于这两种特征相对独立又相互补充，可联合这两种特征作为本文的图像特征描述子：H=(H1H2)．

3　实验结果与分析

3.1数据集

在实验中，使用标准Corel图像库，分别是Corel-1K和Corel-10K．Corel-1K图像库包含10类图像，分别为非洲人、海滩、建筑、车、恐龙、大象、花、马、风景和食物，每一类包含100幅图像．Corel-10K图像库包含100类图像，每一类也包含100幅图像．

3.2相似性度量

不同的相似性度量会产生不同的检索结果．常用的特征相似性度量有L2距离、L1距离、加权L1距离、chi-square距离、Canberra距离等．假设图像库中的图像特征向量为X=(x1x2…xn)和待检索图像的特征向量为Q=(q1q2…qn)，n是特征向量的长度．本文选择L1距离作为特征间的相似性度量：

(13)

3.3评价指标

在图像检索中，通常使用的评价指标为查准率和查全率[15]．查准率Pr和查全率Rr计算过程如下：

Pr=S/N

(14)

Rr=S/T

(15)

其中S为检索到的相似图像数；N为被检索的所有图像数；T为图像库中所有和待检索图像相似的图像数．

3.4检索性能

利用查准率和查全率验证本文提出方法的有效性，选择图像库中的所有图像作为查询图像．

本文方法在Corel-1K图像库上不同距离度量下的实验结果如表1所示，检索窗口输出图像数为10～50幅．实验结果表明，L1距离与其他距离度量相比具有更好的检索效果．尽管L2距离是图像分析中广泛使用的度量方法，但是L2距离过分强调特征向量的单个分量间的差异性，最终并没有得到很好的检索效果[11]．加权L1距离虽然也有较好的实验效果，但比L1距离稍差．chi-square距离的检索效果比Canberra距离稍好，但不及L1距离．因此，本文使用L1距离作为特征间的相似性度量．

通过与MJHM、MTH和CDH描述子进行比较，验证了本文方法的优越性．如图3(a)所示，在Corel-1K图像库上，本文方法的整体检索效果明显好于其他描述子．SLBPSCD检索的查准率能达到75.87%，分别比MTH、CDH和MJHM高6.80%、5.38%和6.50%．而且如图3(b)、(c)所示，给出了10类图像的查准率和查全率．从实验结果可以看出，本文方法在大多数图像类中都有好的检索效果．

在Corel-10K图像库中的检索效果如图4(a)所示，可以看出SLBPSCD前10幅图像的查准率达到48.29%，明显高于其他3种描述子的检索性能，分别比MTH、CDH和MJHM高13.37%、4.00% 和10.69%．如图4(b)、(c)所示，给出了100类图像的查准率和查全率．从实验结果可以看出，本文提出的SLBPSCD同样好于其他3种描述子．

表1　Corel-1K图像库中SLBPSCD在不同相似性度量下的检索结果

(a) 查全率和查准率

(b) 查准率和类别数

(c) 查全率和类别数

图3Corel-1K图像库上的检索性能比较

Fig.3The retrieval performance comparison for Corel-1K image database

为了进一步验证所提描述子的有效性，表2给出了与文献[16-18]提出方法的检索结果比较．图5给出了花类和马类图像的检索结果，分别随机选取待检索图像No.603和No.720．图像库中No.600～699和No.700～799的图像分别与待检索图像属于同一类图像．由图5(a)可以看出，使用本文提出的描述子检索出的图像有非常相似的纹理特征．由图5(b)可以看出，利用本文提出的描述子检索出的所有图像与待检索图像有相似的颜色和纹理特征以及场景内容．此外，表3列出了与文献[4，8，18]提出方法的检索结果比较，证明了本文方法具有更优的性能．

(a) 查全率和查准率

(b) 查准率和类别数

(c) 查全率和类别数

图4Corel-10K图像库上的检索性能比较

Fig.4The retrieval performance comparison for Corel-10K image database

表2Corel-1K图像库中输出20幅图像的不同检索方法结果比较

Tab.2Resultscomparisonofdifferentretrievalmethodswith20imagesonCorel-1Kimagedatabase

方法查准率/%查全率/%文献[16]文献[17]文献[18]SLBPSCD58.2057.8567.9669.5111.6411.5713.5913.90

(a) 花类

(b) 马类

图5检索结果

Fig.5Retrieval results

表3Corel-10K图像库中输出12幅图像的不同检索方法结果比较

Tab.3Resultscomparisonofdifferentretrievalmethodswith12imagesonCorel-10Kimagedatabase

方法查准率/%查全率/%文献[8]文献[4]文献[18]SLBPSCD35.8440.9441.2545.754.304.924.955.49

4　结　语

本文提出了一种新的半圆形局部二值模式结构相关性描述子(SLBPSCD)．首先，定义了半圆形局部二值模式结构基元，这种基元结构避免了相邻像素点的重复比较．其次，检测颜色图像中的结构基元．最后，对这些结构基元进行特征统计，同时利用了结构基元的对比度和空间位置关系．这种统计策略不仅兼顾了对比度和空间分布这两种相对独立又相互补充的信息，而且考虑到了颜色差分和基元结构在局部邻域和全局区域中的分布特性．另外，由于HSV颜色空间非常接近人眼对视觉感知的理解，本文选择在HSV颜色空间中非等距量化来提取颜色信息．而非等距量化相比直接的等距量化更能凸显出颜色本身的特性．在Corel图像库上的图像检索实验验证了本文方法的有效性．

[1]Datta R, LI Jia, Wang J Z. Content-based image retrieval - Approaches and trends of the new age [C] // MIR 2005 - Proceedings of the 7th ACM SIGMM International Workshop on Multimedia Information Retrieval, Co-located with ACM Multimedia 2005. New York:ACM, 2005:253-262.

[2]Swain M J, Ballard D H. Color indexing [J]. International Journal of Computer Vision, 1991, 7(1):11-32.

[3]Stricker M A, Orengo M. Similarity of color images [J]. Proceedings of SPIE - The International Society for Optical Engineering, 1995, 2420:381-392.[4]HUANG Jing, Kumar S R, Mitra M,etal. Image indexing using color correlograms [J]. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1997:762-768.

[5]Pass G, Zabih R, Miller J. Comparing images using color coherence vectors [C] // Proceedings of the ACM International Multimedia Conference & Exhibition. New York:ACM, 1996:65-73.

[6]Manjunath B S, Ma W Y. Texture features for browsing and retrieval of image data [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1996, 18(8):837-842.

[7]Haralick R M, Shanmugam K, Dinstein I. Textural features for image classification [J]. IEEE Transactions on Systems, Man, and Cybernetics, 1973, smc3(6):610-621.

[8]Ojala T, Pietikäinen M, Mäenpää T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7):971-987.

[9]Dubey R S, Choubey R, Bhattacharjee J. Multi feature content based image retrieval [J]. International Journal on Computer Science & Engineering, 2010, 2(6):2145-2149.

[10]LIU Guang-hai, ZHANG Lei, HOU Ying-kun,etal. Image retrieval based on multi-texton histogram [J]. Pattern Recognition, 2010, 43(7):2380-2389.

[11]LIU Guang-hai, YANG Jing-yu. Content-based image retrieval using color difference histogram [J]. Pattern Recognition, 2013, 46(1):188-198.

[12]Vipparthi S K, Nagar S K. Multi-joint histogram based modelling for image indexing and retrieval [J]. Computers and Electrical Engineering, 2014, 40(8):163-173.

[13]Sural S, Qian G, Pramanik S. Segmentation and histogram generation using the HSV color space for image retrieval [C] // IEEE International Conference on Image Processing. Piscataway:IEEE Computer Society, 2002:589-592.

[14]Julesz B. Textons, the elements of texture perception, and their interactions [J]. Nature, 1981, 290(5802):91-97.

[15]Besiris D, Zigouris E. Dictionary-based color image retrieval using multiset theory [J]. Journal of Visual Communication and Image Representation, 2013, 24(7):1155-1167.

[16]Jalab H A. Image retrieval system based on color layout descriptor and Gabor filters [C] // 2011 IEEE Conference on Open Systems, ICOS 2011. Piscataway:IEEE Computer Society, 2011:32-36.

[17]Babenko A, Slesarev A, Chigorin A,etal. Neural codes for image retrieval [C] // Computer Vision, ECCV 2014 - 13th European Conference, Proceedings. Zurich:Springer Verlag, 2014:584-599.

[18]Wengert C, Douze M, Jégou H. Bag-of-colors for improved image search [C] // MM′11 - Proceedings of the 2011 ACM Multimedia Conference and Co-located Workshops. New York:ACM, 2011:1437-1440.

Image retrieval based on semicircle local binary patterns structure correlation descriptor

LILi1,FENGLin*1,2,WUJun2,LIUSheng-lan3

( 1.School of Computer Science and Technology, Faculty of Electronic Information and Electrical Engineering,Dalian University of Technology, Dalian 116024, China；2.School of Innovation and Entrepreneurship, Dalian University of Technology, Dalian 116024, China；3.School of Control Science and Engineering, Faculty of Electronic Information and Electrical Engineering,Dalian University of Technology, Dalian 116024, China )

To solve the problem that conventional texton methods do not describe the similarity information among the surrounding neighbors for a given center pixel in different color quantization levels, a feature descriptor, called semicircle local binary patterns structure correlation descriptor (SLBPSCD) is proposed, which is applied for image retrieval. Firstly, a novel semicircle local binary patterns structure texton is defined. Secondly, the structure textons are detected in different color quantization levels. Finally, the spatial distribution and contrast features of new structure texton are extracted. The proposed descriptor gets much more discriminative structure than conventional texton-based methods by taking more structure texton into consideration. Experimental results for different image databases verify the effectiveness of the proposed method.

local binary patterns; texton frequency feature; color difference feature; image retrieval

1000-8608(2016)05-0532-07

2016-04-23；

2016-06-25．

国家自然科学基金资助项目(61173163,61370200).

李 莉(1984-)，女，博士生，E-mail:hdlili@126.com；冯 林*(1969-)，男，博士，教授，E-mail:fenglin@dlut.edu.cn.

TP391

A

10.7511/dllgxb201605014