基于LBP的加权分布纹理熵的图像检索算法

朱慧敏

(广东工业大学 信息工程学院 ，广东 广州 510006)

基于LBP的加权分布纹理熵的图像检索算法

朱慧敏

(广东工业大学 信息工程学院 ，广东 广州 510006)

通过对目前存在的一些基于纹理的图像检索算法的分析，指出了它们存在的不足，提出一种基于LBP的加权分布纹理熵的图像检索算法。首先，该算法依据图像关键兴趣区域分布特点将图像分成不均匀的9块子图，接着单独对各个子图块根据Uniform Pattern LBP计算个子图块的纹理特征，并结合信息论统计各个子图的纹理熵，然后把9块子图的纹理熵合并作为整个图像的纹理特征向量，最后依据特征向量元素对应各个兴趣区域的重要性加权进行图像检索。该算法相对传统LBP算法，保留图像空间信息，且区域偏重权系数能弱化不相关信息，同时9维度的特征向量能加快图像的检索效率。实验结果表明，该算法能获得较好的检索性能。

图像检索；LBP；不均匀分布；纹理熵；均匀模式

0 引言

随着计算机的普遍应用和移动互联网的高速发展，在数以亿万计的海量数据中快速、准确地检索到所需的图像已是越来越迫切的任务。早期基于文本的图像检索算法(Text-Based Image Retrieval, TBIR)[1]只适合小量的数据库，有其明显的缺点。而目前基于内容的图像检索算法(Content Based Image Retrieval, CBIR)[2-3]已成为海量图像检索中一个重要而且有效的方法，在图像信息处理研究领域成为研究的热点。纹理在图像检索中是一个重要的图像特征，相比于形状和颜色特征，纹理表述的图像特征包含更多的信息量[4-6]。因此通过纹理获取图像特征对图像进行有效的图像表述是一个值得研究的课题。

纹理是基本视觉特征之一，基于纹理的分析方法大体可分为三大类：基于统计、基于结构和基于模型。MANJUNATH B S等人使用Gabor小波变换提取纹理特征进行图像检索并获得很好的性能[7]，然而GLUCKMAN J研究了多种图像变换的频域特性[8]，其中包括Gabor变换，发现可以根据图像变换的频域特性构造出完全相同的统计特征，但在视觉感观上是完全不同的两个图像，GLUCKMAN J的研究说明了这类纹理描述子的缺憾性。Maenpaa等为使LBP纹理具有旋转不变性，对LBP进行了改进。其思想是将传统的LBP编码的高位起始位按同一个方向循环旋转一周，每旋转一次得到一个LBP的二进制编码，当整个循环完成，取这些LBP值中最小的一个作为当前邻域的LBP值，但这种做法丢弃了部分纹理模式。HEIKKILA M等人[9]提出的CS-LBP通过比较以中心像素为中心对称的4对领域像素的灰度值来定义图像的局部纹理模式，然而其不能完全描述图像灰度过度区域以及有对图像邻域内信息反映较弱的缺点。Liao Shu等人[10]提出的主要局部二值模式( Dominant LBP，DLBP) 算法将LBP 特征直方图降序排列，并选取主要模式作为LBP特征。DLBP认为主要模式占所有模式的80%能有效表述图像的纹理，而其依然存在类似CS-LBP的问题。

受这些思想的启发，本文提出一种基于图像局部二值模式( Local Binary Patterns, LBP)的加权分布纹理熵的图像检索算法。先将图像不均匀分割成9个子区域，然后基于LBP计算每个子区域的均匀模式，并统计均匀模式的直方图，然后归一化，接着依据信息论的熵定义在归一化后的均匀模式直方图计算每个子区域的纹理熵，最后按每个子区域不同兴趣程度加权计算图像的相似度。实验证明，该算法具有很好的性能，且因是9个维度的向量，其检索效率也大大提高。

1 图像的纹理特征

1.1 局部二值模式LBP

局部二值模式(Local Binary Pattern, LBP)是通过计算图像当前像素点和其邻域内各个像素点之间的灰度值差异来描述图像的局部纹理特征[11-12]。使用线性插值在不同尺度下描述图像的LBP纹理特征，(P,R)数值对表示以当前像素M(x,y)为中心、半径为R的圆环邻域内均匀间隔分布的P个像素点。这P个像素点构成了一个以R为半径的中心对称环形的局部结构，也称为P邻域，如图1所示。

图1 不同邻域的LBP算子

图1所示是两个LBP算子，图1(a)是(8,1)邻域的算子，其以当前像素为中心，半径为1个单位的圆环中均匀分布上采样8个像素点作为LBP算子。图1(b)是(16,2)邻域的LBP算子，其原理类似(8,1)的LBP算子。图中圆环上的点对应的坐标为：

(1)

当圆环上的像素点不是落在整数坐标时，对该像素点进行线性插值。根据LBP的定义，中心像素点M(x,y)的LBP值可由公式(2)计算：

(2)

其中s(z)是一个阈值函数，其定义为：

(3)

图2是(8,1)领域LBP算子的计算过程。其中图2(a)为假设的原图像的像素分布，图2(b)是在原图像的基础上根据公式(2)计算的结果，图2(c)为每个二进制位的权值。

图2 (8，1)邻域的LBP计算过程

图2中(8,1)邻域的LBP算子的模式为：Patten=11110001,对应的LBP值为：LBP=1+16+32+64+128=241。

1.2 均匀模式

不同的LBP算子对图像的运算会产生不同的二进制模式，半径为R的圆环区域内采用P个采样点的LBP算子将会产生P2种二进制模式。很明显随着采样点的增加，二进制模式的种类会出现指数性的增加。例如20个采样点，将高达220=1 048 576种二进制模式。如此巨量的纹理二进制模式无论是对于纹理的提取，还是对于纹理的识别和距离计算等都是不利的。

针对这种情况采用一种均匀模式(Uniform Pattern)来对LBP算子的模式种类进行降维。均匀模式就是一个二进制序列，从0到1或是从1到0的变化不超过2次。比如00000000(0次跳变)，00000111(只含一次从0到1的跳变)，10001111(先由1跳到0，再由0跳到1，共两次跳变)都是均匀模式。除均匀模式类以外的模式都归为另一类，称为混合模式类。(8,1)邻域的LBP算子的均匀模式共有58个，加上一个混合模式，总共就有59种模式，这大大降低了图像检索的维度，同时相比于DLBP在纹理上也没有造成损失。均匀模式的计算如下：

(4)

其中：

(5)

2 图像的加权分布纹理熵

2.1 对图像进行非均匀划分

对图像进行子块的划分，是基于图像纹理空间分布的差异性。文中对原始图像进行的子块划分，同时考虑到图像检索中感兴趣的目标往往分布于图像中央附近的特点以及LBP纹理具有统计的特性，因此对图像的分块进行不均匀化处理。如图3(a)所示，以图像4边的8个4分位点(4分位点就是到最近顶点的距离为所在边长的四分之一的点)为基点把原始图像分为9个大小不均的子块(s_0,s_1,…,s_8)，中央区域s_0为关键区域，其面积最大，该区域的纹理特征最有代表性。同时其他区域面积的大小也与该区域纹理的重要性成正比，这符合图像检索中兴趣目标的分布特点。

图3 子图划分及权值分布

人眼在看一幅图片的时候，对感兴趣区域的关注程度与其面积成反比，而且往往都是先关注图像中央部分的信息，边缘部分的信息就被弱化了，为此对每个子图块赋予权值：

(6)

其中i表示子图块i，w_i表示其各个子图块的权值，而s_0区域的权值为α+w_0，α为区域偏重权值。α越大，中央区域的纹理特征对图像检索贡献越大，就越弱化图像周边的信息，本文算法中α取为0.2。

2.2 纹理熵提取

LBP纹理直方图描述的是不同纹理模式在整幅图像中的分布情况，其具有旋转不变性、平移不变性和尺度不变性。图像的LBP直方图可以定义为：

(7)

其中k=0,1,…,n-1，n表示不同LBP模式的总数量，也等于直方图的bin数。其中k表示一个LBP模式，其值取决于所使用的LBP算子。I(u)函数的定义如下：

(8)

由此计算得到图像的直方图向量(H0,H1,…,Hn)，依据公式(9)将纹理直方图归一化为(h1,h2,…,hn)。

(9)

将其看作不同纹理模式在图像中出现的概率密度函数，根据信息熵的概念，图像的纹理熵可表示为公式(10)，其中hn为该纹理在图像中出现的概率。因其把图像纹理直方图由多维降到一维，所以提高了图像的检索效率。

(10)

3 相似性度量

图像的相似性度量在图像的检索技术中是一个比较关键的环节，它描述了图像相似的程度，直接影响到图像的检索结果。马氏(Manhanttan)距离能准确匹配噪声图像和遮挡图像，具有很高的可靠性和稳定性，同时相比欧氏距离具有更低的时间复杂度。在数据集中对每一个图像提取N维的特征值X，其中X={x1,x2,…,xN}，查询图像的特征值Y，其中Y={y1,y2,…,yN}。则马氏距离的计算公式如下：

(11)

由公式(11)可以看出，向量X和向量Y越相似，则D(X,Y)越小，反之则越大。

4 算法步骤

算法步骤如下：

(1)对三通道的RGB图像使用公式(12)把数据库的图像和查询图像转换为灰度图。

I(i,j)=0.3R(i,j)+0.59G(i,j)+0.11B(i,j)

(12)

(2)根据上述图像分块方法把数据库图像和查询图像分为(s_0,s_1,…,s_8)共9个子块图像。并根据公式(6)结合区域偏重权值α计算各个子块图像的权值(α+w_0,w_1,…,w_8)。

(3)根据上述图像LBP的纹理提取方法采用(8,1)邻域对每个图像各个子块单独提取Uniform Pattern LBP纹理，依据公式(7)统计每个子块图的LBP模式直方图(H0,H1,…,Hn)，其中直方图每一个bin表示一个LBP模式。

(4)对步骤(3)中求得的各个子块图的直方图(H0,H1,…,Hn)进行归一化得到(h0,h1,…,hn)，依据公式(10)求得各个子块图的纹理熵TE，接着对每个图像子块图的纹理熵按固定次序组合为整个图像的纹理熵向量(TE0,TE1,…,TE8)。

(5)将由步骤(4)求得的查询图像纹理熵query(TE0,TE1,…,TE8)和数据库图像纹理熵依据公式(11)并对应结合步骤(2)中求得的子块分布权值(α+w_0,w_1,…,w_8)计算查询图像和数据库各个图像的相似度距离(d0,d1,…,dm)。

(6)对(d0,d1,…,dm)从小到大进行排序，取其前N个相似度距离值对应的图像返回作为检索结果。

5 实验结果与分析

本文实验所使用的配置为：型号是Lenovo 的Z500，Intel(R) Core(TM) i7-2635QM CPU @2.00 GHz的4核CPU，8.00 GB的RAM，64 bit Windows 10操作系统，使用MATLAB R2014a 进行算法实现和分析。

本文实验使用的数据集为Corel数据集共5 000张。其中包含50类图像，分别是风景、马、人物、汽车、花朵、建筑、大山、恐龙、食物、大象，老虎、蔬菜、人物、杯子等，每一类图像都包含100张不一样的图像。

图6 汽车检索结果

在本文中使用查准率(Precision)和查全率(Recall)评估图像检索算法的性能。Precision是指检索到与查询图像相似的图像数P与当前检索结果中图像总数T的比值，用于评估图像检索算法检索结果的准确性。Recall是指检索到与查询图像相似的图像数P与数据集中所有与查询图像相似的图像总数R的比值。计算Precision和Recall的公式如下:

Precision=P/T

(13)

Recall=P/R

(14)

实验中，从数据集中的每一类随机抽取10张图像作为查询图像，随机抽取30个类别。统计所有查询图像的查准率和查全率的平均值作为最后的评估结果。

从图4中可以看出两种算法的平均查准率都随着图像的返回数量的增加而减少。而本文算法在同等的图片返回数量时其查准率要优于LBP算法。

图4 查准率随返回图像数量的对比

图5为本文算法和原LBP算法的查全率和查准率对比图，可以看出本文算法要优于LBP算法。

图5 查准率和查全率的关系对比

图6为应用本文算法在Corel数据集上检索汽车的结果，此时的查准率为100%。

6 结论

针对一些基于纹理的图像检索算法上存在的不足，本文提出一种基于LBP的不均匀加权纹理熵的图像检索算法。该算法先对图像作不均匀的分块，然后对每个子块使用均匀模式的LBP计算其纹理熵并用来描述其纹理特征，最后基于各个子块的重要性加权计算图像的相似度。该算法的优点在于，相对于传统的LBP算法，保留了图像空间分布的信息，同时也不因为图像的分块而增加特征的维数。因为该算法的特征维度只有9个，大大提升了图像的检索效率。该算法基于均匀模式LBP提取图像纹理熵,克服了CS-LBP和DLBP缺失部分纹理模式的缺点。同时不均匀子块的分割，符合大部分图像的关键兴趣点区域特征，偏向权重的设置弱化图像不相关信息的干扰。实验结果表明，本文算法具有较好的检索效果。

[1] Zhang Ming, Zhang Ke, Feng Qinghe, et al. A novel image retrieval method based on hybrid information descriptors[J]. Journal of Visual Communication and Image Representation, 2014, 25 (7):1574-1587.

[2] Guo Jingming, PRASETYO H. Content-based image retrieval using features extracted from halftoning-based block truncation coding[J]. IEEE Transactions on Image Processing, 2015, 24(3): 1010-1024.

[3] 孙晋.基于概率密度和ASIFT的彩色图像检索方法[J].微型机与应用,2014,33(13):32-34.

[4] Guo Xian, Huang Xin, Zhang Liangpei. Three-dimensional wavelet texture feature extraction and classification for multi/hyperspectral imagery[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(12): 2183-2187.

[5] Hong Xiaopeng, Zhao Guoying, PIETIKAINEN M, et al. Combining LBP difference and feature correlation for texture description[J]. IEEE Transactions on Image Processing, 2014, 23(6):2557-2568.

[6] ARASHLOO S R, KITTLER J.Dynamic texture recognition using multiscale binarized statistical image features[J]. IEEE Transactions on Multimedia, 2014,16(8):2099-2109.

[7] MANJUNATH B S, MA W Y. Texture features for browsing and retrieval of image data[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1996, 18(8):837-842.

[8] GLUCKMAN J. Visually distinct patterns with matching subband statistics[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(2):252-264.

[9] HEIKKILA M, PIETIKAINEN M, SCHMID C. Description of interest regions with local binary pattern[J]. Pattern Recognition,2009,42(3):425-436.

[10] Liao Shu, CHUNG A C S. Dominant local binary patterns for texture classification [J].IEEE Transactions on Image Processing， 2009， 18(5): 1107-1118．

[11] OJALA T, PIETIKAINEN M, MAENPAA T. Multiresolution gray scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7):971-987.

[12] OJALA T, PIETIKAINEN M, MAENPAA T, et al. Outex-new framework for empirical evaluation of texture analysis algorithms[C]. 16thInternational Conference on Pattern Recognition,2002:701-706.

Image retrieval algorithm based on LBP weighting distributed texture entropy

Zhu Huimin

(College of Information Engineering, Guangdong University of Technology, Guangzhou 510006，China)

By analyzing the current researches of the texture-based image retrieval algorithm，we point out the defect of each algorithm. This paper proposes a new image retrieval algorithm based on LBP weighting distributed texture entropy. Firstly, based on the distribution of key region of interest, the image is divided into nine sub-graphs. Then we extract texture features of each sub-graph according to the Uniform Pattern LBP and texture entropy is calculated combined with information theory in each sub-graph. After that the texture entropies of the nine sub-graphs are merged as the texture feature vector of the whole image. Finally, the image vector is weighted according to the importance of the feature vector elements corresponding to each region of interest for image retrieval. Compared with the traditional LBP algorithm, this algorithm preserves the image space information, and the region weight weakens the irrelevant information. At the same time the 9-dimension feature vector accelerates the image retrieval efficiency. The experimental results show that this algorithm can obtain better retrieval performance.

image retrieval; LBP; non-uniform distribution; texture entropy; uniform pattern

TP391.4

A

10.19358/j.issn.1674- 7720.2017.16.013

朱慧敏.基于LBP的加权分布纹理熵的图像检索算法[J].微型机与应用，2017,36(16)：44-47，52.

2017-02-27)

朱慧敏(1989-)，通信作者，女，硕士研究生，主要研究方向：图像处理、图像检索、模式识别。E-mail: yenzhu@126.com。