分层纹理特征和梯度特征融合的图像分类

分层纹理特征和梯度特征融合的图像分类

李欢欢，万源，童恒庆，吴克风

(武汉理工大学 理学院，湖北 武汉 430070)

摘要：为了提高分类检索和识别的准确率，提出了分层纹理特征和梯度特征融合的方法，即分层中心对称局部二值模式(CS-LBP)和梯度方向直方图(HOG)的特征融合方法。首先，对原始图像进行多次CS-LBP特征的提取，得到3层不同的特征图像；然后对特征图像进行大小相等、不重叠分块，分别提取每块CS-LBP特征和HOG特征，形成每一层的特征；再将特征图像的特征进行融合。分别在标准图像库和人脸库上进行仿真，研究结果表明：提出的分层融合方法的分类查准率和识别率比传统方法分别提高了15%和10%。

关键词：中心对称局部二值模式;梯度方向直方图;分层特征;特征提取

基金项目：国家自然科学基金重点项目(91324201);国家自然科学基金项目(81271513);武汉理工大学自主创新基金项目(2013-Ia-017)

作者简介：李欢欢(1989-),女,河南郑州人,硕士生;万源(1976-),女,湖北武汉人,副教授,博士,硕士生导师,主要研究方向为机器学习及图像处理等.

收稿日期：2014-04-09

文章编号：1672-6871(2015)01-0052-06

中图分类号：TP391.4

文献标志码：A

0引言

特征提取方法是图像分类检索和识别的关键[1]。局部二值模式[2]( LBP)描述算子，是一种简单且准确率较高的纹理特征提取算子，但存在维数过高且对纹理区域不具有鲁棒性的弊端。梯度方向直方图(HOG)特征是由文献[3]提出的一种检测方法，其通过图像局部区域的梯度方向和梯度强度的分布情况来很好地表示局部形状特征。文献[4]提出了一种中心对称局部二值模式(CS-LBP)算子，能很好地描述图像的局部特征，其减小了计算复杂度且大大降低了特征表示的维数，但存在提取纹理信息不完整的缺点。针对这些不足，学者提出了很多改进的方法。文献[5]提出了多级CS-LBP特征融合的方法，利用原始图像的多级特征的融合来进行人脸的分类识别。文献[6]提出了多尺度LBP特征，利用多尺度LBP特征提取人脸图像纹理特征进行分类识别。文献[7]提出了基于块和图像的HOG与LBP的融合方法，利用其与BoW模型结合进行图像分类检索识别。

文献[5-6]并未充分考虑纹理和轮廓边缘特征的结合，基于文献[7]的方法，本文提出了一种特征融合方法，即基于分层CS-LBP的思想，同时提取分层HOG特征，将两种特征进行融合，得到图像最终的特征表示。CS-LBP特征主要提取图像的纹理信息，HOG特征集中在边缘形状信息的提取上，两者的分层融合在一定程度上起到了互补的作用，且在分层CS-LBP特征的基础上充分考虑HOG特征能够更准确地表示图像。

1特征方法

1.1　LBP特征和CS-LBP特征

局部二值模式(LBP)特征最初是由文献[8]提出的一种在灰度范围内非常有效的纹理谱描述符，后被进一步拓展为任意邻域大小的描述符。LBP的基本原理是对于以中心像素为中心的N邻域像素，比较中心像素与其邻域像素之间的灰度值大小，用布尔型函数来表示最终结果[9-10]。LBP算子的计算公式为:

(1)

式中：gi(i=1,…,N)表示以gc为中心的圆域中的N个像素点；R为圆域的半径。

LBP特征只考虑了邻域像素与中心像素的灰度关系，并不能完全有效地反映局部纹理特征，且维数较高(若邻域为N，则维数为2N-1)[11]。文献[4]提出了CS-LBP算子，维数为16维，通过与中心像素对称的4对像素之间的灰度关系来描述局部纹理模式，即扩展的CS-LBP算子的计算公式为:

(2)

式中：阈值T是用于判定局部纹理区域的平坦性，文献[4]建议阈值T取灰度范围的1%;gi、gi+N/2是关于中心像素对称的像素对。

1.2　HOG特征

HOG特征利用相互重叠的局部对比度归一化技术，在一个大小统一、网格密集的细胞单元上进行计算，是描述边缘和形状信息最好的特征之一。HOG特征提取的具体过程[12]为：

(Ⅰ)为了消除光照的影响，对彩色图像进行归一化。

(Ⅱ)将样本图像分割为若干个块，每块由相邻的4个单元组成，每个单元由8×8像素组成，块与块之间采用重叠两个单元的方式进行滑动。然后，计算每个单元的直方图特征，直方图横坐标表示像素点梯度的方向，由于CS-LBP的特征是16维的，因此，本文把梯度方向360°平均划分为16个区间。统计所有像素点各个方向的16个区间的直方图特征，从而得到每个单元的直方图特征，进一步得到每块的直方图；再对每块内的直方图进行归一化，以进一步消除光照和阴影的影响。

(Ⅲ)最后，得到每个单元的16维的特征向量，从而得到每块(4个单元)的64维的特征向量，将整幅图像所有块的特征串联得到图像的整体HOG特征。

2特征融合方法

CS-LBP算子计算简单、速度快且提取特征维数低，同时对图像的灰度变化保持单调不变性，但是其单独使用提取的特征不完整，且对于复杂图像提取的准确率比较低[13]。HOG特征能很好地描述图像的边缘信息，从而表示图像局部形状变化；量化位置和方向在一定程度上对平移和旋转起到了抑制作用，利用分块分单元的处理方法能够更好地表示图像局部像素点之间的关系，其利用局部区域的梯度强度和方向直方图来构造图像特征。

2.1　分层CS-LBP特征和HOG特征

CS-LBP算子提取的特征依然是灰度值，因此，为了提取图像更多更丰富的纹理特征，完整地得到原始图像的灰度变化情况，利用CS-LBP算子进行多次特征提取，得到3幅不同的CS-LBP特征提取图像。在特征提取图像的基础上，再次对特征图像进行HOG特征的提取，即同时得到了分层HOG特征。一幅恐龙图像的分层CS-LBP特征如图1所示。

图1　3层CS-LBP特征提取图像

从图1可以看出:图1a为恐龙的原始图像；图1b能清晰地表示恐龙的轮廓和细节，具有很强的描述图像的能力；虽然图1c是第2层特征提取图像，但是恐龙的形状、头部和尾巴的细节还是比较清楚，因此，第2层特征图像依然有助于图像特征的表示；图1d虽然没有图1b清晰，且其表示能力弱于图1a和图1b，但是其依然能够清晰地看到恐龙的形状信息和纹理信息，即包含了对图像分类有用的信息。为了考虑图像完整的信息，本文利用分层的CS-LBP特征结合HOG特征，利用整体和局部结合的信息进行图像分类检索。

2.2　特征融合步骤

基本思想是对得到的特征图像提取分层CS-LBP特征，基于分层CS-LBP特征提取分层HOG特征，然后将两种特征进行串联级联，形成图像的最终特征。算法具体步骤如下：

(Ⅰ)图像预处理，利用双线性插值将图像库图像统一为64×64像素的灰度图像。

(Ⅱ)对灰度图像依次进行n次CS-LBP特征的提取，得到n幅特征提取图像，即CS-LBP(n),n=1,2,3。

(Ⅲ)对CS-LBP(n),n=1,2,3特征提取图像进行相同方式的分块，划分成大小相等、互不重叠的均匀子块。

(Ⅳ)统计所有子块图像的CS-LBP直方图特征，将所有子块的直方图特征顺序级联成每层CS-LBP(n),n=1,2,3特征提取图像的特征向量，即得到分层CS-LBPi(i=1,2,3)特征。

(Ⅴ)提取每层CS-LBP(n),n=1,2,3的所有子块图像的HOG特征，并将所有子块的HOG特征进行顺序级联，形成每幅特征提取图像的第2个特征向量，即得到分层HOGi(i=1,2,3)特征。

(Ⅵ)将每层CS-LBP(n),n=1,2,3特征提取图像对应的两个特征向量进行串联级联，形成每幅图像的融合特征表示，即分层CS-LBP特征与基于分层CS-LBP特征的分层HOG特征融合的特征

[CS-LBPiHOGi],i=1,2,3。

(Ⅶ)将3层特征提取图像的所有特征进行顺序级联，得到图像的完整特征，即

[CS-LBP1HOG1CS-LBP2HOG2CS-LBP3HOG3]。

(Ⅷ)分类检索阶段，利用k-近邻分类器进行分类。

3仿真分析

为了验证提出算法的有效性，在Corel标准图像库上进行分类检索仿真，在ORL人脸库上进行分类识别仿真，并且比较了5种特征提取方法的分类检索准确率，即比较5种融合算子LBP+HOG、CS-LBP+HOG、CS-LBP1+HOG1、CS-LBP2+HOG2、CS-LBP3+HOG3的性能。实验中将所有图像利用双线性插值统一为64×64像素。

3.1　图像数据库

本文在Intel i3 2.53 GHz CPU，2 GB内存，Win7操作系统，Matlab R2011b软件下进行仿真。Corel标准图像库包含10个语义类共1 000幅自然图像，每类100幅图像，图像大小为384×256像素或256×384像素；图像类别依次为：人脸、天空、建筑、巴士、恐龙、大象、花朵、骏马、雪山、食物。仿真中每类选取50幅图像做训练，其余50 幅图像做测试，即训练集和测试集都是500幅。

3.2　相似性度量

通常直方图之间的相似性度量方法是利用χ2距离，χ2距离函数的公式为：

(3)

式中：s为图像所分的子块个数；m为子块图像直方图的个数；H1为训练样本的一维直方图特征向量；H2为测试样本的一维直方图特征向量。实际应用中由于直方图特征的每一维的大小表示的是出现的次数，而某些出现的次数可能为零，这就导致了χ2距离函数的分母很可能为零，使得程序无法进行。为了解决这类问题，本文将分母设定为1，即假设平均两个出现次数为零的每个出现1/2次，这个假设并不影响最终的结果，因为1/2对于次数的统计影响不大，因此距离就变成了式(3)后面的形式。从式(3)中可以看出设定后的距离类似于欧式距离，且是欧氏距离的平方，既可以将测试样本和训练样本的距离更清晰地表示出来，也能避免程序出现问题。

3.3　特征融合算法比较

本文比较了5种特征融合方法，即：

(Ⅰ)LBP+HOG算子，即将原始图像的LBP特征和HOG特征进行串联级联。

(Ⅱ)CS-LBP+HOG算子，即将原始图像CS-LBP特征和HOG特征进行串联级联。

(Ⅲ)CS-LBP1+HOG1算子，即对图像提取1次CS-LBP特征，得到特征[CS-LBP1HOG1]。

(Ⅳ)CS-LBP2+HOG2算子，即对图像提取2次CS-LBP特征，得到融合特征[CS-LBP1HOG1CS-LBP2HOG2]。

(Ⅴ)CS-LBP3+HOG3算子，即对图像提取3次CS-LBP特征，得到融合特征[CS-LBP1HOG1CS-LBP2HOG2CS-LBP3HOG3]。

3.4　性能评估及分析

仿真中使用查准率-查全率(RP)曲线进行检测和识别的性能评价，对5种特征融合方法进行结果评价和分析。采用“查准率”和“查全率”作为评价标准，查准率表示检索到的目标图像数与被检索的图像数的比值，查全率表示检索到的目标图像数与数据库中所有的图像数的比值。不同算子的RP曲线如图2所示。

图2　不同特征融合方法的整体检索性能

图2比较了7种特征的整体分类检索性能。由图2可知：融合特征CS-LBP2+HOG2的分类检索效果最好，由于提取了不同的两层特征，提取图像的所有的纹理特征和形状特征，使得特征表达比较完整，对纹理特征具有更好的鲁棒性，且不包含过多的冗余信息。CS-LBP3+HOG3的整体分类检索性能也比较好，CS-LBP和HOG的性能最差，其余的特征性能处于中间。由此可以看出:分层特征的融合比不分层特征的融合提取特征效果更好，图像表示更完整，且能表达更丰富的纹理和形状信息。即本文提出的方法是有效的，对自然图像的分类效果比较好，其比传统的单独特征提取方法[11,13]的效果好很多。

(4)

由表1可知：分层融合特征的平均查全率和平均查准率都比较好，分层CS-LBP2+HOG2的融合特征的平均查全率和平均查准率优于其他特征融合方法，且其建筑类的平均查准率比单独的CS-LBP+HOG和LBP+HOG方法高15%。恐龙图像背景简单，因此，5种融合方法对恐龙类别的平均查全率和平均查准率都很高，接近1；而人脸、天空、建筑、巴士、食物的图像背景有重复，且比较复杂，因此，5种融合方法的平均查全率和平均查准率比较低，即进一步验证了提出的融合方法的有效性。

在Corel标准图像库的500幅测试图像中，针对每幅图像分别统计5种算子特征提取的响应时间，最后统计5种算子的时间值并计算500次的平均值作为每种算子的平均响应时间T，s。表2所示为本文5种算子分别对整个图像库的平均响应时间的比较。

从表2可以看出：在分层和不分层的特征融合方法中，平均响应时间都是随着维数的上升而增加。整体看来虽然CS-LBP2+HOG2平均响应时间处于中间，但是算子的整体性能、平均查全率和平均查准率都取得了很好的效果。与文献[11，13]比较，CS-LBP2+HOG2的效果更优，且时间复杂度较低。

通过分层和不分层的算子的比较，实验结果说明了分层特征融合的方法优于不分层特征融合的方法，分层的特征融合方法比不分层的特征融合方法的整体性能要好，且CS-LBP2+HOG2算子在分层方法中更优。实验进一步验证了本文提出的分层融合方法的有效性。

表1　融合方法的平均查准率和平均查全率

表2　平均响应时间比较　　s

3.5　ORL人脸库仿真结果

ORL人脸数据库由40个人、每人10幅图，共400幅图像组成，图像的分辨率为112×92(10 304)像素，灰度级为256，包括表情、微小姿态和20%以内的尺度变化。选择每个人10幅图像中的5幅作为训练，其余5幅作为测试，则训练集和测试集均为200个人脸图像样本。为了证实提出算法的可行性，在ORL人脸库上进行仿真。仿真步骤如下：

(Ⅰ)对人脸图像进行预处理，利用双线性插值归一化人脸图像，统一为64×64像素。

(Ⅱ)利用提出的方法进行人脸特征提取，与单一的分层方法进行比较，设定分块大小为8×8像素(分块大小要适中，若太大则局部信息可能被忽略，若太小则会增加计算复杂度，易引入图像噪声，因此选取8×8像素)。

(Ⅲ)识别阶段利用最近邻分类器进行分类判别。

表3为算法在ORL人脸库上的识别率(卡方距离)。由表3可知：分层CS-LBP特征与HOG特征的融合方法的识别率高于单独分层和其他两种融合方法的识别率。与其他方法相比，CS-LBP2+HOG2的维数适中，特征提取时间短，而识别率却高达98%，进一步验证了提出的分层融合方法的有效性。LBP+HOG的识别率也较高，但是其维数是CS-LBP2+HOG2的4倍，且提取特征耗时较多。与单一特征提取方法相比，CS-LBP2+HOG2的识别率比CS-LBP高6.5%，比HOG特征高10.0%，且特征提取时间只比CS-LBP算法多0.1 s,却比HOG算法少0.3 s。人脸库的仿真结果进一步验证了提出方法的有效性和可行性。

4结论

CS-LBP特征能有效地提取图像的纹理信息，HOG能提取图像完整的边缘和形状信息。本文提出了一种特征融合方法和表示模型，融合纹理特征和梯度方向特征，即分层CS-LBP和HOG的特征融合方法。在Corel标准图像库和ORL人脸库上进行实验，验证了提出的融合特征的有效性，其仿真结果优于不分层的特征融合方法，也优于单独的特征提取方法。实验结果证明了CS-LBP2与HOG2特征融合方法最优，表明每层CS-LBP特征和每层HOG特征之间有互补的作用，但是层数增多会带来相对较多的冗余信息和“维数灾难”，因此，3层的效果相对两层较差。融合方法增强了图像特征的表示能力，并且显著提高了图像分类识别性能。

参考文献：

[1]钟金荣,杜奇才,刘荧,等.特征提取和匹配的图像倾斜校正[J].中国图象图形学报,2013,18(7):738-745.

[2]宋克臣,颜云辉,陈文辉,等.局部二值模式方法研究与展望[J].自动化学报,2013,39(6):731-744.

[3]Dalal N,Triggs B.Histograms of Oriented Gradients for Human Detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.San Diego,CA:IEEE Computer Society,2005:886-893.

[4]Heikkilä M,Pietikainen M,Schmid C.Description of Interest Regions with Local Binary Patterns[J].Pattern Recognition,2009,42(3):425-436.

[5]卢建云,何中市,余磊.基于多级CS-LBP特征融合的人脸识别方法[J].计算机工程与科学,2010,32(6):48-51.

[6]王玮,黄非非,李见为,等.使用多尺度LBP特征描述与识别人脸[J].光学精密工程,2008,16(4):696-705.

[7]Yu J,Qin Z C,Wan T,et al.Feature Integration Analysis of Bag-of-Features Model for Image Retrieval[J].Neurocomputing,2013,120:355-364.

[8]Ojala T,Pietikanien M,Harwood D.A Comparative Study of Texture Measures with Classification Based on Feature Distributions[J].Pattern Recognition,1996,29(1):51-59.

[9]高攀,郭理,汪传建.特征集和分类器融合技术在表情识别中的应用[J].河南科技大学学报:自然科学版,2014,35(2):48-55.

[10]杨得国,杨勐,姜金娣,等.一种改进的局部区域特征医学图像分割方法[J].河南科技大学学报:自然科学版，2012,33(2):30-33.

[11]毋小省.改进的旋转不变区域纹理谱描述符[J].光电子·激光,2011,22(5):783-787.

[12]陈锐,彭启民.基于稳定区域梯度方向直方图的行人检测方法[J].计算机辅助设计与图形学学报,2012,24(3):372-377.

[13]贾伟,王正勇,张杰,等.一种基于改进的CS-LBP算子纹理图像自适应检索方法[J].微电子学与计算机,2013,30(9):75-78.