自适应阈值及加权局部二值模式的人脸识别

张洁玉 赵鸿萍 陈 曙



自适应阈值及加权局部二值模式的人脸识别

张洁玉*赵鸿萍 陈 曙

(中国药科大学理学院 南京 211198)

针对局部二值模式(LBP)和中心对称局部二值模式(CS-LBP)方法描述图像纹理特征时，阈值不能自动选取并且图像中不同子块的贡献也没有进行区分的问题，该文提出一种自适应阈值及加权的局部二值模式方法。首先，将图像进行分块，采用设定的自适应阈值提取每个子块的LBP或CS-LBP纹理直方图；然后，将各子图像的信息熵作为直方图的加权依据，对每个子块对应的直方图进行自适应加权，并将所有子块的直方图连接成最终的纹理特征；最后，通过快速计算图像均值加快了算法的计算速度。在人脸数据库上进行的实验证明，利用该文提出的方法提取纹理特征，并结合最近邻分类法可以得到较高的正确识别率。

人脸识别；纹理特征；局部二值模式；自适应阈值；自适应加权

1 引言

图像特征提取是图像处理及计算机视觉等领域的一个重要研究内容，图像配准、物体识别、目标跟踪以及基于内容的图像检索等问题都可以通过特征的提取与匹配来实现[1]。常用的图像特征有颜色特征、形状特征及纹理特征，其中由于纹理特征简单有效而倍受国内外学者的青睐。

目前纹理分析方法可以总结为4大类，即：统计法、结构法、模型法和空域/频域联合法，其中结构分析法的研究内容为如何描述纹理基元之间的内在相互关系和排列规则。在较早的结构分析法中，具有代表性的是由文献[2]提出的通过描述中心像素和邻域像素灰度差来描述纹理的方法[2]。文献[3]提出了局部二值模式(Local Binary Pattern, LBP)纹理描述法[3]。该方法简单高效，具有良好的旋转不变性和灰度不变性，已经广泛应用于目标检测[4]、人脸识别[5,6]、纹理分类[7,8]、图像匹配[9]、背景建模[10]、生物和医学图像分析等领域[11]。但在实际应用中，LBP方法难以适应不同粗糙度和尺度纹理的需要，近年来许多学者在具体应用中对LBP进行了不少相应的改进，其中较有代表性的是香港理工大学和清华大学共同针对LBP做了一系列深入的研究。例如，提出了基于方向统计的自适应局部二值模式，增加了图像的空间结构信息[12]；提出了局部二值模式与方差相结合的纹理表示方法，将每个点的方差作为编码值的权重，提高了纹理分类性能[13]。此外，文献[14]在LBP的基础上提出了局部三值模式(Local Ternary Patterns, LTP)[14], LTP通过0, 1和-1 3个值进行编码，在均匀区域比LBP具有更强的判别能力。LTP特征已经在图像匹配[15]、人脸识别[16]领域得到了较好的应用效果。

2 LBP与CS-LBP

2.1 LBP

其中

2.2 CS-LBP

3 W-LBPAT特征的构造

3.1 图像分块

原始LBP和CS-LBP模式都是一次性提取了整个图像的纹理特征，没有区别对待图像中的不同子块。但事实上，图像中不同子块包含的纹理细节是不同的。若有的子块纹理细节较为丰富，应该将该子块赋予较大的权重，而纹理细节较为稀少的子块应赋予较小的权重，这样最终得到的LBP或CS-LBP纹理特征才能最大程度地真实反映图像纹理的变化情况。因此，在本文提出的W-LBPAT纹理模式中，首先将原始图像划分为若干小块，然后求出每个子块对应的LBP或CS-LBP统计直方图特征，最后将它们串联起来作为最终的纹理特征。

3.2 提取各子块纹理特征

将图像划分为若干子块之后，提取每个子块的LBP或CS-LBP统计直方图。提取时，涉及到两方面的改进，即：自适应选取阈值和计算加权系数。

其中

3.2.2选取自适应加权系数 一般情况下，一幅图像中不同子块包含的信息量是不同的。纹理丰富的区域包含的信息量大，反之包含的信息量小。若不加区分地对待不同的区域，则会降低纹理特征的独特性，影响识别率的提升。

3.3 生成W-LBPAT特征

图1为采用W-LBPAT(CS-LBP)提取人脸图像特征的效果图，由于该算法的原理是利用自适应阈值判断关于中心对称的像素点灰度值的对比情况来描述纹理，因此可以得到非常清晰的图像局部纹理的反差效果。

3.4 快速算法

本文提出的算法中，在提取W-LBPAT特征前，事先遍历图像中的每个像素点，计算出以每个像素点为中心的邻域内所有像素的均值。而相邻像素对应的邻域之间包含大量的重叠部分(如图2所示)，为了加快运算速度可以采取如下措施简化计算过程。

其中，表示第列的, 和行的3个像素和；代表第列的,和行的3个像素和。按照此法，计算所有水平方向相邻的两个邻域的均值时，后一个邻域的均值都可用前一个邻域的均值快速计算得到。同理，所有竖直方向相邻的两个邻域，后一个邻域的均值可用同样的方法快速计算得到，如图3所示。设以像素点和为中心的邻域分别为和，邻域的像素和为，则邻域的像素和为式(12)所示。

图2 水平相邻像素邻域示意图 图3 竖直相邻像素邻域示意图

按照上述方法，遍历整幅图像中的所有像素点，可以快速求出所有像素点邻域的均值，为后续提取W-LBPAT纹理特征做好准备。本文使用不加速W-LBPAT(CS-LBP)及加速W-LBPAT(CS-LBP)算法针对ORL人脸库、YALE人脸库和FERET人脸库中大小分别为112×92(400幅)、100×100(165幅)和80×80(350幅)的人脸图像进行了特征提取的时间测试，结果如表1所示。

表1 两种算法提取人脸图像特征的时间(s)

4 实验与分析

4.1 自适应阈值T的选取

在改进算法中，自适应阈值的选取方法(见3.2.1节)为

ORL人脸库包含40个人，每个人有10幅人脸图像，共400幅，其中包括姿态、表情和面部饰物(如眼镜)等变化。每幅图像均为112×92的灰度图像，图4即为ORL人脸库部分图像。YALE人脸库包括了15个人共165幅图像，每个人有11幅图像，其中的姿态和光照变化都是在严格控制的条件下采集的，每幅图像均为100×100，图5为YALE人脸库的部分图像。

FERET不仅包含通用的人脸库还包含了通用的测试标准。该图像库包括ba,bj,be和bf等若干子库，如图6所示。它们都含有同样的200个人的人脸图像，其中ba含有每人1张正面人脸图像，bj包含与ba中表情不同的每人1张图像，be包含ba中每个人脸左转15°的图像，而bf中包含ba中每个人脸右转15°的图像。

本文结合最近邻分类器进行人脸识别实验，在ORL人脸库中，对于每个人的10幅图像随机取5张作为训练样本，剩下的5张为测试样本，则训练样本数和测试样本数各为200。YALE人脸库中，随机取每个人的5幅图像作为训练样本，剩下的6幅图像作为测试样本，训练样本数和测试样本数分别为75和90。而在FERET人脸库中，采用通用测试标准测试，即：利用子库ba中的200张图像作为训练样本，bj,be和bf 3个子库作为测试样本。

4.2 人脸识别实验

为了检验W-LBPAT特征的有效性，本文将LBP, CS-LBP, LTP及W-LBPAT特征分别在ORL人脸库、YALE人脸库和FERET人脸库上进行人脸识别实验。其中，对于ORL人脸库和YALE人脸库通过随机更换训练样本和测试样本而各自分别进行3次识别实验，最后取3次识别率的均值。而对于FERET人脸库采用通用测试标准进行识别测试。

图4 ORL人脸库部分图像

图5 YALE人脸库部分图像

图6 FERET人脸库部分图像

图7 改进算法对应的识别率随n值变化的曲线图

各类算法均采用了分块做法，即：先将图像分成若干小块，然后提取各子块的LBP, CS-LBP或LTP特征，之后再将各个子特征进行串联生成最终的纹理特征。在本文实验中，首先将图像分成了4×4 =16个子块后再利用各算法进行人脸识别。每种算法对应的正确识别率见表2。

从表2可以得出以下结论：

(1)在各人脸库中，识别率由低到高的顺序基本可以归纳为：LBP, CS-LBP和LTP分块一类算法，LBP, CS-LBP和LTP分块并自适应加权一类算法，本文的W-LBPAT(CS-LBP), W-LBPAT(LBP)算法。通过各自比较每种特征相应的分块算法、分块并自适应加权算法以及本文算法，可以看出自适应加权策略对识别率的提升有一定的帮助。本文算法除了分块并自适应加权外，还在提取特征时采用了自适应阈值的策略，致使识别率得到了进一步地提升。

(2)W-LBPAT(LBP)和W-LBPAT(CS-LBP)得到了最高的识别率，这是因为：(a)W-LBPAT算法是将图像进行分块后，计算了每个子块的信息熵，并以此作为各个子块的加权系数，然后提取每个子块的特征后对各子块进行加权串联，形成了最终的W-LBPAT特征。(b)在提取每个子块的CS-LBP或LBP纹理特征时，根据每个子块的像素平均值自适应设定阈值，利用该阈值能够依据图像自身的情况提取真实的纹理特征，因此W-LBPAT得到了最高的正确识别率。

(3)在各种CS-LBP, LTP和LBP算法中，识别率由低到高的顺序基本可以总结为：LBP一类算法、LTP一类算法和CS-LBP一类算法。这是因为：CS-LBP一类算法比以LBP为基础的一类算法在梯度方向上能够获取更好的信息，而LTP一类算法是以LBP为基础利用相同的提取原理得到了种类更多的纹理模式，因此使得LTP一类算法比LBP算法识别率更高，但是大多数情况其识别率要低于CS-LBP一类算法。

5 结束语

本文在LBP和CS-LBP算法的基础上，提出了自适应阈值及加权的局部二值模式纹理特征提取算法。本文的工作主要包含3个方面：(1)不再提取整幅图像的特征，而是将图像分块，提取每个子块的特征后利用各个子块的信息熵进行加权，再串联成最终的特征；(2)提取每个子块的LBP或CS-LBP特征时，根据子块图像自身的情况设定阈值，利用该阈值提取纹理特征；(3)采用快速计算图像均值的方法，加快了本文提出算法的计算速度。在人脸数据库上进行的实验证明，本文提出的算法具有更高的正确识别率。

表2各种算法识别率比较

识别算法人脸库 ORL(3次均值)YALE(3次均值)FERET(be子库)FERET(bj子库)FERET(bf子库) 分块LBP0.85830.73530.6150.6350.610 分块CS-LBP0.94670.74180.6350.7400.740 分块LTP0.91830.80090.6150.6500.620 分块+自适应加权LBP0.87500.79410.6350.6500.615 分块+自适应加权CS-LBP0.94330.78430.6650.7700.770 分块+自适应加权LTP0.91670.81020.6150.6700.625 W-LBPAT(LBP)0.95000.83330.6900.7800.705 W-LBPAT(CS-LBP)0.96500.94910.7100.8450.800

[1] 张洁玉. 图像局部不变特征提取与匹配及应用研究[D]. [博士论文], 南京理工大学, 2010.

[2] He D C and Wang L. Texture unit, texture spectrum, and texture analysis[J]., 1990, 28(4): 509-512.

[3] Ojala T, Pietikainen M, and Harwood D. A comparative study of texture measures with classification based on feature distributions[J]., 1996, 29(1): 51-59.

[4] 潘泓, 金立左, 夏思宇, 等. 基于多层次互补特征的通用目标检测模型[J]. 电子与信息学报, 2012, 34(7): 1531-1537.

[5] 黄非非. 基于LBP的人脸识别研究[D]. [硕士论文] , 重庆大学, 2009.

[6] 徐杜功, 丁召, 刘桥. 基于稀疏表达和改进的LBP算子的人脸表情识别[J]. 计算机应用与软件, 2013, 30(4): 246-248.

[7] 韩延彬, 尹键芹, 李金屏. 基于图元旋转不变性和相位统计信息的LBP算法在纹理分类中的研究[J]. 计算机学报, 2011, 34(3): 583-592.

[8] Ojala T, Pietikainen M, and Maenpaa T. Multi-resolution grayscale and rotation invariant texture classification with local binary patterns[J]., 2002, 24(7): 971-987.

[9] 郑永斌, 黄新生, 丰松江. SIFT和旋转不变LBP相结合的图像匹配算法[J]. 计算机辅助设计与图形学学报, 2010, 22(2): 286-292.

[10] 祖仲林, 李勃, 陈启美. 基于CUDA的快速LBP纹理背景建模算法[J]. 武汉理工大学学报(交通科学与工程版), 2011, 35(1): 91-94.

[11] 陈廷寅, 张东, 杨艳, 等. 超声图像的LBP纹理特征提取[J].武汉大学学报(理学版), 2012, 58(5): 401-405.

[12] Guo Z H, Zhang L, Zhang D,.. Rotation invariant texture classification using adaptive LBP with directional statistical features[C]. Proceedings of the 17th IEEE International Conference on Image Processing, Hong Kong, China, 2010: 285-288.

[13] Guo Z H, Zhang L, and Zhang D. Rotation invariant texture classification using LBP variance (LBPV) with global matching[J]., 2010, 43(3): 706-719.

[14] Tan X and Triggs B. Enhanced Local Texture Feature Sets for Face Recognition under Difficult Lighting Conditions[M]. Berlin Heidelberg Springer, 2007: 168-182.

[15] 赵灵芝, 李伟生. 一种基于LTP特征的图像匹配方法[J]. 计算机应用研究, 2009, 26(10): 3983-3985.

[16] 袁宝华, 王欢, 任明武. 融合LTP与Fisherfaces的分块人脸识别[J]. 计算机工程, 2012, 38(10): 154-156.

[17] Heikkila M, Pietikainen M, and Schmid C. Description of interest regions with local binary patterns[J]., 2009, 42(3): 425-436.

[18] 卢建云, 何中市, 余磊. 基于多级CS-LBP特征融合的人脸识别方法[J]. 计算机工程与科学, 2010, 32(6): 48-51.

[19] 刘丹, 胡永健, 刘琲贝. 联合SIFT特征点和CS-LBP特征描述子的复制粘贴篡改检测[J]. 合肥工业大学学报(自然科学版), 2012, 35(3): 325-330.

[20] 刘毅, 黄兵, 孙怀江, 等. 结合CS-LBP纹理特征的快速图割算法[J]. 计算机科学, 2013, 40(5): 300-302.

[21] 李勃, 郁健, 江登表, 等. 基于ST-CSLBP的混合时空背景建模算法[J]. 仪器仪表学报, 2011, 32(12): 2781-2786.

张洁玉： 女，1980年生，讲师，研究方向为图像处理及其在药学领域的应用研究.

赵鸿萍： 女，1971年生，副教授，研究方向为药学信息的获取与数据挖掘.

陈 曙： 男，1965年生，教授，研究方向为信息技术和药学信息学研究.

Face Recognition Based on Weighted Local BinaryPattern with Adaptive Threshold

Zhang Jie-yu Zhao Hong-ping Chen Shu

(,,211198,)

A new method called weighted Local Binary Pattern (LBP) with adaptive threshold is proposed in this paper to address the shortcomings of LBP and Center Symmetric Local Binary Pattern (CS-LBP), using unflexible threshold and non- discriminating respective sub-patches based on different textures. Firstly, the image is divided into several sub-images and LBP or CS-LBP texture histograms are extracted respectively from each sub-image based on the adaptive threshold. Then, the proposed algorithm adaptively weighted the LBP or CS-LBP histograms of sub-patches with information entropy as their basis and connected all histograms serially to create a final texture descriptor. Finally, the improved efficiency of the proposed algorithm is achieved by speeding up the computation of the average of an image. The experimental results by face databases show that a higher recognition accuracy can be obtained by employing the proposed method with nearest neighbor classification.

Face recognition; Texture features; Local Binary Pattern (LBP); Adaptive threshold; Adaptively weighted

TP391.41

A

1009-5896(2014)06-1327-07

10.3724/SP.J.1146.2013.01218

张洁玉 zhjy_xx@126.com

2013-08-13收到，2013-12-18改回

教育部直属高校特色项目基金(O2600005)和中国药科大学理学院青年教师科研资助课题