一种基于改进LBP特征的人脸识别

郭贺飞，陆建峰，董忠汶

（1.南京理工大学 计算机科学与工程学院，江苏 南京 210094；2.江苏省有色金属华东地质勘查局 地质信息中心，江苏 南京 210007）

0 引言

从Ahonen等人将局部二值模式（Local Binary Pat⁃tern，LBP）应用到人脸识别领域以来[1⁃2]，该方法在人脸识别领域取得了很大的成功。用局部二值模式来表示人脸图像的特征，采用X2统计作为相似度量来进行人脸识别。由于其训练样本要求小，计算简单等特点使其在人脸识别以及纹理识别等领域取得很好的识别率。

LBP在纹理分析方面有着广泛的应用，在人脸识别领域的成功使得其在近几年有了很大的发展。从LBP到MB_LBP再到后来的完整LBP（Completed Local Bina⁃ry Pattern）[3]，每一次都在人脸识别领域取得了较大的成功。考虑到LBP算子仅考虑了周围像素并没有考虑全局的灰度分布，MB_LBP充分考虑了全局结构信息而忽略了一部分局部信息。考虑到完整LBP使用多个字节来表示一个像素，其对存储空间要求过大，并且有着复杂的计算过程。本文提出了一种改进的LBP算子进行人脸识别。为了考虑LBP在全局上的分布，将分块后的图像灰度均值作为阈值将LBP特征重新分散到指定范围。由于LBP只是考虑了周围像素与中心像素的差值，所以不同灰度的中心像素可能会得到相同的LBP特征，为了区分不同灰度的LBP特征，将LBP特征根据分块的全局灰度重新离散到特征范围。改进后的LBP算子保持了原始LBP的存储空间小的特点，同时又能兼顾局部信息和全局信息。

1 LBP简介和人脸识别

1.1 LBP

LBP算子是一种描述纹理特征的强有力的方法。原始的LBP算子为图像的每个像素定义了一个以该像素为中心的3×3的窗口，然后根据中心像素和周围像素的差值进行二值化，然后根据像素的位置以及二值化的结果进行加权求和得到该像素的LBP值。图1为基本LBP算子的计算过程。

图1 基本LBP算子

式中iP为周围像素灰度值；iC为中心像素灰度值。

S（x）定义为：

后来LBP被扩充为半径为R的圆周长取P个邻域的LBP算子。

式中xp，yp分别定义为：

根据LBP算子的定义可以看出，LBP算子共有2P种模式。常用的LBP算子有，，等如图2所示。

图2 ，，算子

将LBP特征用于人脸识别，典型的方法是将人脸图像进行分块，对于每个小块进行提取LBP特征直方图，最后形成表示人脸的LBP特征直方图。

1.2 改进LBP算子

由于LBP算子只考虑周围像素的影响，在提取特征时丢失了一部分信息，两个不同结构的中心像素可能会得到相同的LBP特征。如图3所示。虽然两个不同区域的像素能得到相同的LBP特征值，但是对于全局结构信息而言应该区分这种情况。

图3 人脸LBP特征直方图

图4 不同区域的LBP特征

MB_LBP（Multi_Block LBP）改进了传统LBP算子[6]，考虑LBP特征提取过程中丢失了全局信息，先将人脸图像进行分块，MB_LBP使用分块的灰度均值作为分块灰度值进行二值化。虽然MB_LBP增加了分块结构信息[6]，但是一些明显的局部特征会被忽略。有时候明显的特征对识别更有帮助。

图5 MB_LBP特征提取

本文考虑分块信息，同时考虑局部特征，提出一种根据中心像素和分块灰度均值将LBP特征值重新离散化的改进LBP算子。考虑所有的中心像素和LBP模式的组合共有256×2P模式，如此多的模式对识别而言并不会带来好处[4⁃5]，所以考虑根据中心像素和分块灰度均值进行离散化。为了能够表示这种特征，提出一种三段线性离散的方法。

离散到3个区间的LBP算子，如下所述：

式中：k为LBP特征值；l1,l2,l3为离散区间，l1+l2+l3=256；c为阈值（取分块灰度均值）；m为变量控制离散区间。

本文提出的改进LBP算子，主要是基于在图像分块的过程中，对于灰度值变化较小的区域有较多的像素点灰度值接近于分块灰度均值，对于特征提取而言此时应该尽量区别这些像素点，所以将与分块灰度均值相似的像素点的灰度值重新离散到一个区间，此时能够更好地区别图像的局部信息。对于图像识别而言，像素灰度值差别较大的像素点所包含的信息可能更重要。此时可以设置较大的m，用来凸显灰度值相差多大的像素点。因此设置m参数用来控制特征的离散规则。

改进的LBP算子根据分块灰度均值将局部信息和分块信息结合起来[7⁃10]。不同区域特征的LBP算子被重新计算。这样不仅能够保存局部信息同时能区分不同区域内像素的特征。分析改进的LBP算子，传统LBP算子共有256种模式，LBP等价模式[3⁃4]表明使用23%左右的特征模式可以表示80%～90%的纹理特征，所以考虑离散减少局部模式是可行的。如果分段过多局部特征就会减少，改进就失去意义。实验表明简单的分为三段能够很好地增加识别率。关于离散区间的选择，随着m增大两端的特征就会被凸显出来，m减小凸显均值附近的特征。

改进LBP的提取过程：

（1）将人脸图像分块，计算分块灰度均值；

（2）对于每个像素计算传统LBP特征；

（3）根据分块灰度均值重新计算LBP特征如图6所示。

图6 改进LBP提取过程

当m取20时，80＜92，将LBP特征离散到第一区间，将3个区间定义为0～85，86～170，171～255，根据式（4），重新计算LBP特征得到新的特征77。

2 基于改进LBP算子的人脸识别算法

基于LBP的人脸识别算法[11⁃12]，一般是将人脸图片提取LBP特征，然后将其统计为灰度直方图，最后通过比较灰度直方图进行识别[13⁃14]，如图7所示。直接根据LBP特征直方图，进行识别能够保存局部信息，但是由于直方图统计丢失了全局信息，考虑全局信息将人脸分块为N×N，对每个小块进行直方图提取，将他们分块的特征直方图向量统计为LBP人脸特征直方图。这种提取方法不仅保留了局部特征同时考虑了全局特征的影响。两个人脸直方图相似度量使用 χ2距离来度量，即：

距离的值表示了两幅人脸的相似度量[15]。

为了充分表示人脸信息，本文对不同分块的区域采用不同的m作为阈值进行离散。对于像素间灰度差值较小的分块，采用较小的m作为阈值，从而突出像素间的差别。对于像素间相差较大的分块，采用较大的m值作为阈值从而突出灰度差别较大的像素。本文采用的方法首先将人脸图像分块，计算每个分块的灰度方差，方差较小的分块，使用较小的m值作为阈值，方差较大的分块采用较大的m值作为阈值进行离散。

图7 改进LBP人脸识别算法

本文实验具体步骤如下：

（1）对人脸图像进行预处理，使用高斯滤波和直方图均衡化；

（2）将人脸图像分块，计算LBP特征；

（3）计算分块的灰度方差，根据方差大小选择合适的m值作为阈值；

（4）通过分块灰度均值重新计算LBP特征直方图；

（5）将测试图片和训练图片的LBP直方图进行相似度比较；

（6）使用最近邻分类器进行分类识别。

本文提出一种基于改进的LBP算子的算法记为C_MBLBP。该方法不仅考虑了传统LBP特征，同时将人脸图像分块考虑了全局特征。为了不增加灰度直方图的区间，将LBP特征和全局特征结合为改进LBP特征。

3 实验结果与分析

为了测试改进后的LBP算子对人脸识别的性能，分别在ORL人脸库和YALE人脸库上进行人脸识别实验。实验m的选取为（5，40）和（10，20）。当方差小时选择较小m，方差大时选择较大m。识别率取两次的平均值。

ORL人脸库由剑桥大学AT&T实验室创建，包含40个人，每个人10幅人脸图像，共400幅图像，图像大小为92×112的灰度图像，部分图像包括了姿态，表情和发型等特征。

YALE人脸数据库包含了15个人的165幅灰度图像，每个人具有11幅不同的图像。这11幅图像具有多种姿态、多光照的特点，用于光照和姿态问题的建模与分析，是在严格控制的条件下采集的姿态和光照变化的图像。为了验证本文改进LBP算子的识别性能，将本文算法与LBP算子人脸识别和MB_LBP算子人脸识别进行比较分析。在ORL人脸数据库上的实验分别选取40人的1张和5张图片作为训练图片，剩下图片作为测试图片。由于本文算法是验证LBP特征的改进，所以统一选取半径为1，邻点数为8的LBP进行实验。实验结果为不同训练集和测试集的识别率的平均值，如表1所示。为了更好地提高本文方法的识别率，理论上应该选取识别率较好的m。m取值越小，与分块平均灰度值相近的像素点会被计算到一个相对较大的离散区间，因此能够区分与分块灰度相似的像素点，从而凸显了与分块灰度平均灰度值相似像素点之间的灰度差值信息。m取值越大，会凸显与分块灰度平均值相差较大的像素点，因为m取值较大时，大多的像素点被离散到一个区间。很少的像素被离散到了相对较大的区间。对于识别而言像素差别较大的像素点可能更有好处。本文采取根据分块间方差自适应选择阈值m的算法，方差小时选择较小的阈值m，方差大时选择较大的阈值m。根据实验分析得出本算法是一种有效的识别算法。

表1 ORL数据比较

在YALE人脸数据库中选取1张和5张作为训练图片，剩下图片作为测试图片。参数使用和ORL的实验相同，结果如表2所示。在ORL和YALE人脸库的实验表明，本文提出的改进后的LBP算子不仅能提高识别率同时保持了LBP算子识别速度快的特点。

4 结语

人脸识别研究一直是模式识别领域的热点问题。本文提出一种基于改进LBP算子的人脸识别算法。通过将人脸图像分块，不仅考虑了LBP局部特征同时考虑分块全局特征，将它们融合为改进的LBP特征，通过自适应选择阈值m进行离散特征进行人脸识别。通过在ORL和YALE人脸数据库的实验，表明了本方法的有效性。

表2 YALE数据比较

[1]AHONEN T，HADID A，PIETIK INEN M.Face description with local binary patterns：application to face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelli⁃gence，2006，28（12）：2037⁃2041.

[2]AHONEN T，PIETIK IM.Image description using joint dis⁃tribution of filter bank responses[J].Pattern Recognition Let⁃ters，2009，30（4）：368⁃376.

[3]GUO Zhen⁃hua，ZHANG L，ZHANGD.A completedmodeling of local binary pattern operator for texture classification[J].IEEE Transactions on Image Processing，2010，19（6）：1657⁃1663.

[4]OJALA T，PIETIKAINEN M，HARWOOD D.A comparative study of texture measures with classification based on feature distributions[J].Pattern Recognition，1996，29（1）：51⁃59.

[5]OJALA T，PIETIKAINEN M，MAENPAA T.Multiresolution gray scale and rotation invariant texture classification with lo⁃cal binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（7）：971⁃987.

[6]ZHANG Lun，CHU Ru⁃feng，XIANG Shi⁃ming，et al.Face de⁃tection based on multi⁃block LBP representation[C]//Pro⁃ceedings of International Conference on Biometrics.Berlin：Springer⁃Verlag，2007：11⁃18.

[7]LIAO Sheng⁃cai，ZHU Xiang⁃xin，LEI Zhen，et al.Learning multi⁃scale block local binary patterns for face recognition[C]//Proceedings of International Conference on Biometrics.Berlin：Springer⁃Verlag，2007：828⁃837.

[8]Zhao G，Pietik¨ainen M.Experiments with facial expression recognition using spatiotemporal local binary patterns[C]//Pro⁃ceedings of International Conference on Biometrics.Berlin：Springer⁃Verlag，2007：850⁃855.

[9]SUN N，ZHENGW，SUN C，et al.Gender classification based on boosting localbinary pattern[C]//Proceedings of International Symposium on Neural Netw.[S.l.]：[s.n.]，2006：10⁃15.

[10]ZHANG Lin，ZHANG Lei，GUO Zhen⁃hua，et al.Monogenic⁃LBP：a new approach for rotation invariant texture classifica⁃tion［C］//Proceedings of the 10th International Conference on Image Processing.[S.l.]：[s.n.]，2010：111⁃114.

[11]HUANG Xiao⁃hua，ZHAO Guo⁃ying，ZHENG Wei⁃ming，et al.Spatiotemporal local monogenic binary patterns for facial expression recognition[J].IEEE Signal Processing Letters，2012，19（5）：243⁃246.

[12]杨海燕，刘国栋.基于MB⁃LBP算子和Multilinear PCA算法的人脸识别[J].计算机应用研究，2012，29（12）：4733⁃4735.

[13]袁宝华，王欢，任明武.融合LTP与Fisherfaces的分块人脸识别[J].计算机工程，2012（10）：154⁃156.

[14]QIAN J J，YANG J.A novel feature extraction method for face recognition under different lighting conditions[C]//Pro⁃ceedings of 6th Chin Conf Biometric Recognit.[S.l.]：[s.n.]，2011：22⁃25.

[15]SEO H J，MILANFAR P.Face verification using the LARK representation[J].IEEE Transactions on Inf.Forensics Securi⁃ty，2011，6（12）：1275⁃1286.