LBP与LNMF特征融合的人脸识别

袁宝华，王 欢，任明武

1.南京理工大学 泰州科技学院 计算机系，江苏 泰州 225300 2.南京理工大学 计算机系，南京 210094

LBP与LNMF特征融合的人脸识别

袁宝华1，王 欢2，任明武2

1.南京理工大学 泰州科技学院 计算机系，江苏 泰州 225300 2.南京理工大学 计算机系，南京 210094

1 引言

人脸识别是基于生物特征识别技术的身份认证中最主要的方法之一。对人脸识别方法的研究已成为当前模式识别和人工智能领域的一个研究热点[1]。人脸识别技术从最初的非自动识别阶段，已经发展到了现在的自动识别阶段，但是由于受光照、表情、年龄等条件变化影响，人脸识别系统只能用于某些识别准确率要求不高的场合。

由于人脸图像的复杂性，即表面光滑且具有一定的纹理信息，局部像素间又具有很强的相关性，而利用显示的描述人脸特征的方法进行识别具有一定的困难，利用统计信息进行识别的方法逐渐受到重视。Lee[2]等人提出一种非负矩阵分解（Non-negative Matrix Factorization，NMF）算法，通过对矩阵引入非负性约束，使重建图像由基图像非减的叠加组合而成，更符合人类思维中“局部构成整体”的概念。2002年Li等人在标准的NMF目标函数的基础上增加了局部特征分析（LFA）的限制形成了LNMF[3-4]，该方法更好地实现人脸库的局部分量或部件的提取。

1999年Ojala等人引入了局部二值模式（Local Binary Pattern，LBP）作为纹理算子来分析图像纹理特征，利用结构法思想分析固定窗口特征，再利用统计法作整体的特征提取。Timo Ahonen[5]等人将LBP引入人脸识别，将其用于描述人脸图像的特征，采用 χ2统计作为不相似度量，取得了较好的识别效果。

本文提出一种结合LBP和NMF的人脸识别方法，将人脸图像进行分块，然后采用LBP算子提取分块的直方图，将每个分块的直方图串接成直方图序列，构成新的人脸特征，因为该特征具有人脸的纹理特征。对此人脸特征，采用局部非负矩阵分解，提取非负子空间和系数矩阵，对于新的人脸特征提取出训练样本库和测试样本库，将测试样本向非负子空间投影，得到一组系数矩阵，对两组系数矩阵，根据最近邻距离进行分类，实验结果表明该方法具有很好的识别效果。

2 相关知识

2.1 LBP

LBP算子用于描述图像中每个像素值和其领域像素值的关系。在灰度图像中，像素值为像素的灰度。基本的LBP算子[6-7]作用于一个大小固定为3×3的矩形块，如图1所示。

图1 基本的LBP算子

对3×3的矩形块，按照一定的顺序，周围的8个像素点依次与中心像素点做比较，如果大于或等于中心像素值，则此像素赋值为1；反之则赋值为0，这样就将原先的像素值转化为二进制代码。然后按照此顺序可以得到一个二进制数字以及其对应的十进制数值。最后以直方图的形式统计出整个扫描区域中的每个值的数量，由此作为对扫描区域中纹理特征的描述。

为了改善原始的LBP算子存在的无法提取大尺寸结构的纹理特征的局限，处理各种不同的纹理，形成扩展LBP算子，该算子使用不同数量的邻近子块以及不同尺寸的矩形块，用尺度(P，R)来表示到中间像素点半径为R的P个采样点，即

图2 扩展的LBP算子

由于LBP算法中，对LBPP，R而言，共有2p种0和1组合的可能性，其中一定可以找到一种组合确切地表示图像的局部特征，因此提出一种均匀模式LBPuP，R，LBP算子的二进制特征值被视为首尾链接的环形时，至多存在两位由0到1或是1到0的转换。例如，00000110和01111000包含了2个从0到1的转换。LBPu2P，R表示一种均匀模式的LBP算子，u2表示均匀模式。

对于图像 f(x，y)的直方图可定义如下：

其中，n是LBP算子产生的不同二值模式。

2.2 LNMF

非负矩阵分解[3-4]是在矩阵中所有元素均为非负数约束条件下的矩阵分解方法，矩阵分解形式如下所示：

其中，X是n×m的矩阵，X=(x1，x2，…，xm)，分解为基矩阵Wn×r和系数矩阵Hr×m的乘积。

LNMF[5]在NMF的基础上增加了三点限制：（1）使权重系数矩阵H尽可能稀疏；（2）使不同基之间的冗余性最小，即尽可能正交；（3）仅仅保留含有最重要信息的基，其目标函数定义如下所示：

其中，a，b是常量，P=(pi，j)=WTW，Q=(qi，j)=HHT

相应的迭代规则如下所示：

3 LBP与LNMF特征融合的人脸识别算法

因为人脸每个部分对于识别的贡献度是不一样的，所以定义带有一个权重的人脸图[3]，得到带有权重的二维矩阵，如图3所示。

图3 带有权重的人脸图

提取人脸每个分块LBPu2P，R算子直方图特征后，根据分块所在位置，将该分块的直方图乘上相应的权重，然后将所有直方图串接为一个序列ψ作为最终人脸的表示，称之为LBPHS。

式中W为权重的二维数组。

此过程能够提取出训练集有效的人脸纹理信息，而且大幅度减少训练数据量。每个图像的ψ维数只与分块的个数和采用的LBP算子有关，而与图像实际大小无关，然后利用LNMF算法对每个人脸Weight LBPHS进一步降维。由于利用训练集的纹理信息增加了LNMF特征子空间的类间特征，并且训练数据量的大幅减少，改善了LNMF迭代速度慢，训练时间长的问题，因此，这种LBP和LNMF相结合的人脸识别算法不仅有效地提高了人脸识别率，并且在相同识别率下大大提高了训练速度。

融合LBP与LNMF算法步骤如下：

（1）利用LBP算法，计算训练集中m张人脸图像的Weight LBPHS，构成人脸图像直方图序列矩阵 X=[ψ1，ψ2，…，ψm]。

（2）根据LNMF分解算法，将矩阵X分解为W和H，其中，W=[w1，w2，…，wr]为基图像，即特征空间，H=[h1，h2，…，hm]为权重系数。

（3）利用LBP算法，计算测试图像的权重直方图序列ψT，然后将其投影到特征空间W，得到权重系数hT：

（4）利用距离度量hT和H中每列向量hi之间的误差，根据最近邻准则进行分类。

4 实验结果

为了验证算法的有效性，采用ORL人脸库和YALE人脸库进行人脸识别仿真实验。设原始人脸图像的大小为M×N，分块数目为 p×q，则把图像分成 p×q块，每个子图像的大小为(M/p)×(N/q)。实验中方法使用参数如表1所示，权重矩阵如图4所示，运行环境为Pentium D 3.20 GHz，1 GB内存，Matlab7.0。

表1 处理方法的参数设置表

图4 分块人脸的权重矩阵

实验中首先对人脸图像进行分块，采用LBPu21，8算法计算每个分块图像权重直方图序列，然后随机选取每个人的5幅图像进行训练，其余图像进行测试。在本文中，采用LBP+NMF、LBP+LNMF及Weight LBP+LNMF方法，进行人脸识别仿真实验，并重复实验50次，取50次识别率的平均值作为最终结果。

4.1 ORL人脸库实验

ORL人脸库包括40个人，每个人10幅人脸图像，共400幅，具有不同的光照、表情、发型和有无眼镜等特征，并且人脸有一定的侧转角度，每幅图像均为92×112的灰度图像，ORL人脸库部分图像如图5所示。

图5 ORL人脸库部分图像

将人脸图像分成4×4，采用LBP+NMF、LBP+LNMF 及Weight LBP+LNMF的不同特征空间维数的识别率，如图6所示。

图6 人脸分块数4×4下不同方法的识别率曲线（ORL）

将人脸图像分成2×2，采用LBP+NMF、LBP+LNMF 及Weight LBP+LNMF的不同特征空间维数的识别率，如图7所示。

图7 人脸分块数2×2下三种方法的识别率曲线（ORL）

4.2 YALE人脸库实验

Yale人脸数据库包含了15个人的165幅的灰度图像，每个人具有11幅不同的图像，这11幅图像具有多种姿态、多光照的特点。实验中对每幅图像进行旋转、剪裁，得到100×100统一大小的校准图像。

将人脸图像分成4×4，采用LBP+NMF、LBP+LNMF 及Weight LBP+LNMF的不同特征空间维数的识别率，如图8所示。

图8 人脸分块数4×4下三种方法的识别率曲线（YALE）

将人脸图像分成2×2，采用LBP+NMF、LBP+LNMF 及Weight LBP+LNMF的不同特征空间维数的识别率，如图9所示。

图9 人脸分块数2×2下三种方法的识别率曲线（YALE）

从实验中发现，对一个图像的分块多少会影响到识别率。由于要使得一个分块既能较好地表达局部细节，又能较好地表达整体特征，是比较困难的，本实验中采用4×4分块识别率要高于2×2分块。

最终实验结果如表2所示，表中列出了在人脸分块数为4×4、权重矩阵采用图4中的矩阵、训练样本数为5的情况下，NMF、LBP+NMF、LBP+LNMF及Weight LBP+LNMF算法的比较结果。由于LNMF在NMF基础上增加了局部特征分析，采用WLBP+LNMF的方法的结果要好于其余几种方法。

表2 不同识别方法的识别率 （%）

5 结束语

本文在LBP纹理提取的基础上，对人脸进行分块，根据分块部分对识别率的重要性给予相应的权值，将每块的LBPHS串接起来形成人脸特征，能够增加了LNMF特征子空间的类间特征，然后采用LNMF对特征进行特征提取，实验结果验证了该方法的有效性和正确性。

[1]Zhao W，Chellappa R，Philips P J，et al.Face recognition：a literature survey[J].ACM Computing Surveys，2003，35（4）：399-458.

[2]Ana S，Yoob J，Choi S.Manifold-respecting discriminant nonnegative matrix factorization[J].Pattern Recognition Letters，2011，32（6）：832-837.

[3]Liang Z，Li Y，Zhao T.Projected gradient method for kernel discriminant nonnegative matrix factorization and the applications[J].Signal Processing，2010，90（7）：2150-2163.

[4]Zhi Ruicong，Flierl M，Ruan Q，et al.Graph-preserving sparse nonnegative matrix factorization with application to facial expression recognition[J].IEEE Transactions on Systems，Man，and Cybernetics，PartB：Cybernetics，2011，41（1）：38-52.

[5]Ahonen T，Hadid A.Face description with local binary patterns：application to face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28（12）.

[6]Zhang Baochang，Gao Yongsheng.Local derivative pattern versus local binary pattern：face recognition with high-order local pattern descriptor[J].IEEE Transactions on Image Processing，2010，19（2）：533-544.

[7]Choi J Y，Plataniotis K N，Ro Y M.Using colour local binary pattern features for face recognition[C]//Proceedings of 2010 IEEE 17th International Conference on Image Processing. Hong Kong：[s.n.]，2010.

[8]Jabid T，Kabir M H，Chae O.Facial expression recognition using local directional pattern[C]//Proceedings of 2010 IEEE 17th InternationalConference on Image Processing.Hong Kong：[s.n.]，2010.

[9]Tan Xiaoyang，Triggs B.Enhanced local texture feature sets forface recognition underdifficultlighting conditions[J]. IEEE Transactionson ImageProcessing，2010，19（6）：1635-1650.

YUAN Baohua1,WANG Huan2,REN Mingwu2

1.Department of Computer Science&Technology,Taizhou Institute of Science&Technology,Nanjing University of Science and Technology,Taizhou,Jiangsu 225300,China
2.School of Computer Science&Technology,Nanjing University of Science and Technology,Nanjing 210094,China

A method of face recognition based on Local Binary Pattern（LBP）and Local Non-negative Matrix Factorization （LNMF）is proposed.LBP operator is used to extract the LBP Histogram Sequence（LBPHS）from block face images.According to the contribution of each face block,weight LBP Histogram Sequence（Weight LBPHS）is obtained.LNMF is applied to weight LBPHS for extracting non-negative subspace and the corresponding coefficient matrices.Nearest neighbor principle is utilized in face recognition.The simulation experiments illustrate that this method has better recognition rate on the ORL and YALE face database.

local binary pattern;local non-negative matrix factorization;face recognition

提出一种融合局部二值模式（LBP）和局部非负矩阵分解（LNMF）进行人脸识别的方法，采用LBP算子提取分块人脸图像的LBP直方图序列（LBPHS），根据每块的贡献度，得到权重的直方图序列（Weight LBPHS），采用LNMF方法提取其非负子空间及其系数矩阵，根据最近邻原则进行识别。在ORL和YALE标准人脸数据库上的实验表明，该方法具有较高的识别率。

局部二值模式；局部非负矩阵分解；人脸识别

A

TP391

10.3778/j.issn.1002-8331.1107-0249

YUAN Baohua,WANG Huan,REN Mingwu.Fusing local binary pattern and LNMF of face recognition.Computer Engineering and Applications,2013,49（5）：166-169.

国家自然科学基金（No.60875010）。

袁宝华（1980—），男，讲师，主要研究方向：智能控制、图像处理；王欢（1982—），男，讲师，研究方向为计算机视觉、图像分析与理解、模式识别；任明武（1969—），男，教授，博导，研究方向为图像分析与理解、模式识别、智能机器人。E-mail：yuanbaohua@sina.com

2011-07-12

2011-08-29

1002-8331（2013）05-0166-04

CNKI出版日期：2011-11-14 http://www.cnki.net/kcms/detail/11.2127.TP.20111114.0950.071.html