基于自适应LBP人脸识别的身份验证*

2014-09-13纪忠原

计算机工程与科学 2014年11期

关键词：身份验证降维人脸识别

朱黎，胡涛，罗锋，毛雷，纪忠原

(湖北民族学院信息工程学院，湖北恩施 445000)

基于自适应LBP人脸识别的身份验证*

朱黎，胡涛，罗锋，毛雷，纪忠原

(湖北民族学院信息工程学院，湖北恩施 445000)

提出了一种自适应LBP人脸识别算法用于进行身份认证。在身份特征录入阶段，首先采用Harr人脸级联分类器对人脸样本库进行人脸区域检测，并使用PCA方法对人脸区域进行降维处理；然后通过LBP二值模式的人脸识别算法提取人脸样本的特征值；最后通过LBP人脸训练生成人脸数据特征库。通过多场景人脸图像库和阈值队列，通过多阈值全组人脸匹配，建立人脸阈值特征库。在身份验证阶段，将登录用户人脸与人脸阈值特征库做粗粒度人脸LBP直方图匹配，确定当前最优的LBP阈值；然后将登录用户人脸与人脸数据特征库做LBP直方图匹配，通过匹配结果确定登录用户的系统权限。实验结果表明，在图像和视频模式下，基于自适应LBP人脸识别算法的身份验证具有很高的鲁棒性。

自适应LBP；人脸识别；Harr人脸级联分类器；PCA；身份认证

1 引言

身份验证作为保证信息安全的重要技术之一，保证系统用户具备所对应的使用权限。但是，随着信息技术的发展，传统的身份验证技术受到的威胁越来越大。在此背景下，生物验证技术得到了飞速发展，其中最具代表性的有指纹身份验证、人脸身份验证和虹膜身份验证技术[1]。

其中人脸身份验证相比其他方式的识别具有的潜在优势在于它的自然性和隐秘识别的特性。人脸身份验证的核心技术是人脸识别技术。人脸识别技术可分为基于全局特征和基于局部特征两大类[2]。目前主流的全局人脸识别技术包括主成分分析法PCA(Principal Component Analysis)[3]、线性鉴别分析法LDA(Linear Discriminant Analysis)[4]。由于人脸局部特征提取对光照、表情、姿态等变化较为敏感，该方法的稳定性不高、识别率低，因此越来越多的研究者将目光转为全局与局部相结合的方法，如弹性图匹配方法EBGM(Elastic Banch Graph Matching)[5]、多尺度局部二值模式LBP(Local Binary Pattern)法[6]等。LBP算法的适用面非常广泛，并且得到了更深层次的发展，如用于3D人脸识别[11]、基于自适应块的LBP、灰度共生矩阵和形态特征的人脸识别[12]。

Figure 1 Framework of authentication based on adaptive LBP face recognition图1 基于LBP人脸识别的身份认证框架

基于以上研究成果，本文结合了人脸全局特征和局部特征，设计了一种基于自适应LBP人脸识别的身份验证模型。首先通过构建注册用户平均脸的LBP特征信息库，然后通过自适应LBP人脸匹配阈值控制和LBP人脸匹配方法提高登录用户身份验证的准确率。

2 系统框架

本文提出了一种基于人脸信息的身份验证模式，用于鉴别登录用户是否具有对应的权限，即通过登录用户人脸图像信息与注册用户人脸图像信息进行匹配，以确定登录用户的系统权限。

基于现有的人脸匹配算法，本文提出了一种基于LBP人脸识别的身份验证算法，该算法结合Harr人脸级联分类器[7]、PCA降维[8]、LBP人脸匹配[9,10]等关键技术，构建了一种快速的人脸身份验证模型。该模型通过自适应LBP阈值控制模块提高基于人脸识别的身份验证准确率。基于自适应LBP人脸识别算法的身份验证模型的系统框架图如图1所示。该人脸身份验证模式包含以下三大部分：

(1)人脸特征注册模块：在用户身份信息录入阶段，采集多种注册用户人脸图像，通过Harr人脸级联分类器和LBP二值模式提取注册用户人脸特征，并使用PCA方法对人脸数据进行降维处理；然后将处理后的多张人脸特性图像融合成注册用户的平均脸；最后将平均脸的LBP特征值存入到人脸数据特征库中。

(2)人脸身份验证模块：在用户登录系统阶段，对实时采集的登录用户人脸图像，完成其特征的提取，使用自适应的LBP人脸识别算法与人脸数据特征性进行匹配，确定登录用户的系统使用权限。

(3)自适应LBP阈值控制模块：通过建立多场景人脸图像库和初始化LBP阈值序列，将多场景人脸图像库中的任一组人脸数据与其他组人脸数据按照LBP阈值序列中的LBP阈值做LBP人脸匹配，比较LBP匹配的正确度，选择该组人脸数据的最优LBP阈值；按照以上方法与所有组的人脸数据进行LBP匹配，最终建立人脸阈值库。

3 关键技术

3.1 Harr人脸级联分类器

Harr人脸级联分类器用于人脸检测环节，Haar分类器通过Boosting算法中的AdaBoost算法，将AdaBoost算法训练出的强分类器进行级联，并且在底层的特征提取中采用了高效率的矩形特征和积分图方法。

Harr-like 特征作为一种实时的人脸检测算子，使用检测窗口中制定位置的相邻矩形，计算每一个矩阵的像素和并取其差值；然后使用这些差值对图像的子区域进行分类。

Harr-like特征分为三类：边缘特征、线性特征和中心特征，共14种基本特征原型。

设检测窗口尺寸为W×H，矩形使用四元组表示：r=(x,y,w,h,α)，其中(x,y)为矩形顶点坐标，(w,h)为矩形尺寸，α为矩形旋转角度。使用recSum(r)表示矩形窗口内所有像素值之和。矩形特征定义如下：

(1)

其中，{1,…,N}表示该特征由N个矩形组成，ωi表示矩形i的权值，recSum(ri)表示矩形i内所有像素值的和。

由于计算特征值时需要统计矩形内所有像素值之和，导致训练和检测的速度大为降低。通过引入“积分图”的方法，降低特征值计算开销。积分图分为两种：倾角分别为0°和45°的积分图。下面以倾角为0°的积分图为例，简述recSum(r)的优化过程。对于倾角为0°的特征矩形，积分图SAT(x,y)的定义如下：

(2)

其中I(x′,y′)为点(x′,y′)的像素值。将SAT(x,y)按公式(3)展开，那么SAT(x,y)只需要按行或列遍历一次即可得到。

SAT(x,y)=SAT(x,y-1)+SAT(x-1,y)+

(3)

对于特征矩阵r=(x,y,w,h,0)，矩阵内所有像素值之和的计算过程为：

recSum(r)=SAT(x-1,y-1)+

SAT(x+w-1,y+h-1)-SAT(x-1,

(4)

从公式(4)可以看出，矩阵r的recSum(r)只需四次积分图查找便可得到，运算速度较快，而且与矩阵r的尺寸无关。

Harr人脸级联分类器通过决策树的方式在分类器的每个阶段检测人脸，从而提高命中率和降低误测率。在每个阶段都是用离散的Adaboost算法进行样本训练，从而通过一组弱分类器构建强分类器。

设人脸的弱分类器为h(x,f,p,θ)，由子窗口图像x、特征f、指示不等式方向p和阈值θ组成。初始的弱分类器可能只是一个最基本的Haar-like特征，然后将弱分类器训练成最优的弱分类器。训练最优弱分类器的过程即为寻找合适的分类器阈值，使得该分类器对所有样本的判断误差最低。通过对所有的最优弱分类器进行组合，得到强分类器。

Harr人脸级联分类器通过组合多种强分类器不断地在每一级强分类器中筛选输入的人脸图像的子窗口图像，通过的子窗口图像进入下一级强分类器中继续进行筛选，最后得到具有高准确率的人脸子窗口图像。设每一级强分类器中99%的人脸可以通过筛选，50%的非人脸也可以通过筛选，那么由20个强分类器组成的Harr人脸级联分类器的总识别率约为98%，错误接受率约为0.000 1%。

3.2PCA降维处理

通过Harr人脸级联分类器获取人脸图像的人脸区域信息，由于人脸区域包含了大量的Harr-like特征，为了提高后续人脸匹配的速度，对人脸区域的特征向量进行PCA降维处理，得到低维的特征向量和降维系数；然后对降维后的人脸区域特征向量进行归一化处理，得到该人的平均脸。人脸区域信息的PCA降维计算过程如下：

PcaFeature=KLT(FeatureI)

(5)

其中KLT为Karhunen-Loeve变换，常用于数据压缩和PCA降维，其具体步骤如下：

首先构建人脸区域的特征协方差矩阵，接着计算该矩阵的特征向量和特征值；然后按照特征值由大到小进行排列，通过忽略那些重要性很小的成分，最终得到降维后的人脸区域特征信息。

PCA算法的本质就是一种降维工具。为了降低数据处理的复杂度，需要对高维数据进行降维，而PCA算法就是将高维的数据通过一定的线性变换投影到低维空间。同时，这个线性变换必须最能代表原始数据，以保证降维后不丢失太多数据。在降维过程中需要用到协方差矩阵。协方差矩阵的主对角线上的元素是各个维度上的方差，其他元素是两两维度间的协方差，可以通过这个特性来进行降维处理。

3.3LBP算子

LBP算子是一种有效的纹理描述算子。它通过对图像中任意像素点与其邻域点的灰度值大小关系所形成的二进制编码来描述图像局部纹理的空间结构，具有旋转不变性和灰度不变性的特点。最初的LBP算子定义为:以某个点为中心,以3×3的大小作为窗口,将该中心点的灰度置为阈值,与相邻的八个点的灰度值进行比较,如果周围点的像素值比中心点的小,那么此像素位置就定位为0,否则为1；然后,将3×3邻域内的八个点产生的二进制数按照一定的顺序写成一行编码形式,即可得到这个点的LBP值,这个数能够反映该区域的纹理信息。LBP算子的运算过程如图2所示。

Figure 2 Example of LBP operator图2 LBP算子运算过程示例

Ojala等人进一步提出了统一模式的LBP纹理描述方法，改进LBP的运算性能，同时采用LBP直方图使得LBP算法在拥有良好的局部纹理信息的同时也保留了一部分整体信息。LBP特征在纹理分类和分割、图像检索和曲面检测等方面应用广泛。

AhonenT在文献[9]中提出合并空间信息，用于人脸识别模型方法，将LBP图像分成b个块，对每个块提取直方图。通过连接局部直方图(而不是合并)就能得到空间增强的特征向量。这些直方图被称为局部二值模式直方图。

在本文中，对人脸特征信息进行PCA降维后，其LBP操作定义如下：

LbpFeature(xc,yc)=

(6)

其中,(xc,yc)是图像的像素点，PcaFeaturec为其降维Harr特征，PcaFeaturep是该点邻域点的降维Harr特征，S(·)表示当前像素点与其邻域点的降维Harr特征差，其计算过程如下：

(7)

对人脸特征信息LbpFeature(x,y)进行直方图统计，得到人脸LBP直方图E(LbpFeature)。对于人脸注册模块，则将LBP直方图E(LbpFeature)存入对应的人脸特征库；对于人脸登录模块，则将LBP直方图E(LbpFeature)与人脸特征库的特征性进行匹配，以确定当前登录用户的系统权限。人脸匹配的核心思想是利用登录用户的人脸LBP特征与人脸特征库的所有平均脸的LBP特征的相似度方差，确定登录用户是否存在于人脸特征库中。相似度方差计算公式如下：

(8)

其中,LFc表示登录用户人脸信息，LFc(i)表示登录用户人脸的LBP直方图第i块特征bin的特征，ALFn和ALFn(i)对应平均脸信息和LBP直方图特征，b为登录用户人脸的LBP直方图的bin。相似度方差d越小，表示登录用户的人脸信息与对应的平均脸信息越相似，最终可以将登录用户的权限归为方差最小的平均脸所拥有的系统权限。

在进行人脸的LBP直方图匹配的过程中，一般性地使用了一个经验性的阈值进行匹配判断，即通过判断相似度方差d与阈值t的关系，确定当前登录人脸的特征是否为正确的标签。具体判断过程如下：

(9)

最终基于LBP特征的人脸匹配的目标方程可以规约为：

faceLable=Lable{

min[du(predictu==1)]},u≤N

(10)

其中,N为人脸特征库中平均脸的数量，Lable是经过平均脸训练后的标签。

3.4 自适应LBP阈值控制

由于在公式(9)中使用的阈值t为确定的经验值，对于不同场景下的人脸识别率有着非常重要的影响。为了将这种影响降到最低，本文设计了一种自适应LBP阈值控制算法，用于动态确定当前LBP特征匹配的阈值。

考虑到系统应用场景的复杂性，本文首先建立多场景人脸图像库FaceLib={P1,L,P2,L,…,Pq,L}，其中Pi,j表示人脸库中编号为i共有j张不同的人脸，初始化LBP阈值序列Theshold={t1,t2,…,tk}。本文使用公式(1)～公式(5)构建多场景人脸图像库中所有人的平均脸AF={af1,af2,…,afq}，选取AF中任一平均脸afi，通过公式(6)～公式(10)在不同的阈值tj下将afi与其余AF平均脸做LBP特征匹配，确定当前平均的最优阈值。即自适应LBP阈值控制的阈值选取目标方程：

bestTi=min{min[dj,u(predictj,u==1),tj]}

(11)

将AF所有的af按照公式(11)做全组人脸匹配，然后将得到的最优bestTi作为编号为i的同一人的LBP匹配阈值。通过bestTi与人脸的一一映射{afi,bestTi}，构建人脸阈值库。

在用户登录过程中，首先将登录用户人脸与人脸阈值库中左右的平均脸af做粗粒度的LBP特征匹配，根据公式(10)识别与登录用户人脸最相似的平均脸afv，选择与afv对应的bestTv。最后利用公式(9)和公式(10)，将登录用户人脸LBP特征在阈值为bestTv的条件下，与人脸特征库进行人脸匹配，最终根据人脸匹配的结果判断登录用户的使用权限。

4 数据测试

人脸特征注册模块首先通过摄像头捕获10张注册用户人脸图像；然后通过Harr人脸级联分类器进行人脸区域提取(图3a)和PCA降维构建注册用户的平均脸(图3b)；最后提取平均脸的LBP特征(图3c)，并将特征存入人脸特征数据库。

Figure 3 Example of a registered user’s faces图3 注册用户人脸示例

对于自适应LBP阈值控制模块，本文使用了ORL人脸数据库作为多场景人脸数据库进行测试。ORL人脸数据库包括400张人脸样本(其中分为40个人，每人10张人脸样本)。由于ORL人脸样本在不同时间、不同光照、不同表情(睁眼闭眼、笑或者不笑)、不同人脸细节(戴眼镜或者不戴眼镜)下采集，所以非常适合使用于多场景的LBP阈值控制。

本文使用多组人脸数据用户测试人脸身份验证模块，并且通过多次用户身份验证验证算法的鲁棒性。并将自适应LBP人脸识别认证验证算法与经典LBP人脸识别算法进行比对，比对结果如图4所示。

Figure 4 Face recognition rate comparison based on ORL图4 基于ORL库的人脸识别率比较

Figure 5 Face recognition time based on ORL图5 基于ORL库的人脸识别时间比较

从图4我们可以得到以下结论：自适应LBP人脸识别身份认证算法的人脸识别率优于经典LBP分类器的人脸识别率；虽然自适应LBP人脸识别身份认证算法的耗时高于经典LBP分类器，但是自适应人脸识别身份认证算法的耗时属于毫秒级的，符合一般身份认证系统对于时间的要求。在多种样本数量条件下，本文提出的算法都具有很好的鲁棒性。

5 结束语

本文提出了一种基于自适应LBP人脸识别的身份验证算法，采用注册用户的人脸特征信息作为身份验证的标识，提供了一种实用的身份验证模式。算法首先采集多张注册用户人脸图像，通过Harr人脸级联分类器提取注册用户人脸区域，通过PCA方法对注册用户人脸区域的特征进行降维处理，并将同一人多张降维后的人脸特征图像合成为平均脸；然后使用LBP算子提取平均脸的特征；最后将该注册用户平均脸的LBP特征存入人脸特征数据库。为了提高登录用户人脸识别率，本文提出了一种自适应LBP阈值控制算法，通过在多组阈值条件下进行多场景的LBP人脸训练，寻找不同条件下的最优LBP阈值，并构建人脸阈值库。对于登录认证用户而言，首先通过人脸阈值库将采集到的登录认证用户人脸图像进行粗粒度的LBP人脸匹配，确定当前登录认证用户适合的LBP阈值；然后再通过此阈值将登录认证用户人脸图像与人脸特征数据库做LBP匹配，通过匹配的结果判定登录认证用户所具有的系统权限。

本文提出的算法具有以下特点：

(1)将人脸信息作为系统认证的标识，为传统的字符密码系统认证模式提供了新的方法；

(2)在系统认证过程中，是将登录认证用户人脸图像与注册用户平均脸图像做LBP匹配而传统的人脸匹配，是与注册用户的单张人脸图像进行匹配。

通过系统测试和数据比对，本文提出的基于自适应LBP人脸识别的身份验证算法具有较好的实用价值和鲁棒性。在后续工作中，我们会朝着将人脸认证登录与传统认证登录相结合的方向进行探讨，将系统认证的可靠性进一步提高。

[1]SunDM,QiuZD.Asurveyoftheemergingbiometrictechnoloy[J].ACTAElectronicaSINICA, 2001, 29(12):1744-1748.(inChinese)

[2]SuYu,ShanShi-guang,ChenXi-lin,etal.Integrationofglobalandlocalfeatureforfacerecognition[J].JournalofSoftware, 2010, 21(8):1849-1862.(inChinese)

[3]TurkM,PentlandA.Eigenfacesforrecognition[J].JournalofCognitiveNeuroscience, 1991, 3(1):71-86.

[4]EtemadK,ChellappaR.Discriminantanalysisforrecognitionofhumanfaceimages[J].JOSAA, 1997, 14(8):1724-1733.

[5]YangJ,ZhangD,FrangiAF,etal.Two-dimensionalPCA:Anewapproachtoappearance-basedfacerepresentationandrecognition[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2004, 26(1):131-137.

[6]WangWei,HuangFei-fei,LiJian-wei,etal.Facedescriptionandrecognitionusingmulti-scaleLBPfeature[J].OpticsandPrecisionEngineering, 2008, 16(4):696-705.(inChinese)

[7]LuH,LinH.Genderrecognitionusingadaboostedfeature

[C]∥Procofthe3rdInternationalConferenceonNaturalComputation, 2007:646-650.

[8]HuaShun-gang,ZhouYu,LiuTing.ThermalinfraredfaceimagerecognitionbasedonPCAandLDA[J].PatternRecognitionandArtificialIntelligence, 2008, 21(2):160-164.(inChinese)

[9]AhonenT,HadidA,PietikäinenM.Facerecognitionwithlocalbinarypatterns[C]∥Computervision-eccv2004, 2004:1.

[10]WangWei,HuangFei-fei,LiJian-wei,etal.FacedescriptionandrecognitionbyLBPPyramid[J].JournalofComputerAidedDesign&ComputerGraphics, 2009,21(1):94-100.(inChinese)

[11]TangH,YinB,SunY,etal. 3Dfacerecognitionusinglocalbinarypatterns[J].SignalProcessing, 2013, 93(8):2190-2198.

[12]KarA,BhattacharjeeD,BasuDK,etal.AnadaptiveblockbasedintegratedLDP,GLCM,andmorphologicalfeaturesforfacerecognition[J].arXivPreprintarXiv:1312.1512, 2013.

附中文参考文献：

[1] 孙冬梅, 裘正定. 生物特征识别技术综述[J]. 电子学报, 2001, 29(12):1744-1748.

[2] 苏煜, 山世光, 陈熙霖, 等. 基于全局和局部特征集成的人脸识别[J]. 软件学报, 2010, 21(8):1849-1862.

[6] 王玮,黄非非,李见为,等.使用多尺度LBP特征描述与识别人脸[J]. 光学精密工程, 2008, 16(4):696-705.

[8] 华顺刚, 周羽, 刘婷. 基于PCA+LDA的热红外成像人脸识别[J]. 模式识别与人工智能, 2008, 21(2):160-164.

[10] 王玮, 黄非非, 李见为, 等. 采用LBP金字塔的人脸描述与识别[J]. 计算机辅助设计与图形学学报, 2009，21(1):94-100.

ZHULi,born in 1984,MS,lecturer,her research interest includes image processing.

胡涛(1984),男.湖北来凤人，博士生，讲师，研究方向为图像处理和物联网。E-mail:Hutao_505@hotmail.com

HUTao,born in 1984,PhD candidate,lecturer,his research interests include image processing, and the Internet of Things.

IdentityauthenticationbasedonadaptiveLBPfacerecognition

ZHU Li,HU Tao,LUO Feng,MAO Lei,JI Zhong-yuan

(School of Information Engineering,Hubei Minzu University,Enshi 445000,China)

An identity authentication method based on adaptive LBP face recognition is proposed.In the identity feature recording phase,Harr face cascade classifier is first employed on face sample library to detect the face area,then PCA method is adopted to reduce dimensionality for face area,an adaptive LBP face recognition algorithm is adopted to extract the feature values of face samples,and at last these feature values are trained to construct the face feature library.The face threshold feature library is constructed by multi-scene face image library,threshold queue,and multi-threshold matching of faces in the whole group. In the identity authentication phase,the LBP matching method is used between the face of the certificating user and face threshold feature in the face threshold feature library so as to determine the best LBP threshold.Using this threshold,the face of the certificating user is matched with the face feature in the face feature library in order to confirm the system permission for the certificating user.The experiments show that the identity authentication method based on adaptive LBP face recognition is of higher recognition rate and robustness.

adaptive LBP;face recognition;Harr face cascade classifier;PCA;authentication

1007-130X(2014)11-2217-06

2014-06-05;

：2014-08-23

湖北省教育厅科研计划资助项目(Q20131904)；国家文化科技提升计划资助项目(201307)；湖北民委基金资助项目(HBMW2012006)

TP391.4

：A

10.3969/j.issn.1007-130X.2014.11.027