基于LBP和几何混合特征的人脸识别

苏日娜，刘玉婷，王堃妍，于 娜，王存睿，段晓东

(大连民族大学 a.计算机科学与工程学院；b.大连市民族文化数字技术重点实验室, 辽宁 大连 116605)

人脸识别技术是生物特征识别领域中重要研究课题之一，Kirby和Turk等人提出的主成分分析(Principal Components Analysis，PCA)方法通过线性变换找到在最小均方意义下最能代表原始人脸图像的正交基，使得图像数据从高维空间压缩到低维空间，不仅得到了原始数据的紧致表达，而且大大降低了计算复杂度[1-2]。Bartlett等人提出的独立成分分析(Independent Component Correlation Algorithm，ICA)方法是基于所有阶统计意义下的去相关，它的计算复杂度要高于PCA，且在识别率上没有优势[3]。相对于全局特征来说，基于局部特征的人脸表达对于光照、姿态的变化不敏感[4]。1997年，Wiskott等人提出的弹性图匹配(EBGM)算法，他们用一组描述人脸局部特征的Gabor小波变换系数对人脸图像各部分进行最佳匹配，但它对特征点的选择和配准有较高要求，且计算复杂[5]。2004年，Ahonen等人提出基于图像局部纹理特征(Local Binary Pattern，LBP)的人脸表达方法，在FErET人脸库上得到了最好的识别结果[6-7]。2008年，Zhao等人提出的将LBP和Gabor相结合的算法在表情识别上取得了相对于其他算法较好的效果[8]。

人脸识别过程中，人脸不仅具有全局的几何特征，同时很多局部的纹理特征也是人脸中的重要标识特征。因此，本文提出一种将全局几何特征与局部LBP特征相结合的新人脸识别方法。其中几何特征特征维度较小、对光照不敏感[9]。LBP特征主要具有光照不敏感、旋转不变性和灰度不变性等显著的优点，可以很好描述局部细节纹理特征[10]。

1 基于人脸几何特征向量的人脸识别

ASM(Active Shape Model)是一种基于点分布模型(Point Distribution Model)的算法[11]，通过训练图像样本获取特征点分布的统计信息，并且获取特征点允许存在的变化方向，实现在目标图像上寻找对应的特征点的位置。其优势在于可以准确定位出特征点位置，并受外部影响较少。

1.1 基于ASM的特征点定位

在一组图像中识别某人，人们首先会识别该人的脸部特征。例如，如果需要找一个方脸的人，只需在该组内搜索所有方脸的人即可。即人类面部几何特征可以缩小人脸识别范围。因此本文采用ASM提供的特征点来构造人脸的几何特征向量，缩小人脸的选取范围后，计算几何相似度并与LBP取得的相似度结合，从而识别人脸。

为了提高人脸识别的效率和鲁棒性，首先对ASM提取的特征点进行筛选，去除一些对识别影响很大和贡献很小的特征点，然后用剩下的特征点构造人脸的几何特征向量。特征点的选取要求包括5个要求：以尽可能少的特征点保证足够的信息来反映人脸识别中最重要的特征；所选的特征点构成的几何特征应该尽可能简单；对光照的依赖性小；对人脸的表情变化不太敏感；在不同人脸上变化幅度较大[12]。本文比较了数百张人脸表情图片后，从ASM提取的特征点中选取适用于人脸识别的14个关键点，分别为两只眼的左右眼角(p1,p2,p3,p4)、鼻尖(p5)、鼻子两侧(p6,p7)、两侧两颊点(p8,p9)、下巴(p10)、无表情时与嘴平行的下巴两侧点(p11,p12)和左右眉毛各两个关键点(p13,p14)如图1。

图1 人脸定位的特征点

图中所示的14个特征点均可由ASM模型提取得到，选取p8至p12五个特征点，可以表示人脸部轮廓，p1-p7七个特征点，可以表示出眼部和鼻子长度，p13-p14可以表示两个眉毛之间的长度。本文未对嘴部的特征点为进行选取，主要原因是考虑到人在有表情的时候，嘴部的动作幅度较大，对整个面部影响较大，故排除。只要将其特定的两个特征点进行连线则可以表示一个脸部部位，并可以描述人脸特征如图2。

图2 人脸几何特征描述

本文需要利用选取的特征点来构造具有尺寸、旋转和位移不变性的比例特征向量。由于不同人的脸型有所不同，为保证结果更具有鲁棒性，本文采用比例特征向量作为特征值，需要选取面部特征中最长的两个点作为基准距离。本文选取p5与p13，p14中间点连线距离作为记作垂直基准距离L1，p8和p9之间的距离记作水平基准距离L2，共选取了8个比例特征分量见表1。

表1 比例特征分量

最后形成特征向量R={r1,r2,r3,r4,r5,r6,r7,r8}，由于特征分量在数量级上有较大的差别，因此我们需要先对特征分量进行数量级统一，即特征向量归一化[13]。最后利用归一化后的数据进行相似度计算。

1.2 几何相似度计算

由于特征之间所占有的权重不相同，若是直接使用特征向量比较会对结果产生较大的影响，故需要对每一个特征分量进行权值确定。本文采用权值空间搜索方法进行权值确定，本文选取20个人，每个人三种不同的姿态进行训练，并给每一个特征分量5个认为合理的权值，通过三个姿态确定相似度，取同人不同姿态时相似度最高的作为最终权值，每个特征分量权值记为β={β1,…,β8}。

本文采用公式1计算两幅图片的相似度θ：

(1)

式中：α表示该特征是否占有一定的作用，有则为1，反之为0。

(2)

2 基于LBP的人脸局部特征提取

本文采用LBP提取局部特征作为判别依据，并将人脸图片进行分块处理，每一块形成一幅直方图，将其连接，使用PCA进行数据降维，并使用向量相关性进行向量相似度计算。

LBP算子的主要思想是设中心像素的灰度值为阈值，以该像素点为中心点，r为圆半径，包含像素点个数为p的圆形区域，依次比较其圆形邻域内的像素点与阈值的大小，得到二进制码用来更新中心位置的像素值，该像素值可以表述局部纹理特征[14]。三种LBP模式如图3。

图3 不同p和r值对应的LBP算子

对任意的LBP算子，可由公式(3)进行表示。其中ip为周围像素的灰度值，ic为中心像素的灰度值，最终算出的值为该部分的纹理特征。

(3)

LBP具体过程描述如图4。

图4 LBP过程描述

本文为了提高识别准确率，将人脸图片均设成大小为210×210像素的图片，如果仅对整个图像直接统计LBP直方图，可能会因为维数太小而失去很多重要的信息，而且这样也很容易忽视局部信息。所以为了更好地描述人脸，防止由于不同的人脸区域的LBP特征相互影响，将人脸分割成若干小块，本文将图片分为7×7块，并将每块图形的LBP直方图进行相连，为解决连接后直方图过长，影响计算效率，本文采用拥有59种二进制的均匀模式LBP(uniform LBP)对图像进行LBP编码，可降低数据的冗余度、减少高频噪声带来的影响并提高程序执行效率，后将各部分直方图进行连接使用PCA对直方图进行降维，形成描述人脸的特征向量，处理过程如图5。

(a)人脸图片分割 (b)LBP后的人脸图片 (c)直方图连接 (d)PCA降维后形成的直方图

本文通过比较数据相关性，来比较两幅图片特征直方图的相似度，设两幅图片对应LBP特征向量为f1={b1 1,…,bn1}，f2={b1 2,…,bn2}，采用公式(4)计算两幅图片相似度σ：

(4)

3 基于全局和局部特征的人脸识别方法

由于面部近似度相同的不在少数，纹理相同或相近的人也很多，单独使用两种方式都无法精准的找出一个人，故本文将这两种方法合二为一，首先运用几何特征对比相似度找出面部几何特征相近的人，再通过LBP特征求出每张图片相似度，通过二者的加权求和，求出最终相似度，从而找出相近的人。若是采用先LBP后几何的方式，由于面部局部特征很难反应全局特征，且无法在数据库中使用筛选范围缩小后结果造成不精确，如寻找一个方脸的使用LBP算法筛选出来的却是圆脸，降低了系统的效率也增加了较多的不可靠因素。

本文提出的将全局几何特征与局部LBP特征相结合的人脸识别算法流程如图6。

图6 算法流程图

Step 1：利用ASM标定被测人脸几何特征点，构造一组几何特征向量；

Step 2：遍历数据库图片，计算被测人脸图片与数据库图片的相似度，筛选出相似度大于阈值的图片；

Step 3：提取Step2所筛选图片LBP特征，使用PCA对特征向量进行降维；

Step 4：计算筛选后的每幅图片与待测图片的相似度；

Step 5：将通过ASM和LBP所提取图像的相似度进行加权求和，计算最终相似度，输出识别结果。

本文采用线性回归方式确定二者权值，图像数据库为JAFFE表情数据库[15]，采用悲伤图片作为测试图片，数据库中的每一个人随机选取10张图片与该人测试图片进行几何和LBP相似度计算，LBP相似度结果为x={x1,…,xn}，几何相似度结果为y={y1,…,yn}，归一化处理后采用线性回归的方式进行拟合，拟合后结果为

y=b·x+a。

(5)

式中：avg(x)表示几何相似度的均值，avg(y)表示LBP相似度的均值。

(6)

拟合后公式为y=-1.246x+1.458，最后计算相似度公式为smaliar=0.686y+0.855x，之后将每一人的与数据库中的照片进行比较，获取前六个最大的smaliar作为备选，并采用投票的方式进行人物定位。本文采用CK+数据库随机选取150张图片进行测试[16]，经实验证明，本文的方式取得了较好的效果，综合识别率见表2。

表2 CK+中的识别率

4 结 论

本文通过对LBP和ASM算法的分析与研究，在此基础上提出LBP与ASM算法相结合的全新算法，并在具有代表性的人脸数据库中进行实验和测试，以对该算法的可行性及有效性进行验证，同样地，为了验证本文算法的有效性，本文与传统的单独使用LBP特征或ASM特征的人脸表情识别方法进行了比较，实验结果表明多特征信息融合能够提高人脸识别的识别率，优于传统的LBP特征，ASM特征人脸识别方法。

[1] KIRBY M, SIROVICH L. Application of the Karhunen- Loeve procedure for the characterization of human faces[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(1): 103-108.

[2] TURKM, PENTLANDA. Eigenfaces for recognition[J]. Journal of Cognitive Neuroscience, 1991, 3(1): 72-86.

[3] BARTLETT M S, LADES H M, SEJNOWSKI T J. Independent component representations for face recognition[J]. Pro-ceedings of SPIE, 1998, 3299(3): 528-539.

[4] 李云峰.基于Gabor小波变换的人脸识别[D]. 大连：大连理工大学，2005.

[5] 恽鸿峰.基于Gabor小波变换的人脸识别研究[D]. 长春：吉林大学，2005.

[6] AHONEN T, HADID A, PIETIKAINEN M. Face recognition with local binary patterns[C]//ECCV. 8th European Conference on Computer Vision. Prague:ECCV, 2004: 469-481.

[7] AHONEN T, HADID A, PIETIKAINEN M. Face description with local binary patterns: Application to face recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(12): 2037-2041.

[8] TANG H L, SUN Y F, YIN B C, et al. Face recognition based on Haar LBP histogram[J].ICACTE, 2010, 6:235-238.

[9] 吴巾一,周德龙.人脸识别方法综述[J].计算机应用研究,2009(9):3205-3209.

[10] 王宪,张彦,慕鑫,等.基于改进的LBP人脸识别算法[J].光电工程.2012(7):109-114.

[11] 黄飞,谭守标.基于改进主动表观模型算法的人脸特征定位[J].计算机工程与应用，2015(16):204-209.

[12] 刘晓亮.一种改进的核FISHER鉴别分析算法在人脸识别中的应用[D].广东：广东工业大学,2009.

[13] 肖汉光,蔡从中.特征向量的归一化比较性研究[J].计算机工程能与应用， 2009(22):117-119.

[14] 牛丽平,付仲良,魏文利.人脸识别技术研究[J].电脑开发与应用，2006(5):8-10.

[15] MICHAEL J L, JULIEN B, SHIGERU A. Automatic classification of single facial images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1999, 21 (12): 1357-1362.

[16] Cohn-Kanade AU-Coded Expression Database[EB/OL]. (2017-03-16)[2017-03-20].http://www.pitt.edu/～emotion/ck-spread.htm.