基于高维LPQ特征与联合贝叶斯的人脸识别

邢玲，臧婷，穆国旺

（河北工业大学理学院，天津300401）

基于高维LPQ特征与联合贝叶斯的人脸识别

邢玲，臧婷，穆国旺

（河北工业大学理学院，天津300401）

针对Sun Jian等人提出的构造高维特征的方法，提出一种新的构建高维特征的方法，并且将新的方法推广到建立高维局部相位量化（Local Phase Quantization，LPQ）特征.在此基础上，提出了一种新的人脸识别方法，首先提取图像的高维LPQ特征，然后利用主成份分析（principal component analysis，PCA）方法对提取到的高维特征进行降维，最后利用联合贝叶斯（Joint Bayesian）方法进行人脸认证.该方法增加了图像特征的有效性，在LFW人脸库上的实验结果表明，改进后的高维局部相位量化特征具有较高的识别率.

人脸识别；局部相位量化；高维特征；主成份分析；联合贝叶斯分类

0 引言

人脸识别作为一种生物特征识别技术，是近年来模式识别、图像处理、机器视觉、神经网络以及认知科学等领域研究的热点课题之一.同时人脸识别作为一种高稳定性、难以复制、精度高、易于被人接受的生物特征识别技术，具有广阔的应用前景.目前，人脸识别已经被广泛应用于军事安全领域、公共安全领域、国家安全领域、智能门禁系统、智能视频监控系统、海关身份验证以及司机驾照验证等方面.然而由于人脸自身及所处环境的复杂性，如表情、姿态、图像的环境、光照强度等条件的变化以及人脸上的遮挡物等，都会使人脸识别方法的鲁棒性受到很大的影响.因此，目前人脸识别依然是一个具有挑战性的问题.

在人脸识别过程中，特征提取是最为关键的一步，对人脸识别的准确率具有重要影响.传统的人脸特征大致可以分为全局特征和局部特征两类.全局特征提取方法主要有基于模板的特征提取算法，基于面部器官的特征提取算法以及基于经典的统计分析的方法，比如：主成份分析方法（PCA）[1-2]，线性判别分析（LDA）[3]，独立成份分析（ICA）[4]以及它们的改进算法等.另外，还有一些基于频域的全局信息提取算法，如离散傅里叶变换（DFT）和离散余弦变换（DCT），它们通过提取图像的频域信息而获得图像的全局表达.由于这些算法不需要训练，而且可以通过FFT等快速算法实现而颇受欢迎.

由于全局特征提取方法不能很好地反映人脸图像局部的形状或纹理等特性，因此，人们又提出了基于局部特征的人脸表示方法.例如局部二值模式（LBP）特征[5]，SIFT特征[6]，HOG特征[7]，Gabor特征[8]，LPQ特征[9-10]等.

传统上，在人脸识别中所有用到的特征维数一般在1万（10 k）维左右.2013年Sun Jian等人[11]提出了利用关键特征点以及多尺度构建高维LBP特征，称为High-Dimensional LBP特征，对于1幅300×300的图像，特征维数达到了10万（100 k）的量级.他们的实验表明，采用高维LBP特征作为原始特征然后再进行降维处理用于人脸识别比采用传统的LBP特征识别率有明显的提高.

人脸识别中常用的分类器有最近邻分类器，贝叶斯分类器，支持向量机，神经网络等.在目前的各种方法中，基于深度学习的方法具有最高的识别率.一些最新的文献表明，在传统的人脸识别方法中，基于High-Dimensional LBP和Joint Bayesian的方法是目前识别率最高的方法之一.

本文对Sun Jian等人构造高维LBP特征的方法进行改进，在此基础上提出了高维LPQ特征，并进一步提出了基于高维LPQ特征和Joint Bayesian的人脸识别方法，并利用LFW数据集[12]对所提出的方法进行了测试，通过实验证明了该方法的有效性.

1 LPQ特征

局部相位量化（LPQ）特征[9-10]基于离散的短时傅立叶变换（或局部离散傅里叶变换）.给定图像f（x），在像素点x，取其M×M邻域Nx，对邻域Nx中的局部图像做二维离散傅里叶变换得

式中，u表示频率.取F（u，x）在4个频点u1=[a，0]T，u2=[0，a]T，u2=[a，a]T，u4=[a，-a]T，的值，其中a= 1/M.对于每个像素位置，可以得到向量

令G（x）=[Re（F（x）），Im（F（x））]，则G（x）是长度为8的向量.令

其中，gj是向量G（x）=[Re（F（x）），Im（F（x））]的第j个分量，则得到G（x）的量化表示

称为像素x处的LPQ编码.和LBP特征类似，为了提取图像的LPQ特征，一般首先将图像分割成8×8的一些块，在每个块上，计算每个像素的LPQ编码，然后再在每个块上生成LPQ编码的直方图，最后将所有块的LPQ直方图向量串接起来，得到图像的LPQ特征.

2 改进的高维特征

特征表达对于人脸识别率的高低有着重要影响，为了能够充分描述人脸特征，2013年Sun Jian等人[11]提出了构建高维特征，提出了高维LBP特征、高维Gabor、高维HOG特征和高维SIFT特征.他们首先检测包括两眼位置在内的若干关键特征点，并将人脸图像归一化为300×300的图像，然后，再缩小图像，得到不同尺度的图像.对于每个尺度的图像，在每个关键点附近，取以关键点为中心的40×40的子块，每个子块又分成4×4=16个单元（cell），在每个cell中提取特征，并将16个单元的特征串接起来，得到某个尺度一个特征点相关的特征.再将所有尺度、所有特征点的特征串接起来，就得到最终的高维特征.在Sun Jian等人的方案中，在一个特征点处的特征表示是由16个单元的特征向量组成，但是，每个单元都不以该特征点为中心（如图1a））.为此，本文对Sun Jian等人的方案进行了改进：在处理每个特征点时，除了考虑以上16个单元外，再增加一个以该特征点为中心的11×11的单元（如图1b）），从而使所提取的特征信息更为全面.然后对于每个尺度按照改进的方案提取特征（如图2），最后将每个尺度的特征串接起来，最终形成改进的高维特征.

在LFW数据库上进行实验，对比Sun Jian等人提出的高维LBP特征和本文提出的改进的高维LBP特征的识别率，发现改进的高维LBP特征识别率有所提高，实验结果如表1.

3 高维LPQ特征

在SunJian的论文中，并未提出高维LPQ特征.本文，将Sun Jian等人的思想用于LPQ特征，因而提出了高维LPQ特征的概念及其提取方法.本文首先利用Face++对人脸进行检测，并检测包含眼睛在内的25个特征点的位置，然后通过两眼对齐方式对图像进行归一化操作，将图像归一化为300× 300的大小.

对于标准化后的图像，通过图像缩小，得到五个不同尺度的图像，本文用到的5个尺度的大小分别为300×300，212×212，150×150，106×106，75×75.对于每个尺度的图像，按照第3节中提到的改进高维特征的提取方法，在每个关键点附近，取40×40的子图以及17个单元，在每个单元中提取LPQ特征，最后，将所有尺度，所有特征点、所有单元的LPQ特征串接起来得到高维LPQ特征.

图2 不同尺度的图像Fig.2 Image of different scales

表1 识别率结果对比图Tab.1 Comparison of recognition rate results

4 联合贝叶斯分类

本文采用高维LPQ特征和联合Bayesian方法进行人脸识别.以下对联合Bayesian方法[13]进行简单叙述.给定两种人脸的特征向量x1和x2，传统的Bayesian方法是比较条件概率密度函数p（x1-x2│Ω1）和p（x1-x2│Ω2），其中，Ω1表示x1和x2来自同一个人，Ω2表示x1和x2来自不同的人.如果前者大于后者，则认为x1和x2属于同一个人，否则认为x1和x2不属于同一个人.而联合贝叶斯方法则直接考虑联合概率密度函数p（x1，x2│Ω1）和p（x1，x2│Ω2）.对人脸图像特征先进行零均质化处理（即，将每幅图像特征减去所有图像特征的均值），并且，假定人脸图像的特征向量是2个独立随机变量的和：

其中：x表示某个人某幅图像的特征向量；μ表示某个人所有图像的均值向量；ε表示同一个人由于光照、表情、姿态等不同产生的差异.并且，假定μ和ε分别服从两个正态分布N（0，Sμ）和N（0，Sε）.这里，Sμ和Sε是2个未知的协方差矩阵.

在x1和x2来自同一个人的条件下，μ1，μ2是相等的，ε1，ε2是相互独立的，联合分布p（x1，x2│Ω1）的协方差矩阵可以如下表示[13]：

在x1和x2来自不同人的条件下，μ1与μ2，ε1与ε2分别是独立的，因此，联合分布p（x1，x2│Ω2）的协方差矩阵可以如下表示[13]：

在以上假设下，对数似然比r（x1，x2）可以表示为：

这里

利用EM算法估计Sμ和Sε[13]，然后按照式（9）至式（10）即得到r（x1，x2）.在本文的人脸识别方法中，首先提取高维LPQ特征，然后利用PCA方法对其降维，最后以

作为特征向量x1和x2的距离度量来进行人脸识别.

5 实验结果与分析

本文采用LFW（Labeled Faces in the Wild）人脸库[12]进行实验.由于早期的人脸数据库，例如Yale，ORL，AR等人脸库，或者图像数量太少，或者是在可控的实验室环境采集，光照、表情、姿势变换不大，随着人脸识别算法的成熟，在这些库上识别率已经很高.人脸识别的挑战主要是当光照、表情、姿势、年龄变换比较大时，识别率还不是很理想.为此，近些年人们将研究的重点转向了非约束的自然环境下人脸识别的研究.另外，近年来国内外研究者提出了很多人脸识别算法.为了研究在自然环境下拍摄得到的人脸图像的识别问题，并且对各种不同的人脸识别算法进行比较，马萨诸塞大学（University of Massachusetts）计算机视觉组采集了一个用于人脸识别的数据库——LFW人脸数据库[12].该数据库包含了从网络上收集得到的5 749个人的13 000多幅图像，其中，1 680人有2张以上的图片.LFW包括2个视图，视图A用于算法设计阶段，视图B用于算法的评估.其中，视图B由100个子集构成，每个子集包含600对人脸图像，其中300对属于正样本（每一对图像来自同一个人），另外300对属于负样本（每一对图像来自不同的人）.

图3给出了经过归一化后的部分LFW图像示例.

图3 归一化后的LFW图像示例Fig.3 An example of a normalized LFW image

基于LFW的人脸识别实验有多种协议，包括无监督（unsupervised）方式，限制（Restricted）的方式，和非限制（Unrestricted）方式等.本文采用非限制方式等，即：在训练样本中，假设图像对（A，B）和（B，C）都是正样本，则可以将（A，C）作为正样本添加到训练集中.和所有LFW的实验相同，本文采用10折交叉验证的方法.即：首先提取所有图像的高维LPQ特征，然后，每次用视图B中的9个子集作为训练样本进行基于PCA的子空间学习和Joint Bayesian训练，并确定最佳的距离阈值，用剩下的一个子集进行测试，重复10次，最后计算10次的正确识别率，用于对算法进行评价.实验结果如表2.

在表2中还给出了LBP、HOG、Gabor、SIFT、LPQ、BIF特征在LFW人脸库上实验的结果.

通过表2可以发现，本文提出的高维LPQ特征相比于其他特征，识别率有了很大程度的提高，充分说明改进的高维LPQ特征更加有效的表达了图像特征.

另外，将本文提出的高维LPQ特征同高维LBP特征，高维Gabor特征，高维HOG特征，高维SIFT特征在LFW人脸库上进行了对比实验，实验结果如表3所示.

通过表3可以发现，本文提出的高维LPQ特征具有较高的识别率，说明将改进后的提取高维特征的方法推广到LPQ特征是有意义的.

6 结束语

本文首先对Sun Jian等人提出的建立高维特征的方法进行改进，然后将改进后的建立高维特征的方法推广到了LPQ特征上，提取了高维LPQ特征，在此基础上提出了基于高维LPQ特征和Joint Bayesian的人脸识别方法，最后在LFW人脸库上进行了实验.实验结果表明，和LBP、HOG、Gabor、SIFT、LPQ、BIF等特征以及相应的高维特征相比，本文提出的人脸识别方法具有更高的识别率.

表2 高维LPQ与普通特征识别率对比表Tab.2 Comparison of high-dimensional LPQ and common feature recognition rate

表3 高维LPQ与其他高维特征识别率对比表Tab.3 High-dimensional LPQ and other high-dimensional feature recognition rate comparison table

[1]Perlibakas V.Distance measures for PCA-based face recognition[J]. Pattern Recognition Letters，2004，25（6）：711-724.

[2]Yang J，Zhang D，Frangi A F，et al.Two-dimensional PCA:a new approach to appearance-based face representation and recognition. [J].IEEE Transactions on Pattern Analysis&Machine Intelligence，2004，26（1）：131-137.

[3]Xie Yong lin.LDA and Its Application in Face Recognition[J].Computer Engineering and Application，2010，46（19）：189-192.

[4]Belhumeur P N，Hespanha J P，Kriegman D J.Eigenfaces vs.Fisherfaces:Recognition using class specific linear projection[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，1997，19（7）：711-720.

[5]Ahonen T，Hadid A，Pietikäinen M.Face Recognition with Local Binary Patterns[C]//Computer Vision-ECCV2004，European Conference on Computer Vision，Prague，Czech Republic，May 11-14，2004.Proceedings.2014：469-481.

[6]Bicego M，Lagorio A，Grosso E，et al.On the Use of SIFT Features for Face Authentication[C]//Computer Vision and Pattern Recognition Workshop，2006.CVPRW'06.Conference on.2006：35.

[7]AlbiolA，SastreJ，AlbiolA.HOG-EBGMVS.GABOR-EBGM[C]//Image Processing，2008.ICIP 2008.15th IEEE International Conference on.IEEE，2008：1636-1639.

[8]Gabor D.Theory of communication.IEEE[J].Journal of the Institute of Electrical Engineers of Japan，1946，93：429-457.

[9]Ahonen T，Rahtu E，Ojansivu V，et al.Recognition of blurred faces using Local Phase Quantization[C]//International Conference on Pattern Recognition.IEEE，2008:1-4.

[10]李岚，师飞龙，徐楠楠.自适应加权局部相位量化的人脸识别[J].光电工程，2012，39（12）：138-142.

[11]Wen Fang,Cao Xudong,Chen Dong,et al.Blessing of dimensionality:high-dimensional feature and its efficient compression for face verification[C]// 2013 IEEE Conference on Computer Vision and Patttern Recognition.2013：3025-3032.

[12]Huang G B，Ramesh M，Berg T，et al.Labeled faces in the wild:A database for studying face recognition in unconstrained environments[R].Technical Report 07-49，Amherst：University of Massachusetts，2007.

[13]Chen D，Cao X，Wang L，et al.Bayesian Face Revisited:A Joint Formulation[C]//Computer Vision-ECCV 2012.Springer Berlin Heidelberg，2012: 566-579.

[责任编辑 杨屹]

Face recognition with high-dimensional LPQ feature and Joint Bayesian method

XING Ling，ZANG Ting，MU Guowang
（School of Science,Hebei University of Technology,Tianjin 300401,China）

The method for construction of high-dimensional feature proposed by Sun Jian etc was improved and a modified high-dimensional feature was constructed,the method was extended to local phase quantization(LPQ)feature,and high-dimensional LPQ feature was presented.A new method for face recognition was proposed.Firstly,the high-dimensional LPQ features of facial images was extracted,then the dimension was reduced by principal component analysis(PCA) method,finally,the Joint Bayesian method was used for face authentication.The method increases the effectiveness of image features.Experimental results on LFW face database show that our method has a high recognition rate.

face recognition;Local Phase Quantization(LPQ);high-dimensional feature;Principal Component Analysis (PCA);Joint Bayesian classification

TP387

A

1007-2373（2017）03-0063-05

10.14081/j.cnki.hgdxb.2017.03.011

2016-12-11

河北省自然科学基金（E2014202124）

邢玲（1990-），女，硕士研究生．通讯作者：穆国旺（1970-），男，教授，muguow@hebut.edu.cn．