基于LBP采样学习的人脸识别研究∗

耿渊哲

（南京理工大学计算机科学与工程学院 南京 210094）

1 引言

经过近40年的发展，人脸识别技术已经成为一个比较成熟的研究课题，并广泛应用于社会生活的方方面面。一般来说，人脸识别主要分为四个阶段：人脸检测，人脸对齐，人脸表示以及人脸匹配。现实世界的人脸图像会被姿态、表情、光照遮挡、分辨率和背景等因素所影响，导致同一个人的图像差异可能比不同人的更大，因此，一个对环境鲁棒、判别性强的人脸表示至关重要［1］。

局部人脸特征由于其对遮挡、光照以及姿态等变化的鲁棒性得到了研究人员的广泛关注。局部二值模式（Local Binary Patterns，LBP）是一种有效的局部纹理描述符，具有灰度不变性和计算简易性等特点［2］，由 Ahonen［3］引入人脸识别，并获得巨大成功。随后大量的LBP改进算法被提出，例如ELBP［4］、LGBP［5］、DLBP［6］以及 LQP［7］等。

原始LBP以及大多数LBP改进算法的采样模式，普遍采用人工设计，无法有效利用训练样本的信息，也难以适用于各种不同的人脸数据库。因此，本文提出了一种监督学习的方法，对LBP的采样模式进行学习。该方法基于Fisher判别准则［8］，在中心点一定范围内寻找最优的采样点，使同一个人的LBP特征差异更小，不同人的LBP特征差异更大，由此得到更具判别性的人脸特征。最后在FE⁃RET人脸库［9］上进行实验，并与传统方法进行对比和分析。

2 局部二值模式

LBP是一种有效的纹理描述符，它的算法思想是利用局部的结构提取窗口特征，利用统计思想提取最终的整体特征。如图1所示，基本LBP算子定义在一个3×3的窗口中，以中心像素的灰度值为阈值，与相邻的8个像素进行比较，得到像素差异向量（Pixel Difference Vector，PDV）。然后把PDV转化为一个8-bit的无符号二进制数，这个二进制对应的十进制数就是中心像素点的LBP值，它包含了这个位置的纹理信息。

图1 基本LBP算子示例

通过对整个图像进行扫描变换后，可以将原始图像转化为LBP图像，然后统计得到整个图像的LBP直方图，作为该图像的纹理特征。因为基本LBP算子有8个邻域点，对应8-bit的二进制数，因此直方图的维度是256，图2显示了一张人脸经过LBP变换以及直方图统计后的结果。

图2 人脸图像、对应的LBP图像和LBP统计直方图

3 基于学习的LBP采样模式

3.1 模型概述

传统的LBP算子，直接选取中心像素周围的8个像素点作为采样点，并与中心像素比较得到二进制码。后来研究人员又提出了多种LBP改进算子，例如，Ojala等［10］提出了圆形采样 LBPP，R，在半径为R的圆周上均匀选取P个采样点，Liao等［4］提出的ELBP使用了椭圆形采样，文献［11］提出了双环形的采样模式。然而，这些采样方法都是人工设计的，需要大量先验知识，也难以适应各种人脸数据集的变化，因此本文提出了一种新的LBP人脸描述符，基于判别学习的思想，从中心点距离为r的邻域内选取出最具判别性的n个采样点，图3展示了r=2，n=8时的示例。

图3 r=2，n=8时本文方法的示例

对于图像I中的一点p，gp表示位置p处的灰度值，{p1，p2，…，pS}表示p的邻域，S为邻域的像素数目。邻域像素与中心像素比较得到位置p处的PDV，表示为d(I)p=我们引入一个0-1采样矩阵M：

其中M∈RS×n，S为邻域像素个数，n为采样数目，我们得到采样后的PDV：

与文献［12］类似，我们用PDV的差别来度量两张图片的距离，因此采样后的类内距和类间距可以表示为

该模型的目标函数是寻找一个0-1矩阵M，使得类间距与类内距的比值SbSw最大化。约束条件有三条：

约束条件（a）表示矩阵M是一个0-1矩阵，0表示“不采样”，1表示“采样”。

约束条件（b）表示矩阵M每一列的和为1，即每一列都有且只有一项为1，其他均为0。矩阵M每一列对应一次采样，并且只对邻域内的一个点进行采样。

约束条件（c）表示矩阵M每一行的和小于等于1，即一个邻域点最多被采样一次。这个约束条件限制了对同一个点进行重复采样。

3.2 模型求解

其中符号◦为阿达马乘积，或称作分素乘积（Entrywise Product），表示两个矩阵对应元素相乘（这里是两个向量）。u是一个0-1列向量，长度为S，即邻域点数，1的数量为采样点数n。u中第几个元素为1，表示对第几个邻域点进行采样，换句话说，u在这里起到了采样矩阵M的作用，并且与M一一对应，因此我们称u为采样向量。

通过这个变换，采样模型（4）可以写成以下形式：

该模型的目标是找到最优的采样向量u，使得类间距与类内距的比值最大。约束条件（a）表示u是一个长度为S的0-1列向量。约束条件（b）确保u中1的数量为n个，即采样数为n。

下面给出求解最优采样点算法的伪代码：

判别采样模式学习算法

输出：最优采样向量u∈RS×1

算法流程：

2）求解0-1规划问题，得到最优采样向量u

4 实验结果与分析

为了验证算法的识别能力，我们在FERET人脸库上对本文算法以及其他LBP改进算法进行实验。通用的FERET库主要分为训练集和测试集，训练集用于训练模型，它包含429个人，每个人有多张图像，总共1002张图像，全部是正面图像。测试集分为5个子集：fa、fb、fc、dup I和dup II。其中，fa包含1196个人，每个人一幅正面的正常表情正常光照下的图像。fb包含1195个人，每个人一幅与fa中不同表情的图像。fc包含194个人，每个人一幅与fa中不同光照的图像。dup I包含243个人的722张图像，与fa中的图像拍摄时间间隔在1年之内。dup II包含75个人的234张图像，与fa中图像拍摄时间间隔在1年以上。图4展示了不同图像集的人脸示例。

图4 FERET人脸库不同图像集示例

我们按照文献［9］的方法，以1002张图片为训练集，fa为gallery，fb，fc，dup I，dup II为probe，测试了本文所提出算法的识别性能，如表1所示。

表1 不同算法在FERET人脸库上的识别率

从实验结果可以看出，本文所提出的方法优于大多数现存的LBP改进算法，尤其对于dup I和dup II两个测试集，本文方法有较大的提升。另外注意到DLBP算法与本文的识别性能相近，但DLBP无法直接求解，只能使用启发式算法，具有较大的计算复杂度，因此可以认为本文的方法是优于DLBP的。

5 结语

本文提出了一种基于学习的LBP采样模式，与传统人工设计的采样模式不同，该方法利用Fisher判别思想，用PDV来度量两张图片的距离，从中心点的邻域范围内选取最具判别性的采样点，并用于后续LBP特征的提取。通过在人脸库FERET上的大量实验表明，该方法优于大多数LBP改进算法，具有更高的识别能力。

［1］Lu J，Liong V E，Zhou X，et al.Learning compact binary face descriptor for face recognition［J］.IEEE transactions on pattern analysis and machine intelligence，2015，37（10）：2041-2056.

［2］Ojala T，Pietikäinen M，Harwood D.A comparative study of texture measures with classification based on featured distributions［J］.Pattern recognition，1996，29（1）：51-59.

［3］Ahonen T，Hadid A，Pietikainen M.Face description with local binary patterns：application to face recognition［J］.IEEE transactions on pattern analysis and machine intelli⁃gence，2006，28（12）：2037-2041.

［4］Liao S，Chung A C S.Face recognition by using elongated local binary patterns with average maximum distance gra⁃dient magnitude［C］//Tokyo，Japan：Asian conference on computer vision，2007：672-679.

［5］Zhang W，Shan S，Gao W，et al.Local Gabor binary pat⁃tern histogram sequence（LGBPHS）：a novel non-statisti⁃cal model for face representation and recognition［C］//Bei⁃jing，China：Tenth IEEE International Conference on Computer Vision，2005.786-791.

［6］Maturana D，Mery D，Soto A.Learning discriminative lo⁃cal binary patterns for face recognition［C］//Santa Barba⁃ra，CA，USA：Ninth IEEE international conference on au⁃tomatic face and gesture recognition，2011.470-475.

［7］Hussain S U，Napoléon T，Jurie F.Face recognition using local quantized patterns［C］//Guildford，British：British machine vision conference，2012.1-11.

［8］Duda R O，Hart P E，Stork D G.Pattern classification［M］.New York，American：John Wiley&Sons，2012.

［9］Phillips P J，Wechsler H，Huang J，et al.The FERET da⁃tabase and evaluation procedure for face-recognition algo⁃rithms［J］.Image and vision computing，1998，16（5）：295-306.

［10］ Ojala T，Pietikainen M，Maenpaa T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns［J］.IEEE transactions on pat⁃tern analysis and machine intelligence，2002，24（7）：971-987.

［11］Wolf L，Hassner T，Taigman Y.Descriptor based meth⁃ods in the wild［C］//Marseille，France：Workshop on fac⁃es in real life images detection alignment and recogni⁃tion，2008.1-14.

［12］Lei Z，Pietikäinen M，Li S Z.Learning discriminant face descriptor［J］.IEEE transactions on pattern analysis and machine intelligence，2014，36（2）：289-302.

［13］Liao S，Zhu X，Lei Z，et al.Learning multi-scale block local binary patterns for face recognition［C］//Washing⁃ton，American：International conference on biometrics，2007.828-837.