区域块SFIT-MTLBP人脸识别研究

刘晓尚 吴薇 田雄

摘 要：在少量样本情况下，为了解决传统LBP算法对人脸特征提取分类鲁棒性不强问题，提高人脸特征选取的泛化能力，提出一种在人脸面部区域基于SIFT特征点检测的MTLBP人脸识别算法。从人脸五官区域选取尺度不变的关键点，并在其邻域选取MTLBP纹理特征，结合SIFT描述算子和MTLBP特征直方图形成一系列特征，对该人脸特征空间向量进行分类识别。在相同的少量训练样本下，该算法与原始LBP算法及其它改进型LBP算法相比，识别率提高了20%左右。

关键词：区域块;SIFT关键点检测;MTLBP纹理特征;小样本;人脸识别

DOI：10. 11907/rjdk. 182096

中图分类号：TP301文献标识码：A文章编号：1672-7800（2019）004-0009-04

0 引言

人脸识别一直是计算机视觉和模式识别研究的热门领域。近年来，局部二值模式（Local Binary Patterns，LBP）纹理特征提取算法被广泛应用于人脸识别。LBP算法最初由Ojala等[1]提出，用于圖像纹理分类，Timo等[2]将该算法应用于描述人脸特征，并采用x2统计作为不相似度量，取得了很好的识别效果。随后，人们又对LBP算法在人脸识别上进行了各种改进，局部三元模式（LTP）和中心对称（CS-LBP）模式被用于人脸特征提取[3-4]。Guo等[5]使用LBP方差（LBPV）进行全局匹配的旋转不变纹理分类，基于低分辨率的多阈值局部二值模式和自适应阈值二值模式也成功用于人脸识别[6-8]。但是，基于单一特征的人脸描述忽略了人脸其它特征的表达，特别是在少量样本情况下，人脸尺度变化和图像角度旋转时，局部二值模式特征提取对同一人脸进行识别不具备很好的鲁棒性。大多文献为了提高人脸识别率，往往训练大量样本尽可能代表人脸在各个姿态下的特征，然而该传统做法不仅无法提高识别率，还会不利于类间分类。多特征提取融合的人脸表示方法走进了人们的视线，在此基础上，基于SIFT特征和旋转不变LBP特征相结合的图像匹配算法得到发展[9-10]。因此，为了与人脸尺度不变特征相结合，突出表现人脸局部纹理特征，在文献[7]和文献[10]启发下，本文提出一种在人脸面部五官上选取尺度不变特征（Scale-invariant feature transform，SIFT）和多阈值纹理特征相结合的人脸识别方法，最后采用最近邻分类器进行分类识别。实验表明，相对传统LBP算法，本文算法融合方式在少量样本下即可明显提高识别率。

1 相关算法理论

1.1 人脸区域选定

当图像被划分成区域时，可以预期某些区域比其它区域包含更多有用信息[11]。由于人脸五官上的纹理信息最为丰富，眼睛、鼻子、嘴巴特征也是识别一个人的重要特征，利用图像分割算法将面部五官从人脸图像上分割出来分步识别，会对人脸识别起到积极作用[12]。实验表明：①人脸纹理特征最为丰富的地方在人脸整体轮廓和面部五官上，有效分割人脸面部五官区域，可将一些对人脸面部识别区分度不大，但在纹理特征中占比较大的区域划分出去，如背景、头发、脸颊等;②SIFT关键点的检测并不都集中在人脸五官区域，将人脸五官区域分割出来再检测SIFT关键点，可将人脸五官纹理特征很好地结合起来。

1.2 SIFT特征关键点检测

SIFT即尺度不变特征变换，由Lowe[13]于1999年提出，2004年加以完善。SIFT特征对旋转、尺度缩放等保持不变性，可以很方便地与其它形式特征向量进行融合。SIFT特征关键点检测是基于图像尺度空间理论的方法，主要步骤如下：

（1）尺度空间极值点检测。尺度空间构建使用高斯金字塔表示，利用不同尺度的高斯差分核与图像卷积生成。为了寻找尺度空间极值点，在尺度空间中，每一个采样点要与其所有相邻点比较，即同尺度的8个相邻点与上下相邻尺度对应的2×9个点比较。如果该采样点是26个邻域中的最大值或最小值时，即为图像在该尺度下的特征点。尺度空间采样点及其邻域空间分布如图1所示。

（3）SIFT特征描述子。以关键点为中心区域，将该区域分为4×4个子区域，对每个区域建立8个方向的梯度方向直方图，从而形成128维向量。

1.3 多阈值LBP纹理特征提取

LBP算子最初定义在像素为3×3的矩形邻域内，以矩形中心像素为阈值，若周围像素大于中心像素，则该位置被标记为1，否则被标记为0。经比较后，3×3邻域内可产生8位依次排列的二进制数，此即为该中心像素的LBP值[14]。

原始图像和在不同阈值下经过LBP编码后的图像如图2所示，可以看出，当阈值由0到4时，人脸图像轮廓更加清楚，人脸面部主要纹理特征被突出，不利于类间分类的大量纹理信息被弱化或剔除。

2 基于区域块SIFT-MTLBP的人脸描述

本文基于小样本情况，最大化描述人脸局部面部特征，不仅在提取人脸面部特征时采用多阈值局部二值模式突出五官特征，还考虑到同类样本在尺度和角度旋转变化时面部特征之间存在的转化联系[15]。通俗地讲，即考虑到同一个人的人脸面部局部特征，从人脸正面到侧面过程中基于尺度空间不变点和其周围纹理特征存在的联系。

人脸识别过程中的关键步骤在于特征点或特征区域选取，只有选定特征区域能够很好地表达人脸身份信息，提取到合适的特征向量，才能更精确地进行分类。以ORL人脸库为例，文中基于区域块SIFT-MTLBP的特征提取步骤如下：

（1）利用样本的Haar特征[16-17]进行分类器训练，得到级联boosted[18]分类器，可以检测图片中的眼睛、鼻子和嘴巴区域。该步骤通过改进OpenCV自带级联分类器实现。

3 实验与分析

3.1 训练集与测试集

为了充分验证本文方法的有效性，采用英国剑桥大学Olivetti研究所的ORL人脸库和韩国浦项科技大学PF01人脸库的POSE子集库进行实验。使用ORL人脸库进行实验说明，图4为ORL人脸库部分样本。实验将人脸库中每个人脸样本分为训练集Mi和测试集Nj，[i，j∈（1，2？？？10）]分别代表训练集和测试集中包含的样本数。在训练样本为3的情况下，抽取同一人脸图片的特定组合集进行训练。例如选取图4中第5-7幅图片进行训练，分别记为I5、I6、I7，组成训练集合为{I5，I6，I7}，其它图片作为测试集;选取第3、8、9幅图片进行训练，分别记为I3、I8、I9，组成训练集合为{I3，I8，I9}，其它图片作为测试集等;训练集和测试集一一对应，分别保存在训练序列和测试序列中。训练样本为4及以上时，在每个样本中选择[Ci10，i∈（1，10）]的任意排列组合作为训练集，每种组合之外的图片作为测试集。

3.2 阈值与权重

在多阈值LBP特征与SIFT特征融合情况下，无法知道阈值与权重的不同组合会对识别率有何种程度影响。为了确定最理想的阈值和权重组合，本文在实验中选取从  0～4的阈值与权重比在0～1的不同组合中进行实验。在ORL人脸库和PF01人脸库的pose子集上，每张人脸每次选取7个训练样本进行训练，其余样本作为测试不参与训练过程，由此得到不同阈值与不同权重比组合下的平均识别率，实验结果如表1所示。由表1可知，选取阈值为2，权重为0.6的识别率最为理想。

其中，[Si]、[Mi]分别为实验样本得到正确匹配的样本数和期望样本数。

引入参考文献中的3种算法与本文进行对比：文献[2]采用采样半径为2、采样点为8不加权重的LBP特征提取方式，文献[7]采用低分辨率下多阈值LBP方法，文献[4]基于Gabor变换使用中心对称LBP的方法。特别说明的是，文献[3]中采用图像部分子块，尤其是在眼角部分加权后的实验与本文有较大可比性，实验所用到的训练集和测试集均与本文一致。ORL人脸库与FP01人脸库POSE子集的对比实验结果如图5、图6所示。

由实验结果对比可知：①本文方法在样本较少情况下，相比传统LBP算法和MTLBP算法具有更高识别率，特别是在POSE子集上，识别率在样本数为3时提高了20%以上，达到85%左右，考虑到样本中姿态和表情等因素影响，该结果已经相当理想;②本文方法在样本数增加时，识别率受到限制，只达到了近99%，特别是在样本数大于7时，较文献[2]中方法并没有产生较大优势。

因此，本文方法在FP01人脸库pose子集上识别效果优于在ORL人脸库上，因为在pose子集上人脸图像仅是人脸姿态、角度的改变。该结果也表明在SIFT特征下采取人脸图像局部的纹理信息，更适合人脸姿态变化时的人脸表达，实验结果符合预期。当然，本文方法也有其局限性，在训练样本达到7张图片以上时，没有融合全局特征的平均识别率很难再有所提高，所以本文方法更适合小部分样本人脸图像训练和识别。

4 结语

本文提出一种将尺度不变特征转换（SIFT）与MTLBP相结合的人脸识别方法，该方法利用SIFT算法检测出同一人脸在旋转尺度变化时保持的不变点，在该不变点上提取丰富的纹理特征，同SIFT特征向量一起作为人脸识别依据。实验表明，本文方法能够较好地提高人脸特征泛化能力，在识别率稍有下降的情况下，有效减少了训练样本数。不足之处是没有考虑到人脸的全局特征，当样本数提高到一定程度时，本文方法在识别率上受到了限制。因此，怎样融合全局特征突破局限，将是今后努力的方向。

参考文献：

[1] OJALA T，PIETIK？INEN M，M？ENP？？ T. Multiresolution gray- scale and rotation invariant texture classification with local binary patterns[C]. European Conference on Computer Vision，2000：404-420.

[2] AHONEN T，HADID A，PIETIK？INEN M. Face recognition with local binary patterns[C]. European Conference on Computer Vision， 2004：469-481.

[3] 李伟生，王立逗，周丽芳. 一种基于LTP自适应阈值的人脸识别方法[J]. 小型微型计算机系统，2014，35（9）：2099-2103.

[4] NIKAN S，AHMADI M. Partial GMP-CS-LBP face recognition using image subblocks[C]. Barcelona：The Tenth International Conference on Systems， 2015.

[5] GUO Z， ZHANG L， ZHANG D. Rotation invariant texture classification using LBP variance （LBPV） with global matching[J]. Pattern Recognition， 2010， 43（3）：706-719.

[6] 周凱，杨路明，宋虹，等. 基于多阈值局部二值模式的人脸识别方法[J]. 计算机工程，2009， 35（17）：167-169.

[7] ZHAO H，CHEN X， LONG M， et al. Human face recognition based on low resolution muti-threshold local binary pattern[C]. International Conference on Electronics， Communications and Control， 2012：1865-1868.

[8] 張洁玉， 赵鸿萍， 陈曙. 自适应阈值及加权局部二值模式的人脸识别[J]. 电子与信息学报， 2014， 36（6）：1327-1333.

[9] 董振鑫， 廖仕荣， 程慧，等. 基于多特征融合的图像匹配算法[J]. 软件导刊， 2017， 16（7）：44-47.

[10] 郑永斌， 黄新生， 丰松江. SIFT和旋转不变LBP相结合的图像匹配算法[J]. 计算机辅助设计与图形学学报，2010， 22（2）：286-292.

[11] LIAO S， JAIN A K. Partial face recognition： an alignment free approach[C]. International Joint Conference on Biometrics，2011：1-8.

[12] 严云洋. 图像的特征抽取方法及其应用研究[D].南京：南京理工大学， 2008.

[13] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision， 2004， 60（2）：91-110.

[14] 康健.  基于多阈值多尺度LBP的人脸识别研究[D]. 北京：北京邮电大学，2013.

[15] SWAPNA K，ARPANA B. Feature extraction from face images using SIFT and MLBP algorithm[C]. Imperial Journal of Interdisciplinary Research （IJIR），2017：2454-1362.

[16] 侯小红， 郭敏. 一种基于Harris-SIFT特征点检测的LBP人脸表情识别算法[J]. 西北大学学报：自然科学版，2017，47（2）：209-214.

[17] 甘玲，朱江，苗东. 扩展Haar特征检测人眼的方法[J]. 电子科技大学学报，2010， 39（2）：247-250.

[18] VIOLA P，JONES M. Rapid object detection using a boosted cascade of simple features[C]. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2001：511-518.

[19] 林晓帆，丁晓青，吴佑寿. 最近邻分类器置信度估计的理论分析[J]. 科学通报，1998， 43（3）：322-325.

[20] 马圆，田思佳，冯巍，等. 基于肺部PET/CT图像不同纹理特征的K最近邻分类器[J]. 北京生物医学工程， 2018（1）：57-61.

（责任编辑：何 丽）