人脸识别方法综述

庄薪霖

（中国海洋大学 信息科学与工程学部，山东 青岛266100）

作为一种通过获取人面部的特征信息进行身份确认的技术，人脸识别近年来一直是人工智能、计算机视觉、心理学等领域的热门研究问题。类似已用于身份识别的人体的其他生物特征（如虹膜、指纹等），人脸具备唯一性、一致性和高度的不可复制性，为身份识别提供了稳定的条件。人脸识别的应用日益广泛，例如用于刑事案件侦破、智慧交通、出入口控制、互联网服务等。人脸识别不同于传统的学科，涉及到计算机视觉、心理学等诸多学科的理论和方法[1]，人脸识别技术的研究对相关人员知识体系的完备性提出了较高要求，具有丰富的研究意义。

本文按照实际使用的场景将人脸识别划分为两类：无遮挡人脸识别和有遮挡人脸识别。早期的人脸识别算法在无遮挡条件下可以正常使用，但对于有遮挡的情况表现不佳；人脸识别系统通常会受到各类因素的影响，获得的人脸并不完整，比如受到光照遮挡、实物遮挡等的影响[2]。本文分别介绍了各类比较成熟完善的方法与技术，最后进行了总结和展望。

1 无遮挡人脸识别

无遮挡人脸识别是指受外界条件影响因素小或较理想地无外界影响因素情况下的人脸识别。根据发展历程，本文将其分为传统的无遮挡人脸识别方法和现代的无遮挡人脸识别方法。传统无遮挡人脸识别方法可分为基于几何特征的方法、基于代数特征的方法；现代无遮挡人脸识别方法可分为基于特征子空间的方法、基于双模态融合的方法。

1.1 传统无遮挡人脸识别方法

1.1.1 基于几何特征的方法

基于几何特征的人脸识别方法是一种比较直观且常用于早期人脸识别的传统方法。该类方法通常需要和其他辅助算法结合使用才可以获得更好的效果[3]。基于该方法的人脸识别系统主要提取人脸的主要几何特征点（如面部轮廓等）、面部主要器官连续形状、几何特征曲率等信息进行识别。人面部不能完全近似为刚体的特性为几何特征的提取带来了较高的复杂度和难度。

张俊等使用形态交离变换法先确定眼球的位置，以此为基础来确定各器官的分布区域、根据区域点投影图确定特征点[4]。其设计的特征向量具有尺寸、旋转和位移的不变性，获得了较好的适应，最后在250 个待测样本中达到96%的识别率。阙晓辉等结合使用PCA 等算法，利用肤色模型和器官特征提取了人脸特征和用于辅助的侧脸特征（正侧面特征相结合），提出了基于局部特征的人脸识别算法。该方法也获得了比较好的识别效果[5]。

1.1.2 基于代数特征的方法

此类方法从代数特征的角度出发，相较于基于几何特征的方法，其优势在于对光照和人的表情变化有一定的包容度[6]。

彭辉等改进K-L 变换进行人脸识别[7]。该方法的核心为分层次的最小距离分类器，其识别率达到86.13%、91.06%。高丽萍等提出了特征半脸方法[8]。该方法在Stirling人像数据库的识别率优于单独的特征脸方法。周德龙以奇异值特征向量为基础，结合模拟K-L 变换、Fisher 线性判别分析技术等，设计出了十分简洁有效的分类器，利用少量的特征向量得到了较高识别率：在Essex 彩色人脸图像数据库中测试达到96.25%的识别率[9]。王蕴红等引入了正负样本学习过程进行人脸识别[10]。该方法对结果隶属度函数进行了LOGISTIC 回归，从而在一定程度上克服了小样本效应的问题。该方法在标准ORL 人脸数据库中测试结果达到了90.48%的识别率。

1.2 现代无遮挡人脸识别方法

现代无遮挡人脸识别大多结合深度学习的理论和技术。该类方法不必人为对不同类型的类内差异（例如人脸的姿势、待识别者的年龄等）设计特定特征，因为其能够自然地从训练数据中获得。

1.2.1 基于特征子空间的方法

基于特征子空间的方法是一种将人脸的二维图像通过变换调整到另外的空间中，从而便于在其他空间中处理非人脸特征同人脸特征之间的区别的处理方法。其常用的算法有主元分析法（又称K-L 变换法）、因子分解法、Fisher 准则方法、小波变换等[11]。

尹飞等基于一般的PCA 方法做了一定改善[12]。该方法在选用的部分小像素图像中实验得到大约76%的识别准确率。乔宇等提出了一种基于加权的主元分析法[13]。该方法先利用大量样本的统计学习求得各特征较合适的加权系数，再加强对关键特征的识别、弱化非关键特征的作用实现加权K-L 变换。该方法在剑桥的ORL 人脸数据库达到接近95%的识别率。齐兴敏改善了以往Fisher 准则类方法应用于人脸识别中常见的小样本问题，提出了改进的基于Fisher 准则的2DPCA 人脸识别算法[14]。该方法综合运用了2DPCA 提取人脸特征和LDA 作分类，克服了小样本问题，在50-55 维之间保持较高的识别率。

1.2.2 基于双模态融合的方法

基于双模态融合的方法同时运用二维和三维两个模态的信息，可以在信号层、特征层、决策层进行融合，从而获得比单模态更优的识别效果[15]。

Sotiris 等提出了一种计算效率高并且不需要扩展训练集的归一化方法[16]。在其大数据集上的实验结果表明，在分类前应用所提出的归一化算法可以显著提高基于模板的人脸识别性能。该方法在其自行采集的三维人脸数据集中，识别率达到96.3%以上。Yingjie 等融合了归一化的形状和纹理权重向量，提出了一种基于三维距离数据和二维灰度图像的人脸识别方法[17]。在对其50 名学生的面部图像的实验中，达到了90%以上的识别率。Chiraz 等融合了深度和纹理的人脸编码，提出了一种模式分类器，支持深度、纹理、深度和纹理融合这三种输入[18]。该方法在185 个测试人脸数据中，均达到了92%以上的识别率；且深度和纹理结合达到97%左右的识别率。

2 有遮挡人脸识别

相比于无遮挡人脸识别，有遮挡人脸识别更常见于现实应用场景。有遮挡人脸识别需要考虑的影响因素较多，不易实现。其主要影响因素有特征损失、局部混叠、对准误差等。当前常用方法有传统的子空间回归法、结构化误差编码法以及现代应用“浅层”鲁棒特征提取的方法、深度学习方法。

2.1 传统有遮挡人脸识别方法

2.1.1 基于子空间回归方法

基于子空间回归方法的核心思想是待识别人脸样本是否能回归落到他所属的子空间之中。人脸图像之间本身带有的高度相关性，再加上遮挡物的干扰，就必须考虑清楚遮挡子空间和人脸子空间相关性如何去除。

赵雯等主要解决了待识别图像中噪声的影响问题，提出了一种同时运用DLRR 和FDDL 方法的鲁棒人脸识别算法[19]。单独使用DLRR 会忽略样本类内结构信息，但加上FDDL 的优化会更好地表示各类别的子字典，从而改善识别效果。该方法在FERET 人脸库、AR 人脸库、XM2VTS 人脸库中，识别率最高分别达到了80.17%、98.25%、95.85%。

2.1.2 基于结构化误差编码的方法

由实物遮挡引起的误差一般具有一定的空间结构（比如墨镜遮挡、围巾遮挡等），这与由高斯噪声引起的误差不同。结构化误差编码是一类常用解决方法，常见的编码思路有构造遮挡字典、利用反向表示分离出遮挡等。

李小薪等综述了几种主流的结构化误差编码方式，提出了一种能够提高人脸识别率和加强识别性能的基于奇异值分解的Gabor 遮挡字典学习方法[20]。该方法通过Extended Yale B、AR、UMBDB 三个人脸数据库进行验证测试：在Extended Yale B 测试集中，当遮挡比例不超过40%时可获得较高的识别率；在UMBDB 测试集和AR测试集中，采用SVD-2 算法可获得最高的识别率。杨方方等面向带有强噪声的人脸图像，提出了一种有优秀抗干扰能力的人脸识别算法[21]。其与SVM、SRC、GSRC、GLR_SRC算法进行对比，通过Extended Yale B 和AR 人脸数据库进行测试。在AR 人脸数据集中，该算法对于围巾遮挡、眼镜遮挡以及同时含有围巾和眼镜遮挡的图像识别率均高于其他四种算法，可识别率接近80%。

2.2 现代有遮挡人脸识别方法

当前，已经出现了大量识别性能较好的特征提取和学习的有遮挡人脸识别算法。本文从“浅层”特征到深层特征，对现有的方法进行回顾。

2.2.1 基于“浅层”鲁棒特征提取的方法

“浅层”鲁棒特征提取的主要思想是依据人为设计的“浅层”特征提取相关的人脸识别特征，但对光照遮挡和实物遮挡混合出现的情况鲁棒性差[22]。

曾慧等提出了一种可应用于图像匹配的鲁棒图像局部特征区域描述子的构造方法。该方法在光照变化、有遮挡等情况下具有较好的鲁棒性，能为人脸识别提供有利的参考[23]。其采用Mikolajczyk 数据集验证，并和SIFT、CSLBP 描述子进行了对比：该方法拥有较高的正确检索率和较短的平均运算时间开销。李昆明等利用韦伯算子的优势进行人脸识别[24]。该方法融合了韦伯方向差分模式和韦伯局部方向差分激励累积模式进行判别、采用基于分块的线性判别降维，提高了识别速度并减小了空间消耗。该方法在ORL 人脸数据库上的识别率最高达98%。

2.2.2 基于深度学习的方法

人脸识别有遮挡的人脸图像是通过理解人脸图像中的高阶属性实现的。深度学习具有从输入层到输出层的多层非线性映射和基于反向传播的反馈学习机制，非常适合解决这类常规分类器无法比拟的变换问题。深度网络具有稳定强大的分布式表达能力，因此可以设计合理的网络完成人脸识别的任务。

郭伟等采用PCANet 深度学习模型，提出了一种结合DL 和特征点遮挡检测的人脸识别算法[25]。该方法在AR人脸数据库中验证，并和PCANet 算法、SRC 算法、Gabor-SRC 算法进行对比，在围巾遮挡、墨镜遮挡、自行添加的组合式遮挡三种情形下均达到最高的识别率。

3 结束语

从现实应用场景来看，有遮挡人脸识别显然比无遮挡人脸识别更具普遍性，而有遮挡人脸识别也是当前面临的一个重要挑战。综合各项人脸识别方法来看，将深度学习用于人脸识别方法具有很大优势，其主要表现为：易于从原始数据学习低层次的“浅层”特征、易于检测出特征中的相互作用、易于构建精确的模型；然而其劣势也比较明显：模型训练比较耗时、模型需要进行长期的不断迭代优化、需要大量级的数据库。从当前发展趋势来看，深度学习和其他方法相结合将是未来人脸识别发展的一个重要方向。比如考虑将深度学习和人脸光照矫正、姿态和表情矫正融合，设计新的模型等。