基于深度学习的人脸识别方法研究综述

朱天才，周晓波

（西京学院计算机学院，西安 710123）

0 引言

人脸识别技术是指通过计算机程序对人脸图像进行处理和分析，从而实现对人脸身份信息的识别和验证［1］。人脸识别技术的发展历程可以追溯到上世纪70 年代，当时人们已经开始探索如何利用计算机技术完成图像识别。在过去的几十年中，随着计算机技术和人工智能技术的不断发展，人脸识别技术也在不断地改进和完善。

人脸识别技术的发展可以分为三个阶段。第一个阶段是基于几何特征的传统方法，该方法主要是基于几何测量和特征提取的原理，通过对人脸图像进行特征计算和比对，实现对人脸身份信息的识别。第二个阶段是人机交互式识别阶段，主要用几何特征来表达人脸正面图像的特征，但此阶段仍然需要操作人员的经验知识，仍以能达到完全自动化的识别目标为目的［2］。第三个阶段是基于深度学习的方法，该方法利用深度神经网络进行特征提取和分类，通过学习更加抽象和高层次的特征信息，实现对人脸身份信息的准确识别。

人脸识别技术具有高准确率、快速识别、无接触等优势，已经广泛应用于各个领域。在公共安全领域，人脸识别技术可以实现门禁安检控制、视频浏览安全监控等功能［3］。在金融领域中，人脸识别技术可以用于身份验证、交易确认等。在医疗领域中，人脸识别技术可以实现患者身份确认、医疗记录管理等功能。此外，在智能家居、教育等领域中也有人脸识别技术的应用。

深度学习是机器学习的一个分支，它试图使用包含复杂结构或者通过多重非线性变换构成的多个处理层对数据进行深层抽象的算法。基于深度学习的人脸识别方法是以端到端的方式学习提取特征的能力，并使用提取到的特征进行分类，在损失函数的指导下利用一些优化方法，如梯度下降、自适应学习率算法优化神经网络中的参数［4］，最终实现对图像的识别。

1 传统人脸识别方法的局限性

1.1 角度变化影响

传统人脸识别方法面临着许多困难和挑战，其中之一是角度变化的影响。由于角度变化会导致人脸图像的形态、纹理等发生变化，因此传统方法往往难以准确地识别人脸。特别是在现实生活中，人们所处的环境和角度多种多样，传统方法很难满足对于多种角度的识别要求。传统人脸识别方法基本上都是采用基于特征点的方法进行识别，因此会受到人脸角度变化的影响，导致识别准确率下降。例如，在人脸旋转的情况下，特征点的位置会发生变化，因此无法准确匹配，识别精度会受到严重的影响。在如今这个时代，随着深度学习的发展和广泛应用，人脸识别研究有了极大的突破，其自身适应性、精确性、鲁棒性和智能度都得到很大提升［5］。

1.2 光照、表情、年龄等影响因素

光照、表情、年龄等因素是传统人脸识别方法所存在的主要局限性［6］。光照因素会引起人脸图像亮度和对比度的变化，甚至能够使人脸的形状发生变化。表情因素也会导致人脸图像的变化，使得人脸的特征提取难以实现。年龄因素同样存在，导致人脸图像的细节和特征随着时间的推移而逐渐发生变化，已有的特征信息也会逐渐丢失。

近年来由于深度学习技术被引入到了人脸识别领域，传统方法中的这些问题得到了解决。通过训练大量的人脸图像数据，深度学习网络可以自动从中提取光照、表情、年龄等影响因素下不变的人脸特征，从而提高人脸识别的准确率。同时，深度学习技术还可以应对大规模人脸识别系统中可能存在的复杂情况，使得识别系统更加健壮和可靠。

2 基于深度学习的人脸识别技术

2.1 卷积神经网络（CCNNNN）

卷积神经网络［7］（CNN）是一种十分有效的深度学习网络模型，在人脸识别技术中得到广泛应用。CNN 是一种具有局部连接、权重共享等特性的深层前馈神经网络［8］，基本结构就是输入层、卷积层（conv）、子采样层（pooling）、全连接层、输出层，如图1 所示。CNN 的主要思想是通过将输入的图像进行多次卷积操作和池化操作，得到对图像特征的提取。通过不断叠加多个层，最终得到分类器输出与输入之间的映射关系。

图1 CNN基本结构

CNN 在人脸识别技术中的应用主要包括两个方面：特征提取和人脸分类。在特征提取方面，CNN将人脸图像转化为特征图（feature map），并在该特征图上进行卷积和池化操作，从而获取高度特征化的图像表示。

通过CNN模型，文献［9］使用标准人脸数据集CASIA-WebFace 进行训练，在LTW 数据库上的人脸识别准确率可达97.8 %。文献［10］使用标准的AT&T数据集，通过参数调优的方法使准确率最大达到了98.75%。通过以上结论得出CNN 模型在人脸识别的应用上效果非常突出，在未来也将得到更深、更广泛的应用。

2.2 深度信念网络（DDBBNN）

深度信念网络（DBN）［11］是一种用于特征提取的无监督深度生成模型。它由多层构成，每层均为二元变量的随机变量。DBN 在特征提取上具有一定优势，它可以通过在上下层之间使用反向传播算法进行训练，从而学习到不同层次的特征表示。通过使用DBN，提取到的特征可以具有更加高层次的抽象性，这对于人脸识别这种复杂的任务尤为重要。

相比传统神经网络，深度学习的一个重要优势是，很大程度上解决了低层神经网络的训练速度和精度问题。如图2所示，多层模型进行全局学习前DBN 会将神经网络分解为多个受限玻尔兹曼机（RBM）的层叠，再对其进行逐层训练［12］。DBN 为了准确描述特征结构，能自下而上学习各层的抽象特征，与代数特征方法不同，其特征提取不用人工来选择，完全采用自动学习来完成。林妙真［12］证明出了深度学习在人脸识别姿态和分辨率上存在的问题，并且实验结果表明，基于DBN 的姿态映射可以学习到侧面人脸图像到正面人脸图像的一个全局映射；基于DBN的姿态分类可以达到良好的性能。

图2 DBN模型结构

DBN 的一个缺陷是直接采用人脸图像的像素作为学习的输入，往往忽略了人像的局部特征，在姿态、光线、噪声等因素的影响下，输出的特征表达可能会对结果不利［13］。为了解决这个问题，文献［14］通过提取Gabor 特征当作DBN 的输入来进行人脸识别，识别率高达92.7%。赵远东［15］也提出一种基于Gabor 小波与DBN 相结合的人脸识别方法，有效提取人像的抽象特征，且很好地降低了姿态、光线等对识别率的影响，实现了对人像的准确识别。

2.3 局部二值模式（LLBBPP）和深度学习相结合

局部LBP 和深度学习相结合是一种新兴的人脸识别技术。LBP 是Ojala 等人发现的并且能够描述局部纹理的算法［16］，但其在角度转变、光照转变等方面体现较差。深度学习是近年来备受研究者关注的技术，其能够快速有效地提取人脸图像中的特征，具有较好的泛化能力。将LBP 特征和深度学习相结合，可以提高人脸识别的准确率和鲁棒性。

2016 年吴进等［17］采用了一种将多尺度LBP算法加DBN 算法相结合的方法，通过LBP 算法提取人脸纹理特征，进而将LBP 提取的纹理特征作为深度信念网络的输入，然后通过多层网络层进行训练，得到最优的训练参数。经过最终的测试得到了92.5%的正确率，比Gabor 小波和主成分分析算法的识别率还要高出2.6个百分点。

2017 年王大伟等［18］通过LBP 与卷积神经网络相结合的方法，首先提取人脸图片的LBP 特征图像，然后把LBP 图像与原RGB 图像结合作为网络输入数据，并且使用随机梯度下降法训练网络参数，最后用训练得到的网络模型对人脸图片进行识别。在LFW（labeled face in the wild）人脸识别数据库上的实验表明，在卷积神经网络中加入LBP 图像信息可以提高人脸识别的准确率。另外，当增加训练数据时，提出的方法得到的识别率会进一步提高，更说明提出方法的有效性。

2018 年李腾等［19］为了克服传统人脸识别算法特征表征能力差，且对光线变化和噪声干扰敏感等问题，通过LBP 提取人脸图像的纹理特征，然后将得到的纹理特征作为卷积网络的输入，在卷积网络中提取各池化层处理后得到的特征，利用提取的特征并在全连接层进行级联融合，得到最终的分类特征，最后利用Softmax分类器分类识别。实验中,将人脸库旋转不同的角度来扩充数据库和验证算法的鲁棒性，分别在ORL、YALE、AR 3个数据库进行实验，最后正确识别率分别达到了98.6%、95.6%和98.9%，高于经典识别算法，鲁棒性也优于对比算法。

2020 年满忠昂等［20］提出一种将人脸图像进行分块，局部运用LBP 算子然后与深度置信网络结合的人脸识别算法（BPBN）。首先，将人脸图像进行分块，对分块后的图像提取LBP 进行统计，将生成的LBP 直方图按照一定秩序组合连接成新的特征向量。其次，将得到的LBP 特征作为DBN 的输入，采用贪婪算法逐层进行训练，然后用反向传播（BP）算法对训练得到的深度置信网络进行优化。最后，用训练好的深度置信网络对人脸进行识别。在ORL 人脸数据库上进行实验，识别率达到96.0%，然后与传统的主成分分析（PCA）算法集成支持向量机（SVM）的方法进行比较，识别率有较为显著的提升。

简言之，在LBP 特征的基础上，利用卷积神经网络、深度信念网络等深度学习模型进行特征融合和分类，能够有效地提高人脸图像的特征表现力和分类精度，同时极大地克服传统人脸识别方法的不足。

3 特征提取

3.1 基于颜色和纹理的特征提取

对于人脸图像，常常会存在不同的颜色和纹理区域。因此，我们采用了基于颜色和纹理的特征提取方法［21］，以获取更准确的人脸识别结果。具体而言，首先对图像进行颜色量化，将每个像素点的颜色值转换为离散的颜色，以减少计算量。随后，提取了人脸图像的纹理特征，包括纹理方向、梯度和直方图等内容。通过这些特征的提取，可以有效地区分人脸图像的不同区域，从而提高人脸识别的准确率。

基于颜色和纹理的特征提取方法是一种相对简单却有效的人脸识别技术。它可以帮助我们从图像中提取出更具代表性的特征，提高人脸识别的准确性。

3.2 多尺度特征提取

在人脸识别技术中，特征提取是非常重要的步骤之一。当今时代，基于深度学习的特征提取方法已经普遍流行。其中，多尺度特征提取方法可以有效提高人脸识别的准确性。

多尺度特征提取方法通过对输入图像进行不同比例的卷积和池化操作，来提取出多层次的图像特征。这些特征反映了不同细节层次的信息，可以有效地改善人脸图像中存在的尺度变化问题。

一种常见的多尺度特征提取方法是特征金字塔结构［22］。该结构包括多个不同比例的图像，对每个图像进行特征提取，再将不同尺度的特征融合起来。这种方法可以丰富特征表示的多样性，从而提高准确率。

此外，深度神经网络也可以实现多尺度特征提取。例如，在卷积神经网络中，可以使用多个不同大小的卷积核对输入图像进行卷积操作，得到不同尺度的卷积特征图［23］。然后，再对这些特征图进行汇聚和激活函数处理，得到更高层次的特征。这种方法可以更加精细地提取图像的细节信息，使得特征更具有区分性。

4 结语

通过以上综述，传统人脸识别的方法存在一些缺陷，在人脸识别中引入深度学习的技术，主要讨论了当前最流行的深度模型DBN、CNN和LBP 与深度学习相结合等三种模型。与此同时也讨论了特征提取的一些技术。从国内外研究现状来看，基于DBN 和CNN 的人脸识别技术的应用已趋于成熟，并取得良好的效果。但是，在数据比较少的情况下这两种模型识别率普遍偏低的问题很难彻底解决，但是第三种模型在数据集比较小的情况下也获得比较好的效果。

基于深度学习的人脸识别技术已成为计算机视觉领域最热门的研究方向之一，得到了广泛的应用。随着人们对人脸识别技术的需求不断增加，相关研究也在不断推进。本文综述的基于深度学习的多角度人脸识别方法，克服了传统的人脸识别方法容易受到角度变化的影响的问题。与此同时，深度学习技术的引入也提高了人脸识别的准确率。在未来，多模态融合有望成为人脸识别技术的发展方向。多模态融合是指将来自不同传感器或不同模态的信息进行融合，以提高识别的准确性和鲁棒性。例如，可以将人脸图像、人脸纹理、声音、姿态等多个信息融合在一起，对人脸进行更全面、准确的识别。在此基础上，我们可以开发出更加智能化、更加细致化的人脸识别应用，为各个领域提供更加可靠的身份识别解决方案。