基于双层异构深度神经网络模型的人脸识别关键技术研究

李晋，周曦, 周翔, 蹇易

(1 中国移动通信集团设计院有限公司工业信息化实验室，重庆 400042; 2 中国移动网络规划和设计优化研发中心工业信息化实验室，重庆 400042；3 重庆中科云丛科技有限公司,重庆 401142)

基于双层异构深度神经网络模型的人脸识别关键技术研究

李晋1,2，周曦3, 周翔3, 蹇易3

(1 中国移动通信集团设计院有限公司工业信息化实验室，重庆 400042; 2 中国移动网络规划和设计优化研发中心工业信息化实验室，重庆 400042；3 重庆中科云丛科技有限公司,重庆 401142)

伴随着人工智能的快速发展，人脸识别技术在社会领域和工业领域都呈现出较广泛的应用潜力空间，但由于传统人脸识别技术识别率低，识别速度慢，对环境要求非常高，迫切需要革新方法。本文旨在研究如何将深度学习算法引入人脸识别领域，通过构建双层异构深度神经网络模型，模拟神经网络进行学习，使用CNN与DBN等众多模型让计算机逐渐根据大量数据特征学会识别图像与人脸，并对人脸识别领域关键技术难点进行深入研究，从而大幅度提升人脸识别技术的识别率与鲁棒性。

人脸识别；深度学习；双层异构神经网络

近年来，随着云计算、大数据、移动互联网等技术快速发展，人工智能的发展也步入了快车道，人工智能的各项应用需求不断涌现和升级，而其中人脸识别技术就是比较突出一个领域。本文旨在研究如何将深度学习算法引入人脸识别领域，通过模拟神经网络进行学习，使用卷积神经网络（CNN）与深度置信网络（DBN）等众多模型让计算机逐渐根据大量数据特征学会识别图像与人脸，本文还对人脸识别领域动态场景实时解析、自适应实时多目标跟踪和分层矢量化信息表达等关键技术难点进行深入研究，优化传统算法，从而大幅度提升人脸识别技术的识别率与鲁棒性，改进传统人脸识别技术识别率低，识别速度慢，对环境要求非常高等局限和问题。

1 人脸识别技术及其所面临的问题

1.1 人脸识别技术概述

人脸识别技术是一项新兴的生物识别技术。它广泛采用区域特征分析算法，利用计算机图像处理技术从视频中提取人像特征点，利用生物统计学的原理进行分析建立数学模型。该技术用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行光照规整、3D重建、特征提取、比对识别等一系列相关技术，通常也叫做人像识别、面部识别。人脸识别的发展历史简要如下。

（1）1964-1997年为基础研究阶段，前人从计算机视觉这个大领域下的图像识别分支发展出了人脸识别这个细分方向，为今后的大规模应用打下了坚实的基础。

（2）1998-2014年为小规模商用阶段，主要体现在对技术要求较低的廉价考勤机（固定角度、光照环境），部分银行、公安、安防等机构企业开始尝试使用人脸识别技术，但应用面还比较窄。

（3）2015年到现在为高速发展期，人脸识别技术开始在各个行业大量落地，新一代动态人脸识别技术逐渐成为主流。银行、公安等对人证合一、动态布控有着刚性需求的机构开始在人工智能发展的大背景下革新方法。

1.2 传统人脸识别技术所面临的问题

尽管人脸识别技术有着广阔的应用前景，因为与其它生物识别方式相比，人脸识别技术有着设备兼容性强、非接触、大规模识别等优点。但是人脸识别技术在发展上还存在着一些障碍，影响人脸识别效果的原因主要有以下的几个方面。

（1） 人脸图像的获取过程中的不确定性（如光的方向以及光的强度等）。

（2）人脸模式的多样性（如胡须、发型等）。

（3）人脸塑性变形的不确定性（如表情等）。

（4）所涉及的领域知识的综合性（如心理学、医学、模式识别、图像处理、数学等）。

从某种意义上来说，人脸识别的各种方法，实际上就是在寻找一种人脸的描述方式，但是要找到一种能够不受各种因素影响的描述方式非常困难，无论是最早使用的几何描述方式还是后来比较常用的代数描述方式，都不可避免地存在各种干扰。正因为在人脸识别的过程中存在上述的各种各样的问题，因此在实际的检测和识别过程中，当这些因素叠加到一起的时候，情况就变得更加复杂。

而传统的人脸识别应用特征识别方法，不具备自主学习功能，如何识别、判断光照、遮挡、人脸像素条件完全是由人工提前构建条件，计算机死板执行，适应性和实用性较差，轻微的光线变化就有可能导致识别失败。本文正是希望研究如何通过引入深度学习技术，去研究逐渐完善人脸的描述方式，使之更加有效，更加准确。

2 双层异构深度神经网络模型的构建

随着技术的发展，人脸识别的技术也在不断改进、优化。

2.1 深度神经网络的基本原理及其局限性

人类的神经系统在处理信息时是分级的，例如在看一张人脸照片时，首先会从像素中提取人脸的边缘特征，然后将边缘特征组合成部件特征，接下来将部件特征组合成能表达整张人脸的特征，最后基于人脸特征判别人脸的属性（例如身份、性别、年龄、种族等）。好的特征能够更好地表达模式（话音、图像等）的属性，因而特征提取是模式识别中最关键的一步。深度神经网络是对人脑神经结构的机器模拟，其思路是由低层特征逐步抽象形成高层特征，从而使特征具有良好的表达能力，能更好地描述模式的本质特性。基于这些优点，深度神经网络已经在话音识别，图像识别等领域取得前所未有的成功。但为了达到较好的性能，深度神经网络通常采用大量数据进行训练（权值学习）。

深度神经网络的主要缺点在于它是一种黑盒方法，其细节隐藏在连接节点（神经元）和节点之间的权值中，而这些权值却是没有明确现实意义的（无法确定哪些权值与哪些属性有关，也就是说这种神经网络是同构的），这就导致了先验信息很难加入到网络的训练过程中。但在实际应用中，如果知道权值与属性之间的对应关系，将会给深度神经网络的应用带来非常大的便利。由于深度神经网络通常具有非常多（百万级）的参数，当训练数据量较少时，直接对模型进行更新（所有权值都将被更新）通常会导致过拟合，使网络性能变坏。但如果已知权值与“种族”这一属性的对应关系，那么就可以只对少量的权值进行更新，使模型更加适合于人脸种族识别。

2.2 双层异构深度神经网络的提出和实现方式

基于以上原因，我们提出了异构深度神经网络模型，如图1所示。

异构深度神经网络不再是一个黑盒，其中的某些权值是与具体的属性相对应的，甚至网络中的每层也可被设定为具有明确的含义，例如其神经元的激活值对应于某种粒度的特征。利用大量具有属性标记的训练数据，采用多任务学习机制并在损失函数中加入稀疏性约束，通过考察神经元对不同刺激的反馈，可建立网络单元与属性的映射关系，实现网络结构的语义化。利用异构深度神经网络，可在人脸模型中方便地加入光照、遮挡、角度、年龄、种族等多种先验信息，增强了模型的适应性和特征的表达能力。对于跨场景人脸识别问题，例如人证比对，即验证身份证芯片照与现场照的身份是否一致，由于两张照片失配程度较大（非同源、身份证照片分辨率低，两张照片年龄跨度大），会导致特征空间中样本分布的差异性较大，导致比对失败。为了将两张照片映射到同一特征空间中进行比较，在异构深度神经网络基础上，我们提出了双层异构深度神经网络模型。此模型中每层都是一个深度网络（分别以两张照片为输入），在训练时采用二分类损失函数并对两个网络中对应权值的差异性进行正则化，可实现不同图像空间到相同特征空间的映射。在特征空间中，相同身份人脸图像的类内差异变小，而不同身份人脸图像的类间差异变大，从而增强了特征的判别性。

图1 异构深度神经网络结构

3 基于异构深度神经网络的人脸识别关键技术

3.1 动态场景实时解析

动态场景解析需要对场景中的目标进行检测、跟踪、识别，对目标的状态进行估计，对特定事件是否发生进行判断。由于动态场景具有时变性、场景中目标类别、状态及行为具有多样性、事件的发生具有不确定性、各种场景对象之间具有关联性，动态场景解析是一个非常困难的问题，传统方法通常面临着搜索空间巨大、算法效率低下等问题。但相对于计算机，人类的神经系统在处理此类问题时却毫不费力，人眼能够在瞬间发现场景中感兴趣的目标并对其属性及关联关系进行判断，原因在于人类能够把多种信息融入搜索过程，通过对搜索空间进行削减达到快速、准确的搜索。受人类识别方式的启发，我们提出了基于假设检验（Hypothesis Testing）理论的动态场景多目标实时解析架构，该架构包含了状态空间初始化、对象特征提取、先验知识引入、分支假设检验、评分排序、时空关联等算法模块，同时此架构可融合多种现有检测、跟踪、特征提取、识别技术，包括我们提出的异构深度神经网络、分层矢量化多媒体信息表达、基于受限自适应层次化稀疏表示的多目标跟踪等。

图2 双层异构深度神经网络结构

该架构中的算法利用稀疏表示的能力，结合分层表达思想，将层次化和稀疏表示（特征）相结合，有效提高了目标模板的表达能力。在建立模板时，不仅对目标建立模板，对背景也建立建模，在判断候选区域是否为目标时，可以结合两个相似度进行判定，分类结果更准确。在跟踪过程中，不断更新模板时，对目标和背景建立模板池，收集一段时间内的目标和背景特征分布，使得模板池的鲁棒性更强。为了保证算法的实时性，有选择性地对模板进行更新，对当前的新目标进行判断，如果和模板池差别很小，则不更新模板；差别非常大说明跟踪失败，也不更新；只有在合适的时机才更新模板，既保持模板的稳定性，又能减少运算，达到实时性。为了更准确地度量目标和背景之间差异，采用自适应权重调整方法，将目标模板和背景之间不相似的特征赋予较大的权值，相似的特征赋予较小的权值，增强目标与背景之间的区分度。通过建立目标的时序特征模型，保证目标模板的时序连贯性与完整性。

3.2 自适应实时多目标跟踪

视频运动目标的检测与跟踪是机器视觉中研究热点之一，是目标识别、行为分析等后续应用的基础，在社会安全、航空航天等领域中有广泛的应用前景。目标跟踪在学术界经过了数十年的研究，发展出了许多算法，目前较为有效的算法是基于检测的跟踪算法。其基本思想是在跟踪开始时对目标建立一个初始模板，以记录目标的外观；为了确定目标在下一个时刻的位置，利用当前的目标模板，在前一时刻目标位置附近处搜索与目标模板相似的区域，选择相似度最大的区域作为这一时刻目标的真实位置；跟踪过程中，由于目标的外观受到各种因素的影响（目标变形、姿态变化、光照、遮挡等）而发生变化，目标模板也进行相应的更新，使其能体现出目标当前的变化。

基于这种跟踪框架的算法都面临着以下几个重要的问题。目标模板要有较强的表达能力，即目标外观特征表示要强健；该特征应具有较高的判别能力以区分目标与背景的差别；同时该特征对于各种影响目标外观的因素有较好的鲁棒性，以解决目标在跟踪过程中的外观变化问题，保证跟踪的稳定性。目标模板与候选区域的相似度计算要具有较高的准确性，在目标与背景较为相似的情况下，要能够体现出真实目标与背景的差别。目标模板要能自适应地更新，当目标的外观发生变化，模板也要进行更新，这种更新是自我学习的过程，要保留目标稳定、不变形的特征，去除姿态、光照、遮挡等带来的干扰因素。针对这些问题，我们提出了基于受限自适应层次化稀疏表示的多目标跟踪算法，该算法的框架图如图3所示。

图3 算法框架图

该算法利用稀疏表示的能力，结合分层表达思想，将层次化和稀疏表示（特征）相结合，有效提高了目标模板的表达能力。在建立模板时，不仅对目标建立模板，对背景也建立建模，在判断候选区域是否为目标时，可以结合两个相似度进行判定，分类结果更准确。在跟踪过程中，不断更新模板时，对目标和背景建立模板池，收集一段时间内的目标和背景特征分布，使得模板池的鲁棒性更强。为了保证算法的实时性，有选择性地对模板进行更新，对当前的新目标进行判断，如果和模板池差别很小，则不更新模板；差别非常大说明跟踪失败，也不更新；只有在合适的时机才更新模板，既保持模板的稳定性，又能减少运算，达到实时性。为了更准确地度量目标和背景之间差异，采用自适应权重调整方法，将目标模板和背景之间不相似的特征赋予较大的权值，相似的特征赋予较小的权值，增强目标与背景之间的区分度。通过建立目标的时序特征模型，保证目标模板的时序连贯性与完整性。

3.3 分层矢量化信息表达

深度卷积神经网络（DCNN）是机器学习、模式识别领域的研究热点，目前已经在图像分类、人脸识别等方面取得了十分成功的应用。他主要的特点是能利用线性或非线性的函数通过组合低层特征形成更加抽象的高层表示。但是在数据不足的时候，DCNN会有严重的过拟合，降低使用效果。

为了解决DCNN需要大量数据的问题，我们提出了分层矢量化（HV）多媒体信息表达体系。分层矢量化实际上是一个多层的特征编码的过程。一个单层的特征编码由以下几个步骤组成。首先，对图片库里所有的人脸图像进行分块；其次对每块区域提取局部特征(如LBP、SIFT)形成局部特征描述子；然后，对所有局部特征进行量化形成字典；最后，根据字典信息和人脸图像的映射，编码形成人脸图像的特征向量。对于多层的特征编码只需要把上一层的人脸图像的特征向量作为输入重新提取特征块并进行量化形成字典编码即可，如图4所示。

图4 单层的特征编码的流程图

与DCNN相比， HV也是一个组合底层特征形成更加抽象的高层表示的框架，不同之处在于HV只用混合高斯一种映射函数组合底层特征，降低了模型的复杂度；HV与DCNN针对每个像素点进行处理不同，它以不同大小的像素块为处理对象。所以HV只需要很少的训练数据就能达到接近DCNN使用大量数据的效果。

4 实践情况

目前各个地市虽然已经建成或将要建设大量的视频监控系统，但通过人工的方式去监控、检索、查找关注目标人员的相关信息，受到人的注意力、观察力和主观判断力等因素的影响，难免疏漏。从海量视频资源信息中，发现有价值的信息；在公共安全领域中智能、高效、快速的实现人员相关信息的采集、捕捉与处理，需求巨大。因此，急需加强人员管理相关理念和处理技术的创新，将海量视频资源中包含的各类人员信息资源提取出来，与公共安全领域相关的业务信息相结合，构建专业化的智能人脸信息处理系统，有效保障社会公共安全秩序，提升公共安全服务能力。

基于“深度学习”和“计算机视觉”等IT技术的人脸识别，有着很好的人脸动态捕捉和匹配识别能力，准确度也越来越高，目前已经在金融支付、考勤管理、安全认证、治安管理、刑侦办案等行业中得到了应用。人脸信息作为重要的身份识别标识，在公安机关各警种业务中起着举足轻重的作用，是公安行业信息化、智能化的必然趋势。

在公共安全领域，有着丰富的资源和强劲的人脸识别业务应用需求。通过遍布于城市各个车站、码头、旅馆、网吧等场所的摄像机，采用人脸识别技术，实现过往人员的非接触式捕捉、识别与监控。同时，通过系统共享人像库信息，加强跨警种、跨部门的人员信息资源的整合和综合利用。有效的提升公共安全领域中特殊人群监控、恐怖分子布防、涉案人员追逃等人员的追踪能力，对社会治安管理、刑侦分析、反恐维稳起到积极的作用，并可应用于工业园区、企业核心区域等。

以中科云丛公司 “火眼”人脸大数据平台为例，该平台以接入一个城区的重点出入口、重点路口及辖区重点场所进行人脸封锁，形成“控点——连线——锁区——封城”的一整套以人脸识别为核心，深度结合公安业务实战的“打”、“防”、“管”、“控”的立体化社会治安防控体系。每日采集数据超过100万张人脸照片数据。可通过“火眼”进行基于地图的抓拍检索，重点布控，轨迹分析，人脸大库比对等多种业务实战手段破获偷盗案，对于辖区重点上访人员、重点前科人员进行人员检索、基于电子地图的轨迹分析等有效管控，对于辖区常住人口、陌生人员进行人脸大数据分析，可为公安提供辖区人员管理的大数据分析，同时可应用于工业领域研发、制造等核心区域技术、信息、创意的保护。

5 结论及未来工作

现有众多人脸识别技术绝大多数都是已有的研究成果，多为单层同构神经网络，本文提出双层异构深度神经网络模型，有效的在跨场景、不利条件下能有效对跨场景图片处理，最终得到可以进行比较的人脸图片。在人脸识别技术大发展的今天，很多关键技术取得了突破，但深度学习的理论性还需要加强，模型还需要进一步优化，只有不断迭代优化，取得进步，基于深度学习的人脸识别技术在社会生产生活中、工业领域得到更广泛的应用。

[1] 林妙真. 基于深度学习的人脸识别研究[D]. 大连: 大连理工大学, 2013.

[2] 马晓，张番栋，封举富. 基于深度学习特征的稀疏表示的人脸识别方法[J]. 智能系统学报，2016,11(3)279-286.

[3] 吴国文，李旭. 基于深度学习的人脸识别算法分析[J]. 网络安全技术与应用，2017(2):70-72.

[4] 吴迪，唐勇奇，林国汗，等. 基于显著性局部定向模式和深度学习的鲁棒人脸识别[J]. 光电子·激光, 2016(6):655-661.

Research on key technologies of face recognition based on double layer heterogeneous depth neural network model

LI Jin1,2, ZHOU Xi3, ZHOU Xiang3, JIAN Yi3
(1 China Mobile Group Design Institute Co., Ltd., Industrial Informatization Laboratory, Chongqing 400042, China; 2 China Mobile Network Planning and Design Optimization Research and Development Center Industrial Informatization Laboratory, Chongqing 400042, China; 3 CloudWalk Technology Co., Ltd., Chongqing 401142, China)

With the rapid development of artif i cial intelligence, face recognition technology has been widely used in the social and industrial fi elds. But the traditional face recognition technology has low recognition rate, slow recognition speed and very high environmental requirements. Therefore, it is urgent to innovate the method. This paper aims to study how to deep learning algorithm in face recognition field, by constructing a double heterogeneous depth of the neural network model, simulation of neural network learning, the use of CNN and DBN and many other models make the computer gradually learn to recognize image features based on a large number of data and human face, and in-depth study of the key technologies of face recognition, and the recognition rate to improve the robustness of face recognition technology.

face recognition; deep learning; double layer heterogeneous deep neural network

F403.6

A

1008-5599（2017）06-0024-06

2017-05-16