人脸识别应用活体检测技术研究

■ 文/公安部第一研究所 宛根训 田青 朱红徽

北京市微技术研究所 葛利军

关键字：人脸认证 活体检测 动作活体 静默活体 深度学习

1 引言

人脸识别是基于人的脸部特征信息进行身份识别的生物识别技术。近年来，人工智能、大数据和云计算等新兴技术推动人脸识别技术快速发展，人脸识别开始在实名制管理、流程人员管理、卡口卡点人员核查和案件侦破等多个公安业务发挥越来越重要的作用。随着人脸识别在公安的广泛应用，各种针对人脸识别应用的系统攻击开始出现，照片攻击、视频攻击和3D 面具攻击等各类攻击方式对人脸应用安全带来了挑战，如何自动、高效地辨别非真实人脸攻击，确保系统安全已成为人脸识别应用迫切需要解决的问题。

人脸活体检测/ 人脸防伪（Face Anti-Spoofing）就是一种运用自动识别成像设备检测人脸图像是真实人脸或攻击人脸（包括照片攻击、视频攻击和面具攻击等）的手段和技术。活体检测可以为人脸识别应用增加安全性和可靠性，已成为学术界和工业界开始加强人脸防攻击技术的研究重点。本文将结合人脸识别在公共安全行业应用，对人脸识别活体检测技术应用展开研究。

表1 人脸识别系统应用面临的攻击

2 人脸识别活体检测技术原理

人脸识别应用活体检测技术按原理可分为四类：基于专用采集设备的人脸活体检测、基于图像纹理分析的人脸活体检测方法、基于用户交互的人脸活体检测方法和基于深度学习的人脸活体检测。

2.1 基于专用采集设备的人脸活体检测

专用采集设备的人脸活体检测可靠性高，但是需要增加额外设备辅助。专用采集设备人脸活体检测包括多光谱技术的人脸活体检测和光线人脸活体检测。

多光谱技术人脸活体检测方法主要基于多光谱技术（涵盖可见光光谱和近红外光谱）和人脸所特有的皮肤材质（表皮层和真皮层）特征。在多光谱光源的照射下，采集到的真实人脸材质和各种伪造人脸材质（照片、视频、面具等）会在特制摄像头中出现明显的差异。通过图像处理技术和机器学习方法对差异进行量化，利用深度学习模式，让计算机能够自主判断待检测样本是否为真实人脸，从而达到无人工监督的活体检测的目的。

光线人脸活体检测方法主要利用屏幕随机颜色变化的光在人脸上的反射回来后形成的3D 人像，结合后台的其他防攻击模型，通过物理学原理来完成活体检测，能抵御视频、高清4K 屏、模型等攻击，以苹果iPhoneX 和部分国产手机提供面部解锁为典型代表。

2.2 基于图像纹理分析的人脸活体检测

图像在采集过程中会损失一些信息，并伴随各种噪声，两次采集的图像与一次采集的相比，纹理上会有一定的差异。欺骗人脸图像与真实人脸图像的微纹理差异主要来源于图像的局部高光、阴影变化以及模糊程度，据此可对真假人脸进行判断。

基于图像纹理分析的人脸活体检测可基于单张人脸图像实现，首先找到活体与非活体攻击的差异，然后根据这些差异来手工设计特征，最后送给分类器去决策。基于图像纹理分析的人脸活体检测方法示意图如图1 所示。

图1 基于图像纹理分析的人脸活体检测方法示意图

2.3 基于人机交互的人脸活体检测

真实人脸具有多样性的运动特征，如眨眼、张嘴、表情的变化等，而欺骗人脸很难模拟这样的运动，可以通过分析人脸区域是否存在这样的运动来判断真假。基于人机交互的人脸活体检测主要通过对视频图像开展，利用视频序列图像的运动信息手工设计特征，进行决策，用户交互活体检测技术主要涉及到人脸检测、人脸特征点检测、人脸跟踪、动作判定等一系列核心技术。基于人机交互的人脸活体检测方法示意图如图2 所示。

图2 基于人机交互的人脸活体检测方法示意图

2.4 基于深度学习的人脸活体检测

活体人脸是一个很复杂的三维结构，每个角度的面部光的反射都是不同的，会产生不同的反射和阴影，而照片人脸是平面结构，与真实人脸存在差异。因此，利用基于深度学习经过多层卷积神经网络自动提取的特征，以数据驱动方式学习到的特征，有着手工设计特征无法比拟的优势，可以用来判别是真实人脸还是照片人脸，对于提高算法的鲁棒性和泛化能力有益。

基于深度学习的人脸活体检测流程如图3 所示，主要包含四个步骤：首先对数据集按真实人脸和攻击人脸分类，对真实人脸和攻击人脸这两类图片进行切割，并将数据集划分为验证集、训练集、测试集；其次将训练集样本进行预处理，将训练集图片进行随机的水平旋转，调整图片水平旋转的偏移幅度，使图片的数目和种类增多，达到对数据增强的效果；接着输入卷积神经网络进行训练和参数调优；最后使用Softmax 完全连接，获得的激活函数值是由卷积神经网络提取的图像特征。

图3 基于深度学习的人脸活体检测方法流程图

3 人脸识别活体检测应用分析

3.1 人脸识别活体检测应用流程

图4 嵌入人脸识别活体检测的人脸认证系统流程图

人脸识别的公安应用主要包含人脸认证、人脸查询和人脸监控三类，活体检测应用在人脸认证方面，带有活体检测的人脸认证流程如图4 所示。首先通过人脸活体检测模块对采集端获取的人脸图像进行判定；其次进行人脸检测和特征抽取，最后进行特征比对和结果认证。

3.2 人脸识别活体检测典型应用

人脸识别活体检测在公共安全领域的典型应用主要分为两大类：一是以便民服务为主的在线身份认证应用；二是以无人警局、检查站等为代表的实名身份核查类应用。

3.2.1 便民服务类应用

便民服务类应用主要基于手机、PAD 和电脑等个人终端设备开展，应用的活体检测包含用户交互的动作活体检测和静默活体检测两种。

3.2.1.1 用户交互动作活体检测

用户交互动作活体检测基于普通RGB 摄像头设计，在用户终端设备部署，通过动作指令与用户交互实现活体检测，即让用户配合给定的指令进行动作,如人脸左转、右转、张嘴、眨眼等,指令配合错误则认为是伪造欺骗，如图5 所示。

图5 用户交互动作活体检测

用户交互活体检测可以有效防范打印、翻拍等各类单张照片的攻击，通过随机动作指令和人脸离开检测框需重新开始等功能，能够防范照片切换、视频回放攻击。用户交互动作活体检测要求用户配合做动作，存在用户体验不佳等问题。

3.2.1.2 静默活体检测

静默活体检测技术主要利用真实的人脸与照片相比存在的一些细微表情特征进行活体判定，如眼皮、眼球的律动眨眼、嘴唇以及周边面颊的伸缩等，静默活体可以与语音、唇语等结合，通过多种特征融合提升活体检测能力。静默活体检测融合图像纹理分析和深度学习的人脸活体检测技术，通过手工设计纹理特征、颜色特征、频谱特征、运动特征、图像质量特征等物理特征或通过卷积神经网络（CNN）直接提取特征，结合训练的分类器来区分是活体或攻击。

图6 静默活体检测

如图6 所示，静默活体检测应用模式与动作活体检测不同，不需用户配合做动作, 只需正对摄像头几秒,即可完成整个检测过程。静默活体模型较大，一般部署在系统后端，需要通过前后台配合达到人脸活体防伪目标，但静默活体检测技术具有私密性保护好、用户体验佳等优点。

3.2.2 实名身份核查类应用

无人警局、检查站等为代表的实名身份核查类应用中，考虑到用户交互效率，多采用硬件设备辅助实现活体检测。硬件设备活体检测应用模式与静默活体检测应用模式类似，无需用户配合。通过辅助硬件设备，降低光线等干扰，采集真实人脸区别于攻击人脸特有的特征并设计专用分类器，实现高可靠、用户无配合活体检测体验。

“可见光+近红外”光电一体化的双目活体人脸检测目前在公共安全通道实名身份核查类应用广泛。双目活体人脸检测方案通过对不同光照条件下的人脸皮肤反射的光谱信息进行分类，对异质人脸图像进行判断，有效区别真实人脸皮肤和其他各类攻击人脸，可以高效地防止照片、视频、3D 面具等各类手段的攻击。

3.3 人脸识别活体检测优缺点对比

活体检测应用优缺点对比如表2 所示。

表2 活体检测应用优缺点

4 人脸识别活体检测应用探索

由于动作活体检测、静默活体检测和硬件设备辅助活体检测应用模式各有优缺点，融合不同活体检测技术优点，实现高效防范照片、视频和3D 面具等各类攻击，达到不同人脸识别应用多业务的统一接入，将成为未来人脸识别在公共安全应用的方向之一。

图7 活体检测平台架构图

本文设计实现的多方法融合的活体检测平台，能够实现对动作活体、静默活体和辅助设备活体多种模式的汇聚，通过多活体检测算法的接入，实现公安不同业务的支持，平台架构如图7 所示。前端提供Android、IOS、HTML5 等多类型SDK 实现活体接入，后台通过插件化管理，在实现多检测模式融合同时，方便后续技术升级达到最可靠活体检测目标。

5 结语

目前，基于多方法融合活体检测平台仍是一个阶段解决方案，需要在应用中不断完善。未来，随着深度传感器越来越多的应用于移动设备，基于通用摄像头的活体检测方案将逐步被硬件设备辅助活体检测应用模式替代，从而进一步提升活体检测准确度和用户体验感。