活体识别领域的专利技术综述

郑岩 张莹 杨红武

摘要：本文对活体识别技术领域的全国专利申请状况进行了统计分析，并重点研究了国内活体检测技术的发展路线，通过对活体检测专利技术的发展脉络分析整体上了解了活体检测技术的整个发展周期，期望本专利综述能够帮助本领域技术人员把握活体检测技术脉络，快速准确定位检索要素、提高检索和审查效率。

关键词：活体识别;专利综述

中图分类号：TP391 文献标识码：A 文章编号：1003-5168（2020）09-0146-07

1 活体识别技术概述

欺骗攻击是试图使生物识别系统认定非法申请人为合法的注册人员以获取权限而通过验证。为了抵御欺骗攻击，在生物识别系统中添加验证生物特征持有者是否合法的步骤，其目标是找出合法生物特征持有者与死体、假体等非法生物特征持有者的区别，我们称之为活体识别。

活體识别方法可以分为两类：基于行为特征的活体识别方法和基于物理特征的活体识别方法[1]。基于行为特征的活体识别方法，可以分为基于手势特征的活体识别，基于头部行为特征的活体识别以及基于声音特征的活体识别;其中基于头部行为特征的活体识别可以分为基于面部表情的活体识别和基于头部晃动的活体识别[2]。基于物理特征的活体识别方法，可以分为基于皮肤电特性的活体识别，基于纹理特征的活体识别，基于皮肤弹性特征的活体识别，基于皮肤汗液分泌特性的活体识别，基于人体热辐射特征的活体识别，基于头部三维特征的活体识别，基于瞳孔光敏特性的活体识别，基于心脏跳动特征的活体识别[3];其中基于人体热辐射特征的活体识别可以分为基于手指体温的活体识别，基于静脉特征的活体识别，基于面部温谱图的活体识别;其中基于心脏跳动特征的活体识别可以分为基于脉搏特征的活体识别，基于心电图特征的活体识别。

2 活体识别的专利技术概述

为了研究活体识别技术的专利发展情况，本文结合实际审查工作，采用专利检索数据库CNABS和VEN数据库，通过关键词、追踪检索、块检索、转库检索等检索策略，并对数据库进行数据采集、清洗、建立数据库，利用Patentics对该领域的专利申请数据进行统计分析并生成可视化图表。本次专利分析的检索数据包括截止到2019年6月27日公开的专利申请。

2.1 中国专利申请量趋势分析

图1为活体识别技术的专利申请趋势图，第一件活体识别相关的专利申请于2001年，截止到2014年，我国的活体识别技术一直处于缓慢发展的阶段，专利申请量还不大，该阶段我国活体识别还处于起步阶段。自2014年起，关于活体识别技术的专利申请量大幅度增加，技术生长呈现上升趋势，从2014年的43件上升到2018年的355件，2018年至2019年专利申请量出现下降，这是由于仅有上半年数据以及部分申请尚未公开。预计2019年后，这一上升态势将会持续保持。

2.2 全国重要申请人分析

图2示出了国内不同申请人专利申请量的比重，其他申请人占比73.59%，说明活体识别领域的技术没有被某个企业垄断，图3示出了国内主要申请人的申请量，北京旷视科技格外注重专利布局，活体识别领域内申请的专利数量为66件，占专利申请份额的5.45%，研究实力大大领先于其他竞争企业。广东欧珀电子工业在活体识别领域内申请的专利数量为42件，占专利份额的3.47%，仅次于北京旷视科技。阿里巴巴，中国平安保险，腾讯科技，中国科学院，百度在线网络技术，深州市汇顶科技，在活体识别领域内均有一定数量的专利申请，以上数据表明国内企业在活体识别领域内竞争较为激烈，具有一定的市场竞争力。

2.3 国内主要申请人不同年份的申请量

图4示出了国内主要申请人不同年份的申请量，其中中国科学院和清华大学对活体识别的研究具有连续性，国内大部分申请人对活体识别领域的研究主要集中在2013—2018年，其中北京旷视科技对活体识别领域的研究始于2015年，并且2015—2018年一直在持续进行研究，广东欧珀电子工业对活体识别领域的研究始于2015年，并于2017年达到高峰期，阿里巴巴对活体识别领域的研究始于2014年，并且在2014—2018年来一直在持续进行研究。

2.4 国内重要申请人的发明人

图5-6示出了北京旷视科技和广东欧珀电子工业的第一发明人的申请量，其中北京旷视科技中其他人的申请量为24件占比36.36%，占有量最多。其次是范浩强，他的申请量为16件占比为24.24%，表明北京旷视科技中活体识别的技术分布在大多数人中。其中广东欧珀电子工业中的周海涛、周意保、唐城和张海平的申请量占比分别为23.81%、19.05%、14.29%和14.29%，共占比71.44%，表明广东欧珀电子工业中活体识别的技术主要掌握在周海涛、周意保、唐城和张海平等人中。

2.5 国内专利IPC分布

图7示出了国内专利申请的IPC分布，涉及活体识别技术的相关申请中，IPC分类最多的小类G06K涉及数据识别、数据表示、记录载体和记录载体的处理。另外，G06F涉及点数字数据处理，A61B涉及诊断、外科和鉴定，G06T涉及一般的图像数据处理或产生，G06Q涉及专门适用于行政、商业、金融、管理、监督或预测目的的数据处理系统或方法，G07C涉及时间登记器或出勤登记器，由此可见，利用活体识别技术进行数据处理、鉴定、出勤登记等是该领域下研究的重点和热点，H04L、G06N、H04N等涉及数字信息的传输、基于特定计算模型的计算机系统、图像通信等在上述国内IPC分布中仅占有少量比重。

3 专利技术发展路线

活体检测领域的技术分支为基于行为特征的活体识别和基于物理特征的活体识别两个技术分支;其中物理特征包括瞳孔光特性、纹理特征、人体热辐射、肤色信息、血液流动、人脸三维特征、脉搏特征、攻击特征、心跳特征等，其中行为特征包括眨眼运动、调整视线方向、张闭嘴运动、唇形特征、眉毛运动、头部运动、皱纹运动等。

3.1 基于物理特征的活体识别

3.1.1 基于瞳孔光特性的活体识别。与其它的生物特征相比，虹膜具有三个显著的优点：唯一性、稳定性和非侵犯性，虹膜识别的准确率是各种生物特征识别中最高的;但是同传统的安全防范方法（如密码等）一样，基于虹膜的生物特征识别技术也有被伪造和窃取的危险，因此为了提高虹膜识别技术的防伪性能，中国科学院自动化研究申请了专利CN1426760A（公开号），该专利通过判断正常的瞳孔一直处于这种不停的缩放状态，同时，当光线强时，瞳孔缩小，光线弱时，瞳孔放大以及通过计算虹膜图像中瞳孔区域内高光点的面积等辨别是否活体虹膜。为了解决上述专利中存在的活体识别准确率低的问题，清华大学和大唐电信科技股份有限公司申请了专利CN105139006A（公开号），该专利通过对屏幕亮度信息和用户的瞳孔收缩状态信息进行分析，获取相关系数，相关系数大于等于阈值时确定用户为真人，该专利提高了人脸检测设备的智能性，使人脸检测设备能够快速、高效的进行活体识别，提高了活体识别的准确率，同时达到了减少人力损耗的目的。为了解决上述活体检测会给用户带来不适的问题，阿里巴巴集团控股有限公司申请了专利CN108537111A（公开号），该专利在向用户展示预设图像后，可以通过采集用户的人脸图像，从该人脸图像中确定出该用户的人眼图像中包含的待验证图像，进而根据该预设图像以及该待验证图像，对该用户进行活体检测，该专利即可在用户观看预设图像的过程中，利用人体的特性对用户实施自然、无感知的活体检测，从而给用户带来了极大的方便。

3.1.2 基于模板特征的活体识别。对于基于模板特征的活体识别方法，该活体识别的方法是根据提取的特征与模板特征进行比对，进而确定是否为活体，其中模板特征包括脉搏特征、攻击特征、热图特征和视差特征等。传统的活体判别技术，通常需要在实际应用场景中结合一定的交互，如摇头、眨眼等，通过脸部某一点的位置移动来区分真人和照片;然而，这种传统的活体判别需要用户交互，只有用户按照提示做出正确的交互后，才能通过活体检测，导致检测率低;因此为了不需要用户做额外的交互动作且能够提高活体识别的检测率，腾讯科技（深圳）有限公司申请了专利CN106570489A（公开号），该专利根据人脸区域的光照强度，计算每一帧人脸图像对应的脉搏特征，建立脉搏特征曲线，将脉搏特征曲线与预存标准非活体脉搏特征曲线进行对比，若特征值相差超过预设特征阈值，则判定采集到的是活体人脸图像。为了进一步可以更有效地防御面具、照片、翻拍或电脑合成等针对活体人脸识别的攻击，北京旷视科技有限公司和北京小孔科技有限公司申请了专利CN106599872A（公开号），该专利根据包括攻击特征的特征区域的图像的数量，判断人脸图像是不是活体人脸图像，其中攻击特征包括毛孔缺失、皱纹缺失、阴影缺失、非自然反光、活体人脸无法做出的肌肉动作、马赛克、锯齿和摩尔纹中的一种或其组合。为了进一步使活体检测的方法操作简单，北京旷视科技有限公司和北京小孔科技有限公司申请了专利CN106650666A（公开号），该专利根据采集到的脸部热图以及脸部期望热图的比较，确定待检测对象是否为活体。为了进一步能够使用单摄像头进行活体人脸检测，维沃移动通信有限公司申请了专利CN109241832A（公开号），该专利获取摄像头在第一高度位置采集的第一图像以及在第二高度位置采集的第二图像;其中，第一图像与第二图像均包括目标人脸对象的人脸图像;获取第一图像与第二图像间的视差信息;根据该视差信息，确定目标人脸对象是否为活体，该专利准确的区分出所识别的人脸对象是否为真人，提升了人脸识别的准确度，进而提高了人脸解锁的可靠性及安全性。

3.1.3 基于人脸三维特征的活体识别。在常见的通过人机交互，要求活体人脸摇头、眨眼以及嘴巴张开闭合进行活体检测的方法中，需要可靠和稳定摇头检测和张嘴闭嘴、张眼闭眼检测算法;当活体人脸运动时，摄像机捕获到的图像可能比较模糊，此时上述算法可能会失效;而在一些测试中还发现，利用平板电脑快速切换眼睛和嘴巴的张开闭合照片，快速切换人脸左右摇头照片，也有很大的概率使上述活体人脸检测算法失效;此外，假冒攻击者通过录制对应的摇头、眨眼和嘴巴张开闭合的视频，通过平板电脑快速切换播放相应的视频，也能实现假冒攻击的目的;最后，这种常见的人机交互防范假冒攻击的算法，要求人脸有意识的进行配合，同时配合程度要求比较高。一旦人们不能理解或者做出的动作不够规范（如眼睛、嘴巴不能完全闭合;眼睛、嘴巴 张开的不够大;将摇头理解成为摆头或者其它动作），那么活体人脸就很容易被认定为假冒攻击。因此为了使人脸活体检测不依赖于用户动作配合且能够有效防范常见的视频和照片假冒攻击，北京海鑫科金高科技股份有限公司申请了专利CN104834901A（公开号），该专利根据第一和第二摄像头采集的人脸视频数据，判断人脸处于第一和第二摄像头的预设共同视野范围内时，生成人脸图像深度图，通过预设三维结构分类规则，判断人脸图像深度图构成人脸三维结构图时，提示人脸为活体人脸。为了提高三维人脸检测结果的精确度、鲁棒性和稳定性，北京天诚盛业科技有限公司申请了专利CN105740778A（公开号），该专利在三维人脸图像中选取多个特征点，并获取每一个特征点的邻域内各点的三维坐标信息，根据每一个特征点的邻域内各点的三维坐标信息计算每一个特征点的实际曲面曲率，根据每一个特征点的实际曲面曲率判断三维人脸图像是否来自于活体。为了降低三维人脸活體检测的成本，北京旷视科技有限公司和北京迈格威科技有限公司申请了专利CN108875468A（公开号），该专利基于不同角度的第一图像和第二图像构建被测人脸的三维信息;在确定三维信息与真实人脸的三维形状相匹配的情况下，提示活体检测成功，该活体检测方法能够基于不同拍摄角度的人脸图像进行活体检测，降低活体检测的成本，简化活体检测的判断流程，提高活体检测的判断效率，提高基于人脸识别的身份验证系统的安全性和可靠性。

3.2 基于行为特征的活体识别

3.2.1 基于眨眼运动的活体识别。传统的活体检测中的基于行为特征的活体识别大致可分为用户配合和盲检测两种方法。用户配合的方法要求用户按照系统的提示做一些特定的动作，例如嘴型变化、头部转动、表情变化等;系统比较用户的反应是否与预期相符合，若符合则判断为活体，否则判断为照片;用户配合的检测方法的优点是确保活体，缺点是暴露了系统活体检测的判断依据;另外，用户配合的检测方法要求用户按照提示做一系列的动作，容易使用户产生厌烦情绪，降低了系统的友好性;盲检测的方法不需要用户配合，是在用户不知情的状态下进行活体检测;盲检测方法的优点是隐蔽性强，安全性高，缺点是可以稳定有效利用的活体特征较少;例如，眼睛眨动是盲检测方法常用的活体特征。鉴于盲检测的优点，浙江大学申请了专利CN101216887A（公开号），该申请是通过人脸位置检测，截取人脸图片并定位出眼睛中心;截取眼部图像，作归一化处理，计算眼睛的开合程度，建立用于判断眨眼动作的模型，处理视频中每一帧图像，基于模型判断是否存在眨眼动作，完成活体识别。根据统计，人眼平均2到4秒才眨动一次，而且，长时间不眨眼的人也不少，因此，为了诱发用户在无意识的状态下产生眨眼动作，中山大学申请了专利CN101908140 A（公开号），该专利通过系统给出误导性提示信息，Adaboost检测人脸、人眼区域，差分灰度投影精确框定人眼眼眶，计算相邻两帧眼睛光流场，由光流计算的结果得到像素运动幅值，计算幅值足够大的点数占整个图像点数的比重，若占到相当大的比例则判断此时人眼区域发生了较大的运动，说明为活体，否则为照片。为了解决传统闭眼分类器的性能难以满足需求，例如有人眼睛较小或有人眼睛无法完全闭合等，和眨眼检测难抵抗基于视频的虚假人脸攻击，上海依图网络科技有限公司申请了专利CN104794464A（公开号），该专利根据关键点获取眼睛的区域;判断连续多帧图像中区域的属性变化值的规律是否符合真实人脸的变化规律，其中属性变化值为上下眼皮间的距离变化值;该专利采用属性变化信息进行活体人脸检测，相比现有技术，在性能上有明显提升，可以满足如眼睛较小或眼睛无法完全闭合等场合的需求。

3.2.2 基于多个行为动作的活体识别。一般而言，活体人脸检测面临着三种欺诈手段：使用合法用户的照片，使用合法用户的视频，使用合法用户的三维模型。其中，使用合法用户的照片欺诈是最常见的一种方式，原因在于一个人的脸部图像是非常容易获取的，比如，通过互联网下载，通过摄像头在合法用户不知情的情况下抓拍等;入侵者可以通过人脸图像在图像采集设备前旋转、翻转、弯曲、摇摆等手段造成一种类似于合法用户真人的效果去欺骗生物识别认证系统;并且，目前来看，检测一张输入的图像是来自真实人脸或者是照片人脸依旧是一件非常有挑战性的工作。视频欺诈是另外一种对于人脸识别系统具有很大威胁的手段，这种手段呈现出的效果和真实人脸的效果非常相似，而合法用户的脸部视频可以通过其面前的针孔摄像头获取;并且这种方法具有很多特征，如头部运动，脸部表情、眨眼运动等;这些特征是照片所不具备的，正因为如此，这种欺诈手段也是对活体检测系统威胁最大的一种。三维模型具备人脸的三维信息，然而这些信息是刚性的，并且是缺少生理信息，并且要仿造一个活人的三维模型是非常困难的。所以，照片欺骗和视频欺骗是攻击活体人脸检测系统最常见，最普遍的手段和方法。因此为了验证当前图片或视频序列中出现的人脸是否是具有生物活性特征的人体，湖北微模式科技发展有限公司申请了专利CN103440479A（公開号），该专利通过预先保存动作集，包括但不限于：眨眼、扬眉、闭眼、瞪眼、遮挡眼睛、遮挡鼻孔、微笑、笑脸、 伸舌头、触摸下巴等;从拍摄的视频序列中获取图像;在视频图像中检测人脸，如果检测到人脸，则确定人脸的位置和大小;通过关键区域检测器对检测到的人脸的面部关键区域检测定位;判断当前检测到的人脸图像是否为正面人脸;如果是正面人脸，随机选择动作集中的一种或多种动作，同时随机选择一种或多种动作完成的次数，并提示用户;通过动作检测器检测用户所做动作，若用户在指定时间内完成随机选择的动作和完成次数，则判定为活体;否则，判定为非活体。由于上述专利仅仅通过在客户端给用户下发随机挑选的动作来进行活体检测，因此存在其随机性能不佳导致随着攻击频率的增加容易被破解的问题。为了解决该问题，平安科技（深圳）有限公司申请了专利CN109684800A（公开号），该专利通过在接收到终端发送的业务办理请求时，根据所述请求随机生成提示信息，并将所述提示信息发送至所述终端，所述提示信息包括待检测动作和待回答问题对应的提示信息;当接收到所述终端反馈的动作信息和问题答复信息时，判断所述动作信息和问题答复信息是否均满足检测通过条件，其中，所述检测通过条件包括所述动作信息的动作特征和所述待检测动作的动作特征匹配，以及所述问题答复信息和所述待回答问题的答案匹配;当所述动作信息和问题答复信息均满足所述检测通过条件时，完成活体检测;该专利以待检测动作和待回答问题的组合式活体检测方式极大提升了活体检测的随机性能，使活体检测具备更好的防御攻击的能力。

4 小结

对于基于物理特征的活体识别，基于瞳孔光特性的活体识别，友好性差，但是可以有效抵御照片欺骗和视频欺骗;基于模板特征的活体识别，硬件开销大，但可以针对的防御某种攻击;基于人脸三维特征的活体识别，运算复杂度高，但是能够简化活体检测的判断流程。对于基于行为特征的活体识别，基于眨眼运动的活体识别，能够在用户不知情的状态下进行活体检测，隐蔽性强，安全性高，但是如何进一步提高抵抗基于视频的虚假人脸攻击的性能，将是未来的研究发展方向;基于多个行为动作的活体识别，能够提高活体识别的检测率，但是如何进一步提高多个动作的随机性能，使活体检测具备更好的防御攻击的能力，应该是未来的研究发展方向。

参考文献：

[1] 陈曦等.生物识别中的活体检测技术综述[A].Proceedings of the 34th Chinese Control Conference[C]，2015：3797-3804.

[2] 蒋方玲等.人脸活体检测综述[J].自动化学报，2019（4）.

[3] 陈宁钰.人脸活体检测综述[J].信息与电脑，2019（8）：108-109，112.