基于人脸—虹膜融合的身份鉴定在公安系统中的应用

●吴 凯

一、人脸识别的发展及其在公安系统的应用

人脸识别是目前最常用和最主要的生物特征身份识别技术之一。学术界对人脸识别相关问题的研究已然趋近成熟，当前研究正关注于消除化妆、表情、姿态、光照及年龄变化等对人脸识别的影响。在工业和产业界，人脸识别技术应用在近几年取得了飞速发展，特别是自2014年深度学习应用于人脸识别后，基于深度学习的人脸识别系统超过了人识别脸的精度。国际和国内均出现了一批优秀的人脸识别科技公司，为公安、银行、安防等多行业提供人脸识别身份认证解决方案。

从人脸识别的算法发展角度看，人脸识别技术的主要发展过程经历了几何特征、特征脸、人工设计特征、基于深度网络学习特征的多个算法阶段。文献提出的基于几何特征的人脸识别，识别出面部特征点，通过测量特征点之间的相对距离描述每个面部特征矢量特征。基于PCA的人脸识别方法有多种研究和应用。局部二值模式（LBP）是最为典型和常用的人工设计特征之一，可用于人脸检测和识别。近期的人脸识别算法主要基于深度卷积网络，对于网络结构、损失函数、人脸图像生成、训练方案有大量研究。从人脸生物特征获取的角度看，传统的人脸识别技术主要是针对可见光人脸图像进行，少量研究基于近红外图像采集人脸图像进行识别。为解决黑暗环境中的识别，星光级相机被研发用于微光环境下的人脸识别。苹果公司的iPhone率先采用结构光三维人脸识别，极大推动了三维人脸识别技术的发展。

近几年，人脸识别技术在公安行业已开始广泛应用，应用主要有几种类型：一是实时的布控预警，即通过视频监控前端采集视频，实时以人脸识别技术实现对重点人员的检测预警；二是实现人证合一的人员身份核查，即通过人脸识别技术实现人员和人员所持身份证的比对；三是事中或事后人员身份核查，首先通过身份证脸像，通过警用智能终端或系统上传目标人脸图像，后端从海量的人脸数据库中寻找匹配的人脸图像及其关联的身份信息。当前的难度在于不同业务形成的人脸数据质量有较大差异，如何实现多源复杂人脸数据的高精度识别，实现数据的高效利用仍需技术和标准工作的继续深入。

二、虹膜识别的发展及其在公安系统的应用

虹膜是人眼中瞳孔和巩膜中间的环形区域，虹膜识别技术以精度高、比对速度快、防伪能力强、非接触采集等优点，成为其它生物识别技术的重要补充，是最具前景的识别手段技术之一。虹膜识别技术的核心步骤是使用模式识别、图像处理等方法对虹膜特征进行描述、匹配和分类，从而实现自动的人员身份认证。

完整的虹膜识别系统由虹膜图像采集装置和虹膜图像分析算法两部分构成。最早的虹膜识别算法可追溯至1993年，由剑桥大学的Daugman博士提出，主要使用积分微分算子进行虹膜边界的定位和Gabor相位方法提取虹膜特征。后续虹膜识别研究越来越深入和细致，分割虹膜区域的主流方法有模型拟合法、能量最大化推拉实现虹膜区域分割、基于深度学习的像素级分割方法等，虹膜识别特征提取的主流方法有相关滤波器、定序测量特征、深度网络特征等。虹膜图像采集的质量和方便性直接决定了虹膜识别系统的性能和用户体验，虹膜光学成像是虹膜识别的瓶颈技术。传统的虹膜图像采集系统大多采用低分辨率和窄视角的镜头，现阶段可实用虹膜图像采集系统的工作距离有所扩展，但仍在1米以内，中远距离虹膜成像技术的相关研究仍在进行中。

虹膜识别的特点与警务应用中对人员的精准筛查与快速识别需求不谋而合，在公安监管场所、执法办案场所或派出所、移动警务街面盘查核录、特殊场景隐蔽式识别、大型活动或会议安全保卫、旅店等社会单位身份识别、公安社会化服务等领域将会出现越来越多的虹膜系统应用。自2019年2月，公安部下发《全国刑侦信息专业应用系统虹膜身份核查子系统建设与管理指南（征求意见稿）》和《全国刑侦信息专业应用系统虹膜身份核查子系统建设方案（征求意见稿）》，明确提出虹膜识别核查子系统的建设要求及建设周期，虹膜识别技术在公安行业的应用布局有序启动开展，从大规模虹膜数据库开始，逐步形成大规模应用的架构体系和服务技术方案，实现多种类型的应用试点。逐步形成与人脸识别应用功能相似的应用模式，一是实时布控预警，二是事中或事后人员身份核查。虹膜识别暂不涉及人证合一核查应该模式。

三、虹膜与人脸的互补性

被公认可用于身份认证的生物特征本身具有区分个体的特性，但由于受到采集、环境、遮挡、用户习惯或不配合等因素影响，不同的生物特征显现出不同的优势和特点。人脸特征和指纹特征采集容易但容易受到影响，DNA信息准确度高但获取困难，虹膜特征获取难度和稳定性适中。人脸识别和虹膜识别均使用视频或者图像采集的方式采集，对图像进行分析提取特征并完成比对识别，笔者主要讨论人脸和虹膜两种生物特征融合的身份识别。

（一）人脸识别的特点

1.人脸识别的优点：

（1）人脸识别与其他生物识别方式相比，优势在于自然性、不被察觉性等特点。人脸识别知识对人脸进行拍照取样的过程，对受鉴定的人不会造成什么损害，数据录入快捷迅速。

（2）人脸识别技术不要受鉴定的人强制性的接受拍照检查，可以通过其他视频录入设备进行分析调查，存在着一定的方便性和隐秘性。

（3）人脸识别技术通过算法可以快速有效的实现多个个体的身份鉴定，提升了身份鉴定的效率。

2.人脸识别的缺点：

（1）人脸识别技术对视频图像质量有一定的质量要求，如人脸要正对摄像机才能实现对人身份的有效鉴定。人脸的外形很不稳定，人可以通过脸部的变化产生很多表情，而在不同观察角度，人脸的视觉图像也相差很大。人脸识别还受光照条件、人脸的很多遮盖物、年龄、拍摄的姿态角度等多方面因素的影响。

（2）由于不同个体之间的人脸特征区别不大，误识风险相对较高。所有的人脸结构都相似，甚至人脸器官的结构外形都很相似，例如双胞胎靠脸部特征识别的难度非常大。

（3）人脸识别技术容易被有意识的屏蔽或者哄骗。如脸部的遮挡物，或者有意识的避开信息收集设备。人脸识别一般采用可见光摄像机采集人脸图像，容易受到伪造物的攻击，伪造尝试成本低廉，不利于系统安全性。

（4）基于三维人脸图像的人脸识别基于特殊的采集设备，且成像计算开销大，对推广具有负面效果。

（二）虹膜识别的特性

1.虹膜识别的优点：

（1）虹膜具有唯一性，虹膜纹理的细节特征是由胚胎发育环境的随机因素决定的，这种纹理细节的随机分布特性为虹膜的唯一性奠定了生理基础。即使双胞胎、同一人左右眼的虹膜图像之间也具有显著的差异。

（2）虹膜具有稳定性，虽然一些医疗和外科手术可以影响虹膜的颜色和整体形状，但虹膜的精细结构在术后几十年里仍然非常稳定。

（3）虹膜识别不需要物理接触，虹膜是一个外部可见的内部器官，虹膜采集是拍照方式，避免了疾病的可能的接触传染。

（4）虹膜是一个内部器官，一般不会受到损害和磨损，由外部物理接触而导致虹膜改变的概率十分小，具有高准确性。因为人对视觉的要求，虹膜一般不会被遮蔽，在清晰的隐形眼镜、眼镜和非镜像太阳镜下仍然可以正常工作。

2.虹膜识别的缺点：

（1）普通的相机无法采集到清晰的虹膜纹理，虹膜纹理在可见光下呈现不明显，需采用近红外光的配合和特殊的虹膜摄像机，设备成本相对高，推广难度大。

（2）虹膜识别的精度受到图像质量的影响较大，为保证虹膜图像质量，虹膜生物特征的获取较为严格，用户体验感较差、易用性较低。

（3）虹膜面积很小，要采集到可识别的虹膜图像难度较高，要保证对一定范围的用户高效采集识别难度很高，对于超过几米的远距离用户识别难度更高。

（4）传统的虹膜识别仪通常不具备自动调焦或者自动云台，对于不同身高不同距离的用户很难自动适应，需要用户的配合。新一代的虹膜识别设备具备自动调节捕捉用户虹膜的功能，但会给成本较高的虹膜识别设备造成额外的成本。

（5）虹膜受到眼皮保护，较难伪造，但虹膜识别系统仍然有被攻击哄骗的可能性，例如，佩戴有纹理的美瞳眼镜、义眼、玻璃眼球、部分打印图像、以及多种攻击手段复合的攻击方法等。

（三）多模态融合的优越性

由于单项生物特征识别技术有其固有而难以克服的缺点，任何基于单项生物特征的身份识别系统都无法完全满足公安系统身份管理的实际应用要求。多生物模态融合使用是必然的选择，公安行业也已经把多种生物模态纳入身份管理的应用中，同时也正在探索多模态互补的高效融合协作模式。

美国西弗吉利亚大学的Ross等人2006年出版了第一本多模态生物特征识别专著。根据生物特征融合的层次各种分类器融合方法可分为数据层融合、特征层融合、匹配层融合和决策层融合。其中，数据层融合研究和应用均较少；特征层融合是对不同的生物特征经各自的前端处理后，将各生物特征分别得到的初始特征向量进行融合处理，转化成更高维的融合特征向量。特征层融合可利用的信息量最大；匹配层融合是对多个生物认证系统的匹配输出分数，采用适当的融合策略进行综合得到结果，实现难度相对小；决策层融合是在各分类器单独决策后按一定规则得出最优决策。现阶段，匹配层和决策层融合比较适合实际情况灵活应用。常用的多模态生物特征融合策略有加权平均、神经网络、Fisher可分性分析、Bayes融合、基于Neyman-Pearson准则的决策融合、基于Dempster-Shafer证据理论的融合方法等。

人脸与虹膜融合的身份识别，可有效克服单一生物特征存在的缺陷，在出现一种生物特征不适于识别的情况下，由另一种生物特征得到补偿，使识别系统保持高效运作，为实际应用奠定了坚实的基础。文献提出采用匹配层融合，对人脸与虹膜两种生物特征分别进行特征提取，并通过各自的分类器得到相应的匹配输出后，利用融合策略将两种匹配输出进行综合处理，获得最终的结果。

四、“人脸—虹膜”融合身份认证平台

我国已经确定在第二代身份证和电子护照中嵌入生物特征信息，这些身份证件在教育、社保、金融、通关、电信、交通、旅游等领域的广泛应用离不开国家级生物识别基础设施平台的支撑。研究自主知识产权的超大规模生物识别应用系统体系架构具有重要性和紧迫性，为我国相关项目例如新一代社保卡、第三代身份证、电子护照的生物特征比对奠定基础。

为充分发挥人脸识别和虹膜识别融合识别的互补优势，设计适用于公安行业的人脸和虹膜融合身份认证平台，融合身份认证平台既可基于已有的人脸或者虹膜识别身份认证平台改造，也可是完整设计建设的多模态生物特征识别身份认证平台。多模态生物识别系统包括分布到各应用的前端采集设备（包括人脸及虹膜采集识别一体化设备、人脸采集识别设备、虹膜采集识别系统）、多模态生物特征识别统一服务平台、人脸和虹膜数据库、以及各种具体落地应用。

1.体系架构和建设模式。体系架构与建设模式是大规模生物特征识别公安应用的顶层设计，首先需要梳理公安应用对多模态生物特征识别的各项应用需求，深入了解已经形成的生物特征识别体系架构和应用模式，设计并构建与公安已有架构和平台相适应的全局层面的多模态融合应用体系架构，形成人脸与虹膜相互支撑补充的公安行业格局。

2.应用场景。多模态生物特征识别应用与人脸识别和虹膜识别的应用场景相似，包括实时布控预警、人证合一的身份验证、以及多用途的人员身份核查。多模态融合的实时布控预警比单一的人脸识别或者虹膜识别具有更广泛的应用场景，实现易用性和准确性的互补。对于安全性要求相对低、通过效率要求高的布控场景，人脸或者虹膜二者比对任意一项即可；对于安全要求高的布控场景，要求人脸和虹膜同时比对完成。人证合一的身份验证仍然是通过人脸比对，通过人脸识别技术实现人员和人员所持身份证的比对，在合规情况下可在人脸身份认证时进行虹膜的采集、标注和入库，在已有身份证人脸数据库基础上快速建成与已有身份证信息数据库关联的虹膜生物特征数据库。在实时性要求相对低的多用途人员身份核查中，多模态融合可发挥更充分的作用。

以刑侦应用为例，由于信息的不完全和随机性，某一种生物特征的采集具有随机性，多种生物特征模态均可被用于嫌疑人或被害人的身份认证和识别。传统的融合应用方式基本由人工分析判断完成，每种生物特征的识别分别进行，多种生物特征识别结果的分析、佐证和综合由人完成。新一代公安多模态生物特征识别中，多种生物特征融合平台的方法、策略及后处理可形成服务及可定制的服务流程。针对不同任务进行人脸和虹膜图像的有效采集，筛选满足质量要求的图像用于多种比对任务，配合任务驱动的人脸及虹膜识别技术，实现多场景多设备的多源异构生物特征数据精准识别，达到单一生物特征无法达到的识别性能。

五、结语

在复杂的实际公安应用环境下，利用多种生物特征的融合识别来提高身份识别可靠性是目前的研究热点和发展方向。人脸和虹膜均是人脸部区域的生物特征，均采用摄像机采集的方式识别，融合使用这两者进行身份鉴别具有自然性。通过可见光相机和近红外相机同时采集人脸和虹膜图像，可有效提高系统的通过率、准确性和安全性。通过融合发挥人脸识别和虹膜识别的互补优势，可显著提升对大规模人群的身份管理能力和效率，特别适合公安行业对于身份鉴别的高要求。