基于人脸融合的欺骗检测方法研究

摘要：在生物识别技术不断发展的今天，人们面临越来越多的恶意欺诈行为。因此，如何正确识别人脸图像和视频的真实性和完整性成为一个迫切需要解决的问题。文章介绍了相机捕捉到自然真实的人脸图像与计算机生成的人脸融合图像，通过相机传感器噪声模型得到SPN的不同，即这两种图像的SPN具有各自的唯一特性，以实现对人脸融合欺骗的检测。

关键词：生物识别技术;人脸识别;人脸融合欺骗;相机传感器噪声模型SPN;盲检测

中图法分类号：TP391文献标识码：A

Research on deception detection method based on face fusion

SUN Hailiang

（National Internet Emergency Center TianJin，TianJin 300000，China）

Abstract：With the continuous development of biometric technology， people are facing more and more malicious fraudulent means. Therefore， how to correctly recognize the authenticity and completeness of face images and videos has become an urgent problem to be solved. This paper introduces a detection method based on face fusion deception. Real face images are captured by cameras.Fused face images can be treated as computer generated images. Detection of face fusion deception can be converted into source identification of face images， that is， natural images and computer generated images. Facial fusion deception is detected by using camera sensor noise model （SPN） to identify whether it is a natural image. The method achieves good detection results.

Key words： biometric technology， face recognition， face fusion deception， camera sensor noise model SPN，blind detection

1引言

随着生物识别技术的不断发展，利用生物信息进行身份验证已是大势所趋。人脸识别因其自然、直观、易获取等特点而受到人们的重视。近年来，国内外因人脸欺诈引起的纠纷不断发生。通过使用合法用户的照片、视频或合成的人脸，可以很容易地对用户进行身份认证，从而对合法用户的利益造成严重损害。由于人脸识别系统中存在大量的恶意欺诈行为，因此如何正确识别人脸图像、视频的完整性和真实性，成为保障人脸识别系统安全、维护社会稳定的关键[1]。面对人脸识别系统的欺诈方式不断更新，如何正确识别人脸图像和视频的真实性和完整性成为一个迫切需要解决的问题，对提升人脸识别系统的安全性、维护社会稳定具有重要意义。

本文介绍了相机捕捉到自然真实的人脸图像与计算机生成的人脸融合图像，通过相机传感器噪声模型得到 SPN 的不同，即这两种图像的 SPN 具有各自的唯一特性，以实现对人脸融合欺骗检测。

2人脸识别的欺骗方式

人脸识别技术是一种通过人体面部从数字图像（或影像来源）中提取信息的一种生物识别技术。针对人脸识别的恶意攻击，按照类型可分为入侵式和非入侵式[2]。

入侵式一般是指在模板数据库以及传输信道等介质上对人脸识别进行恶意攻击，攻击者需要进入人脸识别系统内部，攻击方式为：（1）窃取用户储存于模板数据库中的人脸图像信息;（2）通过后门（backdoor）对训练后的特征提取器进行攻击;（3）对获取到的人体生物学特征进行篡改;（4）对人脸图像特征进行比照、伪造和修改，以入侵人脸图片的模板数据库;（5）对人脸图片的模板数据库和比照信道传输的数据进行篡改，以修改人脸比照的结果。

非入侵式是指攻击者对使用合法登记的用户脸部图片进行攻击，即人脸欺骗（人脸呈现攻击[3]）。利用脸部欺诈技术，攻击者可以避开验证，从而获得真正合法的个人信息，或者利用伪装让自己被系统认定为一个正当的用户身份。这些攻击者可以轻易地获取各种社会媒介中的合法用戶的影像和图片。人脸融合的欺骗过程就是通过两张或两张以上真实人脸图像，生成一张与合法用户外观相似的人脸合成图片，在身份认证系统或人脸识别系统中，通过生成后的与合法用户高度相似的合成人脸图像进行匹配，并通过人脸识别系统的验证。攻击者正是通过将合法用户的照片和自己的照片合成出一张人脸融合的照片图像，采用人脸融合的欺诈方法，将合成的人脸图像作为合法身份信息来通过护照或eMRTD的注册申请，严重威胁社会稳定和公共安全。本文研究了人脸融合欺骗的方式和产生过程，并介绍了一种基于人脸融合欺骗的检测方法。

3人脸融合欺骗的产生过程

人脸融合欺骗是一种由两张或两张以上的真实人脸图像合成的人脸图像，类似于形成一张新的、和真实身份外观融合度较高的人脸图像，在身份认证系统或人脸识别系统中，通过生成后的与合法用户融合高度相似的合成人脸图像进行匹配，并通过人脸识别系统的验证。当攻击人脸识别系统时，攻击者就会被人脸识别系统识别成合法用户身份。目前，人脸融合的产生方式通常是按照融合人脸框架[4]自动生成的，如图1所示，它分为3个步骤。

3.1待生成融合人脸图像关键点的定位

假设给定两幅人脸图像 I1和 I2，K1和 K2是对应人脸图像的关键点。融合人脸图像关键点的位置 KM 的计算如下：

按照dlib库给出的68个特征点位对人脸图像进行标注，以得到人脸图像的关键点。β为点位融合参数。

3.2几何形变

根据公式（1）可以计算出将要以人脸融合图像的形式生成的关键点，相应的三角网格图 TM 可以通过 Delaunay 三角剖分来获得。同样的，对于两幅真实人脸图像，也可由 K1和 K2将其划分为两个三角形网格 T1和 T2。通过仿射变换将 T1中的每个三角形片元内的像素转换到 TM 中与之相对应的三角形片元中，即可得到由 I1形变后的图像 I′1。类似的，由 I2得到其对应的形变图像 I′2。

3.3像素融合

将两幅真实人脸变形后的图像 I′1和 I′2按下述公式即可得到融合人脸图像 IM：

其中，α为像素融合的透明度参数。

我们把这种融合操作叫作整体融合，通过以上操作，可以很容易得到多张与真实人脸图像融合度匹配度高的人脸融合图像。但在图像编辑、剪切和融合的过程中，可能会出现人脸图像明显的区域色彩和明暗差异，而人眼很容易分辨出这种偏差，这就需要对全部图像进行剪切和融合。为了解决这些问题，可以通过人工处理相关图像，但会花费大量的时间。因此，有时人脸融合操作只在人脸图像的脸部范围进行，然后将真实人脸图像与操作处理的人脸图像进行拼接修改，这种人脸融合操作过程也被称为拼接融合过程。

4人脸融合欺骗的检测方法

4.1人脸融合欺骗检测原理

通过人脸融合的操作过程，可以得出以下结论。

（1）在人脸融合的操作过程中，由于人脸识别主要集中在人脸图像的眼睛、鼻子和嘴巴等关键区域，人脸图像融合后生成的人脸图像质量会受到影响。因此，通过对人脸关键区域图像质量的变化进行分析和研究，可以达到检测出人脸融合欺骗的目的。

（2）人脸图像通常是由相机设备直接拍摄得到的自然图像，但人脸融合图像的形成过程就有所不同。人脸融合图像一般是通过计算机合成得出的图像，这两种图像的产生方式不同，这代表可以通过对计算机合成的图像和相机自然拍摄得到的图像的来源进行鉴别，达到人脸融合欺骗的检测目的。比如，通过相机的传感器噪声模型（ SPN）来鉴别是自然图像还是合成图像。

4.2人脸融合欺骗检测流程

从图像来源取证的角度，以基于相机传感器噪声模型的人脸融合欺骗检测算法为例，介绍融合人脸欺骗检测的基本流程。

目前，数字图像来源识别的关键方法是研究相机设备在拍照过程中产生的噪声模型，该模型被广泛应用于获取图像来源、图像内容改动的取证信息[5]。像素响应不均匀性（PRNU）对光线的敏感度不是完全一样的，固定的模式噪声（ FPN）是由传感器的差异产生，PRNU 和 FPN 就是相机产生传感器噪声模型（SPN）的两种方式。由于在制造相机设备 CCD/ COMS 传感器的过程中，晶圆片硅不均匀导致产生硬件缺陷和差异，在图像形成的过程中，每台相机设备都会产生不同的 PRNU ，它不受湿度和温度的影响，具有唯一特性。因此，SPN 被认为是每台相机设备在拍照成像过程中留下的一种专属、独特、稳定的印迹，非常适合从自然图像来源中获取证据信息。

当前，通过使用 SPN 收集自然图像来源证据信息的总体步骤如下：第一步是构建相机设备的 SPN ，第二步是提取需要检测的图像的 SPN ，第三步通过对两张图像的 SPN 进行比较，以判断这些图像是否是相机设备拍摄的真实自然图像。这个过程主要由对人脸图像的预处理、图像 SPN 的提取、量化统计特征的提取和分类等组成，具体如下。

（1）人脸图像预处理

人脸融合欺骗主要针对人脸区域的操作，而人脸区域通常位于图像中心部分。要从图像中精准地提取到 SPN ，就要在图像中心的最大区域进行选取。例如，人脸区域图像的尺寸为900×1200，则图像中心区域的尺寸要选取900×900的范围。

（2）提取 SPN

利用公式（1）和公式（2）进行 SPN 算法提取。

（3）提取 SPN 的量化统计特征

在向量空间中通过仿射变换，即经过线性变化后进行旋转、缩放、平移与错切操作，以获取 SPN 的量化统计特征，仿射变换能够保持图像的平移性，也能很好地对人脸融合图像与真实人脸图像的 SPN 进行研究和分析。

（4）分类

支持向量机 SVM 具有良好训练学习能力的优点，是目前较好的对融合图像和真实人脸图像进行分类的分类器，可以利用支持向量机 SVM 对 SPN 量化统计特征进行分类，且错误率较低。支持向量机 SVM 分类学习过程通常分为训练、验证和测试。训练，即通过设置分类器的参数来训练分类模型：验证，即对验证数据进行预测，调整分类器参数，得到最佳的分类模型：测试，即评估训练后分类器的分类识别能力。

5结论

人脸识别系统的欺诈攻击手段主要是针对人脸图像的欺诈攻击，而盲检测法和非盲检测法是人脸融合欺骗中常用的检测方法，它们的主要区别在于是否借助了额外辅助的图像。受到人脸图像质量变化的启发，本文介绍了一种能够检测出人脸融合图像与真实人脸图像的差异以及识别与人脸融合相关的注册欺骗行为的欺骗检测方法，其通过相机捕捉到自然真实的人脸图像与计算机生成的人脸融合图像，利用相机传感器噪声模型得到 SPN 的不同，即这两种图像的 SPN 具有各自的唯一特性，以实现对人脸融合的欺骗检测。该方法融合了人脸图像区域处理、SPN 算法、 SPN 量化统计特征等手段，采用支持向量机 SVM 分类器来判断人脸融合图像是否为真实人脸图像，对分类模型数据库的简化设计降低了算法的复杂度，该方法取得了良好的检测效果。

参考文献：

[1]鄢慧晗.人证识别技术在安防领域中的运用分析[J].中国公共安全，2018（8）：106?108.

[2] ISO/IEC JTC 1/SC 37 Biometrics.Information technology ?Biometric  presentationattackdetection?Part 1[ S ].Frame? work ，ISO/IEC JTC 1/SC 37 Biometrics ，2016.

[3] Gomez?Barrero M ，Rathgeb C ，Scherhag U ，et al.Is yourbiometric  system  robust  to  morphing  attacks？[ C ]∥International  Workshop  on  Biometrics & Forensics.IEEE2017：1?6.

[4] Bay  H ，Tuytelaars  T ，Gool  L.SURF： speeded  up  robust features[ C ]∥ Proc  of European  Comference  on  Computer Vision.2006：404?417.

[5] Rublee E ，Rabaud V ，Konolige K，et al.ORB：An efficientalternative  to  SIFT  or  SURF [ C ]∥ IEEE  InternationalConference on Computer Vision.IEEE 2011：2564?2571.

作者简介：

孙海亮（1985—），本科，中级工程师，研究方向：人工智能、5G。