基于分块彩色MB-LBP纹理的人脸反欺诈算法

唐 慧, 束 鑫, 杨习贝, 李 玥

(江苏科技大学 计算机学院, 镇江 212003)

人脸作为比较容易获取的生物特征,近年来被广泛地应用于生物特征识别领域,比如机场车站身份验证、学校小区门禁系统和移动终端人脸识别等．人脸识别在给人们带来快捷方便生活体验的同时,其安全性越来越受到人们重视．当非法用户在人脸识别系统镜头前展示真实用户的人脸照片或人脸视频以试图通过系统验证时,就会出现欺诈攻击．文献[1]中,研究人员检查了基于在线社交网络的面部信息,披露商业面部认证系统Face Unlock、Face Lock Pro、Visidon、Veriface、Luxand Blink和Fast Access的最新版本的威胁．虽然发布在社交网络上的图片平均只有39%能够被用作欺诈材料,但这些图片足以骗过74名用户中77%的面部认证软件．在2013年的生物计量学国际会议上，一名化着特殊妆容的女性成功骗过了一个面部识别系统．这显示出人脸识别系统在欺诈攻击下的脆弱性．为了有效解决人脸识别系统中存在的风险与漏洞,在人脸识别前加上反欺诈技术显得尤为重要．

欺诈攻击方式一般可分为打印攻击、重放攻击和3D模型攻击3种,其中打印攻击和重放攻击的欺诈材料获取方便,因此在人脸识别系统中存在的风险较高．近年来,针对打印攻击和重放攻击的人脸反欺诈研究层出不穷,主要分为基于人体运动信息的分析、基于深度信息的分析、基于局部纹理特征提取以及将以上方法相融合的算法．文献[2]中提出使用脸、声音和嘴唇动作3种不同的特征来识别真人,但这种方法易受到重放视频的攻击．文献[3]中提出一种融合深度纹理特征和面部运动线索的鲁棒表示方法，如眨眼，以应对图片和回放等攻击．文献[4]中提出了一种利用人脸细微运动参数和投影中的等比特性来区分人脸真伪的方法,该方法相比单特征的提取方法具有较高的欺诈检测性能．文献[5]中将时间和空间信息组合，形成纹理描述符来进行欺诈检测．文献[6]中提出基于颜色纹理的欺诈检测初步方法．文献[7]中进一步证明了颜色纹理能够有效区分真脸和假脸．文献[8]中提出将局部纹理和CNN相结合识别局部欺诈纹理,利用全局深度信息判别脸部是否具有深度的双流方法．文献[9]中提出基于卷积神经网络融合图像质量线索和运动线索的方法,实验证明,该方法在跨数据库之间具有很强的泛化能力．

文献[6-7,10]中利用真脸和假脸在颜色通道中更易区分的特性证明了颜色纹理对人脸反欺诈识别的有效性．文献[11]中认为常用的手工设计特征,例如LBP[12]，能够捕捉面部细节,因此在人脸识别领域应用比较广泛．传统LBP的获取是通过逐位比较中心点与临近点之间的大小得到表示该像素的编码，因此LBP不但容易受到噪声影响,而且可能包含大量冗余信息．MB-LBP[13]利用子块的均值进行LBP编码，相比传统的LBP更能反映图片的全局信息,因此将MB-LBP应用于人脸反欺诈更强健．为了反映人脸不同位置的纹理信息,文中将人脸图片划分为多个子块来统计纹理信息，提出基于分块彩色MB-LBP纹理的人脸反欺诈识别算法．

1 MB-LBP彩色纹理

针对欺诈视频的攻击,文中提出一种基于分块彩色MB-LBP纹理的人脸反欺诈识别算法．该算法可分为5个步骤:脸部提取、颜色空间转换、MB-LBP纹理特征提取、分块直方图统计和分类．该算法的流程图如图1．

图1 人脸反欺诈识别算法流程图Fig.1 Flowchart of the face anti-spoofing algorithm

1.1 脸部提取

为了提高文中算法的识别效率，一段视频中只选择一帧作为样本图片．考虑到视频的头部和尾部有可能出现没有呈现脸部区域的视频帧,因此选择视频中间的一帧作为实验样本．利用文献[14]算法获取脸部位置信息,如果未检测到脸部,则返回的脸部位置信息为空值,该算法将会对下一帧进行检测,直至检测到面部信息为止．考虑到一些背景信息会对人脸欺诈检测具有一定的辅助作用,因此经过人脸定位后对其扩大1.5倍再进行剪裁，形成添加了背景信息的数据库．当扩充后的图像大小超过原始图片时,则以原始图片中脸部位置到边界的最小距离为标准进行剪裁．

图2为使用LBP、6×6 MB-LBP和9×9 MB-LBP 3种方法在CASIA未添加背景和添加背景两种数据库中得到的错误率．可以看出3种特征提取方法中未添加背景数据库中的错误率比添加背景数据库中的错误率更高,说明图片背景信息对人脸欺诈检测具有辅助作用．

图2 不同数据库中的实验结果比较Fig.2 Comparison of experimental resultswith or without background

1.2 颜色空间转换

众所周知,人眼对亮度的感知程度要高于对色彩的感知程度,因此传统的人脸反欺诈识别主要集中在人脸亮度信息的分析上．但一些成像设备通常需要使用色域映射函数来使设备之间保持色彩感知特性,而这种算法的重点在于以色度信息为代价保留原始图像的空间局部亮度变化．因此,在彩色空间内分析图片的纹理更能区别真脸和假脸．而且图片或者视频在再造过程中会产生打印瑕疵、视频伪影和噪声信号等,使得再造的欺诈样本和真实样本之间具有明显差异,这种差异在彩色空间更为明显．

Lab颜色空间具有设备无关的特性,即Lab颜色空间比一些成像设备甚至人眼的色域都要大,能够全面地表示不同设备呈现的图像．对于低质量的图片,如表1，为NUAA数据库中真脸和假脸示例图片在不同颜色空间中的表示．对比真脸和假脸的灰阶图像,不太容易直接用肉眼区分真脸和假脸有哪些不同,但是在Lab空间中,通过肉眼就可以看到真脸和假脸的纹理具有很大差异．图3表示CASIA库中高分辨率下真脸和假脸的余弦相似度值．

表1 真脸和假脸在不同颜色空间中的表现Table 1 Inllustration of true face and false facesin different color spaces

图3 真脸和假脸的余弦相似度Fig.3 Cosine similarity between thereal face and the fake face

图3第1行表示真实脸部图片,第2行表示两种打印攻击方式下获取的人脸图片,第3行表示重放攻击下获取的人脸图片,其中cos(θ)表示假脸图片和对应真脸图片的余弦相似度,表示为:

(1)

式中，x1k,x2k(k=1,…,n)分别表示第1幅图片和第2幅图片的第k个特征点．

在Lab彩色空间的b通道中真假图片的相似度值明显比灰度图中的相似值小得多,说明彩色空间不但有利于辨别低质量的脸部欺诈图片,对于高质量的人脸欺诈图片同样适用．

1.3 MB-LBP纹理特征提取

局部二值模式(local binary pattern, LBP)能够精细地反映局部像素之间的差异,在纹理识别方面具有突出的表现．但人脸欺诈识别是一种二分类问题，即分为真脸和假脸，因此不需要使用过于精细的纹理信息进行分类,而且由于LBP局部化特性而容易受到噪声干扰．MB-LBP恰恰弥补了传统LBP的不足,MB-LBP和LBP不同之处在于前者需要将子区域内若干像素的平均值作为表示该区域的像素点,然后同LBP一样，阈值化求特征值．MB-LBP的表示如下:

(2)

(3)

(4)

式中：row、col分别为当前子域中由像素点gn(i,j)构成矩阵的行和列．

图4(a)中分别给出了6×6、9×9、12×12的MB-LBP，图4(b)后3个小图对应为使用以上3种MB-LBP提取的特征图，图4(b)前2个小图分别为原图和LBP特征图．

图4 MB-LBP类型及其特征提取后的效果图Fig.4 Types of MB-LBP and the diagrams afterfeature extraction

图5给出了6×6的MB-LBP求解过程,6×6像素以2×2像素为子域求平均值后得到3×3的小块,然后求得其LBP特征．在2×2的子域中，row=2且col=2．

图5 MB-LBP求解过程Fig.5 Calculation process of the MB-LBP algorithm

1.4 分块直方图统计

一般情况下,在获取人脸图片的纹理特征后直接对其作直方统计,形成表示该图像的一维特征向量．这种直接统计全局信息的方法获取的特征向量维度较小而且操作简单，但会丢失图像的空间结构信息,使提取的特征向量不能充分地表示该图像．因此文中提出分块纹理统计,即将图像分为若干小块,然后统计每个小块的直方图特征,最后将所有的特征级联．分块纹理统计类似于精细分类,该方法在一定程度上保留了图片的空间结构信息,因此更能突出目标特征．

图6(a)中,显然(1)和(2)更为相似,但当使用全局直方图统计时,(1)和(2)的直方图具有很大的差异,但(1)和(3)却具有相同的直方图.图6(b)是使用分块直方图统计得出的纹理直方图,(1)、(2)较为相似,因此得出的直方图也更相近.分块直方图统计的方法虽然增加了特征向量的维度,但也使得特征向量能更好地反映图像的纹理结构．

图6 全局直方图统计和分块直方统计Fig.6 Global historic statistics and Blockregion historic statistics

1.5 分类

文中采用MATLAB自带的支持向量机分类器进行二值分类，支持向量机采用线性核函数．CASIA数据库以等价错误率(equal error rate，EER)和半总错误率(half total error rate，HTER)为评价指标,NUAA数据库以准确率、真正率(true postive rate，TPR)和真负率(true negative rate，TNR)为评价指标．

2 实验结果与分析

2.1 相关数据库

文中算法在CASIA FASD和NUAA两个公开数据库上进行实验．CASIA FASD数据库[15]采集50名用户的脸部形成600段视频,其中训练集为20个类,测试集为30个类．CASIA中150段视频使用低、中、高3种分辨率的成像设备采集真实人脸,余下的450段视频是人工再造形成的欺诈视频,包含了弯曲照片攻击、裁剪照片攻击和视频回放攻击3种欺诈类型．NUAA[16]是南京航空航天大学公开的人脸反欺诈识别数据库．真实人脸图片集是15名用户在不同时间不同光照条件下采集的5 105张人脸图片,欺诈图片集则是对真实人脸照片翻拍形成的,共有7 464张图片．实验中分别从真实人脸库和欺诈人脸库各取2 100张图片形成训练集,其余图片则作为测试集．

2.2 参数设置

图7是使用LBP、6×6 MB-LBP、9×9 MB-LBP和12×12 MB-LBP 4种特征提取方法在CASIA和NUAA两个数据库中得到的错误率、等价错误率和半总错误率的折线图.从3个性能指标看,6×6 MB-LBP和9×9 MB-LBP在两个数据库中的表现效果都比LBP好,虽然6×6 MB-LBP和9×9 MB-LBP在CASIA和NUAA中的表现各占优势,但9×9 MB-LBP在不同数据库间所表现的性能更加稳定．

在分块直方图统计部分,如果将图片划分成较少的子块则难以把图片的空间结构具体表示出来．如果划分的子块太多，又会使表示图片的向量维数太高，造成计算困难．为了平衡以上二者之间的关系,文中统一将特征人脸划分为3×3的子块,然后将每一小块上的特征直方图级联起来．

图7 LBP、6×6 MB-LBP、9×9 MB-LBP、12×12 MB-LBP的性能比较Fig.7 Performance comparison of LBP，6×6 MB-LBP，9×9 MB-LBP and 12×12 MB-LBP

2.3 算法比较与分析

文中算法通过在CASIA和NUAA两个数据库上与现有方法进行比较，体现算法优越性．表2中，文中算法的EER低于文献[5-6,12,17-19]中的算法,说明文中算法的性能超过了上述算法．相比文献[5]中使用LBP-TOP提取纹理特征的方法,文中的EER降低了5.54%．文中算法与彩色空间中提取统一模式LBP[6]和马尔可夫特征[19]两种算法相比,其EER分别降低了1.14%、2.94%,甚至比文献[17]中的深度学习方法降低了2.24%．

表2 不同算法在CASIA数据库中的比较Table 2 Performance of different methodsin the CASIA database %

该算法的HTER比LBP结合多层离散余弦变量的方法[12]降低了7.2%．虽然文中算法在HTER方面不如文献[18]中使用长短时记忆单元与卷积神经网络相结合的深度神经网络方法优越,但文中算法在EER指标上表现更佳．值得一提的是,欺诈样本获取相对困难,因此卷积神经网络训练模型时易受到欺诈样本限制,而且模型训练的时间比使用传统手工方法更长．

由于NUAA数据库没有明确的划分训练集、验证集、测试集,研究人员通常用TPR、TNR和检测准确率作为该数据库的评价指标,为了和其他算法进行公平比较,文中在NUAA数据库上使用上述3个指标对文中算法进行分析．表3为不同算法在NUAA数据库中的实验结果．文中算法和LBP特征提取[20]、HOG特征提取[21]、LBP+傅里叶谱方法[22]及灰度共生矩阵(GLCM)结合小波分析[23]的方法相比在3个指标上都达到了最高值,其中在真负率上达到了100%的检测结果．虽然傅里叶频谱融合LBP的方法在真正率上的检测效率也达到100%,但需进行频谱变换，使得计算复杂度较高,而且在TNR和检测准确率方面不如文中算法．综上所述,文中算法在CASIA和NUAA上都表现出较好的人脸欺诈检测性能．

表3 不同算法在NUAA数据库中的比较Table 3 Performance of different agrithmsin the NUAA database %

3 结论

针对视频和图像攻击,文中提出一种基于分块彩色MB-LBP纹理的人脸反欺诈算法．假脸在再造过程中产生的差异在彩色空间更为明显，利用该特性,文中在Lab彩色空间中提取脸部图像的MB-LBP纹理能够增大真脸和假脸之间的差异．利用MB-LBP代替传统的LBP是为了减少人脸图片中的冗余特征，降低噪声影响,而且MB-LBP更能反映图片的全局信息．为了反映图片的结构特征,文中将图片分为多个小块并统计直方图信息．实验证明,文中算法在CASIA和NUAA数据库中都取得了较好的实验效果,但不足之处在于增加了特征向量的维度．下一步工作将重点考虑如何在尽量不影响算法检测性能的情况下对特征向量进行降维处理．文中算法在数据库中表现出较高的检测精度,而且利用视频中一帧图像就可以检测出样本真假,从而大大节约了计算开销．综上,文中算法在实际应用中具有一定的可行性．