基于特征偏移的人脸图像质量评价及影响因素研究

彭 悦， 杨红雨， 刘艳丽

(四川大学计算机学院， 成都 610065)

1 引 言

人脸图像识别是最广泛使用的生物特征识别方法之一[1]，这是因为它具有很高的公众接受度，且在非配合状态下仍可进行采集匹配[2]，不仅在门禁、交通、考勤、支付和社交媒体等日常社会生活场景广泛使用，在安防、流控、刑侦等公共安全领域也具有重要地位.

近年来，随着深度学习在计算机视觉领域的广泛应用，其在人脸相关任务上已取得卓越性能.得益于网络结构和损失函数等方面的调整创新，最新的深度学习方法在主流人脸数据集上可取得99%以上的精度[3].人脸识别领域的研究重心逐渐由识别模型转移到对人脸数据本身的分析上来.

人脸图像是对人脸的采样，其采样质量是影响人脸识别系统性能的重要因素，在采样条件受控情况下，当前的人脸识别系统能够实现高精度性能.然而在非配合、不受限、采集环境差和图像采集人员技术水平差等情况下，人脸在多个维度上呈现出丰富、剧烈的变化，这会导致识别精度的显著降低.这些变化因素包括图像获取条件(例如照明，背景，模糊和低分辨率)，以及人脸因素(例如姿势，遮挡，化妆，配饰和表情)，这些变化因素会导致识别性能显著下降.不同图像退化方式对人脸识别的影响程度不同，研究其差异，对指导提高人脸识别系统性能和相关领域研究具有积极意义.

2 相关研究

随着人脸图像相关领域的蓬勃发展，关于人脸质量和识别置信度的研究逐渐成为新的热门领域，论文数量展现出逐年增多的趋势[4]，同时可以观察到，深度学习技术正逐步取代传统手工算法，成为本领域的主流方法，在各分支均取得了不错进展.

最新的国内外研究成果包括，文献[5]利用随机辍学技术获得人脸随机嵌入，根据图像随机嵌入鲁棒性评价人脸质量；文献[6]结合人类视觉特性，设计4种梯度卷积模板，结合人脸特征点，提取特征点附近的人脸梯度信息，使用回归方法预测质量分数；文献[7，8]根据ICAO标准选择标准人脸图像，通过计算与标准人脸图像的距离，预测人脸图像质量，批量生成带有质量标签的人脸数据集，在预训练人脸识别模型上进行迁移学习计算质量得分；文献[9]提出了一种基于排名的学习方法，他们使用基于排名损失的多项式核和训练权重定义了一个线性质量评估方程；文献[10]创建了 FIIQD，一个“人脸图像照明质量数据库”，具有 224 个人，733 张图像，200 种不同的照明模式及其质量分数，然后使用该数据训练基于 ResNet-50[11]的模型以估计照明质量；文献[12]将图像灰度、色彩、构图等全局特征与剪裁后的人脸特征进行融合，预测带有人脸图像的美学得分；文献[13]对人脸图像损失类型进行识别并利用回归获得质量分数.

3 本文模型

本文提出一种新的人脸图像质量评价算法，通过网络模型模拟人脸图像退化过程中出现的特征偏移，根据特征偏移量和图像信息量之间的相关性，完成人脸质量分数自动评价.使用遗传算法对构成模型的网络单元进行筛选，用更小网络规模实现同等性能.

本文贡献可概括如下：将特征偏移概念引入人脸图像质量评价，通过微调人脸识别网络权重，模拟图像退化形成的特征偏移，利用其与人脸质量的相关性，提出基于特征偏移的人脸质量评价算法框架.

采用遗传算法自动筛选关键特征，实现网络规模压缩和计算复杂度简化.使用本文提出的质量评价算法研究高斯模糊、运动模糊、高斯噪声、椒盐噪声等多种常见类型图像退化对人脸识别的影响差异.

3.1 主要思想

在当前主流人脸识别方法中，通常使用二维或三维人脸进行特征提取，通过特征比对和阈值设置完成识别或验证任务.人脸图像，是对原始人脸的采样，采样过程必然伴随一定误差和特征损失，误差和特征损失来源包括且不限于：维度损失，离散化损失，光照不均，光照不足，表情造成的面部扭曲，化妆，佩戴装饰品，面部遮挡，图像采集设备造成的模糊和噪声等.

如图1所示，假设每张人脸映射到特征空间里的唯一一点，代表其独一无二的身份特征，那么上述原因造成的误差和特征损失反映到特征空间里，即为不同程度的特征点偏移[14].类似地，如果对人脸图像重采样，将导致信息进一步丢失，特征点发生二次偏移.为方便读者理解特征偏移概念，对其做出如下定义：

S(I)=d(F(I′),F(I))

(1)

其中，I为人脸图像;I′为重采样(退化)人脸图像;F为特征提取函数(此处即为用于人脸特征提取的神经网络)，特征偏移即为退化人脸特征与原人脸特征之间的距离.

图1 人脸采样与特征偏移示意图Fig.1 Face sampling and feature variation

文献[15]从“数据不确定性”角度出发，认为单张人脸图像提取的特征服从高斯分布，均值代表最接近特征真值的点，方差代表人脸图像质量，方差越小，类内紧凑型和类间可分性越好.同理，在本文语境中，特征点偏移类似上述方差的概念，图像质量越高，包含信息量越大，偏移幅度越小；图像质量越差，包含信息量越小，偏移幅度越大.受此思想启发，对特征提取网络进行权重微调，可模仿采样过程中图像退化造成的误差和特征丢失，从而导致特征点偏移.为叙述简洁，后文我们将微调后的网络称作“特征偏移网络”.

如果人脸图像质量差，即特征信息损失多，那么输入特征偏移网络后，造成的特征偏移大(因为图像包含有价值的人脸信息少)，即称之具有低质量；反之，如果图像采样质量高，特征信息损失少，那么输入特征偏移网络后，造成的特征偏移小(因为图像包含有价值的人脸信息多)，即称之具有高质量.

对特征提取网络随机进行多次权重微调，可形成特征偏移网络集群.利用特征偏移网络集群(包含m个特征偏移网络)，可得到m个偏移特征.使用统计学度量方法计算集群网络造成的平均特征偏移，即可代表图像质量，并与人脸识别表现高度相关.

3.2 模型结构

特征偏移网络及网络集群.将预训练的人脸识别卷积神经网络去掉分类层，作为无偏移的特征提取网络，本文使用预训练的ResNet-18[11]模型作为无偏移特征网络，其结构如图2所示.然后随机生成N个特征选取模板，使用模板屏蔽最后一个全连接层部分权重，即可生成N个特征偏移网络，从而模拟人脸图像退化过程中部分特征信息的丢失，N个特征偏移网络共同构成集群卷积网络，集群卷积网络结构如图3所示.

图2 ResNet-18网络结构Fig.2 ResNet-18 network structure

图3 集群卷积网络结构Fig.3 Structure of cluster convolutional

3.3 特征偏移计量

(2)

将特征偏移进行归一化操作，得到取值区间为0～1的人脸图像质量分数.计算公式如下：

(3)

其中，P(I)代表图像I的质量分数; σ为sigmoid函数;fi为集群网络中第i个特征偏移网络提取的特征向量.负号体现特征偏移与人脸质量的负相关关系.

3.4 特征选取

最终提取的特征向量中，不同特征对完成识别任务的贡献率不同.举例说明，脸型、瞳距等特征比皮肤纹理对于身份识别有更大贡献.因此应筛选对识别任务影响更大的关键特征，通过影响这些关键特征，可提升采样质量评估效率.

本文使用遗传算法对特征偏移网络进行筛选.选取偏移量尽可能大的子网，使质量评估更为高效.每个特征偏移子网，均由一个独特的特征偏移模板生成，子网与模板是一一对应的(图3)，因此对特征偏移模板的筛选，即为对特征偏移网络的筛选，我们使用特征偏移模板作为染色体编码对象.每个模板都是由一系列0和1的布尔值变量组成的m*n矩阵(m为倒数第二层维度，n为最后一层维度)，可将其展开为m*n维向量，作为遗传算法的染色体单元，如图4.初代染色体为满足二项分布的随机值，二项分布的概率取值为0.5，通过遗传算法筛选迭代，最终得到目标个体.

图4 遗传算法染色体编码Fig.4 Genetic algorithm chromosome coding

从VGGFace2数据集中随机选取100张人脸形成迷你子集，用于遗传算法筛选特征.为筛选关键特征的优化目标为：

(4)

式中Fx(Ii)为特征偏移网络输出的特征；F(Ii)为无偏移特征，优化目标为找到特征偏移量最大的Fx函数，即特征偏移网络，这里为全面体现正负偏移量，求差后取2范数.

适应度函数设计为

(5)

分子为待计算个体(网络)形成的特征偏移量，求和号的100代表迷你集的100个人脸样本.分母为当前代次表现最好的网络，即特征偏移最大的网络的偏移量，因此取max.x取值范围0～100，代表当前代次100个个体(网络)，每个个体(这里指特征偏移网络)的适应度，就是它的特征偏移量与当前代次最大特征偏移量的比值，取值范围是0%～100%，以此作为个体(特征偏移网络)的生存适应度.然后按照适应度执行遗传算法，淘汰不良个体.

3.5 图像退化

本文选取了几种常见图像退化方式进行模拟，以研究图像退化对人脸识别的影响.主要研究对象分为高斯模糊、运动模糊、高斯噪声、椒盐噪声四种单独类型退化方式和高斯模糊加高斯噪声、高斯模糊加椒盐噪声、运动模糊加高斯噪声、运动模糊加椒盐噪声四种叠加退化方式.每种退化方式分为20个层级，退化程度由轻到重逐步加深.例如将高斯模糊的高斯核尺寸逐级加大，逐级提高高斯噪声的噪声添加比例，具体设置将在第4.4节介绍.将上述8种退化方式各20个层级分别应用于LFW数据处理，生成160个模拟图像退化的实验数据集.

4 实验及分析

本节介绍了实验设置和结果，在主流数据集上，与最新的方法进行了对比实验，对结果进行了定性和定量分析，并补充了对算法一致性的说明.

4.1 数据集

LFW数据集主要测试人脸识别的准确率，该数据库从中随机选择了6000对人脸组成了人脸辨识图片对，其中3000对属于同一个人2张人脸照片，3000对属于不同的人每人1张人脸照片.测试过程LFW给出一对照片，询问测试中的系统两张照片是不是同一个人，系统给出“是”或“否”的答案.通过6000对人脸测试结果的系统答案与真实答案的比值可以得到人脸识别准确率. 这个集合被广泛应用于评价 face verification算法的性能.

VGGFace2[16]是一个大规模人脸识别数据集，该数据集是从谷歌中下载的，包含不同姿态、年龄、光照和背景的人脸图片，其中约有59.7%的男性.除了身份信息之外，数据集还包括人脸框，5个关键点、以及估计的年龄和姿态.共包含331万图片，9131个ID，平均每个ID图片个数为362.6.这个数据集有以下几个特点：(1) 人物ID数量大，且每个ID包含的图片个数也较多; (2) 覆盖大范围的姿态、年龄和种族; (3) 噪声数据少.实验图像均使用Retinaface[17]进行预处理.

为研究不同图像损失类型对人脸识别的影响，我们使用高斯模糊、运动模糊、高斯噪声、椒盐噪声4种常见图像损失方式和“高斯模糊加高斯噪声”、“运动模糊加高斯噪声”、“高斯模糊加椒盐噪声”、“运动模糊加椒盐噪声”4种交叉损失方式，每种方式从弱到强分为20个层级，对LFW数据集进行模拟退化处理，作为数据扩充辅助研究.因为每种图像退化方式对图像质量的影响曲线不同，为使曲线上各点分布均匀，退化参数为手动设置并经过反复测试调整，具体数值如下：

高斯模糊： 高斯核尺寸第一级设置为3*3，之后边长逐级加4.

运动模糊： 运动方向为随机方向，模糊卷积核为正方形，尺寸设置为[2, 3, 4, 5, 6, 7, 8, 9, 10, 12, 14, 16, 18, 20, 22, 24, 26, 28, 30, 32].

高斯噪声： 高斯噪声是符合高斯分布的加性噪声，为不影响图像整体亮度，噪声均值设置为0，方差为未做归一化处理的像素值方差，取值区间为[0～2552]，本实验第一级设置为3，之后每级加3.

椒盐噪声： 噪声添加比例为[0.0005, 0.0010, 0.0020, 0.0040, 0.0080, 0.012, 0.016, 0.020, 0.028, 0.036, 0.044, 0.052, 0.060, 0.068, 0.078, 0.088, 0.098, 0.108, 0.118, 0.128].

4.2 实验设置

模型使用无监督算法，不需要进行单独训练，构成集群卷积网络的每个单元网络只需加载预训练的模型参数，并使用特征偏移模板对网络进行参数重构.对于集群网络中的单元网络个数N，根据我们的经验取N=10可以较好平衡精度和性能.具有类似网络结构的方法[5]推荐子网个数为100，相比之下，本文通过遗传算法筛选特征后N取10即可较好地平衡精度和性能，进一步精简了网络结构.

在特征筛选部分，遗传算法筛选出10个个体，即10个特征偏移网络，最终形成目标集群网络.这些个体使用布尔值，按照p=50%的筛选率随机初始化100个个体，持续300个代次，交叉组合率80%，变异率2%，代次筛选率10%.

为了横向比较本文方法，实验引入来自计算机视觉社区的三个基线方法：Brisque[18],Niqe[19]Piqe[20]，均为无参考图像质量评价.另外引入两个学术界最新的人脸质量评价方法FaceQnet[7]，Best-Rowden[21,22]，均采用预训练模型参与实验.

4.3 图像退化

本文选取了几种常见图像退化方式进行模拟，以研究图像退化对人脸识别的影响.主要研究对象分为高斯模糊、运动模糊、高斯噪声、椒盐噪声四种单独类型退化方式和高斯模糊加高斯噪声、高斯模糊加椒盐噪声、运动模糊加高斯噪声、运动模糊加椒盐噪声四种叠加退化方式.每种退化方式分为20个层级，退化程度由轻到重逐步加深.例如将高斯模糊的高斯核尺寸逐级加大，逐级提高高斯噪声的噪声添加比例，具体设置将在第4.4节介绍.将上述8种退化方式各20个层级分别应用于LFW数据处理，生成160个模拟图像退化的实验数据集.

4.4 度量方法

为了评估算法性能，我们遵循[23]的方法，使用错误率与拒绝曲线.曲线横轴为拒绝掉低质量人脸图像的比率，纵轴为剩余人脸图像的错误识别率.理想的情况是，当拒绝一部分质量最低的人脸图像后，人脸识别系统在剩余图像上的错误识别率应降低，并且随着拒绝率的不断提升，剩余图像的错误识别率不断降低.具体的，我们使用FNMR错误非匹配率，EER等错误率两项指标评价算法性能，因为这些错误率在国际标准中被指定用于生物特征验证评估[24].

在研究图像退化对人脸识别影响的问题上，我们使用等质量分数识别率曲线和识别率直方图进行分析.对经过图像退化处理的数据集，使用本文中的人脸图像质量算法逐张人脸图像计算质量分数，并求得数据集平均得分，同时使用resnet18预训练模型加arcface损失函数，测试每个数据集的验证精确率.

4.5 实验结果及分析

为直观展示算法有效性，我们在LFW和VGGFace2两个当前主流人脸图像数据集上进行了质量分数预测.绘制总体分数分布图(图5)，并列出最坏和最好的人脸(图6).在两个数据集上都可以观察到，得分最高的人脸几乎都具有“无遮挡，光照均匀，五官清晰，姿态端正”等共同特征；得分最低的人脸均具有“佩戴物遮挡，头发、手部遮挡，表情夸张，姿态不端”其中一个或多个影响身份识别的问题.

图5 LFW数据集质量分数分布(a)； VGGFace2数据集质量分数分布(b)

图6 LFW数据集得分最高的20张(a)、最低的20张(b)人脸;

图7 LFW数据集错误率与拒绝曲线(a，b)；VGGFace2数据集错误率与拒绝曲线(c,d)

LFW数据集分数分布普遍高于VGGAFace2数据集，且分布范围更广，这是合乎预期的，因为VGGFace2数据包含更多无约束照片，人物呈现大量年龄、表情、姿态、光照变化，且背景更加复杂，对身份识别具有更大挑战.

对三个基线方法和两个学术界最新方法进行了定量实验，为公平比较算法性能，采用4.4节介绍的错误率拒绝曲线，如图7.使用所有参与实验的方法，对数据集全部人脸预测质量得分，然后按照一定比率拒绝得分最低的部分人脸，计算剩余人脸的识别错误率，逐渐提高拒绝率，重复此过程，最终绘制完整曲线.

图8 4种图像退化-质量分数曲线

可以观察到，本文方法在两个数据集上均表现出了较好性能.通过拒绝低质量人脸图像，实现了识别精度的提升，错误率进一步下降，FNMR、EER两个指标均证明了算法有效性.且随着拒绝率逐步提升，错误率可以稳步下降，体现了算法具有良好稳定性.绝大多数情况下，本文方法的曲线位于对比方法的曲线下方.

为进一步验证算法稳定性，我们通过手工图像退化进行补充验证，如图8.使用高斯模糊，运动模糊，椒盐噪声三种常见图像退化方式，对人脸图像进行手工退化操作，并使用我们的方法计算人脸图像质量.可以观察到，随着退化程度加深，同幅图像四种退化方式的分数均表现出连续下降，同样证明了图像质量分数与可识别率之间的高度相关性.

从识别率质量分数曲线(如图9)观察到，随着图像退化程度逐渐加深，数据集平均质量分数下降，且在平均质量分数相同情况下，不同图像退化类型的识别率体现出差异性，具体地，在单一退化方式中，对识别率影响程度由小到大依次为：高斯噪声，高斯模糊，运动模糊，椒盐噪声.注意到橙绿两条曲线在后半段出现交替，但考虑到此时图像质量已经严重破坏，没有考察价值，并不影响上述结论.在椒盐噪声最后几个退化级别上出现了质量分数异常(绿色曲线)，具体表现为：随着图像退化级别加深，质量分数不再降低，反而有小幅提高.这可

图9 验证率-质量分数曲线Fig.9 Verification rate-quality score curve

能是因为椒盐噪声具有较大随机性，本文算法正是利用随机特征偏移工作的.当随机噪声增大到一定成程度时，算法误把部分噪声当作有效信息处理，造成了算法波动.虽不影响总体结论，但有待进一步研究改进.

图9中，每条曲线代表一种图像退化方式，包含20个退化级别的验证率-平均质量分数构成的20个数据点.可以观察到不同退化方式对图像质量的影响是不同的.

质量分数直方图如图10所示,横坐标为20个图像退化级别，1级退化程度最轻，20级退化程度最重.从图10可知，“模糊+噪声”两种退化类型叠加的方式比单一模糊或单一噪声的退化类型对识别率影响更大.在2种模糊类型和2种噪声类型形成的4个交叉组合实验中，均证明了这一规律.虽然4种退化类型对识别率的影响程度不一，但叠加方式强于单一方式的规律始终没变，这在图像退化程度较浅的前几个层级数据中尤其明显.这是因为，此时人脸图像质量和识别率较高，图像退化对于人脸身份信息的损失收益大.在退化等级大于10以后，由于图像质量严重受损，验证率已接近50%的极限，图像退化对图像质量的影响已非常有限，上述规律变得不明显，甚至出现反常，此类现象属于极端情况，没有考察价值，不影响整体结论.

图10 验证率直方图

5 结 论

针对低质量人脸图像阻碍识别系统性能提升的问题，本文提出了一种无参考的人脸图像质量评价方法.分析阐述了利用特征偏移与图像信息量的相关性进行质量分数计算的思想.提出了一种集群卷积网络模型，用于人脸图像质量分数自动预测.使用遗传算法对网络模型进一步优化，在保持同等性能前提下大幅压缩了模型复杂度.通过在主流人脸数据集上进行的实验，定性和定量分析证明了算法具有优越性，通过筛选数据库中低质量得分的人脸图像，可以进一步提升现有人脸识别系统的性能，且识别率提升表现出良好稳定性.模拟了几类常见图像退化方式，对原始人脸数据库进行数据扩充，并使用本文提出的质量评价算法为工具进行实验，研究评估了不同类型图像损失对人脸识别的影响，为指导今后人脸质量相关研究得出了有益结论.