基于光照自适应调节和模糊分类的人脸图像质量提升算法研究

景 辉，戴琳琳，候亚伟，朱宇豪，随玉腾

（1. 中国铁道科学研究院集团有限公司 电子计算技术研究所，北京 100081；2. 北京经纬信息技术有限公司，北京 100081）

人脸识别技术在铁路人脸核验闸机中得到了广泛的应用[1-3]。受限于铁路的复杂场景，采集到的人脸会受到光照条件和人脸图像模糊等因素的影响。为提高人脸识别的准确率，提升旅客的进站体验，亟需解决铁路场景中采集人脸图像光照条件不理想和模糊的问题。

非理想的光照条件下采集的图像可能存在大面积的高响应区域或缺失纹理细节的低响应区域，这种光照异常的图像会降低人脸识别算法的准确率。同时，旅客的个人习惯会导致闸机采集到部分模糊图像。通常，模糊类别主要包括失焦模糊[4]和运动模糊[5]。失焦模糊由相机和物体间聚焦失准导致，运动模糊由相机和物体的相对位移造成。由于采用了自动对焦等技术，运动模糊是当前铁路场景人脸图像模糊的主要因素。运动模糊的人脸图像在人脸识别算法处理的过程中，会降低人脸的可分辨性，增加人脸识别算法的误识率。

针对上述问题，现有的研究多聚焦于基于光照补偿和去模糊的图像增强算法。针对非理想光照问题，文献[6]提出基于方向滤波和自商图像的人脸光照补偿；文献[7]提出基于改进Gamma校正的人脸图像光照补偿算法；文献[8]提出基于小波商图像的人脸光照补偿；文献[9]提出基于线性子空间和商图像理论的人脸光照补偿。本文在分析了多种人脸光照补偿方法后，提出一种人脸光照自适应调节算法。该算法能根据人脸亮度对人脸的光照强度进行自适应调节，减小光照对人脸图像的影响。

针对人脸模糊问题，文献[10—11]将人脸模糊归到人脸质量问题中，结合人脸识别完成人脸质量评估；文献[12—13]通过对模糊人脸进行去模糊，来消除人脸模糊问题；文献[14]通过对运动模糊图像的模糊核进行估计，来解决图像模糊。然而，通过去模糊技术消除模糊人脸的方法很难保证其泛化性。为更好的解决人脸运动模糊问题，本文发现将人脸运动模糊问题当作分类问题进行解决效果显著。因此，本文设计了一个分类模型，以解决人脸运动模糊问题。

1 人脸光照自适应调节算法

铁路站房设计的不统一和车站闸机摆放位置的差异，导致闸机采集到的面部图像亮度差异较大，本文使用AFLW2000数据集的图片模拟铁路场景光照对人脸的影响，如图1所示。为消除人脸图像亮度差异对人脸识别算法造成的影响，本文设计了人脸光照自适应调节算法，算法步骤如图2所示。

图1 模拟铁路场景光照对人脸影响

图2 人脸光照自适应调节算法流程

本文通过HSV颜色空间的亮度值来判断图像的亮度值，对亮度值不在阈值范围内的图像，先进行去雾处理，对去雾后的图像，再次进行亮度值判断，若亮度值仍不在阈值范围，对图像进行Gamma矫正后输出。

1.1 颜色空间转换

摄像头采集到的图像多为RGB颜色空间，RGB颜色空间不能表示图像的亮度信息。为了能够根据图像的亮度对人脸图像进行光照自适应调节，需要进行图像的颜色空间转换，即将图像由RGB空间转换到HSV空间。HSV空间中的明度（V，Value）表示颜色明亮的程度，通过计算图像明度的均值，能够较好的体现图像的亮度信息。本文的颜色空间转换仅用于图像亮度值的判断，在暗通道去雾和图像Gamma矫正中，均使用RGB图像作为输入。

1.2 基于暗通道的图像去雾

暗通道先验理论[15]是基于对大量户外无雾图像的观察所得到的统计规律，即在大多数不包含天空区域的图像中，存在一些像素点至少有一个通道的像素值接近于0。用J表示没有雾的图像，则图像的暗通道像素值可表示为

其中，J dark表示图像的暗通道像素值；J c表示图像的r、g、b 3个通道的像素值，通过遍历处理J c的像素值生成J dark；x为图像遍历过程中的锚点；Ω(x)表示以x为中心的方形窗口；y表示本窗口内所有的像素值。

根据暗通道先验理论优化有雾图像，需分析有雾图像的形成模型，一般采用的公式为

其中，I（x）表示有雾图像；x指图像中每个像素点；J（x）表示无雾图像；t（x）是光线在散射作用下的传输函数；A表示全局大气光成分；1 -t(x)表示光照散射作用的系数。该模型认为有雾图像由两部分组成：（1）J（x）t（x）为有雾图像中成像物体反射光的部分，成像物体反射光受大气中悬浮粒子的吸收和散射作用，造成目标反射光能量的衰减；（2）A·(1-t(x))表示有雾图像中大气光部分，太阳光等环境光受大气散射介质的散射作用形成背景光。

采用暗通道去除的方法进行图像去雾，处理公式为

其中，t0表示预设的传输函数的最小值，通常取0.1。可对采集到的不满足光照约束的人脸图像进行去雾，并对去雾后的图像依据图像亮度值判断当前图像是否需要进行光照调节，若需要，则进行图像Gamma矫正。

1.3 图像Gamma矫正

由于人眼对光照的感受是呈非线性变化的，对暗区的变化较敏感，对亮区的变化较迟钝。为使图像在展示时符合人眼的习惯，在图像采集的过程中，会进行非线性编码。但由于图像编码位宽的限制，图像在编码过程中会丢失部分数据，造成图像质量的降低，通常采用Gamma矫正[16]的方法进行图像质量的提升。Gamma矫正采用幂函数的形式

其中，N(x)是图像像素值归一化到[0,1]后的像素值；f(x)是图像经过Gamma矫正后的输出值；gamma是常量，根据任务的不同设置不同的值，如对过亮、对比度过大的图像，设置gamma＞1，对亮度值过暗、对比度过小的图像，设置gamma＜1。

为实现人脸光照自适应调节，本文提出自适应Gamma调节算法，公式为

其中，f(x)表示经过自适应Gamma矫正后的输出值；K(x)表 示原始图像的像素值； mean(K(x))表示图像的亮度均值，代表图像的整体亮度值；std(K(x))表示图像的亮度标准差，代表图像的对比度。本方法可根据图像的亮度和对比度情况，自适应设置gamma值，实现图像亮度和对比对度的自适应调节。

2 模糊识别模型

本文提出一种人脸模糊识别数据集的制作方法，基于MobileNetV2的深度可分离模块设计了特征值注意力模块，构建了最基础的模糊识别模型，在此基础上，设计了局部赋权模块，对模糊识别模型中人脸图像上不同的图块赋予不同的权值，并提出使用Arcface loss[4]作为人模糊识别模型的损失函数。

2.1 数据集的制作

在模糊识别领域，公开数据集主要集中在通用模糊识别方向，由于人脸模糊识别的特殊性，如面部区域平滑，缺少有效的边缘信息等特点，缺少充足的公开数据进行算法训练。本文在研究过程中发现，铁路领域人脸图像的模糊主要由旅客在过闸机时的瞬间移动造成，由运动方向和运动程度2个因素决定[17]。因此，本文基于高斯滤波理论，设计了人脸模糊图像生成算法，使用高斯核尺寸模拟运动模糊程度，使用高斯核方向模拟运动方向。将人脸运动方向划分为18个区间，每个区间表示20度。将运动程度分为7个级别，分别使用高斯核尺寸3、4、5、6、7、8、9表示。在角度为20的情况下，不同运动程度生成的模糊图像如图3所示。

图3 清晰图像与不同运动程度生成的运动模糊图像

本文把人脸模糊识别算法定义为二分类任务，即模糊、非模糊两类。按不同的运动程度，把原图、1级、2级、3级4类图像归为清晰图像，把4级、5级、6级、7级4类图像归为模糊图像。

2.2 网络模型设计

为提升人脸模糊图像识别准确率，解决图像局部模糊识别，增加模糊识别的可控性，设计了特征图注意力模块和局部赋权模糊识别算法。

2.2.1 特征图注意力模块

疫情期间，旅客乘坐列车需佩戴口罩，由于口罩缺少皮肤纹理和边缘信息，会影响模糊识别算法的准确率。因此，本文设计了特征图注意力模块，以提升网络对口罩部分的过滤和非口罩区域的关注。本模块基于MobileNetV2的深度可分离模块，在输入和输出间增加了一个1×1的卷积，该卷积把图像从多通道映射为单通道的特征图，本特征层可有效提升模型对不同区域的注意力分布，以提升在佩戴口罩情况下的模糊人脸图像识别准确率。针对卷积步长为1和卷积步长为2，设计了2种模块，模块的结构如图4所示。

图4 特征图注意力模块结构

2.2.2 局部赋权模块

为避免背景模糊和局部模糊对人脸模糊识别准确率的影响，本文设计了局部赋权模块，输入是经过人脸检测算法后的面部图像，在输入网络前会经过尺度变换，尺寸统一变换为3×112×112，如图5所示。

本文设计的主干网络包含7个注意力模块，把3×112×112的图像映射为1 024×4×4的特征图，特征图中的每个位置对应图5（b）中相应位置的特征值。最后通过1×1卷积，把1 024个通道映射为2个通道，对应清晰与模糊两个类别，再通过softmax计算清晰和模糊的概率值，作为神经网络的输出，网络结构如图6所示。

图5 图像分块示意

图6 局部赋权模块网络结构

图像在经过模型的计算后，输出2×4×4的介于[0,1]之间的2个通道的数组，其中第1个通道表示清晰程度的概率值，第2个通道表示模糊程度的概率值。

本文根据不同的面部块包含人脸信息的重要程度，对数据进行了进一步的处理，对每块赋予不同的权值，网络输出的第1个通道（图像块清晰概率值）与权重数组的点乘结果即为最终的得分，计算过程如图7所示。

图7 图像清晰度计算过程

本文设0.3为是否清晰的判断阈值，即最终得分大于0.3为清晰图像，最终得分小于0.3为模糊图像。

2.2.3 损失函数设计

在分类问题中一般采用softmax损失函数，公式为

其中，N为批尺寸；n为类别数；xi为第i个样本的输出；yi为第i个样本所属类别的输出；Wj为第j个类别的权重；bj为第j个类别的偏置。

softmax损失函数虽然可实现分类的目的，但在分类时不能同时增大类内相似性与类间差异性，降低了模型的分类性能。为此，本文采用ArcFace[18]损失函数，公式为

其中，s为缩放比例； θyi为本类样本与本类样本特征值中心的特征值间的夹角；θj为非本类样本与本类中心的特征值间的夹角。

为增大类内相似性与类间差异性，对本类样本与本类中心的特征值间加上一个决策边界m，则损失函数为

3 算法实验

3.1 图像预处理

为提高模型的识别准确率，需对输入的图像进行预处理，图8展示了人脸光照自适应调节算法处理前后部分图像的对比情况。

图8 光照自适应调节前后图像对比

由图8可看出，本文设计的人脸光照自适应调节算法能较好地解决铁路场景下人脸光照问题，经过人脸光照自适应调节算法处理后的图像中的人脸更加清晰。

3.2 实验与结果分析

本文的测试数据集采用自建的铁路人脸模糊数据集，图像均经过光照自适应调节算法处理。测试数据集中清晰图像15 436张，模糊图像794张。实验环境：Win10操作系统、PyTorch1.8.1（CPU版）、Intel i7-8565U CPU、8 G内存，使用Python进行测试。

模糊识别作为一个分类任务，可与主流的分类任务模型MobileNetV2进行对比实验，本文使用准确率和召回率作为评价指标，对MobileNetV2模型、仅包含特征图注意力模块的基础模糊识别模型（模糊识别模型-A）、使用了局部赋权模块的模糊识别模型（模糊识别模型-B）和使用了局部赋权模块与Arcface损失函数的模糊识别模型（模糊识别模型-C）进行对比测试。准确率的公式为

其中，TP表示正确的正例；FN表示错误的反例；FP表示错误的正例；TN表示正确的反例。

本实验对使用不同的组件进行了对比实验。判断是否清晰的阈值确定方式为：以0.01为步长，遍历所有的0到1之间的数，计算不同阈值情况下的模型准确率，取准确率最高的阈值作为模型的阈值。由表1可知，模糊识别模型-C的图像识别准确率提升到97.21%。

表1 不同模型的性能参数及准确率

4 结束语

本文设计了人脸光照自适应调节算法，该算法能够较好地解决铁路场景中的人脸光照问题，使人脸图像亮度更适合进行人脸识别。通过对人脸模糊情况进行分析，设计了人脸模糊图像制作的方法，构建了铁路人脸模糊数据集。设计并改进了模糊识别算法模型，有效提升人脸模糊图像的识别准确率。