基于虚拟曝光融合的光照自适应人脸图像增强方法

靳晓缘，徐望明，伍世虔

(1.武汉科技大学信息科学与工程学院，湖北 武汉，430081；2.武汉科技大学冶金自动化与检测技术教育部工程研究中心，湖北 武汉，430081；3.武汉科技大学机器人与智能系统研究院，湖北 武汉，430081)

近年来人脸识别技术在可控条件下取得了不错的应用效果，出现了许多成熟的人脸识别算法和系统。但是在实际使用中也发现，由于受光照、表情、姿态等不可控因素的影响，同一人脸的图像在不同环境下变化很大，其中光照条件对人脸识别性能的影响最为明显，大大制约了人脸识别的应用场合。

为了提高复杂光照条件下的人脸识别性能，国内外研究者设计出多种方法，主要分为三类：一是光照预处理，即通过基本的图像处理技术对人脸图像进行光照调整或补偿，如采用伽玛校正(Gamma Correction，GC)[1]或直方图均衡化(Histogram Equalization，HE)[2]的方法；二是对人脸图像进行光照归一化处理，有采用Lambert光照模型估计人脸图像中与光照无关的反射分量的方法，如基于Retinex的算法[3]、自商图(Self Quotient Image, SQI)算法[4]等，还有运用滤波原理的方法，如基于高斯差分(Difference of Gaussian, DoG)滤波的可增强局部纹理的光照归一化算法(Tan and Triggs Normalization, TT)[5]、基于高斯滤波的韦伯脸计算方法 (Weber-face，WEB)[6]、基于微分滤波的梯度脸计算方法(Gradientfaces)[7]；三是提取对于光照具有不变性的人脸特征，如基于局部二值模式(LBP)、局部三值模式(LTP)、Gabor特征及其变种算法等构建稳定的人脸特征表示[8-11]。这三类方法是从不同角度来改善光照变化对人脸识别的影响，还有一些研究者通过组合处理方法来达到更好的人脸识别效果[12-13]。

光照归一化方法或光照不变特征提取方法使得人脸图像的表示在大部分光照下显现出稳定性，但在人脸图像过亮、过暗、不均匀等极端情况下，仍难以获得较理想的特征表示和识别效果，因而通过特定光照预处理算法改善人脸光照水平，再与光照归一化方法以及合适的人脸特征提取算法相结合，对提高复杂光照条件下的人脸识别效果具有积极意义。

本文针对人脸识别场合中可能存在的光照过亮、过暗和光照不均匀的情形，提出一种光照自适应的图像增强方法(Illumination-Adaptive Image Enhancement，IAIE)。对于不同光照条件下获取的人脸图像，首先计算其平均亮度，并与通过统计学习得到的正常光照人脸图像的亮度区间进行比较，判定其光照水平，分为低光照、高光照和正常光照三种情况，然后对低光照和高光照人脸图像运用相机响应模型(Camera Response Model，CRM)产生相应虚拟的曝光良好的图像，再进行图像融合以达到光照增强的目的，此过程循环迭代，最终使得人脸图像平均亮度达到正常水平。这种光照自适应增强后的人脸图像可无缝接入现有的人脸识别算法(包括基于深度学习的人脸识别算法)作为输入图像，从而改善人脸识别系统的性能。本文最后采用Extended Yale B和CMU_PIE人脸数据库中的图像来验证该方法的有效性。

1 光照自适应的人脸图像增强方法

1.1 基本流程

如图1所示，对于输入的人脸图像，本文方法先计算其平均亮度，再以事先通过统计学习得到的正常光照亮度区间为参考，判断该图像的光照水平。对于低光照和高光照图像，分别采取低光照和高光照图像增强方法进行处理；对于正常光照图像，不需要处理，直接输出。每一次光照增强处理后，再次计算其平均亮度并衡量光照水平。迭代以上图像增强处理过程，直到最终输出正常光照水平的人脸图像为止。这种光照自适应增强后的人脸图像可作为现有人脸识别系统中人脸光照归一化模块或人脸特征提取模块的输入。

图1 光照自适应的人脸图像增强方法流程

Fig.1 Flow chart of illumination-adaptive face image enhancement method

1.2 图像平均亮度的计算及正常光照亮度区间估计

在实际部署的人脸识别系统中，注册的人脸样本一般是在正常光照条件下采集的，并作为人脸识别时的比对样本；而在识别具体的人脸时，光照条件可能比较复杂，存在低光照、高光照或不均匀光照等情况。为了解决这一问题，本文根据输入人脸图像的平均亮度评价图像光照水平，从而进行有针对性的光照增强处理，使得最终输送给人脸识别系统后续处理环节的图像处于正常光照水平。

具体而言，对于任意输入的人脸图像：若为灰度图像，则直接计算其平均灰度值作为平均亮度；若为彩色图像，则先转换为灰度图像或直接计算其亮度分量通道图像，再求平均亮度。

为了评价图像光照水平，本文采用统计学习方法确定一个处于正常光照水平的图像的平均亮度分布区间。从已有的人脸图像数据库中选择那些在正常光照条件下采集的人脸样本，首先计算每个样本自身的平均亮度，记为mi，i=1,2,…,n，n表示样本总数，然后求所有样本的亮度平均值μ和标准差σ。

假设图像灰度值均归一化到区间[0,1]，在理想情况下，正常光照图像的平均亮度值应该在0.5左右，所以期望估计的正常光照区间是一个包含0.5的区间。但由于存在人脸肤色、图像背景噪声等因素的影响，样本均值μ可能不满足期望。通过实验研究，本文采取如下调整策略进行区间表示：

[imin,imax]=

(1)

式中：[imin,imax]为正常光照亮度区间；λ为可调系数；ε取为0.05。

设所输入人脸图像的平均亮度为m，通过与正常光照亮度区间的上下限进行比较，可将输入图像分为3类：

(1)当m

(2)当m>imax时，该图像属于高光照图像，将进行高光照图像增强；

(3)当m∈[imin,imax]时，该图像属于正常光照图像，不处理，直接作为后续算法的输入。

可调系数λ决定了正常光照亮度区间的长度，考虑用于统计分析的部分样本可能含有噪声，为了确定合适的系数λ，定义样本率：

(2)

式中：N为训练集的样本总数：M为平均亮度位于区间[imin,imax]上的训练集样本数。

当|μ-0.5|≤ε时，本文设定η≥85%，求取此条件下的最小λ值，这样能使最终确定的正常光照亮度区间尽量紧凑且同时能包含至少85%的训练样本；当|μ-0.5|>ε时，η阈值减半，即设定η≥42.5%。

1.3 低光照及高光照图像增强

对于低光照或高光照人脸图像，本文使用图像增强技术进行处理，使其平均亮度最终能处于正常光照水平。伽玛校正 (GC)是一种常用的图像处理方法，其通过非线性变换，对过暗或过亮图像进行亮度调节。但由于伽玛校正是对图像所有像素进行处理，在改善了过暗或过亮区域的同时，也使得原本曝光良好的区域过度增强或对比度不足，同时，合适的校正系数也难以确定。因此，本文在Ying等[14-15]提出的基于相机响应模型和曝光融合框架的图像增强算法的基础上进行改进，有选择性地处理图像中的过暗和过亮区域，以达到更好的复杂光照下人脸图像增强效果。

针对低光照情况，首先利用文献[14-15]中的相机响应模型对原始低光照图像P0进行曝光增强，即生成一张虚拟曝光图像P1,然后设计合适的权重矩阵W，将这两幅图像进行融合：

R=W∘P0+(1-W)∘P1

(3)

式中：运算符“∘”表示具有相同行数和列数的矩阵对应位置元素相乘。

所使用的相机响应模型为:

P1=g(P0,k)=βP0γ=eb(1-ka)P0ka

(4)

式中：g为反映相机响应的亮度映射函数；a和b为相机参数；k为曝光率。设置不同的k值，可生成不同曝光率的虚拟图像。由于相机的信息未知，采用固定的相机参数a=-0.3293和b=1.1258，使这个模型能够适应大部分相机。

为了找到最佳曝光率k，使虚拟曝光图像P1在原始图像P0曝光不足的位置变得曝光良好，先利用式(5)排除P0中曝光良好的像素，获得曝光不足的像素点集Q：

Q={P0(x)|T(x)<τ}

(5)

式中：τ=0.5；T为原始图像P0的光照分量，基于Retinex理论估计T的方法可参考文献[14-15]。

由于不同曝光率下的图像亮度显著变化，而颜色基本相同，故只考虑使用Q中所有像素的亮度矩阵B来估计曝光率。曝光不足的像素点的亮度矩阵B的信息熵为：

(6)

式中：pi代表在亮度矩阵B中每个灰度等级i出现的概率。

将曝光不足的像素点转化为曝光良好的像素点有助于图像可见度提升、信息量增大，因此使用“图像熵最大化”的原则来求解最佳曝光率：

(7)

另外，对于式(3)中曝光融合时权重矩阵W的设计也很重要，一般考虑为曝光良好的像素分配较大的权重值。权重矩阵与场景照明正相关，计算公式为：

W=Tξ

(8)

式中：T为前述能反映场景照明程度的光照分量；ξ为控制增强度的参数，这里取ξ=0.5。

与伽玛校正方法相比，这种基于虚拟曝光融合的图像增强方法利用相机响应模型、Retinex亮度分量估计和图像熵最大化方法自适应地求得曝光率k和图像融合权重矩阵W，使得算法对于不同程度的低光照图像均能取得较好的增强效果。

图2所示为输入人脸图像与1次曝光增强后的虚拟图像按照式(3)进行融合后的结果，由图可见，低光照区域取得了一定的对比度增强效果，但高光照区域的对比度依然较低。这是由于文献[14-15]中的方法是针对低光照图像，因此还需要处理实际人脸识别场景中可能出现的高光照情况。

图2 人脸图像的虚拟曝光融合

Fig.2 Virtual exposure fusion for face image

对于高光照图像增强，本文先将所输入的高光照人脸图像P0的灰度值进行反转：

P′0=1-P0

(9)

这样P′0就成为了低光照图像，同样可用上述方法对其进行虚拟曝光图像融合处理，最后再通过1次灰度值反转操作，输出结果中对应于原高光区域的对比度将得以改善。

1.4 迭代式光照自适应图像增强

一些在极端光照条件下采集的图像，按上述操作经过1次虚拟曝光融合处理之后，还是无法达到较好的效果，本文方法继续评价增强后人脸图像的光照水平，视情况进行迭代式增强处理。通常设置一个最大增强迭代次数itermax，在保证大多数图像的光照水平在迭代次数内能达到要求的同时，为了提高计算效率，itermax也要尽量小，一般取3～4比较合适。

图3给出不同光照条件下的原始图像以及分别采用伽玛校正和本文方法的处理效果对比，由图可见，当光照变化较大时，本文方法取得的效果比伽玛校正要好，起到了增强人脸图像中低光或高光区域对比度的作用。

图3 人脸图像光照处理效果对比

Fig.3 Comparison of illumination processing effect for face images

2 人脸识别实验与结果分析

本文提出的人脸图像光照增强方法可以无缝接入现有的人脸识别系统。为了验证本文方法(IAIE)的有效性，采用Extended Yale B和CMU-PIE两个人脸图像数据库进行识别实验，在采用相同的人脸特征提取方法和分类器的前提下，与伽玛校正(GC)方法进行对比研究，同时也将IAIE与光照归一化方法TT[5]、WEB方法[6]相结合进行对比研究。

Extended Yale B数据库包含38人、每人64幅在不同光照条件下的正面人脸图像，共2432幅。其中，每个人的图像又因光照方向的不同分为5个子集：子集1(0°～12°)、子集2(13°～25°)、子集3(26°～50°)、子集4(51°～77°)和子集5(>77°)，每人在每个子集中的人脸图像数依次为7、12、12、14 和19。部分样例如图4所示。

子集1可以作为正常光照条件下采集的图像样本，因此选取子集1为训练集，其它4个子集分别作为测试集进行人脸识别实验。按照本文方法可以计算得到，训练集图像平均亮度的均值为0.42，标准差为0.086，系数λ为1.4，则正常光照亮度区间为[0.42,0.54]，迭代次数itermax可设为3。

图4 Extended Yale B数据库人脸图像样例

Fig.4 Face image examples in Extended Yale B database

首先应用不同的光照处理方法进行图像增强，然后提取人脸Gabor特征并进行PCA降维[16]，再用最近邻分类器进行人脸识别，并统计人脸识别率。表1列出了以子集1作为训练样本时采用不同光照处理方法对子集2～子集5的识别率。

表1 Extended Yale B数据库中子集1为训练样本时对其它各子集的人脸识别率

Table 1 Face recognition accuracy of other subsets with Subset 1 in Extended Yale B database as training samples

分组光照处理方法识别率/%子集2子集3子集4子集51不处理10085.4125.007.73GC10086.3625.6618.42IAIE10091.1533.3319.082TT10094.6280.9288.49IAIE+TT10094.7483.1194.413WEB10096.4176.7589.31IAIE+WEB10096.8984.5695.07

表1分三组显示实验结果。第1组比较了不进行光照处理、分别使用GC和IAIE方法进行处理后的人脸识别精度，结果表明，随着光照变化增大，各子集识别率下降比较明显，但相对而言IAIE处理能起到提升识别率的作用。第2组、第3组分别比较了将IAIE与TT、WEB方法进行组合处理前后的人脸识别精度，结果表明，组合后的识别率均有所提升，表明IAIE方法改善了人脸光照水平，提高了采用TT和WEB方法进行光照归一化后的图像效果。

另外，仍然采用由子集1确定的IAIE参数，从Extended Yale B数据库中每个人的每一个光照子集中随机选取约1/3的人脸图像(即依次随机选取2、4、4、5、6幅图像)作为训练集进行特征比对，因此一共有21×38=798个训练样本，再将剩余的1634幅图像全部作为测试样本进行人脸识别实验。同样提取人脸Gabor特征并进行PCA降维，再用最近邻分类器进行人脸识别。其它参数设置不变，重复实验5次，计算平均识别率，结果如表2所示。

表2 Extended Yale B数据库的整体人脸识别率

Table 2 Face recognition accuracy of all samples in Extended Yale B database

分组光照处理方法识别率/%1不处理82.59GC88.61IAIE90.302TT98.30IAIE+TT99.123WEB98.81IAIE+WEB99.36

这三组实验结果同样表明，应用IAIE方法对不同光照条件下的人脸图像进行增强处理后的识别率较GC方法有所提高，而且IAIE与TT或WEB组合后的人脸识别率也得到提升，进一步验证了本文方法对于增强人脸图像光照质量的有效性。

同样的实验效果也在CMU_PIE人脸图像数据库上得到体现。CMU_PIE数据库包含68人、每人24幅在不同光照条件下的正面人脸图像，共1632幅。挑选每人2幅能够代表正常光照下的人脸图像，按本文方法估计出正常光照亮度区间为[0.44,0.54]。迭代次数itermax同样设为3。在进行人脸识别时，每人随机选取1/3的图像作为训练集进行特征比对，因此一共有8×68=544个训练样本，再将剩余1088幅图像全部作为测试样本。提取人脸Gabor特征并进行PCA降维，再用SVM分类器进行人脸识别，重复实验5次，计算平均识别率，实验结果如表3所示。

表3 CMU_PIE数据库的整体人脸识别率

Table 3 Face recognition accuracy of all samples in CMU_PIE database

分组光照处理方法识别率/%1不处理91.44GC92.49IAIE93.722TT96.08IAIE+TT97.733WEB97.11IAIE+WEB97.88

近年来，随着卷积神经网络等深度学习算法的兴起，基于深度特征的人脸识别方法的性能相比于传统方法得到了很大提升，但深度学习方法的局限性在于对训练样本的依赖性较强，尤其在光照不可控的条件下，当识别那些与训练样本光照差异较大的人脸图像时可能出现错误。本文方法同样可以无缝接入基于深度特征的人脸识别方法中，通过光照自适应的图像增强，改善不可控光照条件下的人脸识别性能。

为了说明本文方法对于基于深度特征的人脸识别同样有效，这里利用Google公司通过百万数量级人脸图像数据训练出的深度卷积神经网络FaceNet[17]提取的128维特征替代前述PCA降维后的Gabor特征进行实验。由于光照归一化方法TT和WEB处理后的人脸图像不适合用深度学习的人脸识别网络提取特征，故下面只对表1～表3中第一组实验利用FaceNet提取的深度特征进行处理，人脸识别结果如表4和表5所示。

表4 使用深度特征时Extended Yale B数据库各子集的人脸识别率

Table 4 Face recognition accuracy of subsets in Extended Yale B database when using deep features

光照处理方法识别率/%子集2子集3子集4子集5不处理99.7898.0876.0944.24GC99.7898.5687.2884.21IAIE99.7898.8092.1096.05

表5 使用深度特征时Extended Yale B和CMU_PIE数据库的整体人脸识别率

Table 5 Face recognition accuracy of all samples in Extended Yale B and CMU_PIE databases when using deep features

光照处理方法识别率/%Extended Yale BCMU_PIE不处理85.3299.32GC98.3099.42IAIE99.4799.46

由表4可见：与表1中第一组实验结果相比，基于深度特征的人脸识别方法确实大幅提高了复杂光照条件下的人脸识别性能，但对于子集4和子集5中包含的光照差异较大的人脸图像，不进行光照处理时识别率仍然比较低；而使用GC和IAIE方法进行图像增强处理后的人脸识别率得到了明显提升。这表明光照增强对基于深度特征的人脸识别方法是有帮助的，尤其是本文IAIE方法与基于深度特征的人脸识别方法相结合取得了更好的效果。

同样，将表5中的结果与表2和表3中第一组实验结果对比可知，基于深度特征的人脸识别方法也明显提升了对两个数据库的整体识别率，同时，使用GC和IAIE方法进行图像增强处理后的人脸识别率得以进一步提升，而且本文方法与基于深度特征的人脸识别方法相结合时表现最优。由于CMU_PIE数据库中人脸图像的光照复杂性不如Extended Yale B，故图像增强对Extended Yale B数据库整体识别率的提升效果更明显，这恰好也说明了本文方法有利于复杂光照条件下的人脸图像识别。

3 结语

光照变化是影响人脸识别性能的关键因素，为了提高复杂光照条件下人脸识别的准确率，本文提出一种基于虚拟曝光融合的光照自适应人脸图像增强方法。该方法通过估计输入人脸图像以及增强后的人脸图像的光照水平并进行分类别、有针对性的迭代式处理，利用相机响应模型和图像熵最大化方法自适应地求取用于生成虚拟曝光图像的最优曝光率，使得算法能尽快收敛，且对于不同程度的低光照和高光照图像均能取得较好的增强效果。针对Extended Yale B和CMU_PIE数据库的基于传统特征和基于深度特征的人脸识别实验都验证了本文方法的有效性。