Facial—Lighting归一化方法研究

周枫+薛荧荧+陈晗婧+许小强+徐永红+李千目

摘要：一直以来，人脸识别都是模式识别和计算机视觉领域的研究热点。作为一种重要的生物特征识别技术，在社会公共安全和日常生活中具有广泛的应用前景。目前，在可控环境下的人脸识别系统已达到了令人满意的性能。但是，在真实环境下影响人脸识别的因素是很难控制的，例如光照变化、姿态变化和遮挡等。本文主要关注人脸图像光照归一化的方法，重点研究了直方图均衡、高斯差分滤波、对数域离散余弦变换、梯度脸和光照预处理链等方法。

关键词：人脸识别；光照预处理；图像处理

中图分类号：TP391.41

文献标识码：A

DOI：10.3969/j.issn.1003-6970，2015.06.012

本文著录格式：周枫，薛荧荧，陈晗婧，等.Facial-Lighting归一化方法研究[J].软件，2015，36（6）：58-65

ResearchonFacial-IightingNormalizationMethodsZHOUFengl，XUEYing-yingl，CHENHan-jingl'2，XUXiao-qiangl，2，XUYong-hong3，11Qian-mul

[Abstract]：Facerecognitionhasbeenoneofthemostactiveresearchtopicsincomputervisionandpatternrecogni-tion.Asanimportantbiometricstechnology，facerecognitionhasandwillhavepopularapplicationsintheareaofso-cialpublicsecurityanddailylife.Nowincompletelycontrolledenvironmentfacerecognitionhasachievedsatisfyingperformance.However，inpractice，manyfactorsinfacerecognitionareuncontrolled，e.g.variationsinillumination，poseandocclusion.Thispapermainlyfocusesonthefacial-lightingnormalizationmethods

[Keywords]：Facerecognition；Illuminationpreprocessing；Imageprocessing

0引言

同一张人脸图像在不同光照条件下的差异可能会大于不同人脸图像在相同光照下的差异[1]。作为人脸识别、表情识别[9]等多种现实应用的重要基础，研究人员日益关注光照问题的解决，不断对现有方法进行组合和改进，提出了诸多识别率较高、普适性较强的方法[3-7]。这些方法或是利用数字图像处理技术对光照进行预处理，或是利用数学理论结合图像技术对图像进行变换，以期获取光照良好的图像，又或是对人脸图像进行建模处理，试图复原人脸的形状、姿态等信息；在此基础上再对人脸进行识别，大都获得了较好的识别性能。

本文总结和归纳了目前主流的五种处理方法：直方图均衡、高斯差分滤波、对数域的离散余弦变换、梯度脸和光照预处理链，并对每种方法的原理进行了分析和比较。

1人脸图像光照归一化方法

1.1光照预处理链（TT）方法

基本思想：将伽玛校正、对比度均衡化等光照预处理方法综合起来，得到了一个人脸图像光照预处理链。该方法过程复杂，却能有效去除过度曝光和阴影对人脸图像的影响，同时还能将人脸的光照变化和细节特征等基本要素保留下来。

伽马矫正是一种非线性灰度变换，用，7（γ>0）或者log（/）（γ=0）代替图像灰度，，当γ∈[o，1]且γ是一个用户白定义参数。这种变换能提升图像在黑暗或阴影区域的局部动态变化范围而压缩图像在明亮区域和亮点的局部动态变化范围。潜在的原则是，从物体上反射出来的光照强度是入射光照L（L在绝大多数区间是分段平滑的）和局部表面反射率R综合的结果。原作者给出了这样的结论：对于恒定的局部光照，给定的反射率产生给定的log（I），而不用考虑光照的真实强度。实际上，全局的对数变换往往过度放大了图像黑暗区域的噪声；但是一个指数为γ且γ∈[0，o.5]范围的幂次定律是个很好的折衷。在人脸识别中，一般情况下选择γ=0.2作为默认设置。

对比度均衡化能重新调整图像灰度到一个期望的范围以内，同时又能保证图像在全局上的整体对比度。这是为了达到光照鲁棒性的一项重要举措。基于式（1）和式（2）可以对图像做如下对比度均衡化处理：

其中，a是一个强力压缩指数，能减少个别较大灰度值带来的影响；z-是一个阈值，在均衡化中用来截取较大灰度值；mean（-）是对整个图像的均值操作算子。在此处取α=0.1和γ-=10作为默认值。最后，该方法应用一种非线性映射的策略来完成对图像灰度值极大值的抑制，即，（x，y）←γtanh（r（x，y）/τ，其中是双曲正切函数，I的取值范围被限制在（-τ，τ）。tnah（·）是双曲正切函数，I的取值范围被限制在（-τ，τ）。

图1展示了光照预处理链的过程，该方法的效果如图2所示

2.2直方图均衡化（HE）

直方图均衡化方法，是一种在全局上进行统计分析，调整直方图中的灰度分布，再重新生成直方图的方法[8]。该方法主要是为了有选择性地抑制某些信息（像素所占比例较少的灰度），而增强另外需要表现的某些信息（像素所占比例较多的灰度），即达到均衡化的目的。

2.2.1灰度图像的直方图

增加灰度图像的对比度，是图像增强技术的一种，主要用来提升灰度图像在局部或者整体上的反差程度，从而清楚地显现出图像的某些细节，以达到改善图像的视觉效果的目的。直方图均衡化和伽马矫正就是在全局上增强对比度的典型方法。

一般以各像素点之间的灰度值差距的程度来表示图像对比度。而直方图均衡化就是按照设定好的一些映射关系，调整原图中各个像素点的灰度值使之均衡化的分布，来增强图像对比度的方法。我们能够通过图像的直方图清楚地看到图像像素在整个灰度区间的分布，以及像素在每个灰度级上出现的频率。如图3所示，

2.2.2直方图均衡化

直方图均衡化又可以被称为灰度均衡化，整个过程就是按照一定规则将像素值重新分配，从而使得图像的直方图中灰度能均衡地分配到各个灰度区间，这也是直方图均衡化的主要思想。因此，图像在做过增强处理后，将会取得很大的动态变化范围和很高的灰度对比度。

为了能清晰明了并且简单地介绍直方图均衡化处理的过程，可以给出这样的定义：灰度图像在0-1的区间里并且连续，图像的概率密度函数为

p（x），O

（3）

从式（2.2.1）可以得出，在0-1区间对p（x）进行积分，值为1，即：

可以假设灰度图像在处理前的概率密度函数为pr（r），经过直方图均衡化后的图像概率密度函数为Ps（s），令s=f（r），对s求导数可得：

为了满足Ps（s）=1且O

对式（7）两边方程式进行积分处理，有：

上述的推理过程是灰度值在0-1区间并且连续分布的条件下进行的，而当在[0-255]条件下时，只要将积分乘上最大灰度值即可。具体描述如下：

直方图均衡化对于对比度比较低的图像做图像增强时，可谓是简单而高效。经过该方法处理后的图像，平均的灰度值将会比较靠近灰度中指，进而导致了一些过度增强以及光晕等现象。而在人脸识别中，当光照良好时，该方法表现尚好；但是在光照条件恶劣时识别性能并不令人满意。直方图均衡化（HE）的效果如图4所示：

2.3高斯差分滤波器（DOG）

DOG是一种基于高斯差分滤波器的图像的光照归一化方法。该方法主要运用带通滤波器将输入图像做归一化处理。需要注意的是，在进行滤波以前，必须先对图像进行伽玛矫正或者对数变换来抑制阴影区域的局部差异带来的影响，否则难以得到理想的结果图像。

在一维情况下DOG定义如下：

在二维的情况下DOG定义如下：

作为一种图像增强算法，DOG可以被用作增加边缘和其他细节的可见性。这个算法的一个主要缺点就是在调整图像对比过程中信息量会减少。该方法的效果如图5所示：

2.4对数域离散余弦变换（LDCT）

该方法能有效消除光照变化，同时保持主要的面部特征不受影响。该方法的主要思想是，光照变化可以通过在对数域截取低频离散余弦变换（DCT）系数而显著降低。以下是对该方法所用到的一些基本理论进行简单介绍。

2.4.1对数变换

在数字图像增强技术中，对数变换通常被用来提高暗像素的灰度值。在一个简单的情况下，图像的灰度级厂（x，y）可被假设为正比于反射率r（x，y）的和光照e（x，y）的乘积，即

f（x，y）=r（x，y）.e（x，y）

（11）

众所周知，Retinue算法与反射恒常性相关。反射率不变的特性已被广泛应用于目标识别。由于反射是面部特征的稳定特性，就可以恢复在不同光照条件下的反射面。对式（11）取对数变换，我们有

logf（x，y）=logr（x，y）+loge（x，y）

（12）

由式（12）可得，在对数域，如果入射光照e（x，y）和所需的均匀的光照e被给出了（e为相同的图像的每一个像素），有

logf'（x，y）=logr（x，y）+loge'

=logr（x，y）+loge（x，y）-s（x，y）

（13）

=logf（x，∥）一s（x，少）

其中占（x，y）=loge（x，y）-loge'

并且f'（x，y）是根据所希望的均匀光照的像素值。由式（13），我们可以得出这样的结论：归一化的人脸图像可以通过使用一个附加函数ε（x，y）从原始图像获得，ε（x，y）被称为补偿函数，是光照归一化和估计原有光照在对数域之间的差异所在。

2.4.2离散余弦变换

有四种类型的离散余弦变换（DCT），列举如下：DCT-I，DCT-II，DCT-III，和DCT-IV。DCT-II更广泛地被应用于信号的编码，因为它近似等价于Karhunen-Loeve变换（KLT），Markov-1信号相关系数更是接近于1。例如，JPEG图像压缩是基于DCT-II。DCT-II经常被简称为“DCT”二维的MxN的DCT定义如下：

在该方法中，DCT变换是对整个人脸图像进行，以获取人脸图像的所有频率成分。

2.4.3光照补偿

给定一张人脸图像，如果已知光照变化和主要的人脸特征关系，那么光照变化可以通过在对数域增加或减少项ε（x，y）来进行补偿，然而，面部特征检测是一项并不简单的工作，尤其对于较大光照变化的人脸图像。与一些在人脸图像上的投射阴影和镜面反射相比，光照变化通常改变缓慢。因此，光照变化主要表现在低频带。因为试图使用反射率特性识别人脸，光照变化可以通过去除低频分量被减少。应当指出的是，在该方法中只考虑没有头发的人脸图像，因为人头发的强度是一种容易受损的低频特征，它会使人脸图像的低频分量丢失。然而，人的头发是一种不稳定的特征，它会随时间而发生很大变化。因此，在许多人脸识别系统中，人的头发不被视为是一种重要的面部特征。

DCT可用于将图像从空间域变换到频率域。此外，它可以使用快速算法来实现，这大大降低了计算的复杂性。人脸图像的低频分量可以通过设置低频DCT系数为零而简单地除去。显然，所得到的系统的工作方式类似于高通滤波器。由于光照变化主要为低频成分，可以通过使用低频DCT系数来估计在人脸上的入射光照。由式（14）可得，设置DCT系数为零相当于减去DCT基图像和原始图像相应的系数的乘积。如果N个低频DCT系数被设置为零，有

由于光照变化预计将在低频分量，函数可近似看作光照补偿函数。由（13）可知，函数F（x，y）（16）就是所需的在对数域的归一化的人脸图像。因此，丢失的对数域低频DCT系数相当于对光照变化的补偿。这就是为什么DCT应在对数域实现。第一DCT系数（即，离散余弦分量）确定人脸图像的全局光照。因此，可以通过设定取值相同的离散余弦系数，来获得所希望的均匀光照。即：

其中，c（o，o）是对数域图像的离散余弦系数。为了便于理解和可视化，通常选择一个接近原始图像的中间值的值。换句话说，正常人脸图像有一个平均灰度级μ。

该方法期望消除高频分量，同时保留低频分量，利用DCT系数来消除不良光照。在重建原图像时，尽管维度被降低了，但是仍能较好地恢复图像。虽然该方法能消除部分光照的影响，但识别率还有待进一步提高。

对数域离散余弦变换（LDCT）处理前后的人脸图像如图6所示：

2.5梯度脸（GRF）

处理过程为：首先求取图像x和y方向的梯度分量，通过高斯一阶导数与图像做卷积可以求得；其次，根据图像在x和y方向各白的梯度分量来获得图像的梯度分量[3]。

2.5.1反射模型

在许多情况下使用到的反射模型可以定义如下：

I（x，y）=R（x，y）./（x，y）（18）

式中I（x，y）为图像像素值，R（x，y）为反射率，L（x，y）为点（x，y）的光照。其中，L（x，y）的性质由光源决定，而R（x，y）由物体表面的特征决定。因此，R（x，y）可以被认为是光照不变特征。然而，从实际图像中区分反射率R和光照L是一个不适定问题，即解不存在或不唯一，或是解连续依赖于初边值条件。为了解决这个问题，可以做成这样的假设：当R突然改变时，L变化缓慢。就在光照下的图像中两个相邻的点（x，y）和（x+Ax，y）而言，由于/（x，y）由光照决定，L（x，y）和/（x+Ax，y）通常是近似相等的，当Ax值很小的时候。因此，L是近似平滑的。应当被指出的是，这个结论（L是近似平滑的）在阴影边界，可能是相悖的。然而，阴影在图像处理和模式识别领域是一个开放性问题。为了解决阴影边界问题，一种高斯核函数被引进到梯度脸方法。并且，在人脸识别应用中，我们应该更加关注识别率而不是图像本身。

2.5.2梯度脸

为了从梯度域提取光照不变特征，需要有以下理论来获取梯度域部件之间的关系。定理：给定一任意光照条件下的图像I（x，y），Y方向梯度分量和X方向梯度分量的比做为光照不变特征。证明：考虑两个相邻的的像素点（x，y）和（x+Ax，y），根据光照反射模型，有：/（x，y）=R（x，y）./（x，y）

（19）/（x+Ax，y）=R（x+Ax，y）./（x+Ax，y）

（20）式（20）减去（19），可以获得/（x+Ax，y）一，（x，y）=R（x+Ax，y）./（x+Ax，y）-R（x，y）L（x，y）

（21）基于反射模型中的假设，L是近似平滑的；因此，有：/（x+Ax，y）-I（x，y）=R（x+Ax，y）-/（x+Ax，y）-R（x，y）L（x，y）。R（x+Az，y）一R（x，y）L（x，y）

（22）对上面的不等式（22）取极限，可以获得同理可得：式（24）除以式（23），可得：

根据光照反射模型中式（19），R可以被认为是光照不变特征。因此，Y方向梯度分量，（x，y）（eI（x，y）/ey）和x方向梯度分量，（x，y）eI（x，y）/ex）的比也是光照不变特征。

在实际应用中，由于X方向梯度分量可能为零，因此这个比率不能直接用作光照不变特征。这些结论导致梯度脸的定义如下：

定义：I是可变光照条件下的一张图像，那么梯度脸（G）的图像，可以被定义为其中，Ix-gradiment和Iy-gradient是图像I中各自x和y方向的梯度。

梯度脸方法的处理过程为：首先求取图像x和y方向的梯度分量，通过高斯一阶导数与图像做卷积可以求得；其次，根据图像在x和y方向各自的梯度分量来获得图像的梯度分量。该方法是一种光照鲁棒的方法，在光照条件复杂情况下的人脸识别率较高，取得了良好的识别效果。

该方法的处理效果如图7所示

3结论

本文分析和综述了人脸识别中光照问题的解决方法：直方图均衡化（HE），该方法利用图像增强技术，消除了部分光照影响[9]，却很难消除人脸图像中的阴影，并且直方图均衡化后的人脸图像中出现了过曝光；高斯差分滤波器（DOG），该方法对图像做两次高斯滤波再求差，试图消除人脸图像边缘对识别的影响，但是该方法的主观效果一般，在光照良好时才有不错的识别率；对数域离散余弦变换（LDCT）：该方法将离散余弦变换在对数域进行，截取了低频分量，较好地保留了图像信息，因而主观效果好，在光照恶劣条件下识别率也高；梯度脸（GRF）：该方法根据图像在X和Y方向各自的梯度分量来获得图像的梯度分量，是一种光照鲁棒的方法，在光照条件复杂情况下的人脸识别率较高，取得了良好的识别效果；光照预处理链（TT）：通过将伽马变换、高斯差分滤波等技术结合组成一个光照预处理链，过程复杂却有效，能很好地消除光照变换带来的不利影响，取得了非常高的识别率。

参考文献

[1]杨国林，冯乔生，张亚萍.基于肤色的人脸检测综述[J].软件，2013，34（3）：7-9.

[2]冯杰，屈志毅，李志辉.基于分类稀疏表示的人脸表情识别[J].软件，2013，34（11）：59-61.

[3]T.Zhang，Y.Tang，B.Fang，etal.Facerecognitionundervaryingilluminationusinggradientfaces.IEEETransactionsonImageProcessing，2009，18（11）：2599-2606.

[4]X.Y.TanandB.Triggs，Enhancedlocaltexturefeaturesetsforfacerecognitionunderdifficultlightingconditions.IEEETransactionsonImageProcessing，vol.19，no.6，pp.1635-1650，Jun.2010.

[5]A.Shashua，T.Riklin-Raviv.TheQuotientImage：Class-BasedRetenderingandRecognitionwithVaryingIlluminations.IEEETrans.PatternAnalysisandMachineIntelligence，2001，23（2）：129-139.

[6]R.Ramamoorthi，P.Hanrahan.OntheRelationshipbetweenRadianceandIrradiance：DeterminingtheIlluminationfromImagesofaConvexLambertanObject.JournaloftheOpticalSocietyofAmerica，2001，18（10）：2448-2459.

[7]钟彩.边缘检测算法在图像预处理中的应用[J].软件，2013，34（1）：158-159.

[8]孙文荣，周先春，嵇亚婷.基于直方图均衡化、PCA和SVM算法的人脸识别[J].软件，2014，35（8）：11-15.

[9]杨燕，刘刚，张龙.基于2DPCA和LDA的人脸图像预处理与RBF神经网络的人脸图像识别研究[J].软件，2014.35（2）：115-118.