多方法结合人脸图像光照补偿算法研究及改进

黄丽雯，杨欢欢，王 勃

(重庆理工大学 电气与电子工程学院， 重庆 400054)

多方法结合人脸图像光照补偿算法研究及改进

黄丽雯，杨欢欢，王 勃

(重庆理工大学 电气与电子工程学院， 重庆 400054)

光照问题一直是人脸识别领域亟待解决的热点话题。在此背景下，首先详细介绍了近几年在人脸图像识别中常用的两种结合光照补偿算法，对其特点进行了研究，并提出了一种改进的多方法结合算法，即采用直方图均衡化和Retinex算法，然后对光照估计和反射图像去噪部分使用双边滤波器进行处理。选择人脸数据库YaleB07做仿真测试，发现改进算法的实时性虽相对常用结合算法有所下降，但光照补偿效果好。最后对SIFT特征进行对比实验，结果表明：改进算法的特征提取速度快且特征点有效率显著提高。

人脸识别；光照补偿；直方图均衡化；双边滤波器；Retinex；SIFT

人脸识别技术是基于生物特征识别技术的身份认证中最主要的方法之一[1]。由于其具有采集简单、成本低、操作隐蔽性强、无侵犯性、易于接受等优势，近年来已在政府、军队、银行、社会福利保障、电子商务、安全防务等领域得到了广泛应用。对于人眼来说，若用肉眼直接识别对方的身份或表情变化信息会是一件非常容易的事，但计算机实现这一功能就要复杂很多，这其中涉及计算机图形学、计算机视觉、模式识别、机器学习、感知科学、人工智能、计算机智能等相关技术的研究。

人脸识别系统虽然已取得了较好的效果，但都是在特定的理想环境下实现的，若把姿态、表情、遮挡、光照等因素都考虑在内，结果未必会达到期望值。而在这些影响识别效果的因素中，光照问题的影响最为显著[2]。人眼之所以能看到物体，最主要的原因是光的存在，若没有光，人眼无法看到物体，而光照条件的好坏直接影响最终识别的效果，且光线强弱不同时图像识别的结果也存在较大的差别。相关研究也表明：对于不同的人，在相同的光照情况下，对于不同姿态或表情的识别率远大于同一人在不同光照情况下做出相同表情或姿态的识别率。因此，如何有效去除光照变化等噪声，以减少光照对后续算法的影响，提高人脸的识别率与鲁棒性，这是目前迫切需要解决的问题。

近年来解决光照问题的方法大致有3种：提取不变特征法、人脸建模法和光照补偿法[3]，而使用更多的是光照补偿结合算法。下面介绍常用的两种结合算法及本文提出的改进算法和仿真测试结果。

1 Retinex

Retinex理论由Edwin.H.Land于1963年提出。它由retina和cortex这两个单词合成。Retinex以颜色恒常性为基础，不同于传统的线性或非线性只能增强图像某一类特征的方法，它能在动态范围、边缘增强和颜色恒常三方面实现平衡效果。其基本思想为：在原始图像上运用某种方法去除或消弱入射图像的影响，只保留物体本质反射属性的图像。最基础的方法是单尺度Retinex算法[4]，可表示为：

S(x,y)=R(x,y)·L(x,y)

(1)

其中：L(x,y)表示入射图像，它决定图像的亮度及像素的变化空间；R(x,y)为处于输入图像高频部分的反射图像；S(x,y)为最后看到的图像。若把L的变化看作是理想的，式(1)可变为：

r(x,y)=LogR(x,y)=LogS(x,y)-

LogL(x,y)=LogS(x,y)-

Log[F(x,y)*S(x,y)]

(2)

其中：r(x,y)为经过高斯光照估计后的输出图像；*代表卷积；F(x,y)指高斯中心环绕函数。卷积可看作是对空间入射图像的计算，然后将其去除，最后只保留物体的反射属性。

实验中所用的人脸图像来自Yale B人脸数据库yaleB07中随机挑选的一幅受右侧光影响较严重的人脸正面照，统一大小为80×91。图1(a)(b)分别为原图和Retinex算法，其仿真处理后效果见图1。

图1 Retinex处理结果

从处理后的图像可以看出：在侧光较严重的情况下，该算法难以消除阴影[5]。为了得到更好的补偿效果，Retinex算法常与其他方法相结合。

1.1 Retinex与直方图均衡化相结合

直方图均衡化一般用于图像局部对比度的增强。它通过改变输出图像的直方图，使其变得比较均匀，使图像看起来更清晰，这在一定程度上对光照的影响起到消弱作用[6]。

简单地说，灰度直方图等同于概率论里的概率密度函数。直方图的累加和等同于概率分布函数[7]，其计算过程如下：

1) 列出原图像的灰度级fj，j=0,1,…,k,…,L-1，其中L为灰度级的个数。

2) 统计各灰度级的像素数目nj，j=0,1,…,k,…,L-1。

5) 计算映射后的输出图像的灰度级gi，i=0,1,…,k,…,P-1，P为输出图像灰度级的个数：

gi=INT[(gmax-gmin)C(f)+gmin+0.5]

6) 统计映射后各级灰度级的像素数目nj。i=0,1,…,k,…,P-1。

8) 用fj和gi的映射关系改变原图像的灰度级，进而得到需要的结果。

经过上面8个步骤实现图像的直方图均衡化。而常用的结合算法1是先对人脸图像进行直方图均衡化处理，再用Retinex算法处理，其结果如图2所示，其中(a)～(c)依次为原图、均衡化结果、结合算法1结果。由于通过均衡化对灰度的均衡作用可削弱滤波中引起的光晕，对阴影有一定的消除作用，因此在处理光照影响问题时，基于Retinex的光照补偿算法常与其结合使用，即先进行直方图均衡化处理再进行Retinex算法处理[7]，其结合算法1处理后的结果见图2(c)。

图2 结合算法1结果对比

由图2可知：结合算法1处理的效果比只使用Retinex算法要好很多，阴影部分有了一定的消除，但并未完全消除，图像轮廓变得有些模糊。

1.2 Retinex与双边滤波器相结合

Retinex算法对光照部分选用高斯环绕函数进行估计，把入射图像理想化为空间光滑。事实上，人脸图像的投影阴影是违背照明缓慢变化假设的，若图像的边缘处在光照剧烈变化的情况下，这时由于高斯函数的各向同向性，图像易产生光晕现象，估计出的光照也一定是灰度不连续的[8]。因此，要消除光晕必然要处理光照变化不理想的情况，而双边滤波器(BF)是一种保护边缘信息的各向异性滤波器，光照估计效果较好，故操作时可用BF替代高斯函数估计光照。在进行研究时，Retinex算法常与BF结合使用[8]。

BF是一种保边去噪滤波器[9-11]，它由两个函数构成，分别由空间距离和像素差来决定滤波器系数[12]。其定义如下：

(3)

其中k(x)表示为：

(4)

式(4)中：f(x)为输入；h(x)为输出；c(ξ,x)为x与ξ的几何距离度量；s(f(ξ),f(x))为f(ξ)与f(x)之间的光度相似度。可以看出：BF不仅对几何域加强了平滑性，对光度域也加强了平滑度，满足要求。

r′通过S与L′对数运算作差得到。运用BF估计L′得到R′的表达式如下：

r′(x,y)=LogR′(x,y)=Log(S(x,y)+1)-

Log(L′(x,y)+1)

(5)

其中L′(x,y)=h(x,y)*S(x,y)。

图3为结合算法2的结果对比。其中(a)～(c)依次为原图、BF处理结果、结合算法2结果。

图3 结合算法二结果对比

从图3可看出：经过结合算法2处理后的图像基本消除了阴影，轮廓较之前更清晰，但人脸左边鼻子部分有重影，左右整体不再对称。

2 改进的多方法结合算法

在上述两种常用结合光照补偿算法的基础上，本文提出改进的多方法结合光照补偿算法，首先对原图像进行均衡化运算，再转换到对数域(Log)用BF对入射图像进行光照估计[13]和反射图像去噪[14]，然后做反对数运算(exp)，得到S″用于后面的识别。改进算法流程见图4。

图4 改进算法流程

在这里，对反射图像R选用BF去噪的原因是：根据Retinex算法，原图像可以被看作R和L两部分，其中L为原图的低频，相对来说更光滑，而噪声常常为高频，所以在运算时噪声几乎全部被转移到R。经Retinex算法处理后的较暗区域细节被显著增强，但噪声也被同比放大，而噪声放大将直接影响后续的特征提取和图像识别，所以去噪是必需的。在图像的细节保留上，由于BF比一般常用的去噪滤波器要好，且非迭代运算速度快，所以本文选择BF对反射图像较暗区域进行去噪[15]。

图5为改进算法结果对比，其中(a)、(b)分别为原图、改进算法结果。

图5 改进算法结果对比

从图5可知：对图像采用改进算法处理的效果相比单种结合算法要好很多，阴影部分已被完全消除，边缘细节更加清晰，人的五官轮廓和谐自然。

3 结果分析

人眼观察是图像质量评价的一种标准，但这只是一种主观评价，由于个人色彩的存在，造成的视觉效果也可能会不一样。而在客观评价方面，大家给出的标准各有不同。本文最初设想通过计算光照补偿前后面部阴影面积的变化来检测阴影的消除情况，但由于阴影面积计算涉及的内容较多且繁琐，故在此不再累述。本文从各算法的执行时间、特征点数量及运行时间、特征点有效率3个方面来进行客观评价。各种算法的执行时间见表1。

表1 各算法的执行时间

由表1可知：Retinex算法的执行时间最短，改进算法的执行时间最长，这是由于它两次用到BF的缘故，但0.686 s的时间是可接受的，说明其实时性虽降低但效果还是较好的。

下面对算法处理后的图像进行SIFT特征检测及定位，统计特征点数量。这里的特征点分有效和干扰两类，其中有效特征点是指能表征面部特征的眉毛、眼睛、鼻子、嘴巴处的特征点，并除去重叠部分，剩下的是干扰特征点，其中特征点的有效率为有效特征点数与特征点总数的比值。由于SIFT特征提取通常是提取图像的局部信息，故在此被采用。SIFT特征检测及定位结果如图6所示。

其中(a)～(e)依次为原图、Retinex算法结果、结合算法1结果、结合算法2结果、改进算法结果。特征点数量及运行时间见表2。

图6 SIFT特征检测及定位

特征点总数有效特征点干扰特征点有效率运行时间/s原图5319340．360．60Retinex算法8741460．470．61结合算法19344490．480．63结合算法2322570．780．62改进算法585080．860．57

由表2可知：结合算法1只在Retinex算法的基础上增加了均衡化处理，效果依旧不理想。结合算法2采用BF进行光照估计，与原图像相比特征点有效率提高到了78%，但并未对R去噪。本文改进算法不仅对光照部分进行了估计，对反射图像较暗处的噪声也进行了处理，所以特征点有效率最高，达86%，且在提取特征点时速度最快，仅0.57 s。

仿真实验采用的是Yale B人脸数据库yaleB07中的人脸图像。这里随机挑选5张受右侧光影响较大的图像和5张受左侧光影响较大的图像，重复表2各算法的仿真过程获得10组实验数据，特征点有效率的仿真结果见图7。

图7 各算法特征点有效率

由图7的10组实验数据结果可知：无论是受左侧光影响大的图像还是受右侧光影响大的图像，改进算法对于绝大部分样本的特征点有效率都高于原图和已有的光照补偿算法(除样本3)。其中，原图、Retinex、结合算法1的特征点有效率明显较低，与效果较好的结合算法2相比，改进算法的特征点有效率平均提高了11.79%，最高可达93.4%。

4 结束语

为了解决人脸图像识别中的光照问题，只采用一种算法已远不能达到期待的结果。本文首先研究了近年来常用的两种结合算法，然后基于此提出改进算法，使其兼顾两者的优点，并用BF对反射图像较暗的区域进行去噪，使其保留更多的细节信息。在对每种算法进行仿真测试时，先进行主观分析，之后给出客观评价标准，并对改进后的效果进行全面分析。通过分析发现：改进算法在光照补偿处理方面虽实时性有所下降，但特征点提取时间最短，且特征点有效率最高。本文在实验的最后对受左右侧光影响较大的10幅图像进行仿真，证实了改进算法的效果，说明其特征点有效率得到了显著的提高，与效果较好的结合算法2相比平均提高了11.79%，最高可达93.4%。接下来的研究将把改进算法使用到最后的识别过程，并对识别的情况给出分析。

[1] 白小叶.光照变化下的人脸识别算法研究[D].南京：南京邮电大学,2016.

[2] 梁 琳,何卫平,雷蕾,等.光照不均图像增强方法综述[J].计算机应用研究,2010(5):1625-1628.

[3] HAN H,SHAN S G,CHEN X L,et al.A comparative study on illumination preprocessing in face recognition[J].Pattern Recognition,2013,46(6):1691-1699.

[4] OBSON D J,RAHMAN Z,WOODELL G A.Properties and performance of a center/surround Retinex[J].IEEE Transactions on Image Processing,1997,6(3):451-462.

[5] 陈超.改进单尺度Retinex算法在图像增强中的应用[J].计算机应用与软件,2013,30(4):55-57.

[6] AHMADI A H,JAMZAD M,Face recognition under varying illumination based on histogram equalized processed images[J].2011 7th International Symposium on Image and Signal Processing and Analysis (ISPA),Dubrovnik,2011:349-354.

[7] 郑 苑.多方法结合的人脸图像光照补偿算法[J].计算机系统应用,2012(2):207-209.

[8] 黄勇,孙兴波,袁文林,等.多方向双边滤波单尺度Retinex 图像增强研究[J].软件导刊,2015(6):183-186.

[9] LI D,ZHANG Y,WEN P,et al.A Retinex Algorithm for Image Enhancement Based on Recursive Bilateral Filtering[C]//2015 11th International Conference on Computational Intelligence and Security (CIS).Shenzhen:[s.n.],2015:154-157.

[10] 肖晓,张健.改进的Retinex低照度图像光照补偿算法[J].电子设计工程,2017(4):110-114.

[11] 寇兴元.基于Retinex理论的图像增强算法研究[D].沈阳：沈阳航空航天大学,2015.

[12] 李德军,赵文杰,谭海峰,等.一种基于双边滤波器的图像边缘检测方法[J].计算机技术与发展,2007,17(4):161-163.

[13] 杨大为,王 琰.一种人脸识别中的光照补偿方法[J].计算机应用,2012,32(a01) :123-125.

[14] 胡韦韦,汪荣贵,方帅,等.基于双边滤波的Retinex图像增强算法[J].工程图学学报,2010(2):104-109.

[15] 沈丰,赵宇明.基于实时Retinex与双边滤波的图像增强算法[J].计算机应用与软件,2009(11):234-238.

(责任编辑杨黎丽)

ResearchandImprovementofMulti-MethodsCombiningFaceImageIlluminationCompensationAlgorithm

HUANG Liwen, YANG Huanhuan, WANG Bo

(College of Electrical and Electronic Engineering, Chongqing University of Technology, Chongqing 400054, China)

The problem of illumination has always been a hot topic in the face recognition. In order to solve this problem, firstly, two kinds of combined illumination compensation algorithms commonly used in face recognition in recent years were introduced in detail, and then it studied their characteristics. An improved multi-method combing algorithm was proposed, which used histogram equalization and Retinex algorithm, and both the illumination estimation and the denoising part of the reflected image were processed by the bilateral filter. The simulation test was processed in the face database YaleB07, and it was found that the real-time performance of the improved algorithm is lower than that of the usual combination algorithm, but the illumination compensation was best. At the last, the SIFT features are compared experimentally. The results show that the improved is the fastest in feature extraction, and the efficiency of the feature points is also significantly improved.

face recognition; illumination compensation; histogram equalization; bilateral filter; Retinex; SIFT

2017-06-22

重庆市重大专项子项目(CSTC2016SHMS-ZTZX4001)重庆理工大学研究生创新基金资助项目(YCX2016221)

黄丽雯(1967—),女,重庆人,硕士,教授,主要从事信号获取和信息处理、医学图像处理等研究,E-mail:cqhlw@cqut.edu.cn; 杨欢欢(1989—)，女，河南汝州人，硕士研究生，主要从事图像处理、智能信息处理研究。

黄丽雯,杨欢欢,王勃.多方法结合人脸图像光照补偿算法研究及改进[J].重庆理工大学学报(自然科学)，2017(11):179-184.

formatHUANG Liwen, YANG Huanhuan, WANG Bo.Research and Improvement of Multi-Methods Combining Face Image Illumination Compensation Algorithm[J].Journal of Chongqing University of Technology(Natural Science)，2017(11):179-184.

10.3969/j.issn.1674-8425(z).2017.11.027

TP301

A

1674-8425(2017)11-0179-06