复杂光照下的视频人脸检测与识别研究

江龙强，林志贤，姚剑敏，郭太良

(福州大学 物理与信息工程学院，福建 福州 350002)



复杂光照下的视频人脸检测与识别研究

江龙强，林志贤，姚剑敏，郭太良

(福州大学 物理与信息工程学院，福建 福州 350002)

为了解决复杂光照下的视频人脸检测与识别率受影响的问题，提出了一种光照不变的人脸检测与识别方法。该方法基于Retinex理论，提取光照不变分量，然后用于训练AdaBoost分类器；对输入的视频序列也进行相同的光照预处理，然后用训练的AdaBoost分类器进行人脸检测；把检测到的光照不变人脸图像采用分块加权LBP进行特征提取，采用欧氏距离与最近邻分类器进行分类。实验结果表明：该方法能有效提高视频人脸检测率与人脸识别率，而且对于人脸检测与识别只需要一次光照处理，具有更高的效率。

人脸检测；人脸识别；LBP；Retinex理论；AdaBoost算法

人脸识别[1]技术经过多年的发展，已经取得了很大进展，涌现出很多优秀的人脸识别算法。但是，光照的变化仍然是影响人脸识别的关键问题之一[2]。主要光照处理算法可以分为以下3类：1)基于图像增强的方法，例如Gamma校正[3]、对数变换[4]、直方图均衡化[5]等。这类方法实现起来简单、高效，在光照轻微变化时可以有效消除光照对人脸识别的影响。2)基于人脸建模的方法，比较典型的有光照锥[6]和球谐函数法。这类方法对光照的处理效果最好，但是需要大量的训练样本，计算量大且复杂，难以在实时系统中应用。3)光照不变量的方法，例如自商图像(SQI)[7]、基于Retinex理论[8]的单尺度Retinex算法(SSR)和双尺度Retinex算法(MSR)等。这类方法在人脸识别的光照预处理中取得了比较好的效果，也是目前人脸识别中消除光照影响的主流方法。

目前大多数的研究者把人脸检测与人脸特征提取分开研究，而对于一个完备的人脸识别系统，光照的变化同时影响两个方面：人脸检测和人脸特征提取，所以有必要研究如何处理光照以同时提高人脸检测率和人脸识别率。因此本文将人脸检测和人脸识别的光照预处理统一起来，提出采用光照不变量法对人脸图像进行光照预处理后再进行检测与识别。

1 基本原理

1.1 Retinex理论

美国物理学家Edwin Land[9]等在1963年提出Retinex理论。Retinex理论认为人眼观察物体时，投射到人眼的可见光强度由物体的表面反射性质和入射光强度的乘积决定，人类感知到的物体表面颜色与投射到人眼的光谱特性关系不大，与物体表面的反射性质密切相关。根据Retinex理论，给定图像为

I(x,y)=R(x,y)L(x,y)

(1)

式中：I(x,y)表示人眼感知到的图像；R(x,y)和L(x,y)分别表示物体表面的反射系数和入射光照。R(x,y)由物体的本身属性决定，也就是得到的光照不变分量。但是由图像I(x,y)求解物体表面反射系数和入射光照L(x,y)是个不定方程求解问题，需要约束条件。通常假设I(x,y)的边缘也代表其反射系数R(x,y)的边缘，而R(x,y)与成像表面剧烈变化的边缘信息相关，因此R(x,y)代表图像中的高频信息；而光照部分L(x,y)在空间上平滑变化缓慢，是图像中的低频信息。为了能够分离出R(x,y)和L(x,y)，需要将原始图像变换到对数域处理，对式(1)两边取对数，得到

(2)

1.2 AdaBoost人脸检测

基于AdaBoost的人脸检测算法是Viola[10]等于2001年提出。AdaBoost即Adaptive Boosting，是一种统计学习型算法。该算法的提出使得人脸检测技术取得巨大进展，是当前主流的人脸检测算法。

AdaBoost算法核心思想是通过一个迭代的训练过程训练若干弱分类器，然后组合成强分类器用于检测。AdaBoost算法整体过程分为训练阶段和检测阶段，训练阶段通过大量的正负样本训练得到分类器，检测阶段通过这个分类器对图像进行检测，查找人脸。AdaBoost算法流程图如图1所示。

图1 AdaBoost算法流程

AdaBoost算法以Haar-like[11]矩形特征为输入训练人脸分类器。首先采集人脸和非人脸样本，计算样本归一化后的积分图像，提取样本中的Haar-like矩形特征，一个Haar-like矩形特征就是一个单独的弱分类器。弱分类器的公式为

(3)

得到弱分类器之后，需要组合成强分类器。AdaBoost训练强分类器的算法流程描述为：

3)对每一轮迭代t=1,…,T进行如下计算，t表示迭代次数：

(2)对于每个特征j，训练其分类器hj，计算并选择最小加权分类误差εt为

(4)

式中：εt对应具有最小加权分类误差的分类器为ht。

(3)计算弱分类器ht的权值αt为

(5)

(4)对每个样本都更新权重，其公式为

(6)

当样本xi被正确分类时ei=0,反之ei=1。

4)最后得到强分类器为

(7)

式中：αt表示弱分类器的权重；h(x)=1表示人脸，h(x)=0表示非人脸。

在人脸检测的过程中，一般待检测的窗口包含大量很明显的非人脸窗口，为了快速地排除这些非人脸窗口，通常采用多个强分类器级联成一个级联强分类器，能够极大提高分类效率。

1.3 局部二值模式(LBP)

局部二值模式(Local Binary Pattern，LBP)是一种局部纹理描述算子，由Ojala[12]等人提出来，最初用来描述图像纹理特征，Ahonen等人将LBP应用到人脸识别中并取得了不错的效果。LBP算子具有计算简单、对线性光照变化不敏感的特性，适用于实时纹理特征提取。

1.3.1 基本LBP算子

基本的LBP算子对于每副图像上的像素点提取其周围3×3窗口的像素值，以窗口中心点的灰度值为阈值，与周围8邻域的灰度值进行比较。LBP编码计算可以由式(8)和(9)计算得到，即

(8)

(9)

式中：xc和yc分别为窗口中心点的横坐标和纵坐标；gc表示窗口中心点的灰度；gi表示gc的8邻域的灰度值，LBP的编码过程如图2所示。

图2 LBP编码示意图

窗口中心点的灰度值201，8邻域的像素点与中心点进行比较后得到二进制串为10011001，转换成十进制数表示为153。对整幅图像(除了图像边缘)进行计算后就可以得到图像的LBP纹理图，统计整个图的LBP值就能得到LBP直方图。

1.3.2 LBP算子拓展

为了提取更有效的纹理特征，Ojala等引入双线性插值的方法拓展出任意半径和任意采样点的圆形邻域，用LBPP,R表示，P为邻域采样点数量，R为半径。常见的圆形邻域LBP算子有LBP8,1，LBP8,2，LBP16,2等。

2 基于Retinex理论的视频人脸检测与识别

为了解决复杂光照下的视频人脸检测与人脸识别受到影响的问题，本文采用基于Retinex理论的光照预处理方法，将人脸检测与人脸识别的光照预处理统一起来，并应用于视频人脸检测与识别，不仅有效地提高人脸检测率、人脸识别率，还显著提升了视频人脸检测和识别的效率。本文的算法流程如图3所示。

图3 本文算法流程图

2.1 光照不变人脸检测

为了得到光照不变人脸图像，本文先将图像变换到对数域，然后用低通滤波器分离出光照分量，再用对数域图像减去光照分量，提取出光照不变分量。然后用于训练AdaBoost分类器，对输入的视频序列也提取光照不变分量，再用AdaBoost分类器进行人脸检测，从而消除复杂光照对人脸检测的影响。

2.1.1 光照不变特征提取

基于Retinex理论的光照不变特征提取流程图如图4所示。

图4 基于Retinex理论的光照不变特征提取流程图

输入图像I，经过对数变换后得到对数域图像I′,I′经过低通滤波器后提取出M，M接近光照分量L′，然后I′减去M就能得到光照不变分量R′的近似值N，即

R′≅N=I′-M

(10)

提取的光照不变特征需要同时能满足用于AdaBoost人脸检测和LBP纹理特征提取，所以要求光照不变特征图像不仅要保持足够的Haar-like特征，还要保留足够的纹理信息。因此选择合适的低通滤波器十分关键，本文采用膨胀滤波器(Dilation Filter)[13]，这是一种形态学滤波器，它提取每幅图像上(2n+1)·(2n+1)窗口的像素值，从中选出最大的像素值放到当前窗口的中心点位置，并采用这样的窗口遍历整幅图像，膨胀滤波器的表达式为

(11)

图5 本文算法光照处理的前后对比图

2.1.2 AdaBoost人脸检测

本文建立了一个数量为10 000，正负样本比例为1∶1的训练样本库，库中所有正负样本均归一化到24×24像素，然后都进行基于Retinex理论的光照预处理，再用于训练AdaBoost分类器。将待测图像也进行光照处理，然后用训练的AdaBoost分类器检测人脸。在Extended Yale B上测试本文的人脸检测方法，并与传统的人脸检测方法进行对比，如图6，在光照较恶劣情况下，本文方法仍能够准确找到人脸，而传统AdaBoost检测算法无法找到人脸。而且本文所提取的人脸图像经过归一化后可直接用于LBP纹理特征提取。

图6 未进行光照处理和光照处理的人脸检测对比图

2.2 光照不变人脸识别

图7 分块LBP特征提取流程图

本文采用加权欧氏距离进行直方图距离度量，根据光照情况和各子块的信息熵不同，分配不同的权值。采用最近邻分类器进行分类。

3 实验结果与分析

为了验证本文方法的效果，本文采用Yale B和Extended Yale B人脸库进行实验。人脸检测选用Extended Yale B人脸库中一个人(Yale B11)正面人脸(姿态P00)的585张未裁剪图像。人脸识别选用Yale B人脸库中10个人不同光照的正面人脸(姿态P00)500张裁剪为124×124的人脸图像，分为5个光照子集。

3.1 人脸检测实验结果和分析

为了验证光照不变人脸检测方法的效果，实验中分别采用了直方图均衡化算法(HE)、对数变换以及本文的算法。分别在Extended Yale B人脸库上进行人脸检测，比较在以上3种算法中得到的人脸检测率以及误检率如表1所示。

表1 各种光照预处理算法下人脸检测率和误检率

从表1可以看出，图像经过光照处理后，人脸检测率都有相应的提高。其中，直方图均衡化处理效果最差；对数变换有所提高，但还不理想；本文算法比对数变换高了6%，但是误检数略高。检查本文算法的15张误检图像发现都是背景过于复杂造成误检，加入肤色检测能够排除这部分误检，但是加入肤色检测会增加漏检，不过这部分漏检对于视频流是完全可以忽略的。根据以上分析，本文算法对于解决复杂光照下人脸检测具有较好的效果。

3.2 人脸识别实验结果和分析

图8显示了Yale B中5个光照子集经过光照处理前后的对比效果。可以看出本文提取的光照不变特征图像纹理清晰，有效滤除了光照。

图8 采用Retinex理论进行光照预处理的效果图

为了定量验证光照不变人脸识别方法的效果，实验中分别采用了直方图均衡化算法(HE)、对数变换、自商图像(SQI)以及本文的方法。特征提取采用采样点为8、半径为2的统一局部二值模式，采用4×4分块、加权欧氏距离和最近邻分类器，分别在Yale B人脸库上进行测试，测试结果如表2所示。

表2 Yale B人脸库中子集1作为训练集的识别结果 %

从表2可以看出，直方图均衡化处理效果比直接进行LBP特征提取效果略好；对数变换有所提高，但自商图像效果更为理想，识别率都能在90%以上；本文算法在子集2、子集3和子集4上比自商图像略好，在子集5上效果略差。经过分析，本文算法对于光照剧烈变换的情况细节恢复不太理想，会产生假纹理。

3.3 视频人脸检测和识别实验结果和分析

上文已经在数据库上对本文的算法进行人脸检测和人脸识别效果的实验和分析，现在分析在视频人脸检测和识别中的效果。本文在VC平台上实现了基于本文方法的人脸检测和识别系统，即视频人脸检测和识别，如图9所示。

图9 采用本文算法进行光照预处理的效果图

图9显示传统算法在视频人脸检测时在正面光照下可以检测到人脸，但是光照不均匀情况下无法检测到人脸，而本文算法提取的光照不变特征则能很好地检测到人脸。

图10显示本文算法在视频人脸检测与识别的实验结果，其中，窗口大小为640×480检测人脸耗时25.971 969 ms，识别人脸耗时63.780 906 ms，由于只在人脸检测和识别之前进行了一次光照预处理，因此整个视频人脸检测与识别的效率也能得到提高。

图10 采用本文算法进行视频人脸识别

4 结论

本文提出了用于视频人脸识别的光照不变人脸检测与识别的方法，通过对AdaBoost训练样本进行基于Retinex理论的光照预处理，提取出光照不变分量，再训练AdaBoost分类器，然后对视频流的帧图像也进行基于Retinex理论的光照预处理，再用训练成的AdaBoost分类器进行人脸检测，用分块加权LBP进行特征提取。实验结果表明本文的方法能有效提高复杂光照下视频人脸检测与识别的正确率，同时合并了人脸检测与识别的图像预处理，提高了识别效率。

[1]GALTON F.Personal identification and description[J].The Journal of the Anthropological Institute of Great Britain and Ireland, 1889(18):177-191.

[2]PHILLIPS P J, GROTHER P, MICHEALS R，et al.FRVT2006 and ICE 2006 large-scale results[EB/OL].[2014-08-10].http://wenku.baidu.com/link?url=LeWDYN60C-VjLjyKorMJKPSoyLm8-pQYDc1lpDTumuzqwGYuurpwMxA7NCurgFSgKGpqxfknGOezONa_HFJ9rqnMgbDKrhvkLpkehpVXH9i National Institute of Standards and Technology, NISTIR, 2007, 7408.

[3]康健.基于多阈值多尺度 LBP 的人脸识别研究[D].北京：北京邮电大学，2013.

[4]章毓晋.图像工程：上册——图像处理[M].北京：清华大学出版社，2006.

[5]李锦, 王俊平, 万国挺, 等.一种结合直方图均衡化和 MSRCR 的图像增强新算法[J].西安电子科技大学学报, 2014, 41(3): 103-109.

[6]王海洋.人脸光照矫正算法研究与实现[D].成都：电子科技大学, 2013.

[7]施水才, 杨忱, 王涛, 等.基于自商图像的人脸图像增强[J].计算机工程与应用, 2013, 49(13)：142-144.

[8]凌敏.基于Retinex理论的图像增强算法研究[J].计算机光盘软件与应用, 2014, 17(1): 137.

[9]LAND E.An alternative technique for the computation of the designator in the Retinex theory of color vision[EB/OL].[2014-08-10].http://www.pnas.org/content/83/10/3078.

[10]VIOLA P, JONES M.Rapid object detection using a boosted cascade of simple features[C]//Proc.the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.[S.l.]：IEEE Press，2001：511-518.

[11]黄华盛.基于 Haar 特征的人脸识别算法[J].计算机光盘软件与应用, 2013, 16(23): 88.

[12]OJALA T, PIERIKAINEN M, HARWOOD D.A comparative study of texture measures with classification based on feature distributions[J].Pattern Recognition, 1996, 29(1): 1-59.

[13]NABATCHIAN A.Human Face Recognition[D].Windsor, Ontario, Canada: University of Windsor,2011.

江龙强(1990— )，硕士生，主研信息显示系统；

林志贤(1975— )，博士，教授，从事平板显示器驱动技术、图像处理、信息显示技术等研究工作；

姚剑敏(1978— )，博士，副研究员，主研模式识别、三维显示技术等；

郭太良(1963— )，研究员，博士生导师，主要从事FED显示器方面的研究工作。

责任编辑：薛 京

Study of Video Face Detection and Recognition under Complex Illumination

JIANG Longqiang, LIN Zhixian, YAO Jianmin, GUO Tailiang

(CollegeofPhysicsandInformationEngineering，FuzhouUniversity，Fuzhou350002，China)

In order to solve video face detection and recognition rate affected by the problem of complex light, an illumination invariant method of face detection and recognition is proposed in this paper.The method is based on the Retinex theory.Firstly, the illumination invariant component is extracted from input image.Then it′s used to train the AdaBoost classifier.Illumination invariant component is also extracted from input video sequence to detect face by using the trained AdaBoost classifier.Block weighted LBP algorithm is used to extract illumination invariant face feature.Euclidean distance and the nearest neighbor classifier are used to classify the feature vectors.The experimental results show that the method can effectively increase the rate of video face detection and face recognition, and it only needs an illumination pretreatment for video face detection and recognition.Therefore, it has higher efficiency.

face detection; face recognition; LBP; Retinex; AdaBoost

国家“863”计划项目(2012AA03A301；2013AA030601)；国家自然科学基金项目(61101169；61106053)；福建省2014年省属高校科研课题JK类重点项目

TN949.6

A

10.16280/j.videoe.2015.07.021

2014-09-10

【本文献信息】江龙强，林志贤，姚剑敏，等.复杂光照下的视频人脸检测与识别研究[J].电视技术,2015，39(7).