一种基于LBP—EHMM的人脸识别算法

裴永杰　李涛

摘要：针对实时人脸识别易受光照变化影响的问题，提出了一种将局部二值模式（Local Binary Patterns，LBP）与嵌入式隐马尔可夫模型（Embedded Hidden Markov Model，EHMM）相结合的人脸识别方法。该方法首先对输入的人脸图像进行LBP预处理，接着对其进行特征向量提取，最后把提取的特征观察向量送入EHMM进行训练或识别。在多个人脸数据库上进行了实验，结果表明该文算法对光照具有较好的鲁棒性，提高了识别率。

关键词： 人脸识别； LBP；特征提取；EHMM

中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2013）07-1613-04

人脸识别是模式识别、人工智能等研究领域的热点。传统的方法多运用基于主成份分析和线性判別分析等特征提取方法的模板匹配来实现人脸识别。主成份分析（PCA）[1]是利用K-L变换抽取人脸的主要成份，构成特征脸空间进行处理，线性判别分析（LDA）[2][3]是通过最大化目标函数来将原始数据投影到一个转换空间中，并在新的空间里对原始数据进行划分，它们是从全局的角度对人脸图像进行描述，能较好地提取图像的全局特征，但是容易受到光照和位置的影响。经过了多年的发展，人脸识别技术已取得了长足的进步，在理想的情况下已经拥有较高的识别率，但是在实时的识别中由于人脸识别的复杂性和客观条件的多重影响，仍有许多问题没有得到很好的解决，比如光照变化、表情变化、遮挡等，其中以光照变化带来的干扰最为严重。

与传统的方法相比，嵌入式隐马尔可夫模型（EHMM）可以高效的表示动态时序信号，而且人脸特定的结构与EHMM中的马尔可夫链的状态序列相吻合。由于EHMM中DCT提取的特征观察向量对光照变化相对较敏感，所以本文用LBP作为图像的预处理来降低光照变化的影响。通过实验结果表明，该文提出的方法在降低光照变化影响的同时提高了人脸识别率。

1 相关理论

1.1 LBP

Ojala在文献[4]中提出，图像局部的纹理特征是由局部像素灰度值之间的关系来表现的，LBP算子的基本思想是将中心像素点的灰度值作为阈值，利用圆形邻域内的各像素灰度值与阈值比较，产生该区域的二进制模式来表述局部纹理特征。对于任意的LBP算子，其计算公式为：

一种基于LBP-EHMM的人脸识别算法 23%-2A7＼image7.pdf>算子得到的值也是相同的，图2给出了求解过程。

1.2 隐马尔可夫模型（HMM）

HMM是用概率统计的方法来描述时变信号的一个双重随机过程，其中之一是Markov链即状态和时间都离散的Markov过程，这个是基本随机过程。另一个随机过程是描述状态和观察值之间的统计对应关系。一阶离散隐马尔可夫过程一般包括4 个方面：① N，隐含状态数；②M，是不同观测符号的总数；③A，状态转移概率分布或转移矩阵；④B，观测概率矩阵或称为发射矩阵。使用简写的记法，HMM 可表示为下面的三参数形式。Samaria最早在文献[5]中将HMM应用于人脸识别，并提出了HMM模型。它基于这样一种事实：正面人脸图像包含头发、额头、眼睛、鼻子、嘴巴和下巴6个显著特征区域，即使头部有一些偏转或倾斜，但它们的次序从上到下保持不变。 于是可以把这6个特征区域抽象为6个状态，观察到的序列是由6个状态产生的，这6个状态是抽象的不具有具体的意义，只能通过观察序列对它进行估计。它的状态结构图如图3所示。

1.3 EHMM

一维HMM对一维的信号处理比较擅长，因而其在语音领域取得了很大的突破。但对于图像处理和识别来说，由于图像是一个二维信号，虽然可以像求特征脸那样把它展开成一维数据，但展开的一维数据已经丢失了空间信息，而且在后期的计算中运算量很大，不适合实时应用。因此，在实时的人脸图像识别系统中，标准的一维HMM方法难以满足要求，需要寻找另一种二维的模型来对图像进行建模，以完成高效率高精度的识别。

EHMM最早由Nefian[6]将其用于人脸识别，取得了很好的效果。EHMM是在一维HMM的基础上，将一维HMM的每个状态中嵌套一个新的HMM而得到，一般将外层HMM的状态称为超状态，内层嵌入的HMM称为嵌入态。其可以用一个扩展的三元组 来表示。相关参数简要介绍如下：

EHMM在人脸识别系统中状态结构描述如图4所示。垂直方向的头发、眼睛等6个状态为超状态，水平方向嵌入的多组HMM称为嵌入态。EHMM可以在模型中反映人脸的二维方向的结构特征，而且水平方向的状态转移只限于在超状态内部，分析起来比一般性的二维HMM简单，是较好的描述和识别人脸的模型。

1.3.1 EHMM的训练

嵌入式隐马尔可夫模型的训练就是要为每一个人确定一组经过优化的EHMM参数，每个模型可以用单幅或多幅图像进行训练，具体步骤如下：

1）初始化DCT变换参数，对人脸图像进行采样并计算每个采样窗DCT变换，得到DCT系数矩阵。

2）建立一个通用的EHMM模型，确定模型状态数和每个状态对应的可能出现的观察值数目，将DCT变换系数向量作为观察序列输入到EHMM中。

3）将训练数据均匀分割，与N 个状态对应，计算模型的初始参数。

4）用一维Viterbi算法调整第个超状态的嵌入的HMM在这个输入序列上的划分，使得输出最大，的输出作为的观察概率，完成所有观察序列计算后，对再实行Viterbi算法，使得的输出最大。

5）采用Baum-Welch 算法对参数进行重估计迭代调整模型参数直至收敛，保存EHMM并结束训练。

当训练结束后，人脸库中就建立了一个EHMM模型。具体训练过程如图5所示。

2 LBP-EHMM人脸识别算法

基于LBP-EHMM的实时人脸识别基本可划分为4个阶段：人脸检测、LBP预处理、DCT特征提取、EHMM训练或识别。

首先对输入的图像进行实时准确的人脸检测，分割出人脸区域，然后对其进行LBP预处理以减少光照变化带来的影响，接着设定适合的窗口和移动步长对人脸区域进行DCT特征提取，最后将提取的一组特征观察向量送入EHMM建模和利用EHMM识别新的人脸图像。每组人脸图像都可以得到一个EHMM模型，对待识别的人脸图像以同样的方式得到一组特征观察向量，然后计算与各个EHMM模型的概率，取概率最大的为识别结果。图6为系统框架图。

3 试验及结果分析

3.1人脸库实验

为了证明本文算法的有效性，分别在ORL、YALE和自制的人脸库上做了实验。ORL人脸数据库共40人，每人10幅分别由对应不同的光照、姿态、表情、装饰的图像组成。取每个人前5幅共200幅进行训练，另外200幅进行识别。YALE人脸数据库包含15位志愿者的165幅图像，这些图像包含光照、表情、和姿态的变化。取每人的前5幅共75幅进行训练，剩下的90幅进行识别。自制人脸库共20人，每人10幅共200幅。取每个人前5幅共100幅正常光照下的图像进行训练，另外100幅光照处理过的图像进行识别，图7为部分自制人脸图像。采样窗大小为：，移動步长为：。实验结果如表1所示。

[样本库＼&EHMM正确率＼&LBP-EHMM正确率＼&ORL＼&96.5%＼&98%＼&YALE＼&95.6%＼&96.7%＼&自制＼&86%＼&94%＼&]

3.2 实验结果对比分析

通过在ORL人脸库和YALE人脸库实验对比可以看出：在ORL人脸库和YALE人脸库上两种算法的识别率基本相当，由于ORL库中的人脸图像光照变化较小，而YALE库中光照变化相对较大，所以YALE库的识别率有所下降。针对光照变化易造成识别率下降的情况，自制了一个人脸库，对其中的部分人脸图像进行光照处理。从实验结果可以看出，在自制的人脸库上， LBP-EHMM识别率明显高于EHMM，究其原因在于自制的用于识别的人脸图像中有一部分光线很暗，而导致EHMM误识别的基本上都是那些光线较暗的图像。由于EHMM中DCT提取的特征观察向量对光照变化相对较敏感，所以在特征提取之前进行LBP预处理以降低光照变化带来的影响。综合对比实验结果可得：该文提出的方法在保持较高的识别率时对光照变化具有较好的鲁棒性。

4 结束语

本文提出了一种基于LBP-EHMM的实时人脸识别方法。该方法首先对采集的图像进行人脸检测，然后对检测到的人脸区域进行LBP预处理以削弱光照带来的影响，接着对其进行DCT特征系数提取，最后送入EHMM训练、识别。基于EHMM可以较好地对动态序列建模，LBP计算简单，具有灰度不变性，可以更有效地描述局部纹理，该文的方法结合了两者的优点，实验结果表明此方法识别性能优于常用的单个EHMM，尤其是在图像较暗时更为明显。在实际应用中，随着现代计算机技术的高速发展，处理较复杂的算法也很快，因此选择LBP-EHMM方法更有优势。

参考文献：

[1] Turk M，Pentland A.Eigenfaces for recognition[J].Journal of Cognitive Neurosicence，1991，3（1）：71-86.

[2] Howland P，Park H.Generalizing discriminant analysis using the generalized singular value decomposition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26（8）：995-1006.

[3] Martnez A.M，Kak A.C.PCA versus LDA[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，23（2）：228-233.

[4] Ojala T，Pietikainen M，Harwood D.A comparative study of texture measures with classification based on feature distributions[J].Pattern Recognition，1996，29（1）：51-59.

[5] Samaria F.Face recognition using Hidden Markov Models[J].Ph.D Thesis for University of Cambridge，1995（1）：28-34.

[6] Nefian AV，Hayes MH.Face recognition using an embedded HMM[C].IEEE Conference on Audio and Video-based Biometric Person Authentication，1999：19-24.

[7] Viola P，Jones M.Robust Real-time Object Detection[C].IEEE ICCV Workshop on Statistical and Computational Theories of Vision，2001.

[8] 王茜，肖国强，吴松，等.基于LBP直方图的复杂光照下的人脸识别[J].计算机工程与应用，2012，48（15）：181-186.

[9] Ojala T，Pietikainen M，Maenpaa T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（7）：971-987.

[10] 葛微.自动人脸识别的关键问题研究[D].长春：中国科学院长春光学精密机械与物理研究所，2010.

[11] 赵栋.基于HMM的人脸识别研究与实现[D].北京：北京化工大学，2009.

[12] 曹建强.基于统计方法的面部表情识别研究[D].南京：东南大学，2008.