融合LBP和局部稀疏表示的人脸表情识别

唐恒亮，孙艳丰，朱杰，赵明茹

TANG Hengliang1，2,SUN Yanfeng1,ZHU Jie2,ZHAO Mingru1，2

1.北京工业大学多媒体与智能软件技术北京市重点实验室，北京100124

2.北京物资学院智能物流系统北京市重点实验室，北京101149

1.Beijing Key Laboratory of Multimedia and Intelligent Software Technology,Beijing University of Technology,Beijing 100124,China

2.Beijing Key Laboratory of Intelligent Logistics System,Beijing Wuzi University,Beijing 101149,China

1 引言

人脸识别研究已取得了较大进展，但仍存在许多问题值得深入研究，特别是针对人脸表情、姿态和光照等的识别问题。目前，大部分工作都致力于改进人脸表示方法，以提升人脸认知和识别的鲁棒性。

在人脸表情识别方面，近年来涌现了大量的研究成果。从识别方法上分析，大致可分为基于全局特征的方法和基于局部特征的方法。基于全局特征的方法主要提取面部图像的宏观信息刻画面部的独特性，侧重对整体特征的描述，并用以识别。常用的全局人脸表征方式有主成分分析[1]、线性判别分析[2-3]、独立成分分析[4-5]、支持向量机[6]等；基于局部特征的方法侧重分析面部图像的局部细节特性，研究表情对人脸局部区域的影响，提取利于分类的人脸微观属性。近年来，基于LBP[7-13]的方法因其原理简单，计算复杂度低，同时具备旋转和灰度不变性而备受关注，并被广泛应用于图像识别、目标检测和跟踪等领域。宋克臣等人[14]针对当前LBP方法表现出的理论和实际应用价值进行了详尽的汇总，并系统综述了在纹理分析和分类、人脸分析和识别以及其他检测与应用中的各种LBP方法。

本文通过深入分析人脸图像特征以及表情对人脸局部区域的非刚性影响，提出了一种融合LBP和局部稀疏表示的人脸表情识别方法（见图1）。首先，对规格化后的训练集人脸图像进行特征分区，对于每个人脸分区计算该区域的LBP特征，并采用直方图统计方法整合该区域特征分量，形成由特定人脸的局部特征组成的训练集局部特征库；对于测试人脸，同样进行人脸图像规格化、人脸分区、局部LBP特征计算和局部直方图统计操作；最后，对于测试人脸的局部直方图统计特征，利用训练集特征库进行局部稀疏重构表示，并采用局部稀疏重构残差加权方法进行最终人脸表情分类识别。

图2 LBP算子编码方式

2 人脸局部特征提取

表情对人脸区域可产生非刚性的变化，进而使得带表情的人脸表征因面部区域变化的不可预期性而相对比较困难。而LBP是一种简单有效、非参数化的局部纹理模式描述算子，它描述图像纹理特征是基于纹理像素间的关联性，利用结构法思想分析固定窗口特征，然后利用统计法作整体特征提取，所以LBP算子能够很好地提取面部的纹理关联特征。因此，本文针对人脸表情问题从LBP算子着手展开了深入研究。

对于原始人脸样本，首先通过标定其双眼中心位置，将其规格化为64×64的标准图像；为深入分析表情对人脸局部区域的影响，更好地研究不同表情因素对人脸产生的非刚性变化，根据面部五官特征对人脸图像进行了非均匀的分区；对于每个人脸局部区域，采用LBP算子计算局部特征，通过重叠滑动3×3子区域窗口，对非边界区域进行局部二值化编码（如图2所示），即

其中，ic表示窗口中心位置纹理特征，in表示中心点8邻域的纹理特征，二值化算子s(x)可表示为：

对于人脸局部区域的LBP特征，分区域统计其直方图信息来描述该区域的属性。对于人脸图像样本s的第k(本文k=1，2，…，10）个区域的直方图统计特征hk，s，在M个灰度级别上分别对其进行统计，每个灰度级别的直方图分量特征可定义为：

其中，i表示灰度级别，则第k个区域的直方图统计特征hk，s可表示为：

对于所有人脸样本的每个局部区域均可表征为公式（4）所示的局部直方图统计特征。该特征采用LBP算子提取人脸子区域的局部微观特征，又通过统计直方图的方法整合局部微观特征，最终形成对人脸子区域的局部完整性描述。

3 人脸局部稀疏重构表示与识别

通过第2章的处理，可将人脸样本从图像信息抽象成分区域的统计特征。在此基础上，通常将每个特定样本的所有子区域直方图特征串联，并组成对该特定样本的整体描述，最后采用整体直方图匹配算法进行分类识别。人脸子区域直方图串联仅是一种机械的局部特征整合方法，对分类识别的贡献作用有限。因此，在人脸局部区域直方图表征基础上，为了更精确、细致地描述人脸局部信息，深入挖掘表情对人脸各个子区域的影响，通过对稀疏表示方法的深入探讨，本文提出了一种基于人脸局部区域稀疏重构表示的表情识别方法。

稀疏表示[15-16]是一种高维信号获取、表示与压缩方法。近年来，随着数学领域的研究发展，特别是对于l1范数优化问题的研究突破，推动了稀疏表示在计算机视觉[17]领域的应用，并且取得了一定的成果。相比传统的人脸识别方法，稀疏表示的目标函数更适合人脸识别的最终任务；稀疏表示具有信源与误差分离的固有属性，只要人脸表征方式信息量充分，其他人脸无关特征的介入不会影响算法的识别性能；另外，在稀疏表示框架下，增加训练样本数量一定程度上能够提高训练集的稀疏特性，使稀疏表示更准确，但不会因过多样本的介入而使算法识别性能下降。

第2章获取的人脸子区域的局部完整性描述可将每个人脸样本抽象成一组局部特征向量，也可看作是一组人脸局部描述符的集合，该局部描述符在一定程度上刻画了人脸的独特性。在同类样本相似度较高的先验知识前提下，根据稀疏表示原理，每个待识别样本可由训练集中其同类样本的线性组合近似表示出。

对于人脸表情样本s，其第k个区域的局部描述符可表示为hk，s，则训练集中所有样本该区域的表征方式可按列向量形式排列成训练矩阵Hk，即

其中，N为训练集中人脸样本数量，M为单个人脸样本的特征维度，即上文所指的灰度级别数量。

对于某个测试人脸样本p，其第k个区域的局部描述符可表示为hk，p。在稀疏表示框架下，对于人脸样本p的局部稀疏重构可表示为：

上式所描述的最小化优化问题则可通过线性规划方法求解，进而可将测试样本p的局部区域分别进行稀疏重构表示。在分类识别阶段，利用公式（6）求出的最优解，可计算出测试样本p与训练样本si在第k个子区域的残差（局部残差），即

由于表情使人脸发生了非刚性的形变，而每个人脸子区域受表情因素的影响不尽相同。为了更客观、深入地分析每个人脸子区域受各种表情影响的程度，本文采用加权融合的方式整合上述局部残差，并将最小全局残差对应的训练样本定义为测试样本的最佳匹配对象。测试样本p与训练样本si的全局残差可表示为：

其中，wk表示人脸表情对第k个子区域的影响因子，影响因子越大表明该区域受表情影响越大。在识别特定表情时，应一定程度强化该区域对识别的贡献率；而在识别特定人脸时，应一定程度削弱该区域对识别的贡献率。该影响因子可通过实验获得经验值，可近似定义为该区域对识别的贡献率。

4 实验结果及分析

为验证所提出的融合LBP和人脸局部区域稀疏表示的人脸表情识别方法的有效性，深入剖析表情对人脸子区域的影响，在JAFFE2表情库上做了详细的对比实验。该库包含生气、厌恶、害怕、高兴、中性、悲哀、吃惊7种表情，实验选用该库除中性表情外的每个人每种表情的1组数据做训练，剩余表情样本做测试，实验结果见表1。针对表情对人脸子区域的影响，本文做了两组实验，一组将该影响因子均设为1（“本文1”），另一组通过实验获得该影响因子的经验值（“本文2”）。同时，为了进一步验证本文方法的有效性，实验对比了原始LBP算法和同仁的实验结果。

表1 人脸表情识别实验结果（%）

从表1“本文2”的实验结果可看出，本文提出的融合LBP和人脸局部区域稀疏重构表示的方法对人脸表情识别具有较强的鲁棒性，取得了93%左右的平均识别率。对比各个表情的识别效率，高兴和吃惊表情的识别率较高，而厌恶和悲伤表情的识别效果稍差。其原因是高兴和吃惊表情比较夸张，对人脸面部局部纹理影响较大，更容易捕捉该表情的独特性；而厌恶和悲伤表情对人脸的纹理影响相对较弱，进而影响了识别效率。在相同的实验条件下，对比原始LBP算法、“本文1”方案和“本文2”方案对不同表情的实验结果，本文方法的识别性能明显优于原始LBP算法，表明人脸局部稀疏重构表示方法对人脸表情识别更加有效，也表明融合LBP和局部稀疏重构表示的识别框架能够有效捕捉人脸表情的局部结构信息，较好地整合人脸局部特征，并精细刻画人脸局部纹理，进而取得了较好的效果。虽然稀疏表示的时间复杂度较高，但人脸局部特征维度较低，因此，基于人脸局部子区域的稀疏重构表示时间性能尚可。

对于表情对人脸局部区域的影响情况，表1中“本文2”（根据表情对人脸各子区域的实际影响分别设置影响因子）的实验结果要明显优于“本文1”（假设表情对人脸各子区域的影响相同）的实验结果，表明基于局部稀疏重构的加权融合方法能够较好地捕捉表情对人脸局部区域的特定影响，进而提升了人脸表情识别的准确率，因此，“本文2”方案对人脸表情识别问题更加鲁棒。为更直观地分析表情对人脸的影响，本文通过对所有人脸数据训练学习，获取到了表情对人脸各子区域的影响因子（见图3右图，颜色越深表明影响因子越大）。从图3可看出鼻子和下巴两侧区域受表情影响较小，对表情识别贡献较弱；而嘴巴、眼睛和眉毛区域纹理受表情影响较大，其中嘴巴区域尤为明显，这些区域为表情识别提供了较强的分类信息。

图3 表情对人脸局部的影响

另外，许多研究者针对人脸表情识别问题也作了深入的研究，在相同的实验数据下，本文方法的平均性能一定程度上优于文献[11-13]中的方法，这也证明了本文方法的优越性；对于特定表情的识别性能不同方法各有千秋。由于实验数据的组织方式存在差异，因此，对比实验仅供参考。

5 结束语

本文提出了一种融合LBP和局部稀疏重构表示的人脸表情识别方法。为更细致分析表情对人脸的影响，根据五官位置信息对人脸进行非均匀分区，然后提取局部区域的LBP特征；在此基础上，为精确刻画人脸表情局部特征，采用局部稀疏表示的方法对人脸局部子区域进行稀疏重构，并根据表情对各局部区域的影响因子，加权融合局部重构残差进行人脸表情识别。在JAFFE2表情人脸库上的对比实验验证了本文方法的可行性和有效性。本文对人脸采用了粗粒度的分区，以后可根据表情的影响对面部进行细粒度分区研究；另外，人脸面部具有左右对称特征，以后可在局部稀疏重构表示时，适当引入人脸结构约束，以提高表情识别率。

[1] Chen X W，Thomas H.Facial expression recognition：a clustering-based approach[J].Pattern Recognition Letters，2003，24（9/10）：1295-1302.

[2] 支瑞聪，阮秋琦.基于线性判别局部保留映射的人脸表情识别[J].信号处理，2009，25（2）：233-237.

[3] Li M，Yuan B Z.2D-LDA：a statistical linear discriminant analysis for image matrix[J].Pattern Recognition Letters，2005，26（5）：527-532.

[4] Buclu C，Kotropoulos I，Ptas.Comparison of ICA approaches for facial expression recognition[J].Signal，Image and Video Processing，2009，3（4）：345-361.

[5] 徐正光，闫恒川，张利欣.基于表情识别的独立成分分析方法的研究[J].计算机工程，2006，32（24）：183-185.

[6] 应自炉，唐京海，李景文，等.支持向量鉴别分析及在人脸表情识别中的应用[J].电子学报，2008，36（4）：725-730.

[7] Ojala T，Pietikainen M，Harwood D.A comparative study of texture measures with classification based on feature distributions[J].Pattern Recognition，1996，29（1）：51-59.

[8] Feng X，Pietikainen M，Hadid A.Facial expression recognition with local binary patterns and linear programming[J].Pattern Recognition and Image Analysis，2005，15（2）：546-548.

[9] Zhao G，Pietikainen M.Dynamic texture recognition using local binary patterns with an application to facial expressions[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29（6）：915-928.

[10] Shan C，Gong S，McOwan P W.Facial expression recognition based on local binary patterns：a comprehensive study[J].Image and Vision Computing，2009，27：803-816.

[11] 应自炉，方谢燕.基于局部二元模式的面部表情识别研究[J].计算机工程与应用，2009，45（29）：180-183.

[12] 姜锐，许建龙，张爱朋.基于改进LBP的人脸表情识别[J].浙江理工大学学报，2013，30（4）：546-549.

[13] 李睿，赵晓.融合DCT和LBP特征的表情识别[J].计算机工程与应用，2013，49（15）：171-174.

[14] 宋克臣，颜云辉，陈文辉，等.局部二值模式方法研究与展望[J].自动化学报，2013，39（6）：730-744.

[15] Donoho D.Compressed sensing[J].IEEE Transactions on Information Theory，2006，52（4）：1289-1306.

[16] 石光明，刘丹华，高大化，等.压缩感知理论及其研究进展[J].电子学报，2009，37（5）：1070-1078.

[17] Wright J，Yang A，Ganesh A，et al.Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31（2）：210-227.