基于改进的LTP人脸表情识别算法

唐红梅，乔帆帆，郭迎春，王　霞

(河北工业大学　电子信息工程学院，天津　300401)

基于改进的LTP人脸表情识别算法

唐红梅，乔帆帆，郭迎春，王霞

(河北工业大学电子信息工程学院，天津300401)

摘要:针对人脸表情识别背景复杂导致识别率低的缺点，提出了一种中心对称三值模式(CSTP)算法，首先对人脸表情图像进行分块处理，在每一子块上提取CSTP特征，并对该子块进行CSTP特征的直方图统计，然后求出各个子块对应的信息熵，构造自适应加权系数，再分别和各个子块的直方图相乘，将自适应加权后的各个子块特征向量级联作为最终的纹理特征，最后利用支持向量机(SVM)进行表情分类。在JAFFE和CMU-AMP表情库上进行试验，通过对比其他传统方法发现该算法对表情识别更有效。

关键词:表情识别；自适应加权；支持向量机

人脸表情识别是计算机视觉领域一个富有挑战性的研究课题，在心理学、人机交互研究等方面具有重要意义。近年来，人脸表情识别技术发展迅速，主流的方法有Gabor滤波法[1-2]、主动形状模型法(ASM)[3]、主成分分析法(PCA)[4]和纹理特征法[5-6]。Gabor小波可以从不同尺度和不同方向上提取人脸表情的纹理特征，但是其计算过程产生的高维数有可能导致计算机内存的耗尽，并且计算过程相当耗时。ASM算法能直观地反映表情的变化，但是模型的构建相当复杂，在一定程度上影响了算法的实行速度。PCA算法可以提取表情图像的全局纹理特征，但是它很难避免处理数据时产生的协方差矩阵维数过高问题。二元主成分分析法(2DPCA)[7]是PCA的拓展算法，在一定程度上解决了上述问题，但是它是在水平方向上提取图像的特征，而忽略了垂直方向上的特点。局部二值模式(LBP)算法最早是由Ojala等人[8]提出的，它能够有效地描绘图像局部纹理信息，LBP及其扩展特征被应用于人脸表情检测，有突出的表现，其缺点是当光照变化剧烈时，LBP的可靠性会下降。针对LBP的局限性[9]，付晓峰等人[10]将中心化二值模式(CBP)算法应用到表情识别，CBP特点是采用“对角原则”，即计算对角元素的灰度值，并加入中心点像素与邻域内所有像素均值的对比。这样不但充分利用了中心像素的作用，还使得CBP直方图的维数有了明显的降低，计算速度得到了提高。为了降低LBP对噪声的敏感度，Jiang等人[11]在LBP的基础上，引入了中心像素与邻域像素的灰度差异性，完善了局部结构特征信息，丰富了纹理的描述。

基于上述算法的特点分析，本文提出了中心对称三值模式(Center Symmetrical Ternary Patterns，CSTP)算法。对人脸表情图像预处理之后，对图像分块，在每一子块上提取CSTP特征，并对该子块进行CSTP特征的直方图统计，求出各个子块对应的信息熵，构造自适应加权系数，再分别和各个子块的直方图相乘，将自适应加权后的各个子块特征向量级联作为最终的纹理特征，最后利用支持向量机SVM[12-13]进行表情分类。为了验证该算法的可行性，本文选取在JAFFE和CMU-AMP两个标准表情库上进行实验，结果证明该方法摆脱了对中心像素的依赖性，克服了表情识别背景复杂的缺陷，对局部纹理描述得更加精细，使得整个特征空间样本的表征和分类性能得到进一步增强和提高。

1相关算法描述

1.1LBP和CS-LBP算法

LBP算法是一种能够有效提取局部纹理信息的算法。在以R为半径，P为邻域内采样，通过比较邻域点像素值gi和中心点像素值gc的关系来定义模式值。当gi大于或等于gc时，被定义为1；否则被定义为0。计算如式(1)～(2)所示

(1)

(2)

其中：gc是中心点像素值；gi是周围邻域点像素值；P为周围邻域点数；R为半径。

虽然LBP算法计算简单，但是随着样本数的增加，数据的维数也会跟着变大，这就会给计算带来不便，CS-LBP算法的出现正好解决了这个问题。

CS-LBP算法首先计算关于中心像素对称的像素对的差，然后通过比较每组像素对差和阈值t的关系来定义图像局部纹理模式值，使得不但降低了数据的维数，还减少了对中心像素的依赖，其计算如下所示

(3)

(4)

其中：gi是周围邻域点像素值，gi+(P/2)是gi关于中心像素对称的像素值；t为阈值。

如图1所示为P=8时，CS-LBP算法的计算过程。

CS-LBP=S(g0,g4)20+S(g1,g5)21+

S(g2,g6)22+S(g3,g7)23

图1CS-LBP算法的计算过程

1.2LTP算法

局部三值模式(LTP)由局部二值模式(LBP)发展而来，阈值t使计算结果受像素灰度差异变化的影响变小，同时增强了噪声的鲁棒性。其基本定义如下：阈值t与中心点像素值gc构成新的区间[gc+t,gc-t]。若邻域点像素值gi在[gc+t,gc-t]内，则被定义为0；若gi大于gc+t，则被定义为1；若gi小于gc-t，则被定义为-1。计算公式为

(5)

(6)

其中：gc是中心点像素值；gi是周围邻域点像素值；t为阈值；P为周围邻域点数。

虽然LTP算法对LBP算法有了一定的改善，但是在图像的多尺度变化和局部遮挡问题的处理上还有一定的局限性，且LTP并不具备LBP的灰度单调变化不变性的优点。

2中心对称三值模式的特征提取算法

2.1CSTP算法

1)计算在(P,R)邻域内关于中心像素对称的像素对差Δgi

(7)

其中：g是像素，P是周围邻域数。

(8)

3)设定上限值U和下限值L

(9)

(10)

其中，t为阈值。

4)CSTP编码规则

(11)

(12)

CSTP算法的编码过程是：如果周围邻域点像素值gi与以中心像素为对称的gi+(P/2)的差值Δgi大于U，则该位编码为1，如果Δgi小于L，则该位编码为-1；把编码中的所有“-1”清为“0”，称为正模式，把编码中的“1”清为“0”，然后把“-1”置为“1”，称为负模式，在完成正、负两个模式的编码后对正负模式进行相应的或运算[14]，得到CSTP特征，可以进一步增强人脸表情的重要特征，防止其在特征提取过程中一些重要信息的丢失，最后将各子块的编码信息进行加权计算得到最终的特征向量。CSTP算法的编码过程如图2所示。

图2　CSTP算法的编码过程

2.2自适应系数加权

局部信息熵除了描述局部子区域包含的信息量，还描述了其纹理的丰富程度。将图像划分成n×n块后，每个子块中所包含的识别信息是不同的，若同等对待，则会降低纹理的独特性，势必会影响最后的识别率。如果计算出各个子块对整个图像的识别贡献率，再分别和各个子块的直方图相乘，得到自适应系数加权后的特征向量，最后将自适应加权后的各子块特征向量串连起来作为最终的纹理特征，不但能更好地描绘图像纹理的程度，而且还有利于识别率的提升。具体步骤如下所示：

1)计算每个子块的信息熵Ej

(13)

2)计算每个子块的权值Wj

(14)

其中：n为子块个数。

3)各个子块自适应加权后的特征向量φ为

(15)

其中：Hj是第j个子块的直方图。

3实验结果及分析

实验选择的是JAFFE和CMU-AMP人脸表情库。其中JAFFE表情库中共有10个人，每个人有7种表情(生气、厌恶、害怕、高兴、中性、悲伤、惊讶)。实验中，每种表情选取2张作为训练样本，共140张训练样本。剩下的70张作为测试样本，图像的尺寸统一为128×128，其部分表情样本如图3所示。

图3　JAFFE人脸表情库中的7种表情样本

CMU-AMP表情库中共有13个人，每个人都含有惊讶、生气、高兴这3种表情。实验中，每种表情随机选取8张作为训练样本，共312张训练样本，再选取8张作为测试样本，共312张测试样本，图像的尺寸统一为64×64。其部分表情样本如图4所示。

图4　CMU-AMP人脸表情库中的3种表情样本

所有样本均分为5×5个子块，邻域P=8，半径R=2，SVM采用的是高斯函数，核数设为8。使用不同的特征提取方法(2DPCA，Gabor+PCA，LBP，CBP，CSTP)进行比较，实验结果如表1和表2所示。综合两表的数据可知，在JAFFE数据库中CSTP的结果明显高出另外几种传统算法，在CMU-AMP数据库中CSTP的结果只是略优于其他几种算法，原因是CMU-AMP数据库中表情类别过少，训练样本过多。同时说明CSTP在处理小样本问题上具有优越性。

表1JAFFE库上的表情识别率

输入输出/%生气厌恶害怕高兴中性悲伤惊讶平均识别率2DPCA1009070801007010087.14Gabor+PCA9090801001007010090LBP1009070100908010090CBP1001008010090809091.43CSTP1001007010010010010095.71

表2CMU-AMP库上的表情识别率

输入输出/%生气高兴惊讶平均识别率2DPCA98.0894.2294.2395.51Gabor+PCA99.0496.1583.6492.94LBP95.2099.0492.3095.51CBP99.0496.1692.3195.83CSTP98.0810092.3196.79

图5～6所示为JAFFE库和CMU-AMP库中CSTP算法在t取不同值时的识别率。t的取值还无法给出理论上的最优，因此为了更好地评价CSTP算法，所以实验中的t是在[0.1，0.9]中选取的。从JAFFE库中可以看出，当t=0.5和0.7时，识别效果最好，为95.71%。而CMU-AMP库中识别率最好时是t=0.9时，为96.79%。

图5　JAFFE库中t取不同值时CSTP的识别率

图6　CMU-AMP库中t取不同值时CSTP的识别率

表3所示为2DPCA，Gabor+PCA，LBP，CBP和CSTP五种算法所用的时间，由于CSTP提取局部特征时要计算像素对的差值后再进行相关编码，导致时间消耗有所增加，比LBP和CBP所花费的时间略长，但是明显比2DPCA和Gabor+PCA算法的时间缩短了不少，对于识别率幅度的提升而言，时间的增加是可以接受的。

表3不同算法所用的时间

算法2DPCAGabor+PCALBPCBPCSTP时间/s0.262.410.030.030.05

4小结

本文提出的中心对称三值模式(CSTP)算法在表情识别上优于其他的算法：1)摆脱了中心像素的依赖性，对局部纹理描述的更加精细，或运算增强了表情的重要信息，使得整个特征空间样本的表征和分类性能得到进一步增强和提高；2)通过计算子区域信息熵构造自适应加权系数，将自适应加权后的各个子块特征向量级联起来作为最终的纹理特征，融合了局部特征和全局特征，提高了表情识别的性能。在JAFFE和CMU-AMP表情库上证明了该算法的可行性和有效性。但由于本文算法是在静态表情库中实验的，未对算法在表情序列中进行验证。如何更加实时地在动态视频序列中进行表情分类识别，是下一步研究的重点。

参考文献：

[1]YANG F，ZHANG L. Facial expression recognition based on Gabor parameters matrix and improved Adaboost[J]. Journal of computer applications，2014，34(4)：1134-1138.

[2]ZHANG L， TJONDRONEGORO D， CHANDRAN V. Random gabor based templates for facial expression recognition in images with facial occlusion[J]. Neurocomputing，2014，145：451-464.

[3]XIA H Y, XU L H. Facial expression recognition based on feature fusion of active shape model differential texture and local directional pattern[J]. Journal of computer applications，2015， 35(5)：783-786，796.

[4]MEHER S S， MABEN P. Face recognition and facial expression identification using PCA[C]//Proc. 4th IEEE International Advance Computing Conference (IACC).[S.l.]：IEEE Press，2014：1093-1098.

[5]GUO F Z， WANG K J， YUAN L，et al. New research advances in facial expression recognition [C]//The IEEE 25th Chinese Control and Decision Conference (CCDC).Guiyang：[s.n.]，2013：3403-3409.

[6]LIU L， FIEGUTH P.W. Texture classification from random features[J].IEEE transactions on pattern analysis and machine intelligence，2012，34(3)：574-586.

[7]LIBDA A S M. 2DPCA versus PCA for face recognition[J]. Journal of central south university， 2015，22(5)：1809-1816.

[8]OJALA T， PIETIKAINEN M， MAENPAA T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE transactions on pattern analysis and machine intelligence，2002，24(7)：971-987.

[9]AHONEN T， HADID A， PIETIKAINEN M.Face recognition with local binary patterns[C]//Proceedings of European Conference on Computer Vision.Prague：[s.n.]，2004：469-481.

[10]付晓峰.基于二元模式的人脸识别与表情识别研究[D].杭州：浙江大学，2008.

[11]JIANG R， XU J L， ZHANG A P. Facial expression recognition based on improve LBP[J]. Journal of Zhejiang Sci-

Tech University，2013，30(4)：546-549.

[12]FUNG G M， MANGASARIAN O L. Multicategory proximal support vector machine classifiers[J]. Machine learning，2005，59(1)：77-97.

[13]LUO Y， WU C， ZHANG Y. Facial expression recognition based on fusion feature of PCA and LBP with SVM[J]. Optik-international journal for light and electron optics，2013，124(17)：2767-2770.

[14]李德宁.改进型 LTP 在人脸识别中的研究与应用[D].哈尔滨：哈尔滨理工大学，2012.

唐红梅(1968— )，女，副教授，硕士生导师，主要研究方向为数字图像处理、模式识别；

乔帆帆(1990— )，女，硕士生，主要研究方向为数字图像处理；

郭迎春(1970— )，女，博士，副教授，主要研究方向为图像处理、模式识别；

王霞(1970— )，女，博士，教授，主要研究方向为信号处理。

责任编辑：闫雯雯

Facial expression recognition algorithm based on improved LTP

TANG Hongmei , QIAO Fanfan, GUO Yingchun, WANG Xia

(SchoolofElectronicsInformationEngineering,HebeiUniversityofTechnology,Tianjin300401,China)

Abstract:To solve the disadvantage of low recognition rate which caused by complex facial expression background, a new algorithm called Center Symmetrical Ternary Patterns (CSTP) is proposed in this paper. Firstly, the facial expression image is divided into blocks, CSTP features are extracted from each sub-block and the histogram statistics of the CSTP feature of the sub-block is carried out. Then the information entropy of the each sub-block has been calculated in order to construct the adaptive weighted coefficient. The feature vectors of the adaptive weighted sub-block have been scaled up as the final texture features. Finally, Support Vector Machine (SVM) is used to expression classification. The experiments on JAFFE and CMU-AMP database have been compared with other traditional methods. The better results of the proposed algorithm have been achieved in expression classification.

Key words:expression recognition; adaptive weighted; support vector machine

中图分类号：TP391.4

文献标志码：A

DOI：10.16280/j.videoe.2016.02.024

基金项目：河北省高等学校自然科学研究重点基金项目(ZD20131043)

作者简介：

收稿日期：2015-07-14

文献引用格式：唐红梅，乔帆帆，郭迎春，等. 基于改进的LTP人脸表情识别算法[J].电视技术，2016,40(2)：127-131.

TANG H M, QIAO F F，GUO Y C. Facial expression recognition algorithm based on improved LTP [J].Video engineering, 2016,40(2)：127-131.