基于协作低秩分层稀疏和LC-KSVD的人脸表情识别*

刘清泉， 张亚飞， 李华锋， 李 勃

(1.昆明理工大学 信息工程与自动化学院，云南 昆明 650500; 2.昆明理工大学 智能信息处理重点实验室，云南 昆明 650500)

基于协作低秩分层稀疏和LC-KSVD的人脸表情识别*

刘清泉1,2， 张亚飞1,2， 李华锋1,2， 李 勃1,2

(1.昆明理工大学信息工程与自动化学院，云南昆明650500;2.昆明理工大学智能信息处理重点实验室，云南昆明650500)

为了降低人脸表情识别对待识别个体的依赖程度，控制识别字典规模，增加识别准确度，提出了一种基于协作低秩和分层稀疏的表情识别字典构建方法。通过协作低秩和分层稀疏表示(C-HiSLR)有效分离与待识别个体相关部分，保留表情变化部分，并结合标签一致区分字典学习(LC-KSVD)算法，进行相应待训练表情序列的重构识别和对应类别字典的区分程度的优化学习。该方法在CK+数据集上进行验证，识别效果较一般基于稀疏表示模型算法有明显的提升。

协作低秩； 分层稀疏； 标签一致区分字典学习算法； 稀疏表示； 表情识别

0 引 言

目前,用于表情识别的方法主要有主成分分析[1]、Gabor小波变换[2]、局部二值模式[3]、流型方法[4]和主动外观模型等。相较于传统方法，稀疏表示分类(sparse representation classification,SRC)，在模式识别领域获得了较好的效果[5～8]，可以有效减少光照、姿态等因素对人脸表情识别的影响[9]。但稀疏表示需要构建一个超完备字典，而一般的表情识别字典和待识别表情的对应人相关程度较大，导致表情字典规模较大。

影片租赁公司Netflix推荐系统提出了著名的低秩矩阵填充问题，并因此延伸出了协作低秩和分层稀疏(C-HiSLR)，核心为假定观测矩阵分解成稀疏和低秩2个矩阵。人脸表情中变化部分对应稀疏的部分，而与待识别人物相关部分对应于低秩部分，可以有效地将与人物相关，但与表情识别无关的低秩部分排除、提高了字典的有效性，使字典更加紧凑，并有效降低了字典规模。

表征脸可由中性正脸和相关的表情变化叠加而成，反之，有效的表情变化也可以通过表征脸减去中性正脸得到。在观测人脸表征图像序列减去中性正脸所得到的表情变化序列时，发现，在该表情变化中，与待识别个体相关的人脸干扰因素被有效排除，大大提高了识别效果。

针对一般的表情分类不能有效地将与表情识别无关的低秩因素排除，导致识别字典规模较大的问题,采用标签一致区分(label consistent KSVD,LC-KSVD)字典学习算法[10],利用大量的训练样本，学习出一个在识别和分类领域有明显优势的字典。因此，结合协作低秩分层稀疏表示和标签一致区分字典学习算法的算法用于人脸表情识别十分有必要。

1 相关算法简述

1.1 LC-KSVD字典学习算法

采用能够有效提升分类效果LC-KSVD算法。相比KSVD[11]算法，LC-KSVD算法加入了类别标识因素作为监督学习条件。LC-KSVD算法在考虑字典表示能力的同时，兼顾了对于字典分类性能的加强，在考虑对当前训练样本序列表示能力和分类能力的同时，保持了之前样本对字典的训练效果，具体的表达形式

s.t.∀i,‖xi‖0≤T

(1)

式中Y=[y1…yN]∈Rn×N为N个n维输入信号集;D=[d1…dK]∈Rn×K(n>K即字典过完备)为一个待学习的字典；X=[x1,…,xN]∈RK×N为输入信号Y的稀疏数表示系数;T为稀疏阈值(每个信号个数比T更小);α和β控制对应项之间的贡献度。

为了便于计算，将式(1)转换成式(2)形式，借用KSVD算法求解式(2)

s.t.∀i,‖xi‖0≤T

(2)

KSVD算法主要利用给定的数据集，找到全局最优的字典。但这是一个NP问题，只能分步逐渐逼近以求得最优解，主要的操作可以简化成以下2步：

1)固定字典Dnew求解稀疏表示系数矩阵X。

2)根据求解的稀疏表示系数矩阵逐列更新字典原子，即当字典在非最优情况下，经过稀疏表示后，必然与待表示样本存在表示误差。在满足稀疏度的情况下，将表示误差缓慢包含到原始字典中，即逐行、逐列更新优化，以减小整体误差，逼近最优解字典，更新字典的核心步骤如式(3)

(3)

(4)

1.2 协作低秩分层稀疏表示算法

C-HiSLR根据低秩矩阵分解(RPCA)和协作分层表示(C-HiLasso)[10]算法演变而来,主要思想是从测试样本矩阵中分离低秩矩阵的同时，将分解后的稀疏矩阵通过C-HiLasso进行相应的稀疏表示，以达到最佳的分类效果。C-HiSLR的公式如下

s.t.Y=DX+L

(5)

Γ(X,L,Λ)=f(X)+λL‖L‖*+〈Λ,Y-AX-L〉+

(6)

(7)

(8)

Λk+1=Λk+β(Y-AXk+1-Lk+1)

(9)

式(6)参考非精确求解RPCA问题进行求解。

(10)

2 本文算法

2.1 协作低秩分层稀疏表示和LC-KSVD算法

为了减少表情识别字典与待识别个体的相关程度，提高各表情类子字典区分程度，在分层稀疏和协作低秩表示的基础上加入了有助于分类的监督学习条件。如下

s.t.Y=DX+L

(11)

(12)

〈Λ,Ynew-L-DnewX〉

(13)

2.2 表情图像分类

通过求得相应的稀疏表示系数和分解的低秩部分(X,L)。然后参照稀疏表示分类模型，利用式(14)计算相应的类别的残差，在各类别子字典进行分组验证后，所得到的该类别最小残差即为该表情序列类别

(14)

式中D[Gc]为第Gc类子字典;X[Gc]为相应稀疏表示系数。

2.3 算法求解

类似于KSVD算法求解过程，为了学习一个有效的分类字典，可以通过交替更新方法进行求解[11]，即在固定字典的情况下通过利用C-HiSLR[12]中方法求解稀疏系数和低秩矩阵，然后通过求解的稀疏系数和低秩矩阵进行字典原子的更新，在不断迭代过程中，获得最佳的分类字典。

将式(13)的求解算法简单描述为以下2步：

1)利用C-HiSLR求解稀疏表示系数X和低秩分解矩阵Lnew;

2)根据求解后的(X,Lnew)利用式(13)、式(14)进行字典学习。

3 实验结果

所有实验均选用CK+数据集，由321组被标记的情感序列够成(生气、蔑视、厌恶、害怕、开心、悲伤、惊讶)，从每类表情中随机选取10个序列初始化字典，5个用于测试。为了比较实验效果，利用为C-HiSLR和C-HiLasso算法进行对比实验。图2给出了通过学习后的部分字典，横向为相同表情类，纵向为不同表情类。选取出3类表情，即生气、轻蔑、厌恶。从图1可以发现，有利于分类表示的部分为图像中高亮的部分，表情变化共同特性主要集中在眉、眼、鼻和嘴等五官部位，而其他特征对表情识别贡献并不大，甚至对识别造成干扰。

图2 经过本文算法获取的惊讶类表情序列恢复

实验过程中，从每类表情随机选取10个序列初始化字典，5个用于测试，其余用于训练字典，初始字典时采用减去第一帧的方式进行表情变化的提取，为了便于比较训练算法与其他算法的识别率，本文算法和C-HiSLR的测试样本和训练样本均采用原始序列进行验证，C-HiLasso算法的测试样本和训练样本均采用减去第一帧的方式。

图2为经过本文算法获取的表情序列恢复。由图2(c)发现该表情变化主要部分被有效分离和表示。

表1为本文算法在CK+数据集验证的混淆矩阵，其中生气、轻蔑、开心、悲哀、惊讶等表情识别较准确，而其他类别表情主要干扰是和‘生气’类表情变化近似。对照表2可以发现，相对而言在表情变化细微的(生气、轻蔑、厌恶)表

表1 本文算法在CK+数据集验证的混淆矩阵

情类别上，本文学习算法相比对比算法有较好的改善，在总的识别率上也达到了一定的提升,平均识别率为0.885 7,加强了各类表情的区分度，并明显增强了有利于识别表征的主要表情变化，由图2可以发现，经过本文算法学习后的字典相较其他人脸特征区域，该表情类别的主要区分因子被凸显(如眉、眼、鼻和嘴等五官)。由图2(c)图像序列可以发现，与表情识别相关的主要人脸部位通过训练字典被有效表示，因而,算法能够较好提升表情识别。

表2 各类算法在各表情分类的识别正确率比较

4 结 论

提出了基于协作低秩分层稀疏表示和LC-KSVD的人脸表情识别。实验数据在中性正脸被有效提供的情况下，减去中性正脸得到表情变化的部分，以提高识别效率。通过协作低秩分层稀疏表示，分离与待识别人物相关的低秩部分，所得的表情变化稀疏矩阵，能够在训练好的表情识别字典上进行有效分类。为了增加训练字典的分类效果，结合LC-KSVD算法能够有效加强分类效果的优势，将类别标记条件作为有效的监督学习约束，提升识别效果。未来需要优善的部分在于如何在训练样本未给定中性正脸的情况下有效构建表情变化矩阵，如何在非强约束情况下(光照、姿态等变化)，提升识别率。

[1] Calder A J,Burton A M,Miller P,et al.A principal component analysis of facial expressions[J].Vision Research,2001,41(9):1179-208.

[2] Saabni R.Facial expression recognition using multi radial bases function networks and 2D Gabor filters[C]∥Proceedings of the Digital Information Processing and Communications,2015.

[3] Shan C,Gong S,Mcowan P W.Robust facial expression recognition using local binary patterns[C]∥Proceedings of the IEEE International Conference on Image Processing,2005.

[4] Wang L,Wang K,Li R.Unsupervised feature selection based on spectral regression from manifold learning for facial expression recognition[J].Iet Computer Vision,2015,9(5):655-662.

[5] Donoho D L.Compressed sensing[J].IEEE Transactions on Information Theory,2006,52(4):1289-1306.

[6] 陈 柘,钟晓荣,张晓博.压缩传感及其在医学图像融合中的应用[J].传感器与微系统,2013,32(9):149-152.

[7] 韩 震,王红斌,余正涛,等.双边非局部均值滤波图像去噪算法[J].传感器与微系统,2016,35(6):124-127,131.

[8] 龚 静,陈向东,时子青.基于CS和神经网络的传感器网络模式识别研究[J].传感器与微系统,2011,30(12):62-65.

[9] 张惊雷,姜松涛.基于改进压缩感知的运动目标跟踪[J].传感器与微系统,2016,35(6):120-122.

[10] Sprechmann P,Ramirez I,Sapiro G,et al.C-HiLasso:A collaborative hierarchical sparse modeling framework[J].IEEE Transactions on Signal Processing,2011,59(9):4183-4198.

[11] 杜向龙,伍健荣,邢 涛.一种基于场景区分算法的背景抽取方法[J].传感器与微系统,2011,30(11):39-42.

Facialexpressionrecognitionbasedoncollaborativelow-rankandhierarchicalsparseandLC-KSVD*

LIU Qing-quan1,2, ZHANG Ya-fei1,2, LI Hua-feng1,2, LI Bo1,2

(1.SchoolofInformationEngineeringandAutomation,KunmingUniversityofScienceandTechnology,Kunming650500,China;2.KeyLaboratoryofIntelligentInformationProcessing,KunmingUniversityofScienceandTechnology,Kunming650500,China)

To reduce dependence of individual on facial expression recognition,control scale of recognition dictionary,increase recognition accuracy,propose a dictionary recognition construction method based on collaborative low-rank and hierarchical sparse representation.Effective separation the relevant characteristics of the individual to be identified by collaboration lowvrank and hierarchical sparse model(C-HiSLR),keep expression variation characteristics,combined with label consist KSVD(LC-KSVD),to identify and reconstruct the sequence of expression to be trained and optimization study of distinction between corresponding category dictionary.The methods is verified on data set in CK+,recognition effect is significantly improved than general model algorithm based on sparse representation.

collaborative low-rank; hierarchical sparse; label consistent(LC)-KSVD algorithm; sparse representation; facial expression recognition

10.13873/J.1000—9787(2017)11—0056—04

TP 751

A

1000—9787(2017)11—0056—04

2016—10—19

国家自然科学基金资助项目(61562053，61302041，61363043)； 昆明理工大学引进人才基金资助项目(KKSY201403116)

刘清泉(1990 - )，男，硕士研究生，研究方向为图像处理。

张亚飞，通讯作者，E—mail：76326474@qq.com。