基于鲁棒稀疏编码的表情识别方法

欧阳琰，桑 农，黄 锐

(华中科技大学 图像识别与人工智能研究所，湖北 武汉430074)

表情识别有着悠久的历史，早在1978 年美国心理学家EKMAN 和FRIESEN 就开发了面部动作编码系统(FACS)［1］，并将表情分为6 个种类，即愤怒、恐惧、高兴、厌恶、悲伤和惊讶。随着2009 年稀疏表达在人脸识别领域的应用［2］，它作为一个崭新的模式识别方法被越来越多地应用到不同的模式识别问题中。相比传统的模式识别方法，稀疏编码对噪声和遮挡更为鲁棒。2010—2012 年，已经有不少文献将稀疏编码方法应用到表情识别中，并且已经证明该方法在识别率、对噪声的鲁棒性上要优于最近邻(NN)、支撑向量机(SVM)和最近子空间(NS)等方法。文献［3］将Gabor、主成分量等特征与SRC 相结合，并应用到表情识别中。文献［4］使用LBP 特征与SRC 进行了表情识别的研究。文献［5］使用2DPCA +SRC 的方法，并证明该方法要优于2DPCA +SVM等表情识别方法。这些研究着重将SRC 方法与不同的特征提取方法相结合，并应用到表情识别中，而SRC 方法中的稀疏编码求解方法会对最终的表情识别率产生影响。传统的稀疏编码模型都是假定其编码残差是符合高斯分布的，然而在实际应用中编码残差是不可能完全服从固定分布的。因此，在这里笔者将文献［6］中的鲁棒稀疏编码应用到表情识别中，实验证明该方法比传统的SRC 方法在表情识别应用上具有更高的识别率和对噪声的鲁棒性。

1 传统基于稀疏表达的识别方法

SRC 方法不仅能够抵御一定的噪声和遮挡，还可以反推出噪声或遮挡的模型。

2 抗遮挡与抗噪声的表情识别算法

在传统SRC 的稀疏编码求解中，假定编码残差e=y－Sx 是服从高斯分布的，但在实际的表情识别研究中，这个编码残差很难服从固定的分布，尤其是在有噪声或遮挡的时候。为了解决该问题，需要通过参数估计的方法来估计该编码残差的概率分布，而不是单纯地将它定义为服从高斯分布。文献［6］提出了一种鲁棒的稀疏编码求解方法(RSC)，其采用极大似然估计理论来估计这个编码残差。在实际应用中，它的基本思想是采用迭代方法，在每一次迭代过程中，使用上一次稀疏编码求解中测试原图与重构图的编码残差e=y－Sx，并将其作为权值来修正测试原图与字典中的每一幅图像，随着迭代次数的逐渐增加，会使测试原图中编码残差高的像素部分权值越来越小，最终达到提高稀疏编码识别率的目的。由于图像中遮挡和噪声部分的编码残差显然要比其他部分高，因此，RSC 通过不停地迭代，将遮挡和噪声部分的权值降到最低，从而达到比一般SRC 更为鲁棒的目的。文献［6］已经证明RSC 方法在识别无遮挡或有遮挡的人脸图像时，正确率要明显高于SRC 方法。为了弥补传统稀疏编码方法的不足，RSC 方法被应用到表情识别中。通过与不同的特征提取方法相结合，一共提出了5 种表情识别方法，分别为:RAW + RSC，DS + RSC，LBP+RSC，Gabor+RSC，2DPCA +RSC。RSC 方法主要算法流程如下:

(1)对测试样本y 和训练样本集S 进行特征变换，使用的特征变换方法主要有PCA、LBP、Gabor 和降采样。一般的特征变换都可以看作是对原始数据的线性投影，将原始数据投影到特征空间。P 定义为线性投影，对式(2)的左右两边同时投影得到:

该算法中的y 和S 都进行了特征变换，x0为原始数据的稀疏编码值，α 为特征值对应的稀疏编码值。设置迭代次数t=1。

(3)计算权值:

δ=ψa(k)，其中，ψa为ψ=［(e1)2，(e2)2，…，(en)2］按照升序排列后的结果，k =［τn］表示不大于τn 的最大整数，μ=c/δ。

(4)计算稀疏编码:

(5)更新稀疏编码的相关系数:

如果t=1，α(t)=α*;

如果t ＞1，α(t)=α(t－1)+μ(t)(α*－α(t－1))。

(7)令t=t+1，然后返回步骤(2)，当迭代次数达到最大时则停止迭代。

3 实验

3.1 实验数据选择

实验所使用的数据库来源于Cohn－Kanade表情数据库［7］，该数据库是目前使用最多的评估表情识别算法的数据库，所使用的数据集是从Cohn－Kanada 表情数据库中经筛选并归一化后的图像［8－9］。实验程序采用Matlab 编写，l1－minimization 问题的求解代码采用l1_ls Toolbox［10］。RSC 的代码可从网上获得。实验中的RSC 相关参数c 设置为7，τ 在处理无遮挡时设置为0.8，在处理有遮挡时设置为0.5，最大迭代次数为10。比对方法采用了文献［3］中的Gabor +SRC，RAW + SRC 和DS2 + SRC，文献［4］中的LBP+SRC，文献［5］中的2DPCA+SRC。

3.2 对干净的表情图像识别结果

首先，在干净的表情图像上进行实验，结果如表1 所示。基于RSC 的方法要比传统的基于SRC 方法识别率更高。

表1 干净表情图像的识别率对比 %

3.3 对加噪声的表情图像识别结果

即使一幅表情图像被加上了噪声和遮挡，人眼仍然能够识别出它的表情。因此，研究算法对噪声和遮挡的鲁棒性是很有实际意义的。在相机采集图像的过程经常会产生马赛克，这种噪声在很多视觉研究的论文中采用高斯噪声来进行模拟，因此，在实验数据中添加了高斯噪声。高斯噪声的程度一共选取了7个:10%，15%，25%，35%，50%，60%和70%，图1 给出了加了噪声后的表情图像。

图1 加噪声后的表情图像

图1 中，(a)表示原始图像，(b)对应10%的噪声，(c)对应15%的噪声，(d)对应25%的噪声，(e)对应35%的噪声，(f)对应50%的噪声，(g)对应60%的噪声，(h)对应70%的噪声。

表2 中的实验结果表明基于RSC 的表情识别方法要全面优于基于SRC 的表情识别方法。

表2 噪声图像的比对结果 %

3.4 对遮挡表情图像的识别结果

遮挡的程度分为3 类:遮挡整幅图像10%的像素、20%的像素和30%的像素。图2 为遮挡后的图，遮挡图像的对比结果如表3 所示，可知基于鲁棒稀疏编码的方法要比传统的稀疏编码方法对遮挡图像具有更好的鲁棒性。

图2 遮挡示意图

图2 中，(a)为原始表情图像，(b)为遮挡10%的表情图像，(c)为遮挡20%的表情图像，(d)为遮挡30%的表情图像。

表3 遮挡图像的比对结果 %

4 结论

笔者针对传统稀疏编码在表情识别上的不足，将一种更为鲁棒的稀疏编码方法(RSC 方法)应用到了表情识别上。通过在Kohn－Canada 数据库上的实验，证明该方法适用于表情识别并且比传统的稀疏编码具有更高的鲁棒性。

［1］ EKMAN P，FRIESEN W V. Facial action coding system［M］. Palo Alto:Consulting Psychologists Press，1978:56－98.

［2］ WRIGHT J，YANG A Y，GANESH A，et al. Robust face recognition via sparse representation［J］. IEEE Trans on PAMI，2009，31(2):210－227.

［3］ COTTER S F.Sparse representation for accurate classification of corrupted and occluded facial expressions［C］//Proc ICASSP.［S.l.］:［s.n.］，2010:838－841.

［4］ HUANG M W，WANG Z W，YING Z L.A new method for facial expression recognition based on sparse representation plus LBP［C］//International Congress on Image and Signal Processing. ［S.l.］:［s.n.］，2010:1750－1754.

［5］ HUANG M W，MING Z L.The performance study of facial expression recognition via sparse representation［C］//International Conference on Machine Learning and Cybernetics(ICMLC).Qingdao:IEEE，2010(2):824－827.

［6］ MENG Y，LEI Z，JIAN Y，et al. Robust sparse coding for face recognition［C］//IEEE International Conference on Computer Vision and Pattern Recognition.［S.l.］:［s.n.］，2011:625－632.

［7］ KANADE T，COHN J F，TIAN Y.Comprehensive database for facial expression analysis［C］// International Conference on Automatic Face and Gesture Recognition. ［S.l.］:［s.n.］，2000:46－53.

［8］ PENG Y，QINGSHAN L，METAXAS D N.Exploring facial expressions with compositional features［C］//IEEE International Conference on Computer Vision and Pattern Recognition. ［S.l.］:［s.n.］，2010:2638－2644.

［9］ 欧阳琰，桑农.基于面部动作单元组合特征的表情识别［J］.中国体视学与图像分析，2011，16(1):38－43.

［10］ KIM S J，KOH K，LUSTIG M，et al.A method for large－scale l1－regularized least squares［J］. IEEE Journal on Selected Topics in Signal Processing，2007，1(4):606－617.