基于混合特征与信息熵的人脸微表情识别算法

黄兴禄,芶小珊,陈 希

(成都大学计算机学院,四川 成都 610000)

1 引言

人脸的面部微表情一直被认为是人类情绪最真实的写照,当一个人试图隐藏自身情绪[1]、故作轻松或佯装快乐时,研究员可以通过观察说谎者的微表情,例如偶有几帧的皱眉、撇嘴、眼神失焦等,这些转瞬即逝且无法模仿、控制的自发式微表情,能让研究员捕捉到说谎者当下最真实的情绪。尽管研究员通过众多的培训锻炼,已经具备了专业知识和辨识能力,但单靠人工识别人脸微表情在准确率和时间成本方面均不能做到高效精确,因此,依赖互联网技术与相关算法识别人脸微表情[2]已经成为近年来研究的热点。

李国豪[3]等人通过观察公安部门的嫌疑人审问过程和医院门诊的患者心理测试,针对试图隐藏真实情绪的嫌疑人和患者的面部肌肉运动进行解析,并在注意力区域模型中输入肌肉运行曲线解码单位帧内肌肉变化幅度,最终输出微表情肌肉解码数据,实现人脸微表情的识别,该方法存在识别率低的问题。赖振意[4]等人通过多卷积层计算微表情持续时间和表情牵动五官产生的细微幅度获取微表情特征,并在空洞卷积核中计算表情特征权重,完成微表情特征提取,再利用CASME分类器对特征数据集进行实时分类,实现人脸微表情的识别,该方法存在精确度低的问题。吴进[5]等人通过视觉几何网络中的短期记忆卷积网络和长期记忆卷积网络分别对人脸微表情数据进行时域特征和空域特征的提取,将提取到的数据集拟合,获得囊括时域、空域两种特点的扩增序列,在扩增序列中加入批量丢弃算法,最终获得微表情识别矩阵,根据矩阵结果实现人脸微表情识别,该方法存在运算耗时长的问题。

为了解决上述方法中存在的问题,提出基于混合特征与信息熵的人脸微表情识别算法的方法。

2 基于混合特征与信息熵的人脸微表情特征提取

2.1 基于混合特征的眼睛及眉毛区域的微表情特征提取

混合特征的主要存在形式是二维Gabor小波变换[6],其小波系数具备良好的颜色信号提取特性和生物纹理提取特性,因此混合特征常用于人脸表情图像的处理和识别等领域。

二维Gabor小波变换函数表达式如下

(1)

1)颜色信号提取特性

正常情况下,普通的扫描仪器在对人脸微表情识别时,会由于偏色现象导致人脸微表情识别结果出现不自然、不精细等问题,为了避免这种偏色现象导致的微表情“维数灾难”,混合特征结合可量化小波色频HSV对人脸微表情颜色信号进行特征提取,设眼球、眼白、眉毛的颜色取值为(s,f,z),可量化小波色频HSV表达式如下

(2)

式中,l表示小波色频系数;log2(s,f,z)表示人脸微表情图像色彩丰富度。S、F、Z分别表示人脸微表情图像中的眼球、眼白和眉毛的可量化颜色特征维数。

首先选定图像颜色空间,规定人脸微表情颜色维数阈值为s,f,z∈[0,60],再利用非等间隔和等间隔两种方法,将微表情所包括的全部色调划分为72维矢量区间和50维矢量区间,72维矢量区间表示为

(3)

50维矢量区间表示为:

(4)

式中,h、n、m分别表示两区间的饱和度、色彩偏光属性和亮度。经过对比,可见两区间存在间隔量化差别。根据缩减特征维数算法在两区间内分别加入F、P、O三项权值参数,72维矢量区间输出计算量小、复杂性高、效率低的人脸微表情颜色信号特征数据,50维矢量区间输出计算量大、复杂性低、效率高的人脸微表情颜色信号特征数据。缩减特征维数算法的表达式如下

(5)

式中,υ表示人脸微表情信号提取数据的复杂程度;j表示缩减特征维数向量。

选择量化基数、色频带宽度更优的50维矢量区间作为微表情颜色特征维矢量矩阵,继续下一步人脸微表情特征提取。

2)生物纹理特征提取

运用设备对人脸微表情进行纹理特征进行提取的过程中,图像中的自然光线起到决定性作用,自然光线位置合理、光线柔和的图像与自然光线位置闭塞、光线犀利的图像在统计纹理特征提取率方面具有显著差异。在纹理特征提取过程中考虑自然光线的影响,是混合特征提取方法的一项优势。自然光线最佳取值可以根据光线y的轨迹矩阵获取

(6)

通过光信号奇异值分解原理获取光信号奇异值分解原理表达式如下

(7)

式中,t表示光信号频率;|x|表示自然光线位置序列;ε表示自然光线射频波形;(n,m)表示自然光线的最佳取值。

混合特征采用灰色共生矩阵的方法对符合自然光线最佳取值的人脸微表情图像进行纹理特征提取。灰色共生矩阵的表达式如下:

(8)

2.2 基于信息熵的鼻子及嘴区域的微表情特征提取

信息熵由多种小波信号频带组成,因而在描述局部微表情特征时,常表现出以小波包[7]为单位的非线性熵定量异谱。利用多分辨率信号频谱的Mallat算法[8]对小波包进行分解,可以提取到区域微表情变量特征信息,这些变量特征信息投射到人脸上,恰巧对应人脸鼻子及嘴的区域。Mallat算法表达式如下

(9)

在小波包分解的基础上,根据信息熵关联算法对所提取的区域微表情变量特征信息进行优化处理,主要目的在于强化微表情特征,使粗糙的特征数据蜕变成具备色彩、纹理的高维特征序列。信息熵关联算法表达式如下

(10)

式中,f(x)表示联合算法的能量熵;s表示颜色信号指数;t表示纹理分布复杂度;p(j)表示信息熵优化率。

通过混合特征与信息熵的共同协作,完成人脸微表情特征提取,为下一步支持向量机对特征的分类奠定了坚实的基础。

3 支持向量机的分类

支持向量机(Support Vectot Machine,SVM)是依赖统计算法的一种新式识别分类模型,其图像特征输出的分类结果在查全率、查准率方面,都优于其它现有方法。支持向量机的具体操作原理为:首先将特征数据作为分离训练样本,根据线性函数将样本T1和T2分别置于相交不平行的两条分类线上,再运用归一化处理当前分类线平面,直至样本T1和T2所处的分类线归于平行,即最优超平面非线性函数推导完成,样本T1和T2称为此过程的支持向量,非线性函数输出结果称为支持向量机的特征分类矩阵。线性函数表达式如下

Y·X+g=0

(11)

式中,Y表示线性约束条件;X表示线性向量常数。

(12)

式中,β表示极大化泛函常数;α表示分类平面最优解;(xi,yj)2表示特征样本总量,其编码序号分别为x和y;W(α)表示特征分类矩阵。

将上述混合特征与信息熵所提取的人脸微表情图像全部特征与非线性函数式结合,可以得到人脸微表情图像分类矩阵,其表现形式如下

(13)

尽管支持向量机输出的分类矩阵具有良好的人脸微表情识别能力,但由于此时的分类矩阵仅处于特征分类的浅层学习阶段,其对于人脸微表情识别还存在消耗时间长和成本高的问题,因此在分类矩阵的基础上完成深层特征学习,是一种提升微表情识别精确度、减少时间成本的全新策略。

首先在分类矩阵中加入Larange乘子,处理矩阵的极值问题,获得回归置信度[9]更高的优化分类矩阵。Larange乘子的表达式如下

(14)

在Sigmoid函数基础上构建深度学习模型,将优化分类矩阵代入模型中进行多项式阶次训练。满足Merce条件的分类矩阵理论上都属于核函数矩阵,但不同的核函数参数所对应的分类矩阵性能完全不同,多项式阶次训练的目的,就是在众多核函数矩阵中,选择参数最优,性能最强的分类矩阵,为此,需要在深度学习模型中设置两项限制条件,一是径向基函数[10],其表达式如下

(15)

式中,x1-x2表示相邻两项核函数的参数差值。

二是多项式核函数[11],其表达式如下

(16)

式中,x1·x2表示相邻两项核函数的参数乘积;p表示多项式系数。

深度学习模型[12,13]的表达式如下

(17)

式中,K表示模型学习能力;r表示多项式阶次训练次数;1≥i,j≥s≠0表示核函数最优参数取值;Con表示性能最强的分类矩阵的输出结果,根据输出结果可以实现人脸微表情图像的识别[14,15]。

4 实验与结果

为了验证基于混合特征与信息熵的人脸微表情识别算法的整体有效性,需要对其进行测试。

在神经网络中构建三组虚拟人脸图像数据库,第一组称为ORL数据库,收集100个志愿者的1000张人脸微表情图像,这些图像中的志愿者性别、微表情各不相同,图像的光线照射方向也有较大差异,图像宽度和高度分别限制在100像素和120像素。第二组称为AR数据库,收集200个志愿者的2000张人脸微表情图像,这些图像中的志愿者人脸角度、姿态及微表情各不相同,图像的比例也有较大差异,图像宽度和高度分别限制在150像素和180像素。第三组称为HD红外射线数据库,收集500个志愿者的5000张人脸微表情图像,这些图像中的志愿者年龄、微表情各不相同,图像的拍摄角度也有较大差异,图像限制宽度和高度分别为10像素和40像素。

以上述三组数据库为实验数据进行下列验证。

1)人脸微表情识别率

对比所提方法、文献[3]方法和文献[4]方法在上述三组数据库中的人脸微表情识别率。人脸微表情识别率对比如下表1所示。

表1 人脸微表情识别率对比

由上表1可见,所提方法在三组人脸微表情数据库的识别率都高于98%,说明所提方法对于数据库内的图像样本处理效果好,识别性能强。文献[3]方法和文献[4]方法在三组人脸微表情数据库内的识别率较低,两者与所提方法存在较大差距。经上述对比可知,所提方法的识别效果较好。

2)不同方法下的平均ROC曲线

ROC曲线即感受性曲线,又称受试者工作特征曲线。ROC曲线作为综合向量衡量指标,主要描述持续性变量的敏感性和特异性。以三组人脸微表情数据库为基础,通过临界值计算法统计数据库内一系列微表情的平均ROC曲线,已知ROC曲线面积与识别准确率为正相关关系,即ROC曲线面积越大,识别准确率越高。不同方法下的平均ROC曲线如图1所示。

图1 不同方法下的平均ROC曲线

由上图1可见,所提方法的ROC曲线位于其它方法的上方,即所提方法的平均曲线面积大,识别准确率高。文献[3]方法和文献[4]方法的ROC曲线接近水平线,说明二者的平均ROC曲线面积小,识别准确率低。经上述对比可知,所提方法优于传统方法,具有较高的精确度。

3)运算复杂度

除识别率、准确率外,还可以在每组人脸微表情数据库内随机选取1张图像,共计3张图像,进行运算处理时间的比对。假定三张图像的选择结果为a、b、c,观察所提方法、文献[3]方法和文献[4]方法的运算处理时间,不同方法识别同一张图像所用的时间如下图2所示。

图2 不同方法识别同一张图像所用的时间

由上图2可见,所提方法的三张图像运算处理时间均不超过0.2秒,体现出所提方法的高效性。文献[3]方法的三张图像运算处理时间均超过1.0秒,文献[4]方法的三张图像运算处理时间均超过0.8秒,二者与所提方法存在一定差距。经上述对比可见所提方法能够使时间消耗和效率水平达到最佳平衡点,即所提方法用时短、效率高。

5 结束语

微表情是一种相当短暂且不受思维控制的面部表情,通常出现在人类试图掩盖自身真实情绪的时候,由于微表情能够反映人类的心理状态,在现代生活中,微表情的识别常用于刑侦、审讯、职场应聘或心理辅导等多种领域。随着社会发展逐渐科技化,微表情的识别也步入计算机依赖的时代。现有的微表情识别算法常与测谎领域相结合,如何在保证微表情高识别率的前提下,将微表情与心理反应间的能量关系表现出来,是下一步研究工作的重点。