空洞卷积网络下微表情实时识别方法仿真

杜芳芳,王福忠,高继梅

(1. 黄河交通学院智能工程学院,河南 武陟 454950;2. 河南理工大学电气工程与自动化学院,河南 焦作 454000)

1 引言

与普通表情相比,微表情是人类藏匿的特殊情绪只在特殊状态下才会被触发,其表情真实度高,很难伪造及控制,是人类最真实情感的表达,故其在刑侦侦查、医疗诊断、心理治疗等领域具有重要应用价值[1-2]。微表情发生时间在250-500ms,其时间之迅速令人难以识别。传统微表情识别多采用局部二值法、变换域法、光流法等,但存在识别步骤复杂、时效性差、识别效果不佳等问题,因此,研究微表情的实时监测方法具有重要意义。

朱伟杰等人[3]提出双流网络信息交互机制下的微表情识别方法,建立人脸三色通道图像主体网络,基于优化光流辅助网络训练过程,通过优化光流辅助网络完成实时微表情识别。该方法存在识别准确率低的问题。梁正友等人[4]提出结合迁移学习与可分离三维卷积的微表情识别方法,通过光流法提取人脸微表情,将其输入到三维卷积网络中训练,并优化模型微调参数,基于优化的三维卷积网络完成人脸微表情识别。该方法存在识别时间长的问题。吴进等人[5]提出一种基于CNN与LSTM结合的微表情识别算法,提取时域空域特征,通过归一化算法优化模型训练速度,采用优化后卷积神经网络与长短期记忆网络结合模型完成微表情识别。该方法存在识别精度不高的问题。

为了解决上述方法中存在的问题,提出基于空洞卷积的实时微表情识别算法。为增强人脸的微表情图像特征,采用混沌蛙跳算法来处理,通过空洞卷积构建卷积神经网络,完成对人脸微表情实时识别。

2 图像增强

通过混沌蛙跳算法对人脸图像增强处理[6-7]。

蛙跳算法模仿通过种群间思想传递的青蛙觅食状态,通过局部搜索传递个体间信息完成全局信息交换使个体趋于全局最优解。在此基础上引入混沌算法,通过混沌序列扰动蛙跳,使其更好的搜索到蛙跳位置波动,增强扰动幅度的控制能力,在通过Beta函数的归一化处理,完成人脸图像的增强处理。

(1)

混沌序列β可通过Logistic方程产生,其公式表达如下:

βn+1=l×βn×(1-βn)

(2)

其中,l表示控制参数。系统混沌状态情况可通过迭代次数获取,控制参数大于零且小于4时,混沌状态具有随机性,在控制参数等于3时,系统混沌状态出现分岔情况,在控制参数等于4时,该系统处于完全混沌状态。

依据混沌运动的随机性原理,考察蛙群的解,以避免搜索局部性的出现,进而生成蛙群规模初始数量值,将蛙群规模初始数量值带入Logistic方程,通过迭代产生混沌变量,映射混沌变量g(x)[8],其公式表达如下:

(3)

蛙群规模初始数量值的二进制向量可行解对应每个青蛙。

全局最优解可通过对寻优的青蛙的混沌扰动完成。设某只寻优青蛙用h(xlo)表示,随机抽取区间内任一数,迭代后获取新的随机数ε,扰动后青蛙位置h′(xlo)公式表达如下:

h′(xlo)=χεh(xlo)

(4)

其中,χ表示扰动系数。最终良好的青蛙位置波动可通过有效均匀的混动扰动实现。

青蛙扰动需在一个幅度J内实行,用l表示混沌映射序列函数最大值,其公式表达如下:

J∈[-lg2(ln+1),lg2(ln+1)]

(5)

通过Beta函数的归一化处理完成输入人脸图像的增强处理,Bate函数g(γ,η)公式表达如下:

(6)

其中,γ、η表示非线性函数变化最优值,当γ<η时,对人脸图像的亮部区域增强处理;当两值相等时,对中间区域增强处理;当γ>η,对人脸图像暗部区域增强处理。

原始人脸图像像素归一u′ok处理公式表达如下:

(7)

其中,(o,k)表示像素,uok表示原始灰度值,Zmin表示原始人脸图像最小灰度值,Zmax表示原始人脸图像最大灰度值。

归一化像素增强u″ok处理公式表达如下:

u″ok=G(u′ok)

(8)

(9)

其中,Z′max表示灰度最大值,Z′min表示灰度最小值。

青蛙寻优收敛Q条件公式表达如下:

(10)

在固定收敛条件范围内,图像对比度及灰度分布均匀度与收敛条件正比,选取最大收敛条件值,获取更好的人脸图像增强效果。若不满足扰动条件则继续更新蛙群扰动,直至求得满足条件的收敛条件,再输出最终图像,完成人脸图像的增强处理。

3 特征提取

通过时间差值算法和局部二值算法提取增强处理后的人脸微表情图像特征[9-10]。人脸微表情动态长短不一影响着微表情识别准确率,动态短的微表情帧数少容易出现人脸特征丢失的情况,而动态多的微表情冗余度大容易降低微表情识别率。时间差值算法视同基于流形的时间插值法归一化帧数[11-12],通过固定时间间隔曲线采样人脸微表情序列。

用连续函数Pn来描述人脸微表情序列,最小化映射到一条直线上连续函数距离F,即对角矩阵,其公式表达如下:

(11)

其中,Eo,k表示邻近矩阵,n表示函数采样点个数,y表示映射点。

(12)

其中,e表示转换矩阵,x表示特征向量和均值的差。

用Z表示拉普拉斯算子特征向量,利用奇异值分解方法X分解得到公式如下:

(13)

其中,I表示平均去矢量奇异值分解,W表示转换特征矩阵,S表示是转换向量,ω表示特征向量,μ′表示特征值。

进一步推导出公式表达如下:

ZWTωk=μ′Wωk

(14)

插入新图像特征向量ψ公式表达如下:

(15)

通过局部二值算法,将原始数据三色通道图像转换为LBP纹理图像,以达到消除光照影响,缩短网络运行时间,完成人脸特征的提取。

4 微表情识别

将提取到的人脸图像特征输入到结合空洞卷积的神经网络模型中,完成人脸微表情的实时识别[13-14]。为了满足长视频中微表情分析细节不明显等问题,在神经网络分析中引入空洞卷积,可扩大卷积核感受野效果,实现人脸微表情特征细节信息的高精度提取。

空洞卷积即扩张卷积,可通过增加权重为零的卷积像素至卷积核中构建,充分改善了神经卷积网络池化步骤的信息丢失问题,提高卷积神经网络的精度[15]。引入扩张率参数t值表达空洞卷积层卷积核数据的间距,计算第o层卷积层感受野,其公式表达如下:

(16)

用d表示卷积滑动步长,输入特征图公式表达如下:

(17)

其中,P表示输入图像,A表示卷积填充像素数目。

进一步推导出公式表达如下:

(18)

卷积神经网络图如图1所示:

图1 卷积神经网络图

在保证卷积神经网络输出特征图及卷积核大小不变的情况下,在神经网络模型基础上,添加系数分别为2和4的卷积核和大小为3*3的空洞卷积块,构成空洞卷积神经网络模型,以达到人脸特征像素点感受野扩大为原来5倍的效果。

按照幸福、生气、悲伤、恐惧、厌恶、惊讶、自然7种表情训练样本,归一化softmax分类器的输出结构为(0,1),获取第o个多目标样本分类概率P(xo)公式表达如下

(19)

其中,r表示分类样本,xo表示数据集内的训练样本。

样本真实分布和模型预测分布的差异关系可通过KL散度相对熵衡量,其公式表达如下:

(20)

(21)

通过权重的增加实现正负样本平衡的控制,对其消除loss干扰处理,其公式表达如下:

(22)

其中,η表示增加参数,β表示平衡权重因子。

基于此完成结合空洞卷积的神经网络系统构建,并通过此模型完成人脸微表情识别。

5 实验与分析

为了验证基于空洞卷积的实时微表情识别算法的整体有效性,对其完成如下测试。在Intel Xean 2.10GhzCPU、Geforee GTX1280/16 GB GPU、32GB内存的服务器上搭建Pytorch平台完成实验。实验样本采用中国科学院的CASME Ⅱ数据集和CASME 数据集,CASME Ⅱ数据集由26个人物的255个微表情序列组成;CASME 数据集由35个人物的195个微表情序列组成,两数据集均包含悲伤其中包括高兴、悲伤、惊讶等表情。

1)微表情特征增强效果

采用所提方法、双流网络信息交互机制下的微表情识别方法和迁移学习与可分离三维卷积的微表情识别方法对人脸微表情展开预处理测试,其结果如图2所示:

图2 三种方法下微表情特征增强效果

分析图2可知,所提方法较双流网络信息交互机制下的微表情识别方法和迁移学习与可分离三维卷积的微表情识别方法人脸微表情预处理效果更好,通过增强处理得到方法使人脸微表情图像更清晰,更利于人脸微表情的识别,表明所提方法的微表情图像预处理效果更好。

2)识别准确率及识别时间

采用所提方法、双流网络信息交互机制下的微表情识别方法和迁移学习与可分离三维卷积的微表情识别方法,对其完成人脸实时微表情识别,识别准确率及识别时间如表1所示。

分析表1可知,双流网络信息交互机制下的微表情识别方法的识别准确率及识别时间数值波动幅度较大;迁移学习与可分离三维卷积的微表情识别方法的识别准确率较低、识别时间较长;所提方法的识别准确率在97%以上,且识别时间较短,在0.04ms左右波动,表明所提方法的识别效果更好。

6 结束语

人脸情绪可通过微表情被直观反映,在生活中具有多方面应用价值,因此提出基于空洞卷积的实时微表情识别算法。通过增强人脸图像,提取人脸图像特征,结合空洞卷积至神经网络卷积层构建空洞卷积神经网络模型,完成人脸实时微表情识别。解决了传统方法中存在的问题,获得了更高的识别准确率及更简便的识别方法,为微表情识别领域奠定了基础,具有重要意义。