深度学习在情感识别上的研究

周伟，付晓峰，常耀中

深度学习在情感识别上的研究

周伟，付晓峰，常耀中

（杭州电子科技大学，浙江 杭州 310018）

针对现有情感分析算法在处理大量的人脸数据时未能展现良好鲁棒性的问题，提出一种新的情感识别方法。提出Z-libface人脸检测器，并设计出一种新的卷积神经网络模型RT-CNN，同时使用大型表情数据集fer2013以及改良后的FER+，训练出一个比较好的模型。使用提出的卷积神经网络RT-CNN在fer2013、FER+两个表情数据集上进行10倍交叉验证，取10次验证准确率的平均值，在fer2013及FER+上取得了66.72%与80.02%的准确率。

Z-libaface人脸检测；fer2013数据集；FER+数据集；深度学习

1 引言

情感是人类心理感受的一种重要特征[1]，在人们的交流中起着非常重要的作用。情感识别就是利用计算机进行人类情感图像的获取、情感图像的预处理、情感特征的提取和情感分类的过程，它通过计算机分析人的情感信息，从而推断人的心理状态，最后实现人机之间的智能交互。

最近关于人脸情感识别的研究大多基于深度学习。在大多数情况下，CNN的训练依赖大量的数据，在模型训练中，样本的大小会直接影响模型和网络，当样本有限时，模型很容易发生过拟合现象。因此本文直接使用数据量较大的fer2013数据集以及其改良后的FER+数据集。

本文的主要贡献如下：提出Z-libface人脸检测器；利用FER+对fer2013数据集进行改良和优化，提高约14%的准确率；提出RT-CNN模型，在fer2013、FER+数据集上取得较好的效果。

2 基于Z-libface的人脸检测

目前的人脸检测器[2]主要有Opencv自带的Haar检测器、Dlib人脸检测器、libface人脸检测器等。

本文提出的Z-libface人脸检测器是在libface人脸检测器的基础上进行改良得到的，经实验发现，libface人脸检测器有如下缺陷：当人脸是侧脸时，截取区域不当，最后得到的人脸截取图片有近1/5的空白区域。

针对libface人脸检测器的缺陷，本文利用该检测器检测人脸时提供的信息包括人脸68个特征点的坐标、截取矩形框左上角的横坐标、截取矩形框宽、人脸左右偏转时人脸偏转的角度。按照opencv的规则，图片左上角为坐标原点，顺时针旋转为负，逆时针旋转为正，当人脸向左偏转时为正，向右偏转时为负。

3 RT-CNN模型

本文设计出一种新的卷积神经网络模型RT-CNN，其网络模型结构以及参数设置如表1所示。在输入层之后加入1*1的卷积层使输入增加非线性的表示、加深了网络、提升了模型的表达能力，同时基本不增加计算量。为了防止过拟合问题，在最后两个全连接层中，把全连接层之间的连接随机丢弃50%，在卷积层3、4、5中分别进行2层、1层、2层全零填充，保证输出特征图的长宽不变。

表1 RT-CNN模型结构及参数设置

种类核步长输出丢弃 输入 48*48*1 卷积层11*1148*48*32 卷积层21*1148*48*32 卷积层35*5148*48*32 池化层13*3223*23*32 卷积层43*3123*23*32 池化层23*3211*11*32 卷积层55*5111*11*64 池化层33*325*5*64 全连接层1 1*1*2 04850% 全连接层2 1*1*1 02450% 输出 1*1*7

4 实验结果与分析

在fer2013数据集中有一些图像是黑白图，同时有很多的图片情感标注并不准确，这些情况对训练造成很大的干扰，有国外学者对fer2013数据集进行重新标签化，数据集叫FER+，图片顺序与fer2013相对应。把错误的标签改成正确的标签，剔除了fer2013数据集中的黑白图。

为了保证实验结果的有效性，本次实验采取了10倍交叉验证。将fer2013数据集平均分为10组。每次选取其中的9组作为训练集，另外1组作为验证集，进行10次实验，最后取10个结果的均值作为最终的准确率。这样保证了每个样本都可以作为验证集和训练集。对FER+数据集进行了同样的处理，本文模型与其他模型在fer2013数据集上识别率对比的结果如表2所示。

表2 本文模型与其他模型在fer2013数据集上识别率对比结果

名次模型准确率/（%） 1RBM71.16 2Unsupevised69.26 3Maxim Milakov68.82 4Radu+marius+Cristi67.49 5本文模型66.72 ……… 10sayit62.19

在实验过程中，各参数保持不变，当训练集设置为fer2013改良后的FER+时，最后的训练准确率为83.30%，验证准确率为80.02%。相比在fer2013数据集上识别率66.72%而言，本文模型在改良后的fer2013数据集 FER+上，训练集和验证集准确率提升约14%。

5 结语

本文针对人脸检测，提出性能更加高效的Z-libface人脸检测器。其次，提出一种新的人脸情感识别算法在fer2013数据集上取得了66.72%的识别率，并同时利用新的分类规则对fer2013数据集进行优化得到FER+数据集，本文算法在FER+数据集上取得了80.02%的识别率，在很大程度上改善了识别效果。虽然取得了一定的成果，但还存在一些问题，比如识别率有待进一步提高等。在接下来的工作中会继续探索人脸检测器的增强、网络结构以及参数的设置等。

［1］刘锦峰.基于卷积神经网络的学生课堂面部表情识别研究［J］.高教学刊，2020（7）：67-69.

［2］汪欣，吴薇，曾照.基于视频的人脸检测算法研究［J］.电子科技，2020，33（2）：25-31.

2095－6835（2021）06－0097－02

TP18；TP391.41

A

10.15913/j.cnki.kjycx.2021.06.036

周伟（1998—），男，本科，研究方向为人工智能、计算机视觉、图像处理。付晓峰（1981—），女，博士，副教授，研究方向为人工智能、计算机视觉、图像处理。常耀中（1997—），男，本科，研究方向为人工智能、计算机视觉、知识图谱。

〔编辑：严丽琴〕