深度可分离卷积神经网络miniXception对矿工情绪特征的识别

王征　张科　张赫林　潘红光

摘要：为准确了解煤矿井下矿工情绪状况，以陕西省某煤矿为研究区，选取并建立矿工表情图像数据集。基于深度可分离卷积神经网络miniXception搭建矿工表情识别模型，对其残差连接进行改进，加入多次标准卷积与轻量化上下采样模块，并提出Exp-FReLU作为网络主分支的激活函数。通过MMA面部表情公共数据集及文中自制数据集对网络进行训练，输出每类表情的识别率并将识别率最高的分类结果视作预测结果。实验分析了训练时间、精确度、召回率、F1分数以及分类准确度混淆矩阵，发现改进miniXception网络对生气、厌恶、恐惧、高兴、沮丧、惊讶以及中性7种表情的识别率分别为86%，76%，67%，97%，63%，88%以及72%;经过100次迭代，模型总体准确率达到0.833，损失值最低降至0.086。研究表明，改进miniXception网络在矿工面部表情的识别问题上具有可行性，能够满足实际应用需要。

关键词：深度学习;矿工面部表情识别;表情特征提取;深度可分离卷积;miniXception

中图分类号：TD 76文献标志码：A

文章编号：1672-9315（2022）03-0562-10

DOI：10.13800/j.cnki.xakjdxxb.2022.0320开放科学（资源服务）标识码（OSID）：

Miner’s emotion recognition based on deepwise separable

convolution neural network miniXceptionWANG Zheng，ZHANG Ke，ZHANG Helin，PAN Hongguang（College of Electrical and Control Engineering，Xi’an University of Science and Technology，Xi’an 710054，China）Abstract：In order to learn more about the miners’ expression in coal mines，the image set about miner’s emotion is established from a coal mine in Shaanxi.Based on miniXception，a deepwise separable convolution neural network，a miner expression recognition model is constructed.Its residual connection is improved，in which several standard convolutions and lightweight upsampling and downsampling modules are added，and Exp-FReLU is applied as an activation function in the backbone.With the MMA，a facial expression common dataset，and our self-made dataset，the network is trained to capture the recognition rate of different expressions，and the result with the highest recognition rate is regarded as the prediction result.The training time，precision，recall，F1 score and classification accuracy confusion matrix are analyzed experimentally.It is found that the recognition rates of the seven emotion improved by miniXception are 86%，76%，67%，97%，63%，88% and 72% for anger，disgust，scare，happiness，sadness，surprise and neutral expression，respectively.After 100 iterations，the overall accuracy of the model is 0.833，and the loss is as low as 0.086.The research results indicate that the improved miniXception is feasible in classifying the miner facial expression with the practical application satisfied.

Key words：deep learning;miners facial expression recognition;expression feature extraction;deepwise separable convolution;miniXception

0引言

應国家对大型煤矿的生产安全及环保要求，煤矿事故的预防已经成为生产环节中极其重要的一个环节。现阶段造成煤矿安全事故的因素颇多，包括生产设备老化、煤尘瓦斯等浓度超标、机械化程度较低、从业人员素质较低等[1]。其中人为因素导致的煤矿事故难以预测、难以防治，矿工的工作情绪以及精神状态会直接影响到其工作质量，甚至做出误操作引起安全事故发生[2]。文中拟设计矿工面部表情识别系统，使用计算机对矿工面部表情特征进行提取和分析，有助于监视和掌握矿工人员的工作状态与工作情绪信息，对情绪异常的矿工进行预警，从而预防人为事故的发生，降低安全事故概率。

近年来，诸多学者相继提出人脸表情识别算法，如刘帅师等提出Gabor与分块直方图相融合的算法提取人脸特征，该算法解决了Gabor算法缺乏全局特征表征能力的不足，并有效降低了人脸特征数据的冗余[3];刘伟锋等提出了一种基于局部二值模式的人脸表情识别方法，该方法能够增加人脸特征的集中性、准确性和有效性，并较好地提取特征点区域的局部特征[4];蔡则苏等结合了主成分分析法与哈希K近邻算法有效解决了惊讶与恐惧表情相互错分的问题[5];唐浩等基于卷积神经网络融合了负面表情特征，训练出分类性能更强的分类器，并在JAFFE，GENKI和CK+数据库上取得了较好的广泛性和鲁棒性[6];齐梅等利用韦伯梯度编码描述人脸表情特征，并采用自动优化参数的支持向量机完成表情分类[7];冯杨等基于卷积神经网络在表情特征提取部分采用多层小尺度核卷积代替大卷积核，所得模型有效提高算法的识别率[8]。以上学者的研究从网络的层级结构、特征描述以及分类方法等各个角度对算法模型进行了修正，使得网络模型的迭代速率与识别准确率都得到了提升，但由于煤矿环境中光照条件较差，可见度较低，图像或影像中人脸区域与背景区域对比度较低，另矿工脸部颜色较深，因此使用人工特征的分类器和结构简单的卷积神经网络难以实现对矿工面部表情的特征提取。

因此，基于深度可分离卷积神经网络miniXception搭建矿工面部表情识别模型，对其核心部分的残差模块进行改进，其残差连接中融合多个标准卷积和轻量化上下采样，提出Exp-FReLU激活函数，完成矿工表情图像的特征提取。然后应用矿工表情图像样本数据进行实验仿真，分析改进miniXception网络与simpleCNN，ResNet，Xception，CNN+RNN，miniXception网络的识别性能，从训练时间、精确度、召回率、F1分数以及参数数量5个评价指标对改进miniXception网络进行合理的评估，最后通过损失函数曲线和混淆矩阵证明改进miniXception网络在矿工表情识别任务上的可行性。

1矿区概况及数据预处理

1.1煤矿矿工情绪概况

煤矿内职位众多，主要的一线岗位人员包括采煤专业、掘进专业、机电专业、辅助运输专业以及其他专业人员。由于煤矿深处工作的机器大多数为采煤机、乳化液泵站、刮板输送机、综掘机以及注浆机等大型特种工作车，因此这类工作车司机员的工作以及情绪状态对采煤效率和采煤安全起决定性作用[9];此外各个专业的检修人员诸如采煤机检修工、支架检修工、电气检修工以及泵站检修工等，该类人员的工作情绪会间接影响到工作设备是否工作在安全状态;其他辅助类岗位如支架工、排水工、爆破工以及运料工等工作人员的工作状态会直接影响到工作面和其他生产环境的整体安全[10]。因此，有必要对各个一线岗位人员的情绪状况加强监视和分析，通过分析矿工的情绪并结合其他管理措施有利于提高煤矿的生产效率，更有助于提高生产环节的整体安全系数。

1.2实验数据的建立及预处理

通过煤矿特种工作车车内摄像头、工作面固定摄像头以及现场拍摄等方式获取矿工表情数据集，采集到的原始数据图像共1210张，按矿工表情分为7类：生气、厌恶、恐惧、高兴、沮丧、惊讶和中性，图像皆为RGB三通道图像。数据集的优劣影响着网络模型学习结果的好坏，由于煤矿井下光照条件较差，可见度低，矿工面部颜色较为灰暗、难以识别，导致该实验使用的训练集图像数量不足以使网络学习到很好的表情特征，因此考虑对训练集进行预处理和数据扩增。

图像预处理采用全局直方图均衡化[11]对图像的红、绿、蓝三通道直方图进行均衡化处理，预处理后的图像如图1所示，RGB 3个通道值取为均衡值，使得处理后的图像色彩更加鲜明，对比度得到增强;对预处理后的图像进行扩充的方法有翻转、颜色变化、放大和缩小。文中采用图像旋转和翻转的方式对训练集进行增强，如图2所示，图2（a）为原图像，图2（b）为水平翻转结果图，图2（c）（d）分别为逆时针旋转20°和340°后的结果图。

经过旋转、翻转处理后的数据情况见表1，矿工表情图像数量由原来的1 210多张图像扩充至4 840张。其中90%作为训练集，10%作为测试集，扩充后的数据集能够帮助网络提高对表情特征的学习能力。上述自制数据集仅为小样本数据集，对于实际网络训练要求，样本数量远远不足，因此实际所使用的真实数据集为自制数据集与MMA[12]面部表情图像公共数据集的合并数据集。其中MMA中包含7类表情，与自制数据集分类相对应，图像数量为12.8万张。训练方法采用迁移学习，即先使用MMA数据集对miniXception网络进行初步预训练得到预训练模型，在此预训练模型基础上再添加自制数据集使得网络训练得到更符合文中研究对象的训练模型。通过该操作可以使网络在有限的数据集上尽可能得到更好的学习效果，从而提升矿工表情识别精度。

2搭建矿工面部表情识别模型

2.1深度可分离卷积层对表情特征的提取

表情识别模型采用深度可分离卷积层，深度可分离卷积层[13-15]与普通的卷积层相比较，其不采用普通卷积中大小为n×n×3的卷积核，而是将每个卷积核拆分为3个n×n×1的过滤器。如图3所示，深度可分离卷积可分为2步：步骤1，将H×W×C的表情图像通过每一个过滤器卷积得到（H-n+1）×（W-n+1）×1映射图，再将映射图堆叠成（H-n+1）×（W-n+1）×3的表情特征图作为该卷积层的输出图像;步骤2，采用m个大小为1×1×3的过滤器对步骤1得到输出图像进行卷积以扩展输出深度，最终得到m个通道的表情特征图。普通卷积与深度可分离卷积过程中产生的參数量见式（1）～式（2）

W=m×n×n×C×（H-n+1）×（W-n+1）（1）

W=（n×n+m）×C×（H-n+1）×（W-n+1）（2）

式中W为普通卷积产生的参数数量;W为深度可分离卷积产生的参数数量;W，H和C分别代表输入图像的宽、高和通道数;n为卷积核尺寸大小;m为卷积核个数。相继可计算2种卷积方式参数数量比

2.2表情识别Inception模块

Chollet提出的Xception[16]网络结构采用了上述深度可分离卷积结构，即将GoogleNet[17]中的传统卷积层替换为多个Inception V3[18]结构。如图4所示，表情识别模型的核心部分采用“极致”版本的Inception[19]结构，借鉴深度可分离卷积网络层的思想，将表情图像的所有通道看做一个可分离卷积，但与深度可分离卷积层在结构上存在2点不同：①顺序不同，即深度可分离卷积先对表情图像的每个通道进行3×3卷积，然后加入1×1卷积。而“极致”版Inception结构先对表情图像进行1×1卷積，再逐通道进行3×3卷积;②深度可分离卷积中2个卷积层之间不进行激活操作，而“极致”版Inception结构在1×1卷积后连接了一个ReLU非线性激活函数。同时，Xception网络结构结合了ResNet[20-21]模型思想，在网络结构中添加与ResNet中类似残差连接的连接形式以及其他常规子模块以提高正确率。

2.3表情识别模型总体结构

最终搭建的表情识别模型使用含有“极致”版本Inception模块的改进miniXception[22-23]网络结构，原始miniXception网络的特征提取部分由多个残差网络组成，该残差网络中的残差连接模式比较简单，对于矿工表情语义信息的学习能力有待提升。因此文中对该网络的特征提取部分进行改进，如图5所示。

综上所述，改进miniXception网络特征提取部分包含3个深度可分离残差块，每个残差块中都进行批量归一化操作、Exp-FReLU激活以及加入了轻量化上下采样的残差连接，最后一层使用全局平均池化和softmax激活函数以生成矿工面部表情预测值，最终该网络中的训练参数数量由22.8 M降低至5.80 M。

3实验结果与分析

实验环境为Windows 10操作系统，使用Intel（R）Core（TM）i7-7700HQ的处理器，内存16 GB，深度学习框架为Keras，软件编程环境为Python 37，GPU是NVIDIA GeForce GTX 1070。

3.1改进miniXception模型的表情识别结果

首先，为观察改进miniXception网络对矿工面部表情特征的学习能力，实验对改进前后miniXception的第3个残差模块的输出特征图进行可视化对比，可视化结果如图6所示。其中图6（a）为输入图像;图6（b）为改进前miniXception得到的特征，该图中矿工面部以外多余的区域都被网络过多学习，如矿工的安全帽、工作服以及其他安全设备的轮廓部分，另外网络对矿工面部的描述表现模糊，对于五官和面部之间的学习能力相近;图6（c）为改进后miniXception得到的特征图，该图中网络对面部以外区域的关注度明显下降，面部和五官轮廓与面部其他区域颜色对比度变高，说明改进后的miniXception网络对表情特征的学习能力得到加强，更加关注五官和面部轮廓的特征，并且对图像多余的地方减少了特征描述。

其次，针对改进miniXception网络对每类表情的识别结果进行实验。图7展示每组表情图片的识别结果，结果的显示采用概率分布的方式，可视化每张测试图片下每个类别所占的比例，占比最高的类别将被视为测试图片的分类而输出。其中改进miniXception网络对高兴和惊讶表情的识别正确率最高，分别达到97.71%和96.03%，对于厌恶和沮丧的识别正确率最低，分别为5454%和60.69%。该结果与所测图片矿工表情的明显程度相关，也取决于数据集的优良程度。

3.2不同网络的识别结果对比

研究对simpleCNN，ResNet，Xception，CNN+RNN[25]，miniXception以及改进miniXception 6种网络进行训练，simpleCNN网络为实验搭建的简单CNN网络，CNN+RNN网络以CNN提取特征并级联RNN做序列特征分类的网络。为分析各个网络矿工表情识别性能的优劣，使用训练时间、精确度、召回率、F1分数以及参数数量5个评价指标作为实验分析内容，评价指标对比见表2。

改进miniXception137 0.8330.8730.8535.80改进miniXception网络的精确度、召回率以及F1分数值均为最高，说明该网络对矿工表情识别性能最好。虽然从训练时间上，CNN+RNN优于改进miniXception，且其精确度和参数数量都与改进miniXception相接近，但其召回率与F1分数却大幅度落后改进miniXception。其次改进miniXception相对于改进前的网络，其训练时间和参数没有明显变化，但在精确度、召回率和F1分数3个指标上都得到了提升，这说明改进miniXception在精确度与召回率之间的平衡性最好，网络整体质量更优。

其次，试验记录了6个网络训练过程中的损失函数数值（此处采用二值交叉熵损失函数，每2次训练记录1次数值），仿真结果如图8所示。从图8分析可知，改进miniXception初始损失值较小，收敛速度最快，经过100次训练最先趋于平稳状态，并且其稳定后的损失值相对最小，最小均值趋于0.086，说明该网络作为表情识别模型性能最优。

为测试改进miniXception对包含多个矿工的图像表情识别效果，实验整理了一套多矿工图像数据集，并对比分析改进miniXception与Xception在多目标复杂背景图像数据集上的识别结果。如图9所示，第1行为Xception网络的识别结果，第2行为改进miniXception网络的识别结果。在图9（a）中，Xception在复杂背景图像中存在漏检情况，图9（b）中Xception出现错误识别，表情类型应为高兴，而Xception 识别为中性，反观改进miniXception在2幅图中未出现异常情况。对比可以看出，改进miniXception在识别结果上优于Xception，可以识别更多的目标人脸，对于多目标图像中矿工表情识别的效果较好。

研究使用混淆矩阵作为衡量各模型识别效果的指标，混淆矩阵可以一定程度上反映各组表情之间混分的情况，如图10所示。每个网络对高兴一组表情的识别正确率分别为73%，70%，85%，88%，92%以及97%，为正确率最高的一组表情。在图10（a）中，simpleCNN对厌恶、恐惧以及惊讶3组表情的识别能力较差，预测标签为恐惧的一列数值显示这3种表情的预测结果相持平，难以被区分;图10（b）中ResNet对厌恶一组表情无法进行识别，并且对生气一组表情进行了错误识别，其预测值中厌恶的正确率大于生气;图10（c）中Xception对所有表情都正确地进行分类，而且对于厌恶一组表情其预测值没有其他标签的预测倾向;图10（d）中CNN+RNN的识别结果也相对较好，识别结果与Xception类似，且各个表情识别的正确率相对较高;图10（e）为原始miniXception网络混淆矩阵，恐惧与沮丧2组表情识别率低于70%，生气、厌恶、惊讶和中性的识别率均在70%至90%，对高兴一组的识别率最高，大于90%，其中厌恶和中性2组表情识别率与改进后的miniXception对应相等，但其他表情类别识别率均低于改进miniXception网络;图10（f）中所采用的改进miniXception网络，其混淆矩阵显示各组表情正确率都高于其他网络，识别正确率率达到97%。同时生气、厌恶、惊讶以及中性这4组表情识别正确率分别达到86%，76%，88%，72%，识别结果较好。而恐惧和沮丧2组表情的正确率只有67%和63%，一方面是因为现实生活中这2种表情具有一定的相似性，易于混淆;另一方面是因为这2组表情的训练图片数量过少，使得网络对2种表情的图像特征学习不够充分，最后是由于负面样本数据有限，致使网络无法很好学习到错误样本与正确样本之间的区别，从而对于易混淆的多种表情难以得到较高的识别正确率。

4结论

1）改进miniXception能够学习到具有代表性的面部表情特征，如眉毛、眼睛、鼻子以及嘴等，增强了对五官特征的关注度、削弱了对多余区域的关注度;改进miniXception得到的混淆矩阵中生气、恐惧、高兴、沮丧以及惊讶这4组表情的识别率都高于其他网络，其中对高兴一组表情识别率最高，同时该网络的损失曲线也相较其他网络收敛更快、损失值最低。

2）改进miniXception通过训练对矿工面部表情能够提取到合适的特征，表情识别结果较好，网络整体准确率相较其他网络最高，其精确度与召回率之间的平衡性最好，说明通过改进miniXception搭建的矿工面部表情识别模型具备很好的实用性。

3）井内工作环境复杂，长期与外界环境相阻隔，矿工很容易焦虑疲惫，通过监视矿工的面部表情信息能够实时掌握每个矿工的工作以及情绪状态，可及时对身心疲惫的矿工进行调休，有利于矿井内的人性化管理;通过该系统也可以预防并杜绝由于矿工个人情绪原因所造成的煤矿事故，从而提升矿井作业的安全等级。

参考文献（References）：

[1]李琰，张燕，田水承.基于链式中介效应的工作资源與心理安全行为关系研究[J].西安科技大学学报，2019，39（6）：972-978.LI Yan，ZHANG Yan，TIAN Shuicheng.Relationship between job resources and psychosocial safety behaviors based on chain mediation effect[J].Journal of Xi’an University of Science and Technology，2019，39（6）：972-978.

[2]李红霞，杨言言.煤矿安全生产中矿工心理韧性影响因素研究[J].西安科技大学学报，2018，38（4）：538-545.LI Hongxia，YANG Yanyan.Influential factors on miner’s psychological resilience in coal mine safety production[J].Journal of Xi’an University of Science and Technology，2018，38（4）：538-545.

[3]刘帅师，田彦涛，万川.基于Gabor多方向特征融合与分块直方图的人脸表情识别方法[J].自动化学报，2011，37（12）：1455-1463.LIU Shuaishi，TIAN Yantao，WAN Chuan.Facial expression recognition method based on Gabor multi-orientation features fusion and block histogram[J].Acta Automatica Sinica，2011，37（12）：1455-1463.

[4]刘伟锋，李树娟，王延江.人脸表情的LBP特征分析[J].计算机工程与应用，2011，47（2）：149-152.LIU Weifeng，LI Shujuan，WANG Yanjiang.Facial expression analysis using LBP features[J].Computer Engineering and Applications，2011，47（2）：149-152.

[5]蔡则苏，祝丁丁，何健.基于PCA特征提取和距离哈希K近邻分类的人脸表情识别[J].智能计算机与应用，2012，2（1）：1-3，7.CAI Zesu，ZHU Dingding，HE Jian.Facial expression recognition based on PCA feature extraction and distance-based hashing K-nearest neighbor classification[J].Intelligent Computer and Applications，2012，2（1）：1-3，7.

[6]唐浩，黄伟鹏，李哲媛.基于改进的卷积神经网络的负面表情识别方法[J].华中科技大学学报（自然科学版），2015，43（S1）：457-460.TANG Hao，HUANG Weipeng，LI Zheyuan，et al.Negative facial expression recognition based on improved convolutional neural networks[J].Journal of Huazhong University of Science and  Techology（Natural Science Edition），2015，43（S1）：457-460.

[7]齐梅，李艳秋.WGC特征描述的人脸表情识别[J].电子测量与仪器学报，2017，31（4）：566-572.QI Mei，LI Yanqiu.Facial expression recognition of WGC feature description[J].Journal of Electronic Measurement and Instrumentation，2017，31（4）：566-572.

[8]冯杨，刘蓉，鲁甜.基于小尺度核卷积的人脸表情识别[J].计算机工程，2021，47（4）：262-267.FENG Yang，LIU Rong，LU Tian.Facial expression recognition based on small-scale kernel convolution[J].Computer Engineering，47（4）：262-267.

[9]白怡明.智能矿用井下机器人巡检系统在曹家滩煤矿中的应用[J].煤矿机电，2020，41（6）：85-88.BAI Yiming.Application of intelligent mine underground robot inspection system in Caojiatan coal mine[J].Colliery Mechanical & Electrical Technology，2020，41（6）：85-88.

[10]姜义成，李凡.基于深度可分离卷积和多级特征金字塔网络的行人检测[J].汽车安全与节能学报，2020，11（1）：94-101.JIANG Yicheng，LI Fan.Pedestrian detection based on depthwise separable convolution and multi-level feature pyramid network[J].Automotive Safety and Energy，2020，11（1）：94-101.

[11]阴东玲，陈兆波，曾建潮，等.基于带权重定性贝叶斯网络的煤矿事故人因推理[J].武汉理工大学学报（信息与管理工程版），2017，39（1）：514-518.YIN Dongling，CHEN Zhaobo，ZENG Jianchao，et al.Human factors inference of safety accidents in coal mine based on qualitative bayesian betwork with weight[J].Journal of WUT（Information & Management Engineering），2017，39（1）：514-518.

[12]王道累，张天宇.图像去雾算法的综述及分析[J].图学学报，2020，41（6）：861-870.WANG Daolei，ZHANG Tianyu.Review and analysis of image defogging algorithm[J].Journal of Graphics，2020，41（6）：861-870.

[13]柳永翔，付晓峰，付晓鹃，等.深度可分离CNN在表情识别中的应用研究[J].工业控制计算机，2020，33（10）：71-73，76.LIU Yongxiang，FU Xiaofeng，FU Xiaojuan，et al.Application of depthwise separable CNN in facial expression recognition[J].Industrial Control Computer.2020，33（10）：71-73，76.

[14]CHEN L C，ZHU Yukun，PAPANDREOU G，et al.Encoder-decoder with atrous separable convolution for semantic image segmentation[C]//Proceedings of the European Conference on Computer Vision（ECCV），Sprinter，Cham，2018：801-818.

[15]王帥，彭意兵，何顶新.基于深度可分离卷积神经网络的关键词识别系统[J].微电子学与计算机，2019，36（9）：103-108.WANG Shuai，PENG Yibing，HE Dingxin.Keywords spotting system based on deepwise separable convolutional neural network[J].Microelectronics & Computer，2019，36（9）：103-108.

[16] CHOLLET F.Xception：Deep learning with depthwise separable convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，Honolulu，HI，USA，2017：1251-1258.

[17]衣柳成，魏伟波，刘小芳.基于GoogLeNet的智能录播系统中站立人脸的检测与定位[J].青岛大学学报（自然科学版），2019，32（4）：91-95.YI Liucheng，WEI Weibo，LIU Xiaofang.Detection and location of standing faces in intelligent recording and broadcasting system based on GoogLeNet[J].Journal of Qingdao University（Natural Science Edition），2019，32（4）：91-95.

[18]李楠，蔡坚勇，李科，等.基于多Inception结构的卷积神经网络人脸识别算法[J].计算机系统应用，2020，29（2）：157-162.LI Nang，CAI Jianyong，LI Ke，et al.Face recognition algorithms based on convolutional neural network with Multi-Inception structure[J].Computer Systems & Applications，2020，29（2）：157-162.

[19]SZEGEDY C，IOFFE S，VANHOUCKE V，et al.Inception-V4，inception-resnet and the impact of residual connections on learning[C]//Proceedings of the AAAI Conference on Artificial Intelligence，San Francisco California USA，Feb.4-9，2017：4278-4284.

[20]陈凯，祖莉，欧屹.基于YOLOv3与ResNet50的摄影机器人人脸识别跟踪系统[J].计算机与现代化，2020（4）：30-36，41.CHEN Kai，ZU Li，OU Yi.Face recognition and tracking system of photographic robot based on YOLOv3 and ResNet50[J].Computer and Modernization，2020（4）：30-36，41.

[21]HE K M，ZHANG X Y，REN S Q，et al.Identity mappings in deep residual network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Springer，Cham，2016：770-778.

[22]ATABANSI CHUKWUEMEKA CLINTON.A real-time facial expression recognition system using normal camera and videos based on convolutional neural network technique[D].Southwest University，2021.

[23]PORISNIUC G C，LEON F，TIMOFTEE R，et al.Convolutional neural networks architectures for facial expression recognition[C]//2019 E-Health and Bioengineering Conference（EHB）.Iasi，Romania，Nov.21-23，2019：1-6.

[24]李鑫，张红英，刘汉玉.融合多尺度和边界优化的图像语义分割网络[J/OL].计算机工程与应用.https：//kns.cnki.net/kcms/detail/11.2127.TP.20210527.1310.009.html.LI Xin，ZHANG Hongying，LIU Hanyu.Image semantic segmentation network fusing multi-scale and boundary optimization[J/OL].Computer Engineering and Applications.https：//kns.cnki.net/kcms/detail/11.2127.TP.20210527.1310.009.html.

[25]王思宇.基于CNN-RNN的微表情識别[D].哈尔滨：哈尔滨工程大学，2018.WANG Siyu.CNN-RNN-based micro-expression recognition[D].Harbin：Harbin Engineering University，2018.