一种视频微表情检测的改进光流算法

李秋宇，张玉明，杨福猛，詹 曙



一种视频微表情检测的改进光流算法

李秋宇1，张玉明2，杨福猛3，詹 曙1

(1. 合肥工业大学计算机与信息学院，安徽 合肥 230009；2. 芜湖职业技术学院电气工程学院，安徽 芜湖 241000；3. 安徽信息工程学院，安徽 芜湖 241000)

微表情是人们在试图隐藏自己真实情感时表现出的不受自主神经控制、持续时间短暂，强度十分微弱的面部表情。由于微表情与谎言识别有着密切的联系，其公共安全、侦查讯问、临床医学等领域有很大的应用前景。针对人为识别微表情十分困难的问题，提出一种基于Horn-Schunck (HS)光流法改进并应用于微表情自动检测的方法。使用预条件Gauss-Seidel迭代方法改进了HS光流法，加快了收敛速度。通过在自发微表情数据库CASME中进行实验，该验证方法在微表情检测中有很好的效果。

微表情检测；光流法；预条件迭代

面部表情是人与人之间重要的传递信息的方式，人类的非语言交流大部分是通过面部表情来进行的。心理学表明，人类可以通过面部表情的自我控制，有意识地产生表情来达到欺诈的效果。但心理学研究表明人们在试图掩盖自己真实情感时，会流露不能自主神经控制的微表情[1]。近年来，微表情的研究受到了越来越多的关注。与普通表情不同，微表情有持续时间短、强度微弱和难以隐藏等特点。正是由于这些特征，微表情与谎言检测有着密切的联系，能够在公共安全、讯问测谎、临床医学等领域有广泛的应用[2]。彭玉伟[3]提出微表情的分析技术在侦讯中有确定嫌疑程度、掌控应讯心理、识别口供真伪、审核证据材料和扩大取证线索等应用。HAGGARD和ISAACS[4]首先发现一种不易察觉的瞬时表情，认为其与自我防御机制有关。EKMAN和FRIESEN[5]在仔细观看一个病人的视频录像时，也发现了这种表情，他们将其定义为微表情。微表情强度很弱，持续时间约为1/25~1/3 s[6]，通过肉眼很难注意与观察。为此，EKMAN[7]提出了微表情识别训练工具(micro expression training tool, METT)用于帮助人们提高对微表情的识别检测能力。肉眼观察出微表情还是十分困难，只有大约40%的准确率。为了解决这个问题，计算机视觉技术开始被用于自动检测微表情并达到了更好的效果。

POLIKOVSKY等[8]使用三维梯度向量描述子来检测微表情。PFISTER等[9]使用了在3个正交平面上的局部二值模式(local binary patterns on three orthogonal planes，LBP-TOP)[10]作为描述子来提取人脸微表情的纹理特征来识别微表情。WANG等[11]提出了在LBP-TOP的基础上减少冗余特征，提高计算效率的在6个交点上的局部二值模式(LBP-six intersection points，SIP)方法用于微表情识别。WANG等[12]提出一种新的张量独立的色彩空间，并结合使用LBP-TOP提取特征识别微表情，得到了很好的效果。LIU等[13]提出了使用一种主运动方向的平均光流特征来进行微表情的识别，这种光流特征在选定的人脸区域中光流特征的主要运动方向。PATEL等[14]提出了使用一个基于人脸表情数据来进行训练的深度卷积神经网络对微表情进行识别。BEN等[15]利用张量表示的最大边界投影方法来识别微表情。HUANG等[16]提出了完整的时空局部量化模式作为描述子进行微表情分析，并且实验效果相较于LBP-TOP方法提高了很多。

本文提出一种基于光流法改进的检测自发微表情方法。光流法是利用图像序列中像素的时域变化和相应性来确定各自像素位置的运动[17]。光流法十分适用对于微表情产生时肌肉变化的描述。光流法在运动目标的检测与跟踪以及对于物体运动的分析方面有很大地应用。如孙正等[18]使用光流法对冠状动脉造影图像序列中的血管运动进行分析。汤石晨和陈锻生[19]将光流法运用监控中的人数统计中，取得了很好的效果。本文使用Horn-Schunck(HS)光流法[20]对于微表情视频中的图像帧提取光流特征，并且对于HS光流法中采用的Gauss-Seidel迭代方法进行改进，使用预条件Gauss-Seidel迭代方法进行迭代计算。预条件Gauss-Seidel迭代方法相比于原本的Gauss-Seidel迭代方法有着更快的收敛速度，更好的收敛性等优点。很多研究者提出了不同的预条件Gauss-Seidel迭代方法，并且都对其所提出方法的优越性进行了说明[21-23]。本文采用的方法首先将人脸裁剪成等大小的正方形，之后使用改进后的HS光流法对于人脸提取稠密的光流特征，再使用支持向量机(support vector machine, SVM)对于提取的光流特征进行分类进而检测微表情。最后，使用本文所提出的方法在自发微表情数据库CASME[2]中进行实验并得到很好的效果。

1 改进的HS光流法

1.1 约束假设

HS光流法包含了2点约束性假设：

(1) 光照不变性条件，即假设在任意一点处的光照强度不随时间变化而变化。图像中(,)点处在时间的光照强度用(,,)来表示，则有

由链式法则得

则式(2)可以表示为

其中，EEE分别为光照强度分别对、、的偏导。和分别为横、纵坐标轴方向的像素运动的速率，即为所求的在横纵坐标轴上的光流。

(2) 光照平滑约束条件，即假设在图像中的任意一点与其相邻点处的光照强度的变化是平滑的，表达式则为

1.2 HS光流法模型建立

2个表达式表示之前两点假设，即

为了求出合适的光流和值，最小化能量函数，即

其中，为一个权值参数，作用是为了避免噪声对于光流速率出现偶然性的变化，可以根据不同的情况调节大小。

将变分法运用到式(8)中进行计算得到

其中，、分别为像素所在的空间位置；位像素所在的图像帧数。

将式(10)带入式(9)中化简得

进一步化简式(12)，得到以下迭代式

其中，为迭代次数。使用Gauss-Seidel迭代进行计算，在实现最小化能量函数的过程中，使用图像关于灰度梯度和时间偏导数的方法计算，即

经过上述步骤反复迭代计算后，得到所求的光流特征。

1.3 改进光流法

HS光流法采用的迭代方式是使用Gauss-Seidel迭代方法最小化能量函数，本文对于迭代算法进行改进，使用预条件Gauss-Seidel迭代方法来加快迭代的收敛速度，使得比原有的HS光流法的计算速度更快。

线性方程组一般表示为

其中，非奇异矩阵被称为预条件矩阵。预条件矩阵很多，本文采用MILASZEWICZ[24]提出预条件矩阵

其中，为单位矩阵；为基于矩阵中元素所添加的矩阵。

不失一般性的，设：

其中，为含有单位对角元素的非奇异矩阵；和分别为的严格下三角矩阵和严格上三角矩阵。则有

之后，使用式(20)的预条件Gauss-Seidel迭代矩阵对于上一部分使用Gauss-Seidel迭代方法的部分进行迭代计算，即对于式(12)的等式两边左乘矩阵，之后进一步化简与迭代计算，得到所求的光流特征。相邻两帧图像的光流特征如图1所示，其中图1(a)、(b)是视频中经过灰度化后相邻两帧的图像，图1(c)中左右两边图像分别为所得到的光流特征和，其中红色表示正值，蓝色表示负值，通过色度表示值的大小。

图1 CASME数据库中“sub02”对象的“EP03_2”视频中相邻两帧图像提取的光流特征

使用上述步骤进行光流特征提取后，本文使用SVM进行分类，用于检测微表情视频中出现的图像帧。

2 实验与结果

本文仅着重于对于微表情的检测，进行实验的电脑配置为：Intel Corei7-6700K 4.0 GHz CPU，16 GB RAM。本文采用CASME自发微表情数据库中20个实验对象的195个微表情视频片段进行实验。微表情视频片段的采集使用帧率为60 fps的摄像机拍摄。CASME数据库包括2个子集，其中子集A中的视频分辨率为1280×720像素，采集于自然光照条件下，子集B中视频分辨率为640×480像素，采集于LED光照条件下。在实验中本文使用SVM的线性核函数进行留一视频交叉验证方法进行实验，即对同一对象不同视频的实验中，选取一个视频作为测试集，剩下视频作为训练集进行实验，之后重复此过程直到每个视频都被作为测试集一次，最后求出检测结果的平均值。在实验中，本文进行了对于光流法计算中迭代次数的分析实验，这里采用部分实验对象的数据进行迭代次数分析实验。

图2 部分实验对象的迭代次数与检测准确率关系图

图2展现了部分实验对象在不同光流迭代次数下的检测准确率结果。从图中可以看出，从100次至5 000次光流迭代计算中，检测结果的准确率是波动上升的。而超过5 000次光流迭代计算后，准确率变化不大且有所下降。另光流迭代次数越多，其计算所需的时间也越长。所以结合两方面考虑，本文方法选择光流迭代次数为5 000次比较合适。

表1中对比了3种方法对于不同尺寸的图片计算特征时所需的时间，对于LBP-TOP方法，采用了相邻的比较点个数为4的参数进行实验。可以看出，对于不同尺寸的图片相比于原来的HS光流法，改进的HS光流法加快了收敛速度，减少了特征计算所需的时间。虽然相比于LBP-TOP方法，光流法耗时要多一些，但从最后微表情检测准确率的结果来看，改进的光流法能提取到更加有效、更加利于分类的特征。

表1 3种方法计算不同尺寸图片的特征所需要时间的比较(s)

表2 在CASME数据库中微表情检测准确率实验结果与比较

3 结束语

本文提出一种视频微表情检测的HS光流改进算法。由于光流可以描述微弱强度运动，对于流露微表情时伴随的脸部肌肉的细微变化比较适用，使得本研究将光流法使用在人脸微表情的特征提取中，并且使用预条件Gauss-Seidel迭代对原HS光流法进行改进，加快了迭代收敛速度。之后结合 SVM对于微表情视频片段进行检测，并且在自发微表情数据库CASME中得到的检测效果相比于传统的LBP-TOP的检测方法效果好。本方法未来的研究会着重于使用其他光流法对于微表情进行检测分析，并且希望未来能将深度神经网络运用到微表情检测中去，还将目前仅对于微表情视频片段的检测工作进一步扩展到对于长视频中微表情的检测中去，加大研究的深度与层次。

[1] EKMAN P. Telling lies: clues to deceit in the marketplace, politics, and marriage [M]. New York: WW Norton & Company, 2009: 16-18.

[2] YAN W J, WU Q, LIU Y J, et al. CASME database: a dataset of spontaneous micro-expressions collected from neutralized faces [C]//2013 10thIEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG). New York: IEEE Press, 2013: 1-7.

[3] 彭玉伟. 微表情分析技术在侦查讯问工作中的应用研究[J]. 中国刑事法杂志, 2015(2): 95-103.

[4] HAGGARD E A, ISAACS K S. Micromomentary facial expressions as indicators of ego mechanisms in psychotherapy [M]//GOTTSCHALK L A, AUERBACH A H. Methods of research in psychotherapy. Berlin：Springer, 1966: 154-165.

[5] EKMAN P, FRIESEN W V. Nonverbal leakage and clues to deception [J]. Psychiatry-Interpersonal & Biological Processes, 1969, 32(1): 88-106.

[6] EKMAN P. Lie catching and microexpressions [EB/OL]. [2016-12-13]. https://www.researchgate.net/publication/ 280300677_Lie_Catching_and_Microexpressions.

[7] EKMAN P. Micro expression training tool (METT) [EB/OL]. [2016-12-20]. https://www. paulekman.com.

[8] POLIKOVSKY S, KAMEDA Y, OHTA Y. Facial micro-expressions recognition using high speed camera and 3D-gradient descriptor [C]//3rdInternational Conference on Imaging for Detection and Prevention (ICDP 2009). London：IET Press, 2009: 1-6.

[9] PFISTER T, LI X B, ZHAO G Y, et al. Recognising spontaneous facial micro-expressions [C]//2011 IEEE International Conference on Computer Vision (ICCV), New York：IEEE Press, 2011: 1449-1456.

[10] ZHAO G Y, PIETIKÄNINEN M. Dynamic texture recognition using local binary patterns with an application to facial expressions [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(6): 915-928.

[11] WANG Y, SEE J, PHAN R C, et al. Efficient spatio-temporal local binary patterns for spontaneous facial micro-expression recognition [EB/OL]. [2016-12-15]. http://journals.plos.org/plosone/article? id=10.1371/journal.pone.0124674

[12] WANG S J, YAN W J, LI X B, et al. Micro-expression recognition using dynamic textures on tensor independent color space [C]//2014 22ndInternational Conference on Pattern Recognition (ICPR). Los Alamitos: IEEE Computer Society Press, 2014: 4678-4683.

[13] LIU Y J, ZHANG J K, YAN W J, et al. A main directional mean optical flow feature for spontaneous micro-expression recognition [J]. IEEE Transactions on Affective Computing, 2016, 7(4): 299-310.

[14] PATEL D, HONG X P, ZHAO G Y. Selective deep features for micro-expression recognition[C]//2016 23rdInternational Conference on Pattern Recognition. New York：IEEE Press, 2017: 2258-2263.

[15] BEN X Y, ZHANG P, YAN R, et al. Gait recognition and micro-expression recognition based on maximum margin projection with tensor representation [J]. Neural Computing & Applications, 2015, 27(8): 1-18.

[16] HUANG X H, ZHAO G Y, HONG X P, et al. Spontaneous facial micro-expression analysis using Spatiotemporal Completed Local Quantized Patterns [J]. Neurocomputing, 2016, 175: 564-578.

[17] 陈至坤, 曾凯, RAMAN Paranjape, 等. 一种改进的HS光流法在机器人避障系统中的应用[J]. 科学技术与工程, 2017(4): 234-238.

[18] 孙正, 郁道银, 陈晓冬, 等. 基于光流法的冠状动脉造影图像序列中血管运动的估计[J]. 工程图学学报, 2003, 24(3): 83-88.

[19] 汤石晨, 陈锻生. 基于光流法和行人面积特征的人数统计方法研究[J]. 图学学报, 2013, 34 (1): 139-144.

[20] HORN B K P, Schunck B G. Determining optical flow [J]. Artificial Intelligence, 1981, 17(1-3): 185-203.

[21] 薄利艳, 杨晋. 新预条件Gauss-Seidel迭代法及收敛性比较[J]. 中北大学学报: 自然科学版, 2012(1): 63-65,69.

[22] 刘庆兵, 周成林. 预条件AOR迭代法的比较定理[J]. 浙江万里学院学报, 2006(2): 5-10.

[23] NIKI H, KOHNO T, MORIMOTO M. The preconditioned Gauss–Seidel method faster than the SOR method [J]. Journal of Computational and Applied Mathematics, 2008, 219(1): 59-71.

[24] MILASZEWICZ J P. Improving jacobi and gauss-seidel iterations [J]. Linear Algebra and Its Applications, 1987, 93: 161-170.

An Improved Optical Flow Algorithm for Micro Expression Detection in the Video Sequence

LI Qiuyu1, ZHANG Yuming2, YANG Fumeng3, ZHAN Shu1

(1. School of Computer and Information, Hefei University of Technology, Hefei Anhui 230009, China;2. School of Electrical Engineering, Wuhu Institute of Technology, Wuhu Anhui 241000, China; 3. Anhui Institute of Information Technology, Wuhu Anhui 241000, China)

Micro-expression is a kind of short-duration subtle expression which is not controlled by the autonomic nervous system. Micro-expression appears when a person is attempting to conceal his true emotion. Micro-expression detection boasts great application prospects in many fields, such as public security, investigation and interrogation as well as clinical medicine due to its close relationship with lie detection. Automatic detection of micro-expressions has come to the fore in research, because it is of great difficulty to artificially identify micro-expression . This paper proposes an improved algorithm based on the Horn-Schunck (HS) optical flow for automatic micro-expression detection. In this study, the pre-conditioned Gauss-Seidel iterative method is employed to improve the HS optical flow method, which accelerates the convergence rate. Experiments in the spontaneous micro-expression database CASME show that the propounded method exerts an excellent effect on the detection of micro-expression.

micro-expression detection; optical flow; preconditioned iteration

TP 391

10.11996/JG.j.2095-302X.2018030448

A

2095-302X(2018)03-0448-05

2017-01-14；

2017-05-11

国家自然科学基金面上项目(61371156)

李秋宇(1993-)，男，安徽霍邱人，硕士研究生。主要研究方向为计算机视觉、深度学习。E-mail：lqy@mail.hfut.edu.cn

詹 曙(1968-)，男，安徽合肥人，教授，博士。主要研究方向为三维人脸图像分析和识别、医学影像分析和医学成像系统。E-mail：shu_zhan@hfut.edu.cn