高斯核方向导数和RILPQ融合的人脸表情识别∗

张鹏鹏 陈 英 葛杨铭

（南昌航空大学软件学院 南昌 330063）

高斯核方向导数和RILPQ融合的人脸表情识别∗

张鹏鹏 陈 英 葛杨铭

（南昌航空大学软件学院 南昌 330063）

针对人脸表情识别中特征提取出纹理信息粗糙、边缘轮廓不清的问题，论文提出了一种基于高斯核方向导数与RILPQ相结合图像特征提取方法。在RILPQ算法中引入高斯核多方向导数形成滤波器，在支持向量机中进行表情分类，将算法应用于JAFFE数据集表情数据集。实验结果为在滤波窗口半径为11像素，论文算法识别率最优，并高于LPQ算法、RLPQ算法识别率。同时也证明，高斯窗窗口半径和滤波方向对算法的表情识别率有影响。

人脸表情识别（FER）；旋转不变局部相位量化（RILPQ）；各向高斯核函数及方向导数；支持向量机（SVM）

1 引言

人脸表情包括丰富的情感信息和心理信息，是人类情感表达的最主要最直接的肢体语言之一。人脸表情识别（Facial Expression Recognition，FER）技术就是在人机交互条件下，使用计算机技术提取出人脸表情丰富的图像特征信息，计算机通过人脸表情图像分类识别的结果推断出人不同的心里状态。

旋转不变局部相位量化（Rotation Invariant Local Phase Quantization，RILPQ）理论，由Ville Ojansivu等于2008年提出［1］，应用于空间模糊不敏感图像纹理特征提取。此算法通过在LPQ算法［2］基础上发展而来，通过旋转变换定位系数矩阵，加入图像旋转不变性，也增强图像模糊、光照、方向下的鲁棒性。Jiawei Li等于2012年提出RILPQ算法与稀疏算法（SPC）结合算法，应用在人脸表情识别领域，证明在JAFFE数据集该算法识别率高于LBP、LBP+SRC、2DPCA+SVM等算法［3］。

本文继承RILPQ特征提取算法的旋转不变性和模糊不变性的优点同时，针对RILPQ算法中边缘轮廓不清、纹理信息较为粗糙等问题，提出了一种基于高斯核方向导数和RILPQ融合的特征提取算法。通过在RILPQ算法中引入方向导数高斯滤波器，在高斯圆窗内进行四方向和八方向特征提取，将特征变量送入支持向量机（Support Vector Machine，SVM）中训练后表情识别。实验考察了不同的高斯窗窗口半径下在四方向和八方向提取的特征变量在SVM中识别率，将此算法与LPQ［4］、RILPQ［5］算法比较，证明本算法JAFFE数据集［6］下表情识别率高于前两者。

2 RILPQ特征提取算法

RILPQ算法主要思想是通过计算每一个像素点的典型方向，再将每个局部邻域旋转到典型方向计算图像的LPQ特征［7］。每幅人脸表情图像在一个窗口中相位位置的信息去相关后被均匀量化到多维空间，将连接各个区域的RLPQ直方图序列作为图像特征表示。

在旋转半径为r的圆上，频率点为vi=r[cos(φi)sin(φi)] ，旋 转 角 度 φi表 示 为φi=2πi/M ，M 为在圆周上的旋转方向数。高斯窗中离散傅里叶变换结果向量表示为

式（1）中函数wR(x)为高斯圆窗，表示为

式（1）中离散傅里叶变换后的结果向量表示为V(x)=[F(v0，，x)， F(v1，，x)， F(v2，，x)， …， F(vM-1， x)]

（3）

此时，结果向量V(x)为对行和列的一维卷积定位x旋转后状态。再将V(x)虚部量化，得到虚部量化矩阵C(x)：

量化方向b(x)可以表示为

式（5）中ci是C(x)第i个分量。每个像素点x的典型方向δ(x)定义为

旋转θ角后的典型方向作为估算特征方向，用δ'(x)表示，其中Rθ为θ角对应二维旋转矩阵：

总之，RLPQ算法的核心就是把每一个局部邻域旋转到典型方向，再在进行短时傅里叶变换［8］。

图像短时傅里叶变换公式为

图像旋转后公式为

推导结果表明，RILPQ旋转变换仅仅重新定位了LPQ系数矩阵，不影响直方图构造，所以RILPQ算法在继承了LPQ模糊不变性的同时也具有旋转不变性［9］。

3 各向高斯核方向滤波器

高斯核和方向导数通过计算不同平滑下的方向导数，可以应用于图像的轮廓检测［10］。高斯核函数可以表示为

其中，δ是尺度因子，图像的平面坐标表示为x=[x，y]T。将高斯核函数旋转θ角度，得到一组各向高斯核函数为

Rθ为旋转矩阵，表示为

对上式各向高斯核函数在θ方向上求方向导数，得到θ方向上的各向高斯核方向导数滤波器φσ，θ(x)：

由上面推导可以看出，各向导数滤波器平滑作用只与尺度因子σ有关，方向因子θ是为了提取图像在各个方向上的变化信息［11～12］。

4 本文提出的RILPQ与高斯核方向导数融合算法

本文算法是在旋转半径为r的圆上，使用高斯核方向导数滤波器在窗口函数上滤波，各向高斯核方向滤波器可以表示为φσ，θ(x)：

将该滤波函数加入傅里叶变换中后公式表示为

上式可以看出，方向滤波器滤波范围在高斯圆窗内，滤波范围由高斯窗半径大小决定，滤波尺度由尺度因子σ决定，滤波方向由旋转滤波角度θk决定。

θk=kπ/n（其中 k=0，1…，n），n为滤波方向数。

傅里叶变化的结果向量V(x)为

其中M为在圆周上的旋转方向数，离散精度为2π/M ，结果向量量化后的方向向量为

此时，图像也做短时傅里叶变换：

图像旋转后表示：

推导结果表明，本文算法中RILPQ旋转变换重新定位RLPQ系数矩阵，不影响直方图构造。通过在各旋转方向上加入了利用高斯核方向导数形成方向滤波器滤波因子，继承RLPQ算法旋转不变性和模糊不变性的同时在设定的方向上旋转滤波，达到去除图像噪声，增强图像轮廓作用。

图1为在半径为R高斯圆窗内，四方向滤波和八方向示意图。图2为图1对应的滤波方向上的导数滤波器，四个特征频率点 μ1=[a，0]Tμ2=[0，a]Tμ3=[a，a]T，μ4=[a，-a]T的实部和虚部形成的导数滤波器从左到右排列。

图1 四方向和八方向滤波器示意图

对一张256×256像素表情图像分别进行RILPQ算法和本文算法特征提取后生成典型方向灰度图进行对比研究，如图3所示。特征提取滤波半径R=5，尺度因子σ2=4，图3显示了改进后的RILPQ算法人脸轮廓更为清晰，且加入滤波效果（也较为明亮）。这也证明了本文算法同时具有增强图像边界和平滑效果。

图2 四方向和八方向下导数滤波器

图3 原图像、改进前、改进后的典型方向灰度图

本文采用RILPQ算法与高斯核方向导数融合的算法特征提取后，再将特征矩阵送入SVM中。识别流程如图4所示。首先，将高斯方向滤波器加入傅里叶变换中，抽取特征向量的典型方向（如图4中典型方向图）；然后，图像的RILQ特征提取，并使用特征变量分级量化构造直方图（如图4中RILPQ特征）；最后，将直方图送入SVM训练后实现七种人脸表情的表情分类。

图4 表情识别流程图

本文使用高斯核函数，SVM输出表示为

其中权重参数 ai是 SVM［13］的 Langrange乘子，中心点xi是SVM的支持向量，阈值b和中心点的个数自动设定，惩罚参数的选择与误差上界有关，可以表示为C=10θ。对于一个固定的特征空间，当C超过一定值时，支持向量机的复杂度达到空间T上允许的最大值，经验风险就不再变化，即识别率不在发生变化［16］。所以，本实验只需要设置惩罚参数和核半径δ就可完成人脸表情分类［14～15］。

5 数值实验和分析

为了验证算法的性能，本文使用JAFFE数据集实验，JAFFE中一组表情如图5。实验每次随机选取不同女性的七种基本表情各两张图片作为训练样本，各140张，剩余表情作为测试样本，个别样本表情不足用中性表情代替。实验重复三次，训练样本为140×256矩阵，测试样本为70×256矩阵，使用平均分类识别率作为判别正确分类表情样本数与所有测试样本数的比值。

图5 JAFFE中的一组表情

在本实验中，共分为两组实验。第一组实验是分别四方向滤波和八方向滤波的表情识别。其中，尺度因子σ2=4，SVM核半径δ分别为2.5、2，不同滤波半径下四方向和八方向识别率见表1和表2。实验结果为：1）高斯核方向滤波器的滤波半径和滤波方向影响本算法的识别率。2）采用四方向滤波，设置高斯圆半径为11像素时，在JAFFE数据集上取得的识别率最高，为0.9315。

表1 不同滤波半径下四方向滤波实验结果

表2 不同滤波半径下八方向滤波实验结果

第二项实验分别使用LPQ、RILPQ和本文算法在JAFFE数据库中比较实验，七种表情的识别率如图6所示。横坐标代表七种表情，分别为：生气、厌恶、恐惧、高兴、中性、悲伤、惊奇。实验数据显示：本文算法除恐惧表情识别率低于RILPQ算法外，其他表情识别率均高于LPQ、RILPQ算法。

图6 三种算法中不同表情识别率

最后，本文实验可以证明，高斯窗窗口半径的选择和滤波方向选择对表情识别率有影响。采用四方向滤波，高斯圆半径为11像素时，JAFFE数据集表情识别率最高。分析认为由于高斯核方向导数滤波器可以捕捉图像的初始轮廓的同时图像平滑［17］，所以该滤波器在窗口半径一定时，四方向最能清晰直观表示出人脸表情特征。当滤波方向过多时，可能将人脸表情中斜对角方向信息（如法令线、眉头纹等）平滑掉，而导数识别率下降。另外，当滤波窗口半径选择较小时，图像平滑效果过于明显，微小的面部纹理都被平滑掉，造成了表情识别率下降明显，这也是本算法的一个不足之处。

6 结语

本文提出了一种高斯核方向导数和RILPQ融合的人脸表情识别算法。主要思想将高斯核方向导数滤波算法引入到RILPQ的傅里叶变换公式中，实现在高斯圆窗内表情图像多方向性滤波和轮廓加强。通过两项实验，证明可以自己设定高斯圆窗的半径和滤波方向，在不模糊表情细节的前提下全面提取到人脸表情图像特征细节信息，提高表情识别率。

［1］Ojansivu V，Rahtu E，Heikkila J.Rotation Invariant Local Phase Quantization for Blur Insensitive Texture Analysis［C］//Proc.Of the 19th International Conference on Pattern Recognition.IEEE Press，2008：1-4.

［2］Ojansivu V，Heikkila J.Blur Insensitive Texture Classification Using Local Phase Quantization［M］.Elmaataz A，Lezoray O，Nouboud F，et al.Image and Signal Processing.Berlin，Germany：Springer，2008：236-243.

［3］Li J，Ying Z.Facial Expression Recognition Based on Rotation Invariant Local Phase Quantization and Sparse Representation［C］//Second International Conference on Instrumentation，Measurement，Computer，Communication and Control.IEEE Computer Society，2012：1313-1317.

［4］Xiubin Zhu.Face Representation with Local Gabor Phase Quantization［J］.Journal of Networks，2014，96.

［5］Gao Z S，Yuan H Z，Yang J.Search of face verification algorithm based on RILPQ descriptor［J］.Application Research of Computers，2012，29（1）：352-351.

［6］The Janpanse Female Facial Expression（JAFFE）Database［OL］.http：//www.kasrl.org-Jaffe.Html.

［7］高志升，袁红照，杨军.基于旋转不变局部相位量化特征的人脸确认算法研究［J］.计算机应用研究，2012，29（1）：352-354.GAO Zhisheng，YUAN Hongzhao，YANG Jun.Face recognition algorithm based on rotation invariant local phase quantization feature［J］.Computer Application Research 2012，29（1）：352-354.

［8］翟懿奎，甘俊英，徐颖.基于局部相位量化与仿生模式的伪装人脸识别算法［J］.信号处理，2012，28（11）：1498-1504.ZHAI Yikui，GAN Junying，XU Ying.A face recognition algorithm based on local phase quantization and biomimetic pattern［J］.SignalProcessing，2012，28（11）：1498-1504.

［9］储久良，袁宝华.基于完备局部相位量化的低分辨率人脸识别［J］.高技术通讯，2014，24（11）：1115-1119.CHU Jiuliang，YUAN Baohua.Complete local phase quantization of low resolution face recognition technology based on［J］.communication，2014，24（11）：1115-1119.

［10］Hu W，Zhou X，Li W，et al.Active contour-based visual tracking by integrating colors，shapes，and motions［J］.IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2013，22（5）：1778-92.

［11］陈雅静，刘桥，周骅，等.基于各向异性高斯核方向导数滤波器的图像轮廓检测［J］.传感器与微系统，2013，32（6）：126-129.CHEN Yajing，LIU Qiao，ZHOU Jiahua，et al.Image contour detection based on anisotropic Gauss kernel directional derivative filter［J］.sensor and micro system，2013，32（6）：126-129.

［12］Flusser Jan，Farokhi Sajad，Hoschl Cyril，Suk Tomas，Zitova Barbara，Pedone Matteo.Recognition of Images Degraded by Gaussian Blur.［J］.IEEE transactions on image processing：a publication of the IEEE Signal Processing Society，2016，790-806.

［13］Milan Sonka PhD，Vaclav Hlavac PhD，Roger Boyle DPhil.Image Processing，Analysis and Machine Vision（Third editon）［M］.Beijing：Tsinghua University Press，2011：142-146.

［14］M.M.Sani，K.A.Ishak，S.A.Samad.Classification using Adaptive Multiscale Retinex and Support Vector Machine for Face Recognition System［J］.Journal of Applied Sciences，2010，106.

［15］GNIRMALA PRIYA，R S D WAHIDA BANU.Occlusion invariant face recognition using mean based weight matrix and support vector machine［J］.Sadhana，2014，303-315.

［16］ Reshma Khemchandani，Sweta Sharma.Robust Least Squares Twin Support Vector Machine for Human Activity Recognition［J］.Applied Soft Computing，2016，33-46.

［17］Li X，Wu X，Wang K.Directional Gaussian Derivative Filter Based Palmprint Authentication［C］//International Conference on Computational Intelligence and Security.IEEE Computer Society，2008：467-471.

Facial Expression Recognition Based on Gaussian Kernel Direction Derivative and RILPQ

ZHANG PengpengCHEN YingGE Yangming
（College of Software，Nanchang Hangkong University，Nanchang 330063）

In view of the problem that the feature of facial expression recognition is not clear，this paper proposes a method of image feature extraction based on Gauss kernel direction derivative and RILPQ.In the RILPQ algorithm，the Gauss kernel multi direction derivative is introduced to form a filter，and the algorithm is applied to the expression data set of JAFFE data set.Experimental results for the filter window radius of 11 pixels，the algorithm recognition rate is optimal，and higher than the LPQ algorithm，RLPQ algorithm recognition rate.At the same time，it is proved that the Gauss window radius and the direction of filtering have effect on the recognition rate of the algorithm.

facial expression recognition（FER），rotation invariant local phase quantization（RILPQ），anisotropic Gaussian kernel function and directional derivative，support vector machine（SVM）

TP391

10.3969/j.issn.1672-9722.2017.10.026

Class Number TP391

2017年4月10日，

2017年5月30日

张鹏鹏，女，硕士，研究方向：图像处理、人脸识别。陈英，男，博士，研究生导师，研究方向：虹膜识别、无线传感器。葛杨铭，男，硕士，研究方向：身份认证、访问控制及安全。