基于异向高斯核与RILPQ的模糊人脸表情识别方法*

陈 英， 张鹏鹏， 汪文源

(南昌航空大学 软件学院，江西 南昌 330063)

0 引 言

人脸表情识别特征提取算法从维度空间上可以分为基于三维形状信息提取法和基于二维形状信息提取法。三维人脸模型的表情识别通过拟合一个三维形状模型人脸图像实时人脸跟踪，最后提取三维形状后再进行表情分析。基于二维的人脸表情特征提取算法主要分为动态特征提取法[1,2]和静态特征提取法[3,4]两类。然而，在人脸图像采集过程中，对于使用摄像机和照相机进行拍摄时，可能出现人脸运动模糊的问题。针对此类问题， Ojansivu V等人[5]于2008年提出了旋转不变局部相位量化(rotation invariant local phase quantization，RILPQ)理论应用于空间模糊不敏感图像纹理特征提取,在LPQ算法[6]理论基础上，通过旋转变换定位系数矩阵，改进图像旋转不变性，增强图像在模糊、光照、方向下的鲁棒性。2012年，Li J等人[7]提出RILPQ算法与稀疏算法(SPC)结合算法，并应用在人脸表情识别领域。但上述文献在针对水平方向运动模糊表情图像边缘轮廓不清时存在识别困难。

本文在RILPQ理论基础上引入异向高斯核导数滤波器，通过选择各向异性因子形成椭圆形的导数滤波器，以得到一种识别率较高并有效抵御环境因素影响的表情识别方法。

1 运动模糊退化模型及水平方向长度估算

图1为运动模糊图像退化模型，其中，f(x,y),h(x,y)和g(x,y)分别为清晰图像、退化系统点扩展函数和运动模糊图像，n(x,y)为加性噪声。

图1 运动模糊图像退化模型

图像退化过程被模型化为作用在输入图像f(x,y)上的模糊图像的点扩散函数h(x,y)。如果曝光过程中，人脸场景与镜头之间存在相对运动，表情图像会产生运动模糊[8]。实际拍摄过程由于曝光时间较短，处理运动模糊人脸方向移动，可以近似认为匀速直线运动。运动模糊的点扩展函数h(x)可以表示为

(1)

式中θ为运动模糊角度，L为运动模糊长度。由于表情图像傅立叶变换具有旋转性和平移性，所以，任意方向角度运动模糊图像都可旋转至水平方向。

在曝光的时间内，由于相对运动，人脸表情图像在水平方向上移动的像素设为L，点扩散函数为

(2)

运动模糊长度的估算方法包括时频估算法和倒频估算法。对于水平方向运动模糊图像，模糊长度推导出点扩散函数，取模糊方向为水平轴，即可计算出运动模糊图像。通过求解图像一阶微分，在自相关计算寻找图像傅立叶变换上一对共轭负相关峰，负相关峰的距离的1/2即为运动模糊图像的长度[9]。

2 异向高斯核方向导数

定义图像像素坐标为x=[x,y]T，对于已知直线运动模糊长度L表情图像坐标x=[x+L,y]T，本文采用各向异性高斯核窗函数设置为

(3)

式中ρ2为各向异性因子，各向异性高斯函数在θ方向上的各向异性高斯导数滤波器将该滤波函数加入傅立叶变换中，滤波尺度由尺度因子σ决定，滤波方向可自行决定，滤波范围由高斯圆窗变成水平方向拉伸一定比例的ρ2的高斯椭圆窗，即估算出的运动模糊长度。

3 异向高斯核方向导数与RILPQ融合表情特征提取

特征提取的过程为：1)计算运动模糊表情图像的运动模糊长度；2)设置各向异性高斯方向导数的各向异性因子为运算模糊长度，在高斯椭圆窗中设计两方向高斯导数滤波器，并提取特征向量及特征方向矢量；3)将特征直方图作为后续表情分类及表情识别依据。

任意取JAFFE表情数据集中一张表情图像，在实验参数σ2=4,ρ2=30,尺度半径为7的情况下，得到的结果如图2所示。对比图2(b)和图2(c)图发现，RILPQ算法的特征图受运动模糊影响，人脸五官轮廓出现很大程度模糊失真，面部纹理受运动模糊干扰而不易识别。本文方法生成特征矢量图中水平方向特征矢量较多、五官方向较为清晰，特征图人脸轮廓周围也有明显水平运动横纹，人脸五官表情特征较明显。

图2 特征提取效果对比

为了衡量RILPQ特征，使用特征直方图特征统计，得到特征向量分布范围，将连接各个区域直方图序列作为图像特征表示。每幅特征图对应一个直方图，是一个256维度直方图特征向量，可应用于后续表情识别。由图3可知，RILPQ算法直方图纵坐标分布范围为[0～0.035]，而本文算法纵坐标范围为[0～0.025]，使特征分布更为均衡，同时减小运动模糊所造成的噪声干扰。

图3 特征直方图比较

4 实验与结果分析

本文将JAFFE数据集[10]中的213幅图像进行水平方向运动模糊，运动模糊长度设置为5像素后的图像作为运动模糊人脸数据集，其中，7种表情分别为生气、厌恶、恐惧、高兴、中性、悲伤和惊讶。通过模糊人脸特征提取，将提取的特征图进行分级量化后构造直方图，应用支持向量机(support vector machine,SVM)模式识别与回归分类训练完成表情识别。在JAFFE数据集中随机选取10名女性7种基本表情中各2张图片作为训练样本，剩余图像作为测试样本，当个别测试样本表情不足用中性表情测试样本代替。识别流程如图4所示。

图4 表情识别流程

实验一使用RILPQ算法直接将运动模糊5像素的JAFFE表情数据集，进行表情特征提取，进行SVM表情模式识别与回归，不同尺度半径下7种表情识别率如图5所示，可以发现，尺度半径表情识别率情况为(R=5)>(R=3)>(R=9)>(R=7)>(R=11)>(R=13)。当尺度半径R=5，识别率最高为64.70 %，除了高兴表情和悲伤表情识别率高于70 %，其余5种表情识别率均低于65 %，而厌恶表情识别率最低，只有55.25 %。分析得出，运动模糊表情图像会很大程度降低识别率，运动模糊长度越大，模糊效果越明显，表情识别率越低。

图5 不同尺度半径下运动模糊表情RILPQ识别率

实验二采用融合算法对运动模糊后的JAFFE表情数据集进行表情分类。其中在实验参数σ2=4,ρ2=30,不同尺度半径下7种表情识别率如图6所示。

图6 本文算法识别率

观察图6发现，各尺度半径下表情识别率情况为(R=9)>(R=11)>(R=7)>(R=5)>(R=13)> (R=3)。在尺度半径R=9时，识别率最高，为66.10 %，惊讶表情和悲伤表情的识别率较高，达到70 %以上的识别率。其余5种表情除了中性表情识别率较低外，其余表情识别率都在65 %以上。在尺度半径为R=11时，高兴表情和厌恶表情的识别率高于尺度半径R=9时识别率，但亦出现恐惧和悲伤表情误识别现象，平均识别率为64.65 %，低于尺度半径R=9识别率。

为了进一步说明本文算法的有效性，针对不同表情的最高识别率进行对比，对比结果表明，本文算法的识别率整体优于RILPQ的识别率。

5 结 论

通过与RILPQ算法对比同一幅表情图像提取特征图、特征方向图和特征直方图，表明本文算法可以更好提取人脸表情图像特征细节信息，清晰反映面部纹理。通过对比融合方法与RILPQ算法识别率，表明本文提出的异向高斯核方向导数与RILPQ融合法在人脸表情识别方面优于传统RILPQ算法，但整体的识别率有待于提高，为今后研究方向。