基于表情变化速率的真实表情识别研究

黄跃鹏，闫亚楠，耿仕勋，袁春阳，陈江峰

（河北师范大学信息技术学院，石家庄 050024）

0 引言

作为人工智能领域的研究热点，人脸表情识别无论在在理论上还是在技术上，都日益受到更为广泛的关注和发展，但一般表情识别只对表情类型进行识别，对表情的真实与否并不进行判断，例如无论测试者对表情识别系统做出的是出于测试目的假笑还是自然的微笑，都会被判断为一类笑，即分析的只是测试者展现出来的表情，这样得到的结果就对需要鉴别表情真伪的情况，例如在国家安全、警方审讯或者临床诊断领域中造成障碍[1]。因此，真实表情识别的研究，不仅是实际生产生活中的需要，也是表情识别发展过程中的重要分支。

真实表情识别需要表情数据库、识别算法、心理学理论以及相关硬件支撑。数据库分为一般表情数据库和微表情数据库，其中，一般表情数据库例如有JAFFE[2]、CK+[3]、YALE[4]等 ，微 表 情 数 据 库 例 如 有SMIC[5]、CASME II 等。国际上，微表情识别算法按类别可分为基于3D 纹理、基于频域和基于几何特征等识别算法。

本文在前人工作的基础上，首先把一般表情和微表情进行定义整合，进而概括了真实表情的含义，之后设计了四维表情模型，提出以表情变化速率来衡量表情运动，最后总结并对未来的工作进行展望。

1 真实表情

真实表情是自然触发且未经干预的一类表情的合称，包含自然触发的一般表情和微表情。其中微表情是出于一定目的，而压抑原本完整的自然表情表达而产生的，很多情况下和一般表情所代表的含义相同。例如罪犯在被审问听到敏感词汇时，可能原本会表达出一段完整的吃惊或害怕的表情，但出于伪装目的，原本要进行的表情刚开始不久，机体便进行了对该表情的干预行为，终止或以其他表情代替，那么，从表情开始到被干预为止的这一段时间产生的表情，就是微表情。本文把自然触发的一般表情和微表情统归于真实表情，区别于受干预而产生的虚假表情，例如英国《实验心理学季刊》上的一项研究表明，真笑、假笑具有一定的差别,真的笑容只会产生1/4 秒的细微表情，而假笑维持的时间相对较长，如果一个笑容持续超过5 秒以上,那么很有可能是受干预后产生的假笑。

2 总体设计

表情识别的关键步骤可以概括为：表情获取、图像预处理、特征提取、分类方法。其中表情获取和图像预处理目前已经存在较为成熟的技术接口，本文只针对特征提取和分类方法进行讨论研究。

首先采集到每帧的人脸图像，在对图像进行预处理后，在特征提取上，使用较为成熟的表情识别点检测技术来识别图像中人脸各个表情识别点活动状态，再把带有时间节点的每帧表情信息，匹配到四维人脸识别模型中，计算出该帧数图像对应的坐标位置或者模糊区域，每帧表情图像之间连接成的直线距离或者曲线路径，除以运动产生的时间差，得出表情变化速率，根据表情变化速率数据库各自的速率区间，判断出为何种表情以及表情的真实与否。模型总体工作流程如图1 所示。

图1 工作流程图

2.1 表情识别点及初始化

人脸表情识别点检测技术，需要首先把人脸部的表情运动单元做标记，然后根据每帧表情图像激活的表情识别点序列和对应表情信息含义，对表情的种类进行识别，本文用到的表情识别点检测技术还需进行对应四维表情模型坐标的初始化，如下为表情识别点序列以及初始化公式。

表情识别点序列：

初始化：

表情变化速率的计算不仅需要运动产生的曲线轨迹长度，还需运动持续时间的时间差，故初始化不仅要对坐标进行初始化，还需添加时间量。且本文目前只对同一类型表情进行真假表情识别研究，故设置M 为识别点所在象限，N 为识别点所在象限的模糊区域，即M、N 共同确定了识别点属于哪个表情类别，用来对表情类型的改变进行检测。

2.2 四维表情模型

四维表情模型由三维表情坐标系与时间变量组成，其中，三维人脸识别的思路是，赋予三维空间直角坐标系中三个坐标轴各自的衡量参数，使得坐标系可以赋予不用表情各自的坐标或者模糊区域。

三维表情坐标系x,y,z 坐标轴对应的衡量参数分别为：动机状态，正向表示友好深度（friendly），负向表示敌对深度（hostile）；精神状态，正向表示兴奋深度(lively)，负向表示镇定深度（calm）；心理状态，正向表示轻松深度（casual），负向表示严肃深度（formal），形成的八个区对应的表情含义为愉快区I、正直区VI、思考区II、敬慕区V、悲苦区VIII、丑恶区III、惊惧区IV、厌恶区VII，模型示意图如图2。坐标系上每个点都对应一帧带有表情识别点序列的表情运动过程，这样完整的一段表情运动则有N 个点组成一条曲线，且由于人面部表情差异，相同表情经数据集训练会在坐标系中产生对应的模糊区域。

本文所提出的四维微表情识别模型，不仅是一个特征提取和用来计算表情变化速率的模型，还具有接收人脸表情图像信息判断出该帧表情图像为何种表情的功能，即模型中的坐标点或模糊区域即为对应的表情信息。本模型的方法避免了需要大量计算出当帧为何种表情的情况，只需判断出图像上人脸表情识别点激活关闭序列后，带入到模型中即可，节约了大量计算的时间，精确度也得到提高。

图2 四维表情模型示意图

2.3 表情变化速率

从上文的四维表情模型中，我们可以得到，一段完整的表情运动，会在坐标系中产生一段曲线，曲线长度除以对应表情的持续时间，得到该表情的变化速率。由于相同表情存在运动差异，同一含义表情，存在表情变化率值区间。表情变化速率公式如下：

输入：表情识别点序列

整条序列表情变化速率V

步骤1：初始化

（M 为识别点所在象限，N 为识别点所在象限的模糊区域，即M、N 共同确定了识别点属于哪个表情类别）

步骤2：计算空间路劲长度以及速率

步骤3：终止条件

目前仅研究同一表情内的变化速率，表情之间的转换和联系还有待进一步探讨，故终止条件为产生了不用类型的表情。

2.4 表情数据库

本文模型及计算方法，需要用到的表情数据库，一是建立四维表情模型时，用于匹配各坐标点所对应表情运动中各过程时刻以及代表的表情识别序列，二是建立表情变化速率数据库时，用于衡量不同类型不用速率值代表的表情信息含义。

建立四维表情模型时，需要把三维表情坐标系坐标、表情识别点序列以及表情信息根据三维表情坐标系的坐标轴衡量系数进行定义，赋予不同表情运动以对应的曲线路径。建立表情变化速率数据库时，需要根据不同人表情的差异，进行数据整理，进而得到带有相同表情含义的速率区间。

3 结语

表情作为一种运动，相较于传统以表情运动持续的时间或运动产生的表情结果来研究，表情变化速率是更本质的衡量方法，故本文提出了以四维表情模型描述表情运动轨迹，以表情变化速率衡量表情的真实性，并确定了表情变化速率计算公式。下一步工作是研究模型对表情运动轨迹的预测功能，以及结合深度学习训练来满足不同识别场景需求。