基于脑电传感器的面部动作识别研究

王 众，章学良，刘亚群，周俊宇，单东升

中国电子科技集团公司 第十四研究所，南京210039

1 引言

在人与人交流的过程中，识别和理解对方的情感状态，并做出相应反应，是人类情感智能的核心，也是人类智能中不可或缺的部分。美国心理学家Albert曾指出：一个人情感的表达，面部动作占比55%，语音语调占比38%，而所使用的言词仅仅只占7%而已。因此，面部动作识别的研究，对理解人类情感表达具有极其重要的意义[1-2]。

脑电传感器广泛应用于脑电信号检测，解析人脑控制意图。一般情况下，脑电传感器采集的信号中会夹杂大量由面部动作产生的肌电信号，这些信号往往会作为伪信号滤除[3-4]。本文提出一种基于脑电传感器进行面部动作识别的方案，将这些被剔除的信号再次利用起来。通过对夹杂的肌电信号采集与处理，实现面部动作识别。

2 传统面部动作识别方案

传统的面部动作识别方案，有基于可见光图像的方案、基于深度相机的方案和基于肌电传感器的方案。

2.1 基于可见光图像的识别方案

该方案的系统工作流程图可见图1。它主要由图像的获取、图像的预处理、面部动作特征提取和分类识别等四部分组成。

图1 可见光图像方案的系统工作流程图

“获取图像”完成面部动作的图像序列采集，一般通过高清摄像头完成；“图像预处理”完成人脸位置确定、去除噪声和其他干扰、人脸追踪、直方图均衡化、图像锐化、图像平滑、滤波等，突出人脸动作特征；“面部动作特征提取”完成从人脸图像序列中，提取能够表征面部动作本质的特定信息，比如眨眼、咬牙床等；“分类识别”完成特征分类，识别出所做的面部动作，一般使用临近算法、神经网络、支持向量机等[5]。

该方案目前使用范围较广，但由于在不同环境下的光学误差较大，导致识别的准确率不高[6]。

2.2 基于深度相机的识别方案

该方案通过深度相机提取人脸可见光图像及深度信息，在实时视频流中追踪热点并提取特征点坐标，实现面部动作的检测和识别。与可见光图像的识别方案有一定的相似之处，不同的是深度相机可以获得图像深度信息[7]，提升了弱光下识别的准确率。方案的系统工作流程图见图2。

图2 深度相机方案的系统工作流程图

2.3 基于肌电传感器的识别方案

肌电是肌肉收缩时产生的微小电信号。当面部产生动作时，面部肌肉的运动能产生肌电信号。该信号的特征反应了面部的特定动作。肌电传感器方案的系统框图可见图3，该方案的使用示意图可见图4。

图3 肌电传感器方案的系统框图

图4 肌电传感器方案的使用示意图

肌电具有信号强、频率范围窄、随机性强等特点，幅值为100～5 000μV，频率为10～300 Hz。目前对肌电的分析方法主要有时域分析、频谱分析、时频分析、神经网络、混沌法和分形分析[8]。基于肌电传感器的方案对比可见光图像、深度相机图像方案，准确率有较大程度的提升，但需要在面部穿戴肌电传感器，会给使用者带来较差的体验感。

3 基于脑电传感器的面部动作识别

脑电传感器具有灵敏度高、动态范围大的特点。能有效处理脑电信号的微弱性、混叠性和低信噪比等问题。脑电传感器佩戴的位置示意图如图5所示。其中，F3、F4位于前额，C3、C4位于中央顶部，T3、T4位于头部两侧，O1、O2位于头部枕区。

图5 脑电传感器佩戴位置示意图

通常情况下，脑电传感器采集的人体头部生物电中包含了脑电和肌电，其中肌电包含了丰富的与面部动作相关的信息。医学研究表明，当使用者眨眼时，额区F（F3，F4）处的肌肉活动会增强[9-10]；当使用者牙床咬紧时，咬肌的肌肉活动明显增大，会间接影响头顶中央区C（C3，C4）处的肌肉活动[10-11]。因此，脑电传感器的这四个通道中，会产生大量由面部动作产生的肌电信号。然而，这类肌电信号，在实际应用中，往往会被作为干扰滤除。因此，针对传统面部动作识别方法的不足，结合脑电传感器的优势，提出了利用脑电中夹杂的肌电信号进行面部动作识别。

3.1 总体方案

系统主要包括脑电帽、脑电信号采集与预处理设备和数据处理计算机构成。系统的组成图可见图6。

图6 系统组成图

脑电信号采集与预处理设备有八个采集通道。其中F3、F4、C3、C4这四个通道中包含了丰富的面部动作信息[12-13]。通过对采集到原始信号进行削波、平滑、归一化等预处理后，形成标准的脑电信息流，送往数据处理计算机。该信息流包含了肌电信号和脑电信号，肌电信号幅度为100～5 000μV，脑电信号为5～100μV[14]，一般情况下，脑电信号远小于肌电信号，因此，不会对肌电信号的解析产生影响。由于信号幅度是反映面部动作的主要特征，本文选取这四个通道信号的峰峰值作为分类特征值，使用SVM作为分类算法。

系统的使用过程分为两个阶段：训练阶段和应用阶段。通过实验验证，不同使用者相同面部动作下的肌电信号特征差别较大，但同一使用者不同时间的肌电信号特征一致性非常好。因此，系统首先通过训练阶段，形成针对不同使用者的面部动作识别模型。然后再由不同使用者在应用阶段调用对应模型。试验结果表明，一名使用者可在3 min以内完成训练，形成的识别模型可长期使用。

3.2 脑电信号采集与预处理设备

系统使用的脑电信号采集与预处理设备包含记录系统放大器、主动电极，设备实物图可见图7。其中主动电极是一种新型电极，相对于传统电极，主动电极可以将信号在采集时即进行处理，具有更高的信噪比、共模抑制比和输入阻抗，并且可以有效抑制运动噪声。选取额区F（F3，F4）及中央区C（C3，C4）放置电极，以Cz为参考电极，控制头皮阻抗小于200 kΩ，采样率设定为1 kHz。

图7 脑电信号采集与预处理设备

3.3 数据采集

数据采集的对象是1名身体健康的使用者，在安静的屏蔽室内进行。使用者端坐在舒适的座椅上，与屏幕水平距离约为70 cm。根据屏幕提示，做出五种面部动作，包含眨左眼、眨右眼、咬左牙床、咬右牙床、两边牙床一起咬，如图8所示。

图8 使用者进行数据采集试验

具体试验过程包括如下三个步骤：

步骤1 t=0～1 s时，屏幕中出现一种面部动作提示指令（五种动作指令依次出现），以提醒使用者试验即将开始，需集中注意力，等待听到开始的命令。

步骤2 t=1～4 s时，电脑发出短暂的蜂鸣声，以提示使用者试验开始。使用者根据屏幕提示做出相应的面部动作后，即刻保持静默状态。

步骤3 t=4～7 s时，屏幕中提示休息，使用者休息3 s。

每个面部动作各进行五个试次，每次试验共包含25个试次。最终形成五组，每组五个试验样本数据，用于后续数据处理与分析。

4 面部动作识别算法

本文提出的面部动作识别算法是基于高斯核的支持向量机学习模型。该方法建立了较为稳定的特征描述子，能有效解决面部动作识别中的肌电信号分类问题，可实现小样本下面部动作的高精度识别与分类。

4.1 支持向量机

支持向量机（SVM）是一种具有高性能的监督学习模型，能根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折中，以求获得最好的推广能力。它在很大程度上解决了“维度灾难”和“过学习”等传统分类难题[15]。SVM分类示意图如图9所示。

图9 SVM最优分类示意图

假设样本集(xi,yi)是线性可分的，样本集中的xi代表样本，yi代表样本类别，yi∈{-1,1}。样本xi相应的判别函数为：

g(x)=wTx+b

线性分类超平面可由向量w和偏移量b描述。对判别函数归一化|g(x)|=1，使得分类间隔为2/||w||，当||w||的值特别小时，分类间隔会特别大。寻求的目标是所有样本都能被准确分类，也就是yi(w xi+b)-1≥0,i=1,2,…,n，则求取最优超平面的问题[16]转换成求，并且满足yi(w xi+b)-1≥0,i=1,2,…,n。满足等号成立的那些样本叫作支持向量。

4.2 面部动作识别算法实现

系统通过脑电信号采集与预处理设备采集的四路信号形成五种面部动作分类，其中两路为眼部运动产生的肌电，另两路为由牙床咬合产生的肌电。这些信号都会作为脑电信号的一部分传递给数据处理计算机进行解析。

通过对这些肌电信号分析发现，当使用者面部出现不同动作时，对应采集通道中的响应信号分别具有不同的幅度特征。如图10所示，当使用者眨左眼时，对应的F3通道信号幅度上升；当使用者眨右眼时，对应的F4通道信号幅度上升；当使用者咬左牙床时，C3通道信号幅度上升；同样，咬右牙床时C4通道信号幅度上升。

数据分析表明面部动作与肌电信号的幅度密切相关，因此，系统将信号的峰峰值作为主要特征，采用高斯核支持向量机进行面部动作分类。具体算法中，以通道F3的峰峰值和通道F4的峰峰值作为两个特征属性，以通道C3的峰峰值、通道C4的峰峰值以及通道C3和C4的相关一致性作为三个特征属性，分别创建眼部肌电支持向量机和面颊肌电支持向量机。其中，眼部肌电通过两个特征区分两类状态，面颊肌电通过三个特征区分三类状态。五种面部动作的区分是线性不可分的，因此采用非线性支持向量机。本文采用高斯核支持向量机，高斯核（Gaussian RBF）[17]的核函数如下：

高斯核的误差惩罚常数C取100，高斯核宽度σ取1.0。

5 验证结果与分析

按照前文定义的方法采集了25组训练数据，指定五个标签，对25组样本进行分类学习，训练出两个支持向量机学习器，实现面部动作的五种分类。经实际验证，准确率达95%以上。图11为五种面部动作及静默状态下的项目应用截图。四个柱状体反映了四个通道的峰峰值，从图中可以看出，这五种面部动作产生的信号特征非常明显，而且区分度很大。项目实际应用证明了采用少量的训练样本即可获得高准确率的分类结果。

6 结语

使用脑电传感器对面部动作进行识别，能实现面部动作的高精度分类，而且还具备良好的体验感。它实现了计算机对人面部动作的理解，是一种先进的人机交互方式。可应用于心理学、机器人、智能监控、虚拟现实以及合成动画等领域，具有很大的潜在应用价值[18-19]。同时，它也提升了脑电传感器的应用价值，能与脑电信号特征提取和分类进行数据融合，形成多模态的生理信号特征识别与分类的能力，实现更为广阔的应用。

图10 不同面部动作下的肌电信号响应曲线

图11 基于SVM的面部动作识别与分类结果