基于脑电信号的情绪识别概述

罗靖宇

（四川大学计算机学院，成都610065）

0 引言

情感是大脑的高级活动，它是一种复杂的心理和生理状态，而情绪是情感的一个外部表现，是我们对事件内在或外在的反应[1]。情绪在人类生活中起着非常重要的作用。积极情绪有助于改善人类健康和工作效率，而负面情绪可能会导致健康问题。长期积聚的负面情绪是抑郁症的诱发因素，在最坏的情况下可能会导致自杀。

在现有的研究中，情绪检测的方法基本可以分为两大类：①一种是基于面部表情、语音等表面物理信号的方法，这类方法的优点是信号易于收集并且有大量相关研究作为基础。但是缺点是可靠性较差，因为被试可能会在实验过程中刻意控制自己的表情或是声音。②第二种方法则是基于脑电信号（EEG）、皮肤电、体温等生理信号，由于这类信号难以受被试主观意念控制，因而可以获得更加可靠的结果[2]。这其中，基于EEG 信号的研究凭借较高的识别准确度逐渐成为研究的重点[3]。

本文首先将对一些相关概念进行介绍并概括这一领域下最近几年不同方向上的研究成果，然后总结当前研究的现状以及存在的问题。

1 情绪的定义与情绪模型

为了能够准确地识别出情绪，首先需要可以定量的定义情绪。情绪的在心理学界并没有一个被广泛认可的定义，心理学家主要使用两种方式来定义情绪：一种是离散的将情绪分为不同的类别。另一种是使用多个维度来定量的测量情绪。

第一种方式最具代表性的就是Ekman 情绪模型[4]，Ekman 将情绪分为快乐、悲伤、愤怒、恐惧、惊讶和厌恶的六种基本情绪，并将其他情绪视为这些基本情绪组合后的产物。离散情绪模型可以使用简单的词汇来描述情绪，但无法进行定量的分析。

为了表明不同情绪的强烈程度，Lang 等人[5]提出了唤醒度-愉悦度（Arousal-Valence）模型，该模型将情绪映射到唤醒度和愉悦度组成的2 维空间中，其中唤醒度表示情绪的强烈程度，愉悦度表示情绪的正负面性。这种模型的问题在于会将某些不同情绪映射到同一区域从而难以区分，例如恐惧和愤怒都会被映射到高唤醒度低愉悦度的区域内。为了解决这个问题，Mehrabian 等人[6]提出了PAD 模型，该方法在唤醒度-愉悦度模型的基础上扩展了支配度维度，该维度描述了当前情绪主体的优势程度，例如愤怒会有较高的支配度（优势），而恐惧则有较低的支配度（屈从）。

2 基于脑电信号的情绪识别研究进展

近几年来，随着机器学习等相关技术的快速发展以及各个领域对于高质量情绪识别的需求日益增长，国内外学者都开始对基于EEG 信号的情绪识别展开研究。从使用方法上来看，大致可以分为传统机器学习方法和深度学习方法两类。从研究所针对的场景来看，现有研究可以被分为“被试依赖（subjects-dependence）场景下的情绪识别”和“跨被试（cross-subject）场景下的情绪识别”两类。接下来将在2.1 和2.2 小节对被试依赖和跨被试这两种不同类别的情绪识别研究进行介绍。

2.1 被试依赖场景下的情绪识别

如果一个情绪分类器在训练阶段中只使用一个特定被试的实验数据，最终也只在该被试的数据上进行测试。那么我们称这种识别方法为被试依赖场景下的情绪识别，在这种场景下，当被试变更时，需要重新使用新被试的数据对分类器进行训练。

Koelstra 等人在2011 年建立DEAP 数据集[7]后，使用该数据集的数据，提取α、β、γ和θ四个频段上的谱功率作为特征，并通过Fisher 线性判别进行特征选择，最后使用朴素贝叶斯方法对被试情绪进行分类并分别在唤醒度和愉悦度上得到了62%和58.3%的平均准确率作为数据集的基线准确率。而Soleymanie 等人也在建立MAHNOB-HCI 数据集[8]后中在数据集上使用支持向量机对被试情绪进行分类并在唤醒度和愉悦度上分别得到了67.7%和76.1%的分类准确率。

在机器学习方法中，支持向量机（Support Vector Machine，SVM）[9]因为对于非线性分类具有良好的性能，在相关研究中被广泛使用。Verma 等人在他们的研究[10]中使用SVM 对DEAP 数据库的32 通道的EEG信号和8 通道的其他生理信号进行多模态情绪识别，准确率为85.46%。此外，K 近邻算法（K-Nearest Neighbor，KNN）也常被用于基于EEG 信号的情绪识别研究中，Kolodyazhniy 在其研究[11]中以电影片段作为情绪引导的刺激源，然后通过序列反向选择和序列前向选择对收集到的面部肌肉活动等生理信号进行特征提取与优化，最后使用KNN 模型在K=17 时达到了73.2%的最高准确率。

相比需要手动提取特征的传统机器学习方法，深度学习方法因为降低了特征工程的难度，在2017 年之后的论文中被广泛使用。卷积神经网络（Convolutional Neural Networks，CNN）是近年来最为流行的深度神经网络方法之一，它被广泛用于如图像分类[12]、图像分割[13]和目标检测[14]等领域。在一些较新的研究中陆续有研究开始将CNN 应用在EEG 信号的处理上，Tripathi 等人在其研究[15]将DEAP 数据集中的样本分为10个batch 并将每batch 中的平均值中位数、最大最小值、标准差与方差、取值的范围、偏度和峰态等9 个信息放入特征向量中，对总共40 个通道的实验数据进行以上操作并拼接形成特征矩阵之后输入CNN 中，并在DEAP 数据集上的唤醒度和愉悦度分别达到了81.4%和73.3%的平均分类准确率。早期使用CNN 处理EEG 信号的方法一般都是像Tripathi 等人的研究那样把EEG 数据提取特征然后拼接起来，再建立特征向量到情绪标签的映射。但这种方法会导致电极（通道）之间的空间关系丢失，而不同通道信号之间的关系可能会有助于情绪的分类。针对这个问题，Zhang 等人在其研究[16]中保留了电极之间拓扑结构，将电极位置转换为图像，利用CNN 进行测试，得到88%的最佳分类准确率。

总的来说目前的被试依赖场景下的情绪识别研究以及达到了较高的识别准确率，但在这种用户依赖场景下各个被试不能相互使用其他被试的分类器，在泛化能力上有很大的缺陷。

2.2 跨被试场景下的情绪识别

由于每个人的体质以及对于情绪的感知程度，不同的人在面对同一情绪刺激时表现出来的生理信号模式以及蕴含的情绪都有可能不同。因此，当来自不同被试的生理模式在同一情绪上表现出较大的差异时，分类器往往不能对多个被试的情绪做出准确的判断。当前相关研究普遍使用的都是被试依赖的方式进行情绪识别，即使用单个被试的数据对针对该被试的情绪分类器进行训练，当变更被试时，需要重新针对该被试训练新的分类器。这种被试依赖的方式由于各个被试不能相互使用其他被试的分类器，在泛化能力上有很大的缺陷。因此，越来越多的研究开始关注跨被试的方式，即考虑数据集中所有被试的数据，训练出一个与特定被试无关的分类器。

在Song 等人的研究[17]中，作者使用留一交叉验证法对SEED 数据集[18]进行划分，即14 名被试的EEG 数据用于训练模型，其余一名被试的EEG 数据用作测试数据，并重复划分训练最终取平均值得到了79%的最好识别准确率。该论文中使用的这种方法是在考虑了剩余14 个被试的所有特征的情况下建立了一个对于新被试的分类器。但是不是所有已有被试的EEG 信号特征都会对新被试的情绪识别起到正面作用，因为不同人的身体情况不同，对于同样的情绪刺激给到的生理反应模式会有所不同。这个原因导致作者被试独立实验得到的准确率相对于被试依赖实验的准确率90.4%下降较多。

Chen 等人在研究[19]中提出了一种新的三阶段决策方法，用于在多被试的情况下从生理信号中识别情绪。在第一阶段中，训练数据以生理信号特征聚类为多个组；第二个阶段为每个组建立情绪池，将标签中的四种情绪分配到各个组的两个情绪池中；在第三阶段中，针对各个被试训练分类器以对每个情绪池中的两种情绪进行分类。在每个阶段中作者都实验多个分类器进行实验并选用效果最佳的分类器作为该阶段的分类器。该模型在DEAP 数据集上的总体平均分类准确率达到了77.57%。该模型中三个阶段的识别结果合成了最终结果，这种模式下前两个阶段的错误分类会影响第三阶段的分类。此外，模型性能也不够稳定，分类结果会极大的受到第二阶段情绪池划分方法的影响：当创建两个情感池为高唤醒度（HA）和低唤醒度（LA）时，高唤醒度和低唤醒度的正向情绪分类准确率分别为86.67%和80%，但高唤醒度和低唤醒度的负向情绪分类准确率仅为58.33%和30.56%。当构建的两个情绪池为高愉悦度（HV）和低愉悦度（LV）时，高唤醒度正向情绪的分类优于其他情绪。最佳分类准确率达到83.33%，但其他三种情绪的分类准确率不超过55.00%。

3 现有研究不足

现有的基于EEG 信号的情绪识别研究虽然已经取得了一定的进展，但依然存在若干问题与挑战需要解决：

（1）样本数量不足。由于EEG 信号数据收集和处理较为困难，目前多数研究都面临训练样本不足的问题。而样本数量有限会导致跨被试场景下的情绪分类器在测试集中新被试数据上的分类性能不佳。

（2）许多研究都努力从EEG 信号中找到与情绪最相关的特征，目前已经有时域特征、频域特征、统计特征和时域-频域特征这四大类特征被用于EEG 信号情绪分类。尽管已经尝试了如上的许多特征，但仍然没有明确的研究表明哪些EEG 信号特征组合与情绪变化最显著相关。

（3）由于每个人对于情绪的感知程度和生理特征上的差异，使得目前跨被试的情绪识别模型性能不佳，无法真正运用于实际场景中，仍然需要进一步的研究与改进。

4 结语

情绪自动识别作为人机交互的一个重要研究分支，在心理医疗、社会安全保障和安全驾驶等诸多领域均有广泛的需求。本文总结了当前识别准确率最高的基于EEG 信号的情绪识别研究，从被试依赖和跨被试两个研究类别切入对相关研究常用的机器学习方法、所做的改进、取得的研究成果以及已有研究存在的问题等进行了分析。目前，被试依赖的研究虽已取得较好成果但无法适用于现实场景，跨被试作为未来研究的重要方向目前研究较少，且现有研究的识别准确率较低，还需要对现有的模型进行进一步改进以促进基于EEG 信号的情绪自动识别研究的发展。