基于多导联脑电时空信息的情感分类研究

李铭，乔晓艳

（山西大学 物理电子工程学院，山西 太原 030006）

0 引言

情绪影响着人们的行为，在日常生活中起着不可替代的作用。情感识别是情绪研究中重要的一环［1］，相较于面部表情、文本、语音等非生理信号［2］，脑电信号能够真实、客观地反映人的情感状态，因此越来越多的学者将脑电信号应用于人机情感交互的研究领域［3］。

传统的基于脑电的情感识别主要是从时域、频域、非线性信息熵中提取脑电特征，利用机器学习方法进行情感识别［4］。Fang等提出了一种多特征深度森林模型来识别人的情感［5］，将脑电信号分为多个频带，从每个频带中提取功率谱密度（Power Spectral Density，PSD）和微分熵（Differential entropy，DE），以降维后的特征作为输入，构建深度森林模型，并对中性、愤怒、悲伤、快乐和愉快五种情感进行分类，获得71.05%的平均识别准确率。陈景霞等人结合共空间模式和小波包分解算法［6］，对实验获得的脑电波数据进行空间滤波处理和小波包能量特征提取，采用装袋树、支持向量机（Support Vector Machines，SVM）、线性判别分析和贝叶斯线性判别分析分类器，分别对高兴与悲伤两类情感分类，最终使用SVM分类器达到86.20%的最高分类准确率。Ali 等将小波能量、修正能量、小波熵和统计特征相结合，使用三个不同的分类器（二次鉴别分析、k近邻和支持向量机）来鲁棒地识别情绪［7］，获得了83.87%的情绪四分类准确率。朱永升等采用二次滑动均值粗粒化对脑电信号进行多尺度处理［8］，利用快速样本熵算法提取不同时间尺度的样本熵作为特征向量，采用随机森林分类器识别不同的情感状态，对正性、中性和负性情感在大脑侧额区获得了88.75%的平均分类准确率。Hwang等利用脑电信号中多通道及多频带的局部信息，提出了一种卷积神经网络模型的情绪识别方法［9］，在离散情感脑电数据集上实现了90.41%的平均识别准确率。Joshi等提出了一种基于线性差分熵特征提取器和双向长短时记忆网络分类器的脑电信号情感检测方法［10］，线性差分熵能有效地检测脑电信号的非线性和非高斯性，双向长短时记忆网络捕捉脑电序列的长时依赖性，并从不同的脑区学习空间信息，该模型对SEED数据集的正性、负性和中性情绪识别准确率达到了90.22%以上。但该模型算法较复杂，不便于实际应用。

虽然现有的方法在情感识别领域取得了较好的效果，但大多数方法只考虑了脑电信号的时域、频域或非线性特征，忽略了大脑信号丰富的空间关联信息，而且情感识别模型提取的脑电特征数量较多、方法复杂，且特征存在冗余，影响情感识别模型的效率，难以得到实际应用。为了充分利用脑电时空关联特征信息，降低脑电情感识别的特征数量并减少提取方法的复杂性，本文通过研究不同导联脑电的相关性与同步性，探索大脑时空关联程度与不同情感状态之间的对应关系。通过提取脑电信号的皮尔逊相关系数，小波相干指数，以及相位同步指数，利用支持向量机分别对单特征以及特征组合，实现正性、负性和中性三种情感状态的分类识别，为情感脑机接口系统的脑电信息解码提供一种有效方法。

1 数据集与数据预处理

本文采用上海交通大学提供的数据集SEED［11-12］（SJTU Emotion EEG Dataset），该 数据集包含15名被试者（7名男性，8名女性），每名被试者每次实验观看15个电影片段诱发不同情感（积极、消极、中性各5个片段），每次实验总共有15个对应的trials。在一个trial 中，均有5 s的开始提示，电影播放时间4 min， 自我评估为45 s，休息时间15 s。实验的流程如图1所示。所选影片均经过测试评估，能有效诱发目标情感。每名被试者进行三轮实验，每轮实验的时间相隔为一周，每名被试者共进行了45次实验。

每名被试者每次情感诱发实验均记录了62个通道的脑电信号，根据国际10-20标准系统采集大脑不同位置的脑电，62个导联分布如图2所示。SEED数据集包含两部分数据：一是经过预处理后的情感脑电数据，截取自大约4 min的视频观影时所对应的脑电信号，去除眼电、肌电伪迹并降采样至200 Hz；另一部分是生成的特征数据集［12］，这些特征包括功率谱密度（PSD）、微分熵（DE）、微分非对称性（DASM）、有理非对称性（RASM）、非对称性（ASM）和微分尾端性（DCAU）特征。

为了避免重复实验对诱发情感强度的影响，本文统一采用所有被试者第一轮次实验时采集到的脑电数据。对所有被试者，以单导联中为样本进行特征的提取，得到尺寸为［15×15×62］的样本集合，其中第一个15为被试者数量，第二个15为每名被试者在一次实验中观看的电影片段数量，62为空间电极导联数量。针对每一种情感状态，得到样本的数量大小为4650（15×5×62）。

2 特征提取与分析

由于脑电节律活动的强弱反映了大脑不同的工作状态，同时不同的脑电节律与情感状态密切相关。本文首先对采集的脑电信号采用数字带通滤波器，获取 theta（4 Hz～8 Hz）、alpha（8 Hz～13 Hz）、beta（13 Hz～30 Hz）和 gamma（31 Hz～45 Hz）四个不同频段的脑电节律，并选取与情绪相关联的脑电α、β与γ节律，分别在3个节律与全频段脑电计算皮尔逊相关系数、小波相干指数以及相位同步指数，分析不同导联脑电的相关性与同步性。

2.1 脑电皮尔逊相关系数

2.1.1 皮尔逊相关系数

皮尔逊相关系数用于考察两个变量之间的相关程度，两个不同信号之间的皮尔逊系数计算如下：

其中，E（X）表示信号的数学期望，μX表示该信号的幅度平均值，σX为该信号的标准差，cov（X，Y）表示两个不同信号之间的协方差，ρX，Y表示两个不同信号X与Y间的皮尔逊相关系数。对于变量X和Y，皮尔逊相关系数的含义为：当相关系数为0时，X和Y两变量无相关性；当X值增大（减小），Y值增大（减小），两个变量为正相关，相关系数在0.00与1.00之间；当X值增大（减小），Y值减小（增大），两个变量为负相关，相关系数在−1.00与0.00之间。同时相关系数的绝对值越大，相关性越强，相关系数越接近于1或−1，相关程度越强，相关系数越接近于0，相关程度越弱。

2.1.2 不同导联脑电信号的皮尔逊相关系数

本文提取62个导联的脑电两两信号之间的皮尔逊相关系数，以某导联与62个导联信号间的皮尔逊相关系数作为该导联上提取的62维特征，其中相同导联脑电的皮尔逊相关系数为1。图3表示被试1诱发正性与负性情感时，62个导联脑电信号间皮尔逊相关系数矩阵，横纵坐标表示分别为脑电导联，不同颜色代表导联间的皮尔逊相关系数大小。

由图3可知，在正性情感视频诱发下，对应31−62号导联之间的皮尔逊相关系数较大，这些导联的位置分布在大脑的中央区、顶叶与枕叶区域，表明诱发正性情感时，大脑中央区与枕区、顶区之间相关性增强，同一脑区的神经元之间活动性较强，相互作用增多。受试者被负性情感的视频刺激后，对应41−62号导联之间的皮尔逊相关系数较大，这些导联的位置分布在大脑的顶叶与枕叶区域，表明诱发负性情感时，大脑枕区与顶区之间相关性较强。受试者被中性情感的视频诱发下，同一脑区之间、不同脑区之间皮尔逊相关系数均较小，表明中性情感相比正、负性情感，大脑脑区活动的相关性减弱。

2.2 小波相干系数特征提取

2.2.1 小波相干系数

小波相干是在小波变换基础上计算信号的时频相干性，具有突出信号的局部特征的能力。脑电信号是一种非平稳随机信号，因此本文采用小波相干方法，研究不同情感状态对应的脑电导联之间时域与频域的局部化关联特征，以此体现不同脑区之间的时频关联强度。

不同信号间的小波相干系数定义［13］为：

公式（2）中，Cx(a，b)和 Cy(a，b)表示 x和 y两个不同信号在尺度因子a和平移因子b的连续小波变换的小波系数，上标*表示复共轭，S表示小波系数在时间和尺度上的平滑算子。小波相干系数是两组信号在时频域局部相干性的度量。

2.2.2 不同脑电信号的小波相干系数

按照2.2.1中的公式，计算脑电62个导联两两信号之间的小波相干系数，相同导联间的小波相干系数归一化为1。图4表示被试1在诱发正性与负性情感时，全导联脑电信号的小波相干系数，横纵坐标表示分别为脑电导联，不同颜色代表导联间的小波相干系数大小。

由图4可知，在正性情感的视频诱发下，对应1−10号导联之间、50−62号导联之间的脑电小波相干系数较大，这些导联的位置分布在大脑的额叶与枕叶区域，表明在正性情感诱发下，大脑额区、枕区的局部联系与活动增强；对应1−28号导联与36−62号导联之间呈现弱相干性，表明大脑额叶与颞叶区域在处于诱发正性情感状态时与其他脑区的协同性与联系减弱。受试者被负性情感的视频刺激后，对应1−10号导联之间、50−62号导联之间，脑电小波相干系数减小。表明诱发负性情感后，大脑对应的额区、枕区的局部联系与活动减弱，同一脑区间的活动性减弱。中性情感相比负性情感，小波相干系数变化不显著。对比正性与负性情感的小波相干系数图，大脑同一区域脑电的小波相干系数，正性情感状态要比负性情感状态大，表明其活动程度增强。而在大脑不同区域，正性情感与负性情感的小波相干系数差别不显著，表明大脑不同区域的协同性没有明显变化。

2.3 相位同步指数特征提取

2.3.1 Hilbert相位同步性

相位同步性是分析两个或多个周期性振荡信号的同步振荡关系［14］。相位同步是大脑功能整合的机制之一。本文利用Hilbert变换将脑电信号分解为独立的相位与幅度，能够完全保留原不同导联脑电活动的相位特性，反映脑电信号的变化趋势，突出信号的实时性［15］。

给定信号x(t)，通过Hilbert变换后为

其解析信号定义为：

定义n∶m为两信号间的相位锁定比，一般n∶m=1∶1。

相位同步指数［16］为

其中，“<∙>t”表示时间平均，γH的取值范围为0～1。当γH=0时，两信号之间无任何相位同步；当γH=1时，两信号之间有稳定的相位差，即表现为相位同步。γH最重要的一个特点就是，它只对信号的相位敏感，而对幅度没有反映。相位同步指数法直观且可应用于非线性信号之间的同步性分析。

2.3.2 脑电导联信号间的相位同步性

通过使用Hilbert函数，求取62导联信号的平均相位，最后通过计算导联信号间的相位差从而求取导联信号间相位同步指数，图5表示1号被试者通过电影片段诱发正性与负性情绪时，全导联脑电信号的相位同步指数，横纵坐标分别为脑电导联数目，不同颜色代表导联间的相位同步指数大小。

由图5可知，在正负性情感的视频刺激下，对应35−62号导联之间的相位同步指数较大，这些导联的位置分布在大脑的中央区、顶叶与枕叶区域，这表明在诱发正性与负性情感时，大脑中央区与顶叶与枕叶区域间的同步性增强，产生同步振荡现象，协同性较强。在中性情感的视频刺激下，各导联之间的相位同步指数较小，表明在诱发中性情感时，脑电导联之间的协同性较低。

3 情感分类与结果分析

3.1 分类模型评价

由于特征提取在情感识别中具有重要的作用，获得与情感状态紧密关联的脑电特征直接影响着情感识别的精度，本文重点在于脑电时空关联特征信息的提取和利用，情感分类方法不作为研究重点，因此在情感分类时，采用了当前应用比较广泛且具有较好分类性能的支持向量机分类器。为有效合理地利用训练数据训练分类器，提高分类器的泛化能力，将训练数据平均分成N份（N=5），随机取一份作为测试数据，其他N−1份作为训练数据，进行交叉验证，获得分类器模型的最佳参数。采用网格搜索法寻找SVM核函数最佳参数v和c，对v和c设定一组初值，并以网格步进方式搜索，对每一组参数（c，v）计算分类正确率，正确率最大的那组参数对应设置为核函数最佳参数值。为防止数据不平衡导致某一类情感分类的结果变差，采用的正性、负性与中性情感的样本数据是均衡的。

分类问题中常用分类准确率（Accuracy，Acc）、精确率（Precision，P）、召回率（Recall，R）和F1值评价分类性能，可以用混淆矩阵表示评价指标。其中，精确率是指预测出来的正例中正确的比例，召回率是指该正例被预测出来的比例，精确率和召回率越高，该分类器性能越好。F1值可以反映精确率和召回率。F1值越大，表明分类器泛化性能越好。

3.2 脑电不同空间关联特征的情感识别分析

本文首先利用全波段脑电信号的皮尔逊相关系数、小波相干系数、相位同步指数分别进行单特征情感分类，之后将三个特征组合再次进行情感分类，验证所选择的脑电空间关联特征以及分类器对情感识别的有效性。图6为基于不同脑电特征的情感分类结果的混淆矩阵，图7为不同脑电特征的分类结果对比。

图6与图7结果表明，分别采用单一特征进行情感分类的情况下，皮尔逊相关系数可以获得88.8%的情感识别准确率，分类精确率为88.6%，召回率为89.4%，F1值为0.899，相比较小波相干系数和相位同步指数，其情感分类效果更好。而在三类特征进行组合后，情感三分类的平均识别准确率达到91.5%，平均提升5.5%，情感识别效果最好。结果表明选择皮尔逊相关系数、小波相干系数以及相位同步指数作为情感脑电特征，在单特征与三特征组合输入时，情感识别都具有较好的分类性能，其分类准确率均在80%以上，且特征组合比单一特征的分类准确率高。表明利用脑电的时空信息可以有效的进行情感分类。

3.3 脑电不同节律的情感识别分析

使用全频段脑电的空间关联特征进行情感识别，并验证其有效性之后，本文还在不同的脑电节律（α、β、γ）下，分别采用皮尔逊相关系数、小波相干系数和相位同步指数，通过支持向量机进行情感分类，以获取与情感分类最相关的脑电节律。表1为3种不同脑电节律及全频段脑电的情感分类平均正确率对比。

由表1可知，采用皮尔逊相关系数和相位同步指数特征时，全频段脑电的情感识别平均准确率最高，分别达到88.8%与87.6%，比单一节律下平均高出16.7%与5.8%，表明全频段脑电的空间关联特征充分利用了脑电的频域信息，可以挖掘到脑电更多的表征情感的信息，有利于提高情感识别正确率。此外，对于α、β、γ节律，相位同步指数特征都取得了较好的单特征分类结果，同时γ节律相对其他两个节律都取得了单一特征下较好的情感识别正确率，表明脑电的γ节律与情感关联更密切，γ节律是大脑认知和情绪加工的基础。

同时发现，在脑电全频段与不同节律下，皮尔逊相关系数的情感识别结果相差了14.8%～17.8%，而相位同步指数的识别结果仅相差4.7%～6.7%，表明在脑电不同节律下，相位同步指数具有更稳定的情感分类性能，而在脑电全频段下，皮尔逊相关系数对情感识别的效果更好。

3.4 脑电频域特征的空间相关性情感识别分析

由于全频段脑电信号的皮尔逊相关系数，在单一特征情感分类中获得了较好的分类性能，因此本文利用SEED数据集生成脑电特征数据集，对提取得到的脑电功率谱密度、微分熵、微分非对称性、有理非对称性、非对称性和微分尾端性特征，进一步计算各个导联的脑电特征之间的皮尔逊相关系数。通过对比数据集中的六类特征，发现功率谱（PSD）与微分熵（DE）特征对于情感识别有较好的效果，因此选择脑电这两个特征计算导联之间的皮尔逊相关系数，并与采用原始脑电计算导联之间的皮尔逊相关系数进行比较，结果如图8所示。

由图8可知，基于脑电PSD特征的皮尔逊相关系数，三种情感状态识别的平均准确率达到90.6%，比采用原始脑电数据的皮尔逊相关系数进行分类，正确率提升了1.8%；基于脑电DE特征的皮尔逊相关系数，平均分类准确率达到93.7%，识别正确率提升了4.9%，并且精确率、召回率和F1值均有明显提高。该结果表明，对脑电信号先提取特征信息，再计算不同导联特征之间的空间相关性作为新的特征，其分类器拥有更好的识别性能。

3.5 与现有方法对比

同样使用SEED数据集进行情感三分类，本文方法较其他方法取得了更好的情感分类结果，如表2所示。与文献［17］采用脑电的线性与非线性特征结合支持向量机进行情感三分类比较，识别正确率提高了10.4%；与文献［7］采用线性差分熵特征结合双向长短时记忆网络进行情感三分类比较，识别正确率提高了3.5%；与文献［18］采用的脑电融合特征结合卷积神经网络进行情感三分类比较，识别正确率提高了5.5%。本文方法优于其他方法的原因在于提取了不同导联脑电微分熵特征的皮尔逊相关系数，充分利用了脑电信号的时空关联信息，从而获得较好的情感分类效果。

4 结束语

本文通过提取脑电皮尔逊相关系数、小波相干系数和相位同步指数，提出了一种脑电导联之间的相关性和同步性作为特征信息进行情感识别的方法，该方法仅通过单一的空间关联特征即可获得较高的情感识别正确率和泛化能力，特征提取方法简单实用，分类性能良好。实验结果表明，提取脑电相关性与同步性特征，在单一特征以及三类特征组合的情况下，都可以得到较好的情感分类准确率；脑电相位同步指数相比皮尔逊相关系数、小波相干系数两个特征，在单一节律与全频段条件下都取得了较好的情感识别效果。从而利用脑电信号的空间关联信息，采用少量特征进行情感识别是有效的。该研究可以应用于实时的情感脑机接口系统中，实现快速准确的情感识别。