基于深度森林的脑电情绪识别研究

金雨鑫 骆懿 于洋

摘 要：为了改善传统脑电情绪识别方法需要对脑电信号进行深入了解，且需要人工提取相關特征的缺点，基于深度森林的表征学习能力对脑电样本的时域与频域数据进行自动特征提取，并融合32通道脑电信号的时域特征向量和频域特征向量，通过级联森林对特征作进一步学习。实验结果表明，该方法对效价二分类预测的准确率达到68.4%，查准率达到66.3%，查全率达到89.9%，F1分数达到76.3%;对唤醒度二分类预测的准确率达到68.2%，查准率达到65.8%，查全率达到91.2%，F1分数达到76.4%。通过与DEAP数据集使用EEG信号给出的二分类实验结果进行对比，基于深度森林的脑电情绪识别方法对未知样本的识别准确率高于DEAP的结果。

关键词：情绪识别;DEAP;脑电;深度森林

DOI：10. 11907/rjdk. 182720 开放科学（资源服务）标识码（OSID）：

中图分类号：TP301 文献标识码：A文章编号：1672-7800（2019）007-0053-03

Research on EEG Emotion Recognition Based on Deep Forest

JIN Yu-xin， LUO Yi， YU Yang

（School of Communication Engineering，Hangzhou Dianzi University，Hangzhou 310018，China）

Abstract：In order to improve the traditional EEG emotion recognition method， the EEG signals need to be deeply understood， and the shortcoming of relevant features need to be extracted manually.Based on the representation learning ability of deep forest， the time-domain data and frequency-domain data of EEG samples were automatically extracted. Then，the time-domain feature vectors and frequency-domain feature vectors of 32-channel EEG signals were integrated. The features were further learned through the cascade forest.Experimental results show that the binary classification accuracy rate of valence is 68.4%， the precision rate is 66.3%， the recall rate is 89.9% and the F1 score is 76.3%. The binary classification accuracy rate of arousal reached 68.2%， the precision rate reached 65.8%， the recall rate reached 91.2%， and the F1 score reached 76.4%. EEG recognition based on deep forest can not only extract features automatically， but also identify unknown samples more accurately than the results in DEAP paper.

Key Words： emotion recognition; DEAP; EEG; deep forest

作者简介：金雨鑫 （1994-），男，杭州电子科技大学通信工程学院硕士研究生，研究方向为情感计算、情绪识别;骆懿（1976-），男，杭州电子科技大学通信工程学院高级实验师，研究方向为嵌入式系统、模式识别;于洋 （1995-），男，杭州电子科技大学通信工程学院硕士研究生，研究方向为模式识别、计算机视觉。本文通讯作者：骆懿。

0 引言

情绪是集人们心理和生理作用于一体的复杂表现，早在1884年，心理学之父James第一次提出了情绪概念。自情感计算[1]提出以来，学者们致力于对情绪进行数学化处理，从而使计算机能够识别与处理，为人机交互提供更加可靠的信号输入。在该研究领域，通常使用生理信号提取有用特征，并应用统计机器学习领域相关技术识别情绪结果。

脑电信号是大脑皮层锥体细胞及垂直树突共同作用产生的电位总和，其包含了大量人体生理、心理的有效信息[2]。因此，测量与分析脑电信息能更加有效地认识人体生理及心理状态。Verma等[3]提取了EEG信号alpha、beta、gamma和theta 4个频率带的相对能量、对数相对能量、对数绝对值相对能量、标准差及谱熵特征，并采用SVM、MLP、KNN等算法对情绪进行分类;Sepideh等[4]使用AR模型对EEG信号进行建模，然后提取相关特征，并使用KNN算法对情绪进行分类;Xu等[5]采用短时傅里叶变换计算功率谱，以及theta、alpha、lower beta、upper beta和gamma频带相关特征，并利用深度信念网络对情绪进行分类;Jenke等[6]使用EEG提取统计特征、Hjorth特征、分形维数、高阶谱特征、希尔伯特—黄谱特征、离散小波时频谱特征及微分几何特征等，并利用Relief进行特征选择;Zhang等[7]采用经验模态分解方法，并提取固有模态函数的样本熵作为特征;Al等[8]使用离散小波变换提取多个通带的小波熵，统计特征并使用SVM进行分类;陈明[9-10]将脑电信号划分为4s一组，使用巴特沃兹滤波器将信号分解为多个频带，提取其中的信号功率作为特征，并采用RelifF算法进行通道选择;成敏敏[11]利用迁移学习方法对脑电情绪特征提取与分类进行研究;赵国朕[12]综述了国内外基于生理大数据的情绪识别发展现状，并推荐学者使用公开发表的DEAP数据集进行研究;蒋静芳[13]综述了基于脑电的情绪识别研究，对脑电特征提取方法进行了详细介绍。纵观国内外学者的已有研究，其大多采用传统特征工程提取方法，需要研究者对EEG信号有很深入的了解。近年来随着深度学习算法的发展，由于其具有独特的表征学习能力，使对EEG信号分析的门槛大大降低。

针对目前EEG信号情绪识别研究大多采用传统机器学习方法，人工提取相关特征向量的现状，本文主要研究内容如下：采用公开发表且目前数据量最大的情绪分析生理信号数据集DEAP[14]，使用该标准数据集的32路脑电EEG数据，应用深度森林对时域与频域数据进行多粒度特征扫描，自动提取特征向量，并融合32路EEG信号时域特征向量和32路EEG信号频域特征向量，给出对未知数据的预测。

1 数据选取及预处理

基于生理信号的情绪识别公开数据集主要有奥格斯堡大学数据集[15]、DEAP数据集[14]等。DEAP数据集是目前数据样本最大、生理信号种类及数量最多的数据集，因此本实验采用DEAP数据集32通道脑电数据作为数据样本。DEAP数据集主要属性如表1所示。

表1 DEAP数据集属性简介

DEAP数据集采用SAM（Self-Assessment Manikins）表给每一次情绪触发实验标注4个维度的标签值（Valence，Arousal，Liking，Dominance）。常见情绪模型是以Russell[16]为代表的维度模型，也是以愉悦度—唤醒度组成的二维空间模型，愉悦度又称为效价[17]。图1为愉悦度和唤醒度二维模型与某些情绪的对应关系，图2为全部1 280个数据样本在效价和唤醒度平面上的分布。研究中采用与DEAP数据集相同的二分类划分方法，即以效价和唤醒度评分的中值5进行划分。

图1 情绪效价-唤醒度模型

图2 1 280个数据样本分布

2 深度森林识别算法

深度森林（Deep Forest）[18]是一种基于多粒度扫描（Multi-Grained Scanning）与级联森林结构（Cascade Forest）的深度学习模型[19]。深度森林不仅具有与卷积神经网络相似的表征学习（Representation Learning）能力及端到端学习能力，且后续使用级联森林对表征学习所学习的特征向量作进一步加工处理。深度森林相比于普通卷积神经网络更加容易训练，没有过多的超参数，能够自动学习特征，而且还能自动确定级联森林的層数。在泛化性能方面与卷积神经网络相近，且在特定领域的数据集上具有更优异的表现。

2.1 多粒度扫描

通常对脑电信号采用传统机器学习工具进行分类时，需要使用人工特征工程进行预处理，而分类效果很大程度上取决于特征质量。传统机器学习模型需要强有力的特征，使学者们不得不在特征工程方面花费大量时间。深度森林使用可变的滑动窗口，根据预先设定的步长，在脑电数据上通过滑窗提取原始特征向量。将原始特征向量送入第一级级联森林并给出每一个样本预测结果，将所有预测向量拼接形成下一级级联森林的输入。图3展示了深度森林对8 064个点的生理时域信号进行多粒度扫描、提取原始特征向量的过程。

图3 多粒度扫描一个样本EEG信号

EEG信号频域特征往往具有时域特征无法表达的重要信息，频域分析是EEG信号分析领域不可或缺的重要工具。通常对时域信号采用傅里叶变换，将其变换成频域信息。使用离散傅里叶（DFT）变换将8 064点时域信号变换为频域，并利用多粒度扫描对频域幅度谱进行特征提取。8 064点DFT公式定义如下：

[DFT8064[x（n）]=n=08064-1x（n）e-j2πnk/8064，（k=0，1，？，8064-1）] （1）

2.2 多通道信号向量融合

多粒度扫描可以提取序列数据的抽象特征，并用于后续级联森林对特征向量的进一步处理。不同通道的脑电信号采用AgCl电极采集，代表了大脑不同位置的生理活动强弱，比如Coan等[20]研究发现具有积极作用的情绪通常与大脑左部额叶有关，而消极情绪则与大脑右部额叶有关。因此，需要融合32个不同位置的EEG信号，通过信号整体对情绪结果作出预测。多通道信号向量融合步骤如图4所示，提取32通道EEG信号时域特征向量和频域特征向量融合成高维特征向量并送入级联森林。

图4 多通道信号向量融合过程

2.3 级联森林

级联森林输入为多通道信号融合之后的向量。级联森林采用与深层神经网络类似的层级堆叠结构，从浅层输入数据，数据结果作为更深一层的输入，并且每一层都拼接原始输入向量。不同于深层神经网络采用的神经元结构，深度森林的神经元是决策树，在此之上组合成随机森林。如图5所示，每层包含两种随机森林，分别为完全随机森林和普通随机森林。每一层级联森林将多粒度扫描输出的向量与当前层所有森林预测输出的向量组合形成下一层输入。由于随机森林引入了属性扰动和样本扰动，增加了各个基模型之间的差异性和多样性，使得集成之后的学习效果鲁棒性更强。由于级联森林对森林个数等超参数不是特别敏感，在研究中每一级采用2片随机森林与2片完全随机森林进行组合，每片森林拥有101棵决策树，级联森林的深度由算法交叉验证，确定预测精度没有提升或提升不大时则森林停止生长。图5展示了级联森林对多通道信号融合之后向量的训练过程。

图5 级联森林对多通道信号融合之后的向量训练过程

3 实验与结果分析

在样本划分上，为检验模型对未知EEG信号的泛化能力，通过分层采样划分70%的样本作为训练集，30%的样本作为未知测试集。采用准确率（Accuracy）、查准率（Precision）、查全率（Recall）、F1分数 （F1-score）衡量模型效果，并与DEAP数据集使用EEG信号给出的二分类实验结果进行对比。实验结果如表2所示，相比于DEAP数据集，由深度森林学习给出的效价二分类准确率提高了10.8%，F1分数提高了20.0%，唤醒度二分类准确率提高了6.2%，F1分数提高了18.1%。

表2 实验结果与DEAP数据集结果对比

4 结语

本文使用深度森林算法对DEAP数据集32路脑电数据进行多粒度扫描，并融合32通道扫描结果形成多维向量。实验结果表明，基于深度森林的表征学习能力可对脑电数据实现有效的自动特征提取，且二分类精确度高于使用人工特征工程提取的算法。虽然深度森林自动学习特征并未在预测精度上超过专家学者精心设计的人工特征，但在一定程度上降低了分析EEG信号所需的专业知识门槛。

参考文献：

[1] PICARD R W. Affective computing[M]. Massachusetts：MIT Press， 1997.

[2] 李颖洁. 脑电信号分析方法及其应用[M]. 北京：科学出版社，2009.

[3] VERMA G K，TIWARY U S. Multimodal fusion framework： a multiresolution approach for emotion classification and recognition from physiological signals.[J]. Neuroimage， 2014， 102：162-172.

[4] SEPIDEH H，KEIVAN M，MOTIE N A. The emotion recognition system based on autoregressive model and sequential forward feature selection of electroencephalogram signals[J]. Journal of Medical Signals & Sensors， 2014， 4（3）：194-201.

[5] XU H， PLATANIOTIS K N. Affective states classification using EEG and semi-supervised deep learning approaches[C].IEEE， International Workshop on Multimedia Signal Processing， 2017：1-6.

[6] JENKE R，PEER A，BUSS M. Feature extraction and selection for emotion recognition from EEG[J]. IEEE Transactions on Affective Computing， 2017， 5（3）：327-339.

[7] ZHANG Y， JI X， ZHANG S. An approach to EEG-based emotion recognition using combined feature extraction method[J]. Neuroscience Letters， 2016， 633：152-157.

[8] ALI M， MOSA A H， MACHOT F A， et al. EEG-based emotion recognition approach for e-healthcare applications[C].ACM Symposium on Applied Computing. ACM， 2016：162-164.

[9] 陳明. 基于脑电信号的情绪识别[D]. 杭州：杭州电子科技大学，2017.

[10] ZHANG J，CHEN M，HU S，et al. PNN for EEG-based emotion recognition[C].IEEE International Conference on Systems， Man， and Cybernetics， 2017：002319-002323.

[11] 成敏敏. 基于EEG的情绪信息特征及其分类方法研究[D]. ？南京：东南大学，2017.

[12] 赵国朕，宋金晶，葛燕，等. 基于生理大数据的情绪识别研究进展[J]. 计算机研究与发展，2016，53（1）：80-92.

[13] 蒋静芳，曾颖，林志敏，等. 基于脑电信号的情绪评估研究综述[J]. 信息工程大学学报，2016，17（6）：686-693.

[14] KOELSTRA S，MUHL C，SOLEYMANI M，et al. DEAP： a database for emotion analysis using physiological signals[J]. IEEE Transactions on Affective Computing， 2012， 3（1）：18-31.

[15] WAGNER J，KIM N J，ANDRE E. From physiological signals to emotions： implementing and comparing selected methods for feature extraction and classification[C]. IEEE International Conference on Multimedia and Expo. IEEE， 2005：940-943.

[16] RUSSELL J A. A circumplex model of affect [J]. Journal of Personality & Social Psychology， 1980， 39（6）：1161-1178.

[17] 邹吉林，张小聪，张环，等. 超越效价和唤醒——情绪的动机维度模型述评[J]. 心理科学进展，2011，19（9）：1339-1346.

[18] ZHOU Z H，FENG J. Deep forest： towards an alternative to deep neural networks[C]. IJCAI，2017.

[19] 孙志军，薛磊， 许阳明， 等. 深度学习研究综述[J]. 计算机应用研究，2012，29（8）：2806-2810.

[20] COAN J A，ALLEN J J B，HARMON-JONES E. Voluntary facial expression and hemispheric asymmetry over the frontal cortex[J]. Psychophysiology， 2010， 38（6）：912-925.

（责任编辑：黄 健）