脑电信号与个人情绪状态关联性分析研究*

陈 萌，李幼军，刘 岩

北京工业大学 电子信息与控制工程学院，北京 100124

脑电信号与个人情绪状态关联性分析研究*

陈 萌+，李幼军，刘 岩

北京工业大学 电子信息与控制工程学院，北京 100124

人的情绪是人们对于客观事物是否满足自身需求而产生的一种综合状态，与生理信号有着密切的关联。对被试者心理状态剖面图（profile of moods states，POMS）的分量值和同时记录的个体静息态的脑电信号（electroencephalogram，EEG）特征值进行关联性分析研究。用小波变换对原始脑电信号进行预处理，脑电信号的特征值提取过程采用了经验模态分解（empirical mode decomposition，EMD）的方法，从预处理过的脑电信号中提取波动指数作为脑电特征值，随后将提取出的脑电特征值与POMS各分量值进行Pearson关联性分析。通过对8个被试者连续7天的POMS量表和脑电信号的记录与分析，得到脑电信号与情绪量表中的分量存在一定的正相关关联。

心理状态剖面图（POMS）量表；脑电信号（EEG）；经验模态分解（EMD）；皮尔森相关性分析

1 引言

情绪是人们对客观事物或情景（外界或自身刺激）是否满足自身愿望或需要而产生的态度体验，是人们多种感觉、思想和行为反应综合产生的心理和生理状态[1]。情绪状态有积极和消极之分，日常生活中人们较常体验到的情绪感受有高兴、抑郁、疲劳、惊慌、愤怒和紧张等。情绪研究的应用前景广阔，在人机交互、医疗健康、远程教育、娱乐游戏开发等众多领域均有重大的应用价值[2-3]。之前，对于人们情绪状态的评估手段主要是通过被试者主观地反馈对自身的评价得到的，而通过客观的生理信号获取被试者情感状态的手段更具有客观性，生理信号是伴随着人的情感状态由人体器官产生的一种客观的生物电信号。对于从客观生理信号来进行人们情绪状态的评估是有理论依据的。美国纽约城市大学巴鲁克学院和研究生院的心理生理学实验室的Andreassi教授指出生理信号与情绪状态的变化存在客观关系[4]。

脑电信号是最重要的生理信号之一，在情绪研究方面一直受到高度的重视。脑电信号是大脑内部亿万神经元活动在大脑皮层的综合反映，能够直接反映大脑的活动情况，情绪状态的不同和各种情绪的变化会在不同的大脑皮层位置反映出不同的脑电信号。英国伦敦大学的Eimer和Holmes用带有惊恐和中性表情的人脸图片作为刺激材料并利用事件相关电位来找出惊恐情感和中性情感间的差异[5]。Lin等人以音乐作为刺激材料，通过电极帽采集情感实验中的被试者脑电信号来进行情绪识别[6]。Frantzidis等人以图片作为视觉刺激对测试者进行试验，他们将所得到的数据分为心情愉悦和心情低落，高兴奋度和低兴奋度，并利用马氏距离分类法进行情感分类具有很高的分类精度[7]。Scotti等人将脑电特征与皮肤阻抗、血压、心电等外围生理信号一起作为情感识别的特征[8]。Zhang和Lee将脑电信号与人脸表情信号结合在一起来识别被试者的情感状态[9]。

虽然对情绪分析的方法有很多[10-11]，但以往研究主要以通过图片或者音乐刺激被试者从而记录被试者的脑电反映为主，而且主要研究正性、中性、负性情绪的识别，对长时间跟踪个人情绪状态变化进行研究和多情绪之间识别则很少。本文通过运用心理状态剖面图（profile of moods states，POMS）量表在长时间周期（每个被试者测试7天）跟踪记录被试者情绪状态和同时期的脑电信号来进行研究。

POMS量表是由美国的Mcnair等人于1971年编制而成的一种情绪状态评定量表，它包括6个分量表（紧张、压抑、愤怒、精力、疲劳和慌乱），共65个选项[12]。Grove等人在1992年第2期国际运动心理学杂志发表简式POMS问卷，其中增加了“与自尊心有关的情绪”分量表，其信度相关系数平均值为0.798，其预测效度也很高[13]。Zhu等人在全国22个省市内随机测试了大学生1 060名，中学生522名，对他们回答的各分量表得分与相应的有关题目得分进行相关考验，发现简式POMS问卷的信度在0.62～0.82之间，平均r=0.71，同样具有很高的信度[14]。因此本文采用简式POMS量表作为记录和评估被试者情绪状态的工具。

简式POMS共7个分量表，40个形容词，各分量表的词目混合排列。每一项的回答有5个分数等级；0表示全无；1表示有一点；2表示中等；3表示很多；4表示非常多。情绪状态总估价的计算公式是：消极的情绪分（紧张、压抑、愤怒、疲劳和慌乱分之和）减去积极的情绪分（精力和与自尊有关的情绪分之和），加上一个常数100。计算出来的情绪状态总估价（total mood disturbance，TMD）分数越高，表明更有消极的情绪状态，即心情更为纷乱、烦闷和失调，反之性情平静。在实验过程中，被试者要求根据当时的心境状态在这些描述心境的形容词上选择一种最符合自己情况的相应等级。

本文设计了一套收集数据的标准流程和方法，用以收集被试者的情绪变化情况和静息态的脑电信号；然后，采取经验模态分解（empirical mode decomposition，EMD）的分析方法进行脑电信号特征值提取，得到了相应的特征向量；最后，将POMS量表的情绪分量值与提取出来的EMD脑电特征值，通过Pearson关联性分析，以得到脑电信号与情绪状态分量之间的关联情况。

2 实验设计、实验过程及数据收集

2.1 实验设计

实验目的是为了分析长周期内静息态脑电信号与个人情绪状态（通过POMS量表分量）之间的关联性分析。为此目的，需要采集被试者的静息态脑电信号和同时期的POMS量表分量。

脑电数据使用Neurosky公司生产的Mindwave脑电设备进行采集，采集前额叶FP1位置信号，参考电极为左耳垂，采样频率为512 Hz。为了得到可控的脑电信号，本实验设计了基于安卓4.0操作系统的便携式脑电采集软件和POMS量表评估的移动端应用软件，软件主要通过蓝牙信号将脑电设备连接到移动设备，在移动设备内存自动生成文本文件，用以保存被试者的个人信息、脑电信息及POMS量表评估分数。采集地点为北京工业大学WIC实验室。

2.2 实验过程及数据收集

实验对象为8例健康人，均来自北京工业大学在校学生。被试者7男1女，年龄范围在22～26周岁，均值24.57，标准差1.62。被试者全部都是右利手，无任何精神疾病病史。被试者要求在每天傍晚7点左右带上Mindwave脑电信号采集装置，清醒闭目，静坐在安静、弱光的室内，与移动设备建立连接采集脑电数据。实验持续一周，由于脑电信号采集与受试者精神状态有极大关系，为了保证受试者保持在同一稳定的精神状态下，数据采集时间为5 min。脑电信号采集完毕后，被试者依据个人此时情绪状态进行POMS量表的评定，每天一次。实验一共采集到56条脑电原始数据及POMS量表结果数据，每条脑电数据包含3列信息，分别为时间、EEG转换值、脑电电压值，每个文件大小为4 MB，提取第三列作为脑电分析数据。每条POMS量表数据包括各个题目得分及总分。

3 数据处理

3.1 数据预处理

在POMS量表分析中发现8号被试者量表分量几乎没有变化，原因可能是8号被试者对POMS量表产生记忆影响或者是被试者对于自身情绪变化的敏感程度不大，因此其情绪分量几乎没有变化，对其进行关联分析没有太大的意义，故将8号被试者剔除。

实验中脑电信号十分微弱（μV级），主要频段在3～32 Hz范围内，极易受到外界各种噪声的干扰，主要有工频干扰（50 Hz）、肌电干扰、伪迹等，需要进行预处理。首先，从脑电原始数据中提取第2到第3分钟之间的1分钟进行分析，共13 720个脑电原始数据。使用1～40 Hz的带通滤波器滤掉EEG漂移信号和肌电干扰信号，保留主要频段。然后运用小波分析方法，通过极大极小值阈值法将脑电信号频带重叠部分的干扰消除，对处理过后的小波系数进行小波重构后得到滤波后的EEG波形。经测试，采用db5小波函数进行5层分解滤波，重构后的信号效果最好。处理前后脑电图如图1、图2所示。

由图1和图2可以看到，经过小波去噪后的脑电信号毛刺部分减少，光滑性较好，可以得到较好的脑电重构信号，便于下一步的处理。

预处理后的信号需要进行特征值提取，基于脑电信号的非线性和非平稳性特点，本文采用EMD时频分析方法。EMD方法是Huang等人提出的一种自适应的高效的数据分解方法[15]，该方法能根据信号本身的尺度特征对信号进行分解，获得一系列的固有模态函数（intrinsic mode function，IMF）分量，信号的非线性和非平稳特征能在各层IMF分量中显示出来。Thuraisingham等人计算每个IMF的希尔伯特加权频率来研究脊髓损伤的病人与正常人在连续睁眼与闭眼时脑电变化[16]。Chai等人对每个IMF成分求其功率谱密度作为特征进行研究[17]。EMD已经在脑电研究领域得到了广泛的应用。

Fig.1 Original EEG signal图1 原始脑电信号

Fig.2 Preprocessed EEG signal图2 预处理后脑电信号

EMD基本思路是：假设任何复杂信号都是由一系列幅度和相位都随时间变化的基本模式分量构成，这种基本模式分量满足两个约束条件：

（1）在整个信号曲线上，极值点的数目与过零点的数目相等或者至多相差为1；

（2）在整个波形曲线中，由局部极大值所定义的上包络线和由局部极小值所定义的下包络线的均值等于0。

具体做法是：

步骤1找到原信号x的极值点，将所有极大值点及所有极小值点分别用一条曲线联接起来，使两条曲线间能够包含所有的信号数据，从而得到信号x的上、下两条包络Umax和Umin。

步骤2计算两条包络线的平均值。

步骤3将均值从数据中减去x-m1=h1。

步骤4检查h1是否满足IMF的定义，不满足需要将h1视为新的数据，重复（1）～（4）；否则，h1为分离出来的第一个IMF，记为c1=h1。

步骤5 x1-c1=r1。将r1看作新的数据重复以上步骤，直至rn变成一个常量、一个单调函数，或者成为仅有一个极值点的函数，即不能再提取出IMF时分解过程结束，此时rn称为余量。原信号可表示为：

至此获得了m个IMF和1个余量，标号从低到高的IMF分别对应于原信号时间尺度从细到粗的特征信号。对EEG信号进行EMD分解得到各个IMF分量，然后提取IMF分量的特征。

EMD分解后可以得到11个IMF分量，前4个分量及频谱图如图3所示。

由图3可以看到，各层IMF代表了原始脑电信号中不同尺度的特征信号。第一层IMF主要包含25 Hz的能量，第二层主要包含了10 Hz的能量，第三层主要包含5 Hz的能量，第四层主要包含低频2 Hz左右的脑电信息，各IMF分量有频率随着层数逐渐下降特性。而前3个IMF分量包含大部分脑电信息，因此选取前3个IMF分量进行特征提取。

3.2 EEG特征向量提取

本文将波动指数作为特征值进行研究，波动指数是用来衡量信号变化强度的指标。不同情绪状态下信号变化强度不一样。其定义为：

其中，c(i)为EMD后得到的第i个IMF分量；n为IMF长度。即用信号相邻之间差值总和的平均数来表示信号的波动强度。

每条脑电数据可以得到3个IMF特征值。选取第6人的特征值作为示例，如表1所示。

Fig.3 The first 4 IMF components and frequency spectrum图3 前4个IMF分量及频谱图

Table 1 Fluctuation index of the sixth subject表1 第6个被试者波动指数特征

3.3 皮尔森相关系数分析

皮尔森相关系数是一种线性相关系数，用来反映两个变量线性相关程度的统计量，或者说可以用来计算两个向量的相似度。随机变量X、Y的相关系数为协方差与其标准差之积的比值。

两个样本之间的皮尔森相关系数如下公式：

其中，Pc为相关系数；(xi,yi),…,(xn,yn)为样本值。相关系数是-1到+1之间的数值，Pc＞0，称为正相关，Pc＜0，称为负相关。绝对值越大，样本之间的相关性就越高。

需要将被试者的POMS量表分量与脑电各个IMF特征值做相关性分析，同样选取第6个被试者的POMS量表得分作为示例，如图4所示。

将各个IMF分量的波动指数特征值与POMS各分量的得分进行相关性分析可以得到表2、表3、表4的结果，分别展示了前三层IMF分量与POMS量表的Pearson相关分析结果。

4 结果分析

Fig.4 POMS scale scores of the sixth subject图4 第6号被试者POMS量表得分

Table 2 Correlation between the first IMF component fluctuation index and scale component表2 第一层IMF分量波动指数与量表分量相关性

Table 3 Correlation between the second IMF component fluctuation index and scale component表3 第二层IMF分量波动指数与量表分量相关性

由表2到表4的结果可以看到，第一层IMF特征值与量表的相关结果中，愤怒分量有4个被试者都呈现出显著正相关，其中7号被试者出现了极显著相关。而且6号被试者情绪中的自我分量与IMF特征值有显著的负相关。第二层IMF分量特征值与情绪分量的相关结果中，愤怒分量有6个被试者都出现了显著的正相关，其中1号被试者的自我分量与特征值有显著的负相关。第三层IMF特征值与量表分量的相关结果中，愤怒分量也有4个呈现显著的正相关，其中1号被试者与7号被试者出现了极显著正相关的情况。1号与6号情绪中自我分量也有显著的负相关。总体的相关性结果中，除了愤怒与自我分量有显著相关性出现，其他情绪分量与IMF分量均没有出现显著相关。

在所有的21个特征值中，愤怒分量与IMF分量呈现显著正相关高达15个，包含了3个极显著正相关，所占比例为71.4%，情绪中的自我分量只有4个出现显著的负相关，而其他的分量并没有出现显著相关。由此可以得出前额叶FP1位置的脑电与情绪量表中的愤怒分量有显著正相关。

Table 4 Correlation between the third IMF component fluctuation index and scale component表4 第三层IMF分量波动指数与量表分量相关性

5 结论与展望

为了研究长周期内情绪状态与脑电的相关性，本文设计了一套进行数据收集的标准流程和方法，采集被试者的POMS情绪状态与脑电信息。随后用EMD分析方法将脑电信号进行分解，以波动指数为特征值从IMF中提取相应的特征向量。最后，将特征向量与POMS量表分量进行Pearson关联性分析，得到前额叶FP1位置脑电信号与情绪状态量表的愤怒分量之间存在显著的正相关。

本研究也有许多不足之处，未来工作中有以下方面需要加以改进和提升：应增加被试者数量来继续验证结论。尝试通过使用多电极便携式脑电设备对其他脑部位置研究与情绪分量的相关性。在通过POMS量表记录被试者情绪变化的过程中，可以通过随机排列POMS量表分量顺序的方式，减少由于被试者的记忆效果而不能正确反映情绪状态的影响等。

[1]KoelstraS,Mühl C,Soleymani M,et al.DEAP:a database for emotion analysis using physiological signals[J].IEEE Transactions onAffective Computing,2012,3(1):18-31.

[2]Frantzidis C A,Bratsas C,Klados M A,et al.On the classification of emotional bio signals evoked while viewing affective pictures:an integrated data-mining based approach for healthcare applications[J].IEEE Transactions on Information Technology in Biomedicine:Special Section on Affective and Pervasive Computing for Healthcare,2010,14 (2):309-318.

[3]Kim M K,Kim M,Oh E,et al.A review on the computational methods for emotional state estimation from the human EEG[J].Computational and Mathematical Methods in Medicine,2013:573734.

[4]Filipovic S R,Andreassi J L.Psychophysiology:human behavior and physiological response[J].International Journal of Psychophysiology,2001,15(3):210-212.

[5]Eimer M,Holmes A.An ERP study in the time course of emotional face processing[J].NeuroReport,2002,13(4): 427-431.

[6]Lin Yuanpin,Wang Chihong,Jung T P,et al.EEG-based emotion recognition in music listening[J].IEEE Transactions on Biomedical Engineering,2010,57(7):1798-1806.

[7]Frantzidis C A,Bratsas C,Klados M A,et al.On the classi-fication of emotional biosignals evoked while viewing affective pictures:an integrated data-mining-based approach for healthcare applications[J].IEEE Transactions on Information Technology in Biomedicine,2010,14(2):309-318.

[8]Scotti S,Mauri M,Barbieri R,et al.Automatic quantitative evaluation of emotions in e-learning applications[C]//Proceedings of the 28th Annual International Conference of the IEEE Engineering in Medicine and Biology Society,New York,Aug 30-Sep 3,2006.Piscataway,USA:IEEE,2006: 1359-1362.

[9]Zhang Qing,Lee M.Ahierarchical positive and negative emotion understanding system based on integrated analysis of visual and brain signals[J].Neurocomputting,2010,73(16/ 18):3264-3272.

[10]Senechal T,Bailly K,Prevost L.Impact of action unit detection in automatic emotion recognition[J].Pattern Analysis andApplications,2014,17(1):57-67.

[11]Murugappan M,Ramachandran N,Sazali Y.Classification of human emotion from EEG using discrete wavelet transform[J].Journal of Biomedical Science and Engineering, 2010,3(4):390-396.

[12]Mcnair D M,Lorr M,Droppleman L F.Mannal for the profile of mood states.EdITS,1971.

[13]Grove J R,Prapavessis H.Preliminary evidence for the reliability and validity of an abbreviated profile of mood states [J].International Journal of Sport Psychology,1992,23(2): 93-109.

[14]Zhu Beili.Brief introduction of POMS scale and its model for China[J].Journal of Tianjin University of Sport,1995, 10(1):35-37.

[15]Huang N E,Shen Zheng,Long S R,et al.The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis[M]//Mathematical, Physical and Engineering Sciences.London:The Royal Society,1998:903-995.

[16]Thuraisingham RA,Tran Y,CraigA,et al.Frequency analysis of eyes open and eyes closed EEG signals using the Hilbert-Huang transform[C]//Proceedings of the 34th Annual International Conference of the IEEE Engineering in Medicine and Biology Society,San Diego,USA,Aug 28-Sep 1, 2012.Piscataway,USA:IEEE,2012:2865-2868.

[17]Chai R,Ling S,Hunter G P,et al.Toward fewer EEG channels and better feature extractor of non-motor imagery mental tasks classification for a wheelchair thought controller [C]//Proceedings of the 34th Annual International Conference of the IEEE Engineering in Medicine and Biology Society,San Diego,USA,Aug 28-Sep 1,2012.Piscataway, USA:IEEE,2012:5266-5269.

附中文参考文献：

[14]祝蓓里.POMS量表及简式中国常模简介[J].天津体育学院学报,1995,10(1):35-37.

CHEN Meng was born in 1988.He is an M.S.candidate at Beijing University of Technology.His research interests include brain informatics,signal processing and data mining.

陈萌（1988—），男，河南郑州人，北京工业大学硕士研究生，主要研究领域为脑信息，信号处理，数据挖掘。

LI Youjun was born in 1978.He received the M.S.degree in computer application technology from North China University of Technology in 2009.Now he is working toward the Ph.D.degree at International WIC Institute,Beijing University of Technology.His research interests include machine learning,data mining and pattern recognition.

李幼军（1978—），男，河南洛阳人，2009年于北方工业大学计算机应用专业获得硕士学位，现于北京工业大学WIC研究院攻读博士学位，主要研究领域为机器学习，数据挖掘，模式识别。

LIU Yan was born in 1989.He is an M.S.candidate at Beijing University of Technology.His research interests include brain informatics,signal processing and data mining.

刘岩（1989—），男，河北石家庄人，北京工业大学硕士研究生，主要研究领域为脑信息，信号处理，数据挖掘。

Analysis of Correlation Between EEG Signal and Personal Emotional State*

CHEN Meng+,LI Youjun,LIU Yan
College of Electronic Information&Control Engineering,Beijing University of Technology,Beijing 100124,China

+Corresponding author:E-mail:Chenmeng0527@126.com

CHEN Meng,LI Youjun,LIU Yan.Analysis of correlation between EEG signal and personal emotional state. Journal of Frontiers of Computer Science and Technology,2017,11(5)：794-801.

People's emotion is a kind of comprehensive state whether objective things meet people own needs is closely associated with the physiological signal.The subjects POMS(profile of moods states)scales and the EEG (electroencephalogram)signals of resting state at the same period are collected to study the correlation between them.Wavelet transform is used to preprocess the original EEG signal.EMD(empirical mode decomposition)method is adopted to decompose the denoised EEG into IMFs(intrinsic mode functions).Volatility index is extracted from the IMFs as a feature.The EEG features and POMS scales are analyzed by Pearson correlation analysis.The POMS scale and EEG signals are recorded and analyzed in 8 subjects for a period of 7 days.The experiment shows that there exists a strong correlation between the EEG signal and the related components of the personal emotion state.

profile of moods states(POMS)scale;electroencephalogram(EEG);empirical mode decomposition (EMD);Pearson correlation analysis

10.3778/j.issn.1673-9418.1603055

A

TP183

*The National Basic Research Program of China under Grant No.2014CB744600(国家重点基础研究发展计划(973计划)).

Received 2016-03,Accepted 2016-05.

CNKI网络优先出版:2016-05-13,http://www.cnki.net/kcms/detail/11.5602.TP.20160513.1434.008.html