基于IMF能量矩的脑电情绪特征提取研究

王成龙 韦巍 李天永

摘 要： 为了提高脑电信号情绪识别分类的准确率，在小波变换的基础上，结合经验模态分解（EMD）和能量矩提出一种新的脑电特征提取方法。该研究利用小波变换提取左右前额叶（AF3，AF4）、左右额叶（F3，F4）和左右顶叶（FC5，FC6）通道的α波、θ波、β波和γ波节律；对提取的脑电节律进行EMD分解获得固有模态函数（IMF）分量，再进一步提取IMF分量的能量矩特征；最后使用支持向量机实现情感状态评估。实验结果表明，将IMF能量矩用于脑电信号情感识别是可行的。

关键词： 小波变换； 经验模态分解； 本征模态函数； 能量矩； 脑电信号； 情感识别

中图分类号： TN925?34； TP391.4 文献标识码： A 文章编号： 1004?373X（2018）20?0010?04

Abstract： A new EEG feature extraction method is proposed based on wavelet transform， empirical mode decomposition （EMD） and energy moment， so as to improve the classification accuracy rate of EEG signal emotion recognition. The wavelet transform is used to extract the α， θ， β and γ waveform rhythms for channels of left and right prefrontal lobes （AF3， AF4）， frontal lobes （F3， F4） and parietal lobes （FC5， FC6）. The EMD is conducted of extracted EEG rhythms to obtain components of the intrinsic mode function （IMF）， and further extract the energy moment feature of IMF components. The support vector machine is used to realize emotion status evaluation. The experimental results show that it is feasible to apply the IMF energy moment in EEG signal emotion recognition.

Keywords： wavelet transform； empirical mode decomposition； intrinsic mode function； energy moment； EEG signal； emotion recognition

0 引 言

脑电信号是一种非平稳、非线性的随机信号，单独考虑时域特征或频域特征都是不全面的，因此越来越多的研究致力于脑电信号时频特征的研究。经验模态分解（EMD）是一种自适应信号时频分析方法，分解的本征模态函数（IMF）能够体现信号的非线性、非平稳性特征。自从1998年，Huang等提出EMD算法以來，EMD算法在国内外脑电信号的研究中应用非常广泛[1]。沈雪丽将小波包变换和HHT结合起来，应用到睡眠脑电的分期识别中[2]。李淑芳从癫痫脑电信号中提取IMF分量的能量、幅值和波动指数特征，提高了癫痫脑电信号的识别率[3]。杨鹏圆利用HHT和小波包变换提取脑电信号的多个特征进行愉悦度的识别[4]。陆苗使用分段幂函数插值算法改善EMD分解的精度，并提取IMF能量熵作为特征，提高了情感识别的准确率[5]。Arasteh提取EMD的灵敏度的信噪比作为特征[6]。Rifai Chai提取每一个IMF分量的功率谱密度作为特征[7]。Ahmet Mert提出了多元经验模态分解应用于脑电的情绪识别[8]。

本文提出一种新的基于IMF能量矩和SVM的脑电情绪识别方法。通过利用小波变换分解重构出α波、θ波、β波和γ波，再利用EMD将小波变换的信号进行分解，得到一系列的IMF分量，进一步提取IMF的能量矩作为特征，通过SVM分类器建立脑电情感识别模型。

本文研究使用的所有数据均来自Koelstra 2010年提取的脑电情感分析数据库[9]。

1 EMD方法原理

EMD是一种非参数自适应方法，它能把复杂的数据分解成若干个有限的IMF。

EMD分解的具体过程如下：

1） 找出原始信号x（t）所有的局部极大值点和极小值点；

2） 对所求的极大值点和极小值点进行三次样条插值，求出上包络线xu（t）和下包络线xl（t）；

2 IMF能量矩

针对脑电信号的时变、非平稳性特性，本文引入了一种IMF能量矩的特征提取方法，其是对传统IMF能量或能量熵的改进。它采用IMF与时间乘积的积分来获得每一个IMF的能量特征值，可以更好地反应不同时间内能量的波动情况，更准确地获得信号的本质特征[10]。IMF能量矩的定义为：

为了验证IMF能量矩与IMF能量表征脑电信号情绪的能力，对第一个受试者的Fp1通道的第1个实验和第40个实验的IMF能量矩和IMF能量分别进行了对比。获取这两个信号前三个IMF分量的能量和能量矩，其统计直方图如图1和图2所示。

通过对比可以看出，第一个受试者的Fp1通道的第1个实验和第40个实验的能量直方图的区别并不明显；当引入能量矩后，两者的差异性明显增加，更有利于脑电信号不同的情绪之间的识别。

3 特征提取

特征提取是情绪识别的关键环节，提取特征的好坏直接影响到情绪识别的准确率。

根据已有的脑电研究成果，脑电信号的不同节律，对情绪的影响也不同。α波与积极的音乐情绪呈现负相关趋势，β波与积极的音乐情绪呈现正相关趋势[11]。Sammler等人通过研究快乐与悲伤的音乐的脑部活动发现，快乐的音乐与θ波的升高有关[12]。关于δ和γ的情绪识别的相关研究相对较少。由于选用的数据集的频率范围为4～45 Hz，因此本文的脑电信号的特征提取主要体现在θ，α，β和γ四种节律上。

首先将32个受试者的脑电信号利用小波变换进行分层分解，分解重构出θ波、α波、β波和γ波。接着进行EMD分解，获得n个IMF分量和残余项。以第一个受试者的第一个实验的α波为例，EMD分解如图3所示。

考虑到每一个信号进行EMD分解之后的IMF的个数不一样，并且如果选取全部的IMF进行特征提取，那么特征向量的维数将会非常高。由于前三阶的IMF分量的能量几乎包含了信号98%左右的能量，因此选择前三阶的IMF分量进行特征提取。以第一个受试者第一个通道的所有实验为例，前三阶的IMF能量的比例如图4所示。

4 脑电信号情感识别实验

脑电数据库中，每一个实验有7 680个数据点。如果选择全部的数据进行实验，则在CPU为I5?4590的电脑上需要运行30 h左右。因此本文根据Candra等人的研究[13]，截取3～12 s的脑电数据进行分析。Oostenveld等人的研究表明情绪的产生主要集中在大脑的顶叶和前额叶部分[14]，所以选择左右顶叶（FC5和FC6）、左右额叶（F3和F4）和左右前额叶（AF3和AF4）的脑电数据进行研究。

从脑电数据库中已有的17个情绪标签中选取4个情绪标签：乐趣、高兴、悲伤和糟糕，对所选取的4种情绪进行两两分类。分类结果如表1所示。

表中：F为数据库中情绪标签为fun的数据；S为数据库中情绪标签为sad的数据；T为数据库中情绪标签为terrible的数据；H为数据库中情绪标签为happy的数据。

分析表1的结果发现，基于IMF能量矩的情绪识别分类的准确率基本都高于IMF能量和IMF能量熵的情绪识别分类的准确率。使用近似熵作为脑电情绪识别特征的整体平均分类准确率是62.18%；使用能量熵作为脑电情绪识别的特征的整体平均分类准确率是58.34%；使用IMF能量矩作为脑电情绪识别的特征的整体平均分类准确率是68.59%。结果表明IMF能量矩用于脑电信号的情感识别是有效的。

5 结 语

本文对脑电信号情绪识别的特征提取进行研究，在小波变换和经验模态的基础上，提出一种基于IMF能量矩的脑电信号特征提取方法。实验表明，用IMF能量矩提取脑电信号的情感特征是可取的，情绪识别的分类精度有所提升。

参考文献

[1] HUANG N E， SHEN Z， LONG S R， et al. The empirical mode decomposition and the Hilbert spectrum for nonlinear and non?stationary time series analysis [J]. Proceedings： mathematical， physical and engineering sciences， 1998， 454（1971）： 903?995.

[2] SHEN X L， FAN Y L. Sleep stage classification based on EEG signals by using improved Hilbert?Huang transform [J]. Applied mechanics and materials， 2012， 138： 1096?1101.

[3] LI S， ZHOU W， CAI D， et al. EEG signal classification based on EMD and SVM [J]. Journal of biomedical engineering， 2011， 28（5）： 891?894.

[4] 杨鹏圆，李海芳，陈东伟.Hilbert?Huang变换在情感脑电特征提取中的应用[J].计算机工程与设计，2014，35（7）：2509?2514.

YANG Pengyuan， LI Haifang， CHEN Dongwei. Application of Hilbert?Huang transform in emotion EEG feature extraction [J]. Computer engineering and design， 2014， 35（7）： 2509?2514.

[5] 陆苗，邹俊忠，张见，等.基于IMF能量熵的脑电情感特征提取研究[J].生物医学工程研究，2016，35（2）：71?74.

LU Miao， ZOU Junzhong， ZHANG Jian， et al. Emotion electroencephalograph（EEG） recognition based on IMF energy entropy [J]. Journal of biomedical engineering research， 2016， 35（2）： 71?74.

[6] ARASTEH A， JANGHORBANI A， MORADI M H. A survey on EMD sensitivity to SNR for EEG feature extraction in BCI application [C]// Proceedings of 5th International Biomedical Engineering Conference. Cairo： IEEE， 2010： 175?179.

[7] CHAI R， LING S H， HUNTER G P， et al. Toward fewer EEG channels and better feature extractor of non?motor imagery mental tasks classification for a wheelchair thought controller [C]// Proceedings of Annual International Conference of the IEEE Engineering in Medicine and Biology Society. San Diego： IEEE， 2012： 5266?5269.

[8] MERT A， AKAN A. Emotion recognition from EEG signals by using multivariate empirical mode decomposition [J]. Pattern analysis and applications， 2018， 21（1）： 81?89.

[9] KOELSTRA S， MUHL C， SOLEYMANI M， et al. DEAP： a database for emotion analysis using physiological signals [J]. IEEE transactions on affective computing， 2012， 3（1）： 18?31.

[10] 秦太龙，杨勇，程珩，等.基于IMF能量矩和神经网络的轴承故障诊断[J].振动、测试与诊断，2008，28（3）：229?232.

QIN Tailong， YANG Yong， CHENG Hang， et al. Rolling bearing fault diagnosis based on intrinstc mode function energy moment and BP neural network [J]. Journal of vibration， measurement & diagnosis， 2008， 28（3）： 229?232.

[11] 毛茅.音乐诱发情绪的心理生理测量及其在服务设计中的应用[D].北京：清华大学，2013.

MAO Mao. Psychologically and physiologically measuring music?induced emotion and its application in service design [D]. Beijing： Tsinghua University， 2013.

[12] SAMMLER D， GRIGUTSCH M， FRITZ T， et al. Music and emotion： electrophysiological correlates of the processing of pleasant and unpleasant music [J]. Psychophysiology， 2007， 44（2）： 293?304.

[13] CANDRA H， YUWONO M， CHAI R， et al. Investigation of window size in classification of EEG?emotion signal with wavelet entropy and support vector machine [C]// Proceedings of 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Milan： IEEE， 2015： 7250?7253.

[14] OOSTENVELD R， PRAAMSTRA P. The five percent electrode system for high?resolution EEG and ERP measurements [J]. Clinical neurophysiology， 2001， 112（4）： 713?719.