小波变换结合盲源分离的EEG情感识别

沈成业，张雪英，孙 颖，畅 江

太原理工大学 信息工程学院，太原 030024

1 引言

情感是伴随着认知和意识过程产生的心理和生理状态，在日常交流中起着非常重要的作用。近年来，随着计算机技术及人机交互技术的发展，情感计算日渐成为情绪研究的热点。而情感识别又是情绪研究的一个重要研究领域。

基于脑电信号（Electroencephalogram，EEG）的情感识别过程包括预处理、特征提取和分类。其中如何有效地提取特征波是一个至关重要的环节。小波变换（Wavelet Transform，WT）及盲源分离（Blind Source Separation，BSS）等都是非常有效的信号处理方法，也是β波[1-3]提取中常用方式。郭祯等人[4]将小波变换与神经网络相结合，通过小波变换分解并重构了与呼吸相关的子波段主要成分，进而揭示了脑电波成分之间的关系。文献[5-7]中都使用到盲源分离或是盲源分离的改进对多路脑电信号进行分离，盲分离后各输出信号间的互相关系数较分离前大幅下降，并有效地将脑电信号中有效成分和伪迹分离开。

小波变换虽然能够将相应频段的脑电信号提取出来，但是却忽略了各电极信号之间的相关性；而盲源分离算法虽然能够获取各个电极信号之间的相关信号[8-10]，但难免引入其他不相干的频段。基于此，本文提出小波变换与盲源分离算法相结合的特征波提取方法。首先应用小波变换提取出各电极信号的β波频段，然后再利用盲源分离算法对提取出的各电极β波进行分离。既避免其他干扰波段，又能分离出各导信号中关联性大的脑电信号成分，并输出源信号的最优逼近。

2 小波变换理论

和傅里叶变换、离散余弦变换相比较，小波变换具有较好的时频变换特性，其特点是用短时尺度支持高频分析，用长时尺度支持低频分析。这种分析特点对脑电信号分析非常重要。

信号 x(t)的连续小波变换（Continuous Wavelet Transform，CWT）定义[11]为：

其中a是尺度因子，b是时间平移因子

相应地，离散小波变换（Discrete Wavelet Transform，DWT）为：

式中m,n满足由上式得出，小波变换在高频时的分辨率高，在低频时的分辨率低。

3 盲源分离模型

设有m个混叠信号x(t)=[x1(t),x2(t),…,xm(t)]T，每个xi(t)都是n个源信号s(t)=[s1(t),s2(t),…,sn(t)]T的一种混叠。现定义函数 f(·)来描述该混叠过程[6]，

式中n(t)为加性噪声，A为m×n的混合矩阵，并取m=n。为了使得上式有解，现假设各个源信号非平稳、互相独立，并且没有噪声干扰[12]，则式（3）转换为下式：

盲源分离的目标就是从观测信号中反向求出源信号 s(t)和 f(·)，由于 s(t)和 f(·)均未知，需要通过某种变换方式，找到分离矩阵W，使得x(t)通过它后所输出的Y=[y1,y2,…,yn](Y=Wx(t))是s(t)的最优逼近。

4 信号的维格纳分布及重排伪维格纳分布

4.1 信号的维格纳分布

任意一个可测的、平方可积的信号x(t)∈L2(R)，其连续WVD定义为：

其中称为维格纳自相关函数，记作ϒs(t,τ)。

当信号x(t)由多个分量组成时，就会出现交叉干扰

现象，即当

式中包含了有效的自相关项ϒA(t,τ)和干扰的互相关项ϒC(t,τ)。

将式（6）带入式（5）中，最终得到如下形式的观测信号的WVD矩阵。

并且观测信号与源信号之间的WVD有以下关系：

式中上标H为复共轭转置，Vxx(t,f)为观测信号的WVD矩阵，Vss(t,f)为包含有自相关项WVD(WVDx,auto)和交叉项WVD(WVDx,cross)的源信号WVD矩阵，且Vxx(t,f)有以下关系：

结合式（4），观测信号和源信号之间的WVD有以下关系：

4.2 重排伪维格纳分布算法

WVD中的交叉项严重地影响了对自项WVDx,auto的识别，也严重影响了对信号时频行为的识别。为使WVD中的交叉项得到抑制，可对WVD进行加窗处理从而得到平滑伪维格纳（Smoothed Pseudo Wigner Distribution，SPWVD）[13]，其定义如下：

式中h(τ)和g(s)分别是频率平滑窗函数及时间平滑窗函数，并且满足g(0)=1，h(0)=1。

通过平滑窗函数可以增加控制的自由度，能够对WVD(t,f)进行时域及频域的平滑控制。虽然经过平滑处理后，交叉项得到了抑制，但是时频分布的聚集性也受到了影响（见图1（b）），较WVD(t,f)有所下降。为解决该问题，采用时频重排的方式。重排平滑伪维格纳（RearrangedSmooth Pseudo WignerDistribution，RSPWVD）的定义如下[14]：

式中，

上式中通过对信号x(t)进行RSPWVD计算，改变平均点的归属，重新分配能量的重心来避免能量的发散（见图1（c））。

图1是原子信号的WVD，SPWVD和RSPWVD的时频谱，原子信号的时频中心分别在(t1,f1)=(32,0.15)，(t2,f2)=(32,0.35)，(t3,f3)=(96,0.35)。

4.3 基于重排平滑伪维格纳分布的盲源分离实现步骤

基于重排平滑伪维格纳分布的盲源分离（TFRSPWVD）实现过程包括两个重要步骤：观测数据白化处理和白化的维格纳分布矩阵联合对角化，步骤如下所示：

步骤1观测数据的白化处理。

首先对观测数据x(t)进行白化处理，即用一个白化阵W乘以x(t)，得到白化后的观测矢量，并且仍然遵守线性模型。

此外，对于任意白化阵W，都有一个酉矩阵U，使得WA=U，从而A可被分解如下：

其中上标#表示Moore-Penose逆。白化过程就将确定混叠阵A的问题变为求酉矩阵U。

步骤2联合对角化。

将矩阵Vrsp,xx(t,f)前后分别乘以W，得到白化的Vzz(t,f)矩阵：

式（17）实质上就是已白化的混叠信号z(t)的RSPWVD。由（15）、（16）两式可得：

由于矩阵Vss(t,f)是对角化的，故由上式可见，U可作为使Vzz(t,f)对角化的酉矩阵求出。联合对角化就是最小化JD准则函数。

5 实验结果及分析

图1 “原子”信号的WVD、SPWVD及RSPWVD

本文将小波变换与TFRSPWVD相结合，对于单侧大脑（左侧大脑/右侧大脑），首先用小波变换提取每一通道信号的β波，再将该侧大脑已提取出的各通道信号的β波组成TFRSPWVD的输入矩阵，并以其中的一个通道信号的β波为目标函数（实验中为比较各通道信号对情感的识别率，分别以各通道信号的β波作为目标函数）。实验实施过程如图2所示，图中虚线框内为TFRSPWVD。

图2 小波变换结合TFRSPWVD算法流程图

本文使用的DEAP数据库[15]是由Sanders Koelstra等人公布的一个多模态情感数据集，该数据库记录了32名被试观看40段音乐视频时的EEG数据。这40段音乐视频事先已用“激励维-效价维”情感模型标注了A值和V值，并根据A值和V值划分为高唤醒高愉悦（HAHV）、低唤醒高愉悦（LAHV）、低唤醒低愉悦（LALV）以及高唤醒低愉悦（HALV）。

5.1 实验具体实施步骤

步骤1 数据预处理。选取其中的348个数据样本，并使用每一样本中的4个电极对[16-17]信号，截取每一电极信号的15～45 s的数据，进行分帧和加窗处理，得到观测数据x(t)。

步骤2 对每一通道信号的数据x(t)进行小波变换，得到各通道电极的β波，将同侧大脑的各通道电极β波构造为输入矩阵 X(t)=[x1,β(t),x2,β(t),…,xn,β(t)]。

步骤3 对 X(t)白化处理，并通过式（17）估计出，再求取出白化后的信号z(t)def。

步骤4 选取时频域中的K个点(ti,fi)，计算出z(t)def的K个RSPWVD矩阵{Vzz(ti,fi)|i=1,2,…,K}。

步骤5 通过联合对角化，得到酉矩阵。

步骤6 通过式（15）和式（18）估计出源信号。

步骤7 对估计出来的源信号提取相关特征向量，组成特征矩阵。

步骤8 最后对提取出的特征矩阵进行识别。

5.2 实验结果

本文采用支持向量机（SVM）作为识别模型，并以电极对的方式（如FP1-FP2）构造SVM的输入向量进行识别。选取训练样本316个，测试样本为148个。此外，实验中另外设计了2组实验来验证“DWT-TFRSPWVD”方法的有效性，即“DWT-TFWVD”及“DWT-TFSPWVD”。

将表1～4以图的形式呈现，如图3所示。

表1 FP1-FP2识别率%

表2 F3-F4识别率%

表3 F7-F8识别率%

表4 FC5-FC6识别率%

三种算法运行同一个样本所用平均时长如表5所示。

5.3 实验分析

分析表1～5并结合图3，可以得到以下几点：

（1）从总体识别率上看，“DWT-TFSPWVD”及“DWTTFRSPWVD”整体识别率高于“DWT-TFWVD”，但是“DWT-TFSPWVD”及“DWT-TFRSPWVD”之间的差异并不是很明显，表明RSPWVD虽然可以在SPWVD的基础上改善信号的聚集性，但是对识别效果的提升不大。

（2）在所选择的四个电极对的识别结果中，“DWTTFRSPWVD”在FP1-FP2电极对中对各情感类别的识别率均高于其他算法，结合文献[16]，该处脑区的情感活动较其他脑区活跃且明显。

（3）在运行时长方面，“DWT-TFRSPWVD”最长，“DWT-TFSPWVD”次之，而“DWT-TFWVD”最短。这表明，虽然前两者的识别率相比“DWT-TFWVD”高，但却是以增加复杂度及花费大量时间为代价的。

6 结束语

图3 各电极对识别率

本文将小波变换结合时频盲源分析算法，在提取出脑信号β波的基础上，通过时频盲源分离算法将各电极信号β波中关联极大的成分分离出来作为后面情感识别的成分。同时，在TFWVD基础上，通过改进WVD，即RSPWVD，大大地抑制了信号中交叉项对自项的干扰，从而使得识别率较WVD得到了有效的提升。实验结果表明，该方法成功分离出了各导信号中关联性大的脑电成分，计算并输出与源信号最为逼近的信号，有效地解决了源信号难以估计的问题，并确定了与情感识别有极大关联的电极对。

：

[1]聂聃，王晓韡，段若男，等.基于脑电的情绪识别研究综述[J].中国生物医学工程学报，2012（4）：595-606.

[2]赵国朕，宋金晶，葛燕，等.基于生理大数据的情绪识别研究进展[J].计算机研究与发展，2016（1）：80-92.

[3]佘青山，陈希豪，席旭刚，等.基于DTCWT和CSP的脑电信号特征提取[J].大连理工大学学报，2016（1）：1-7.

[4]郭祯，李晖，吴慰.大脑局部电位信号与呼吸的关系模型研究[J].电子科技大学学报，2016（5）：832-838.

[5]计瑜，沈继忠，施锦河.一种基于盲源分离的眼电伪迹自动去除方法[J].浙江大学学报：工学版，2013（3）：415-421.

[6]罗志增，曹铭.基于最大信噪比盲源分离的脑电信号伪迹滤波算法[J].电子学报，2011，39（12）：2926-2931.

[7]罗志增，徐斌.基于小波消噪和盲源分离的脑电信号处理方法[J].华中科技大学学报：自然科学版，2011（S2）：157-160.

[8]Sardouie S H，Shamsollahi M B，Albera L，et al.Denoising of ictal EEG data using semi-blind source separation methods based on time-frequency priors[J].IEEE Journal of Biomedical and Health Informatics，2015，19（3）：839-847.

[9]Selvan S E，George S T，Balakrishnan R.Range-based ICA using a nonsmooth quasinewton optimizer for electroencephalographic source localization in focal epilepsy[J]. Computation，2015.

[10] Hamaneh M B，Chitravas N，Kaiboriboon K，et al.Auto- removal of EKG artifact from EEG data using ndent component analysis and continuous wavelet transformation[J].IEEE Transactions on Biomedical Engineering，2014，61（6）：1634-1641.

[11]成礼智，郭汉伟.小波与离散变换理论及工程实践[M].北京：清华大学出版社，2005.

[12]Hyvarinen A，Karhunen J.独立成分分析[M].周宗潭，译.北京：电子工业出版社，2007.

[13]Khadra L M.The smoothed pseudo Wigner distribution in speech processing[J].International Journal of Electronics，1988，65（4）：743-755.

[14]Flandrin P，Auger F，Chassande-Mottin E.Time-frequency reassignment from principles to algorithms[J].Applications in Time-frequency Signal Processing，2002，5：179-203.

[15]DEAP Dataset[EB/OL].http：//www.eecs.qmul.ac.uk/mmv/datasets/deap/down-load.html.

[16]Bradley M M，Lang P J.Measuring emotion：the selfassessment manikin and the semantic differential[J].J Behav Therapy Exp Psychiatr，1994，25（1）：49-59.

[17]Jatupaiboon N，Pan-Ngum S，PasinIsrasena.Emotion classification using minimal EEG channels and frequency bands[C]//2013 10th International Joint Conference on Computer Science and Software Engineering（JCSSE），2013：21-24.