基于脑电信号的ILDB情感特征提取算法

时文飞,　叶西宁

(华东理工大学信息科学与工程学院,上海 200237)

基于脑电信号的ILDB情感特征提取算法

时文飞,叶西宁

(华东理工大学信息科学与工程学院,上海 200237)

摘要：近年来,随着信号处理和机器学习技术的快速发展,基于脑电信号的情感识别越来越受到重视。特征提取是情感识别过程中的关键一步。本文提出了改进的局域判别基(Improved Local Discriminant Bases,ILDB)算法,提取信号局域判别基各子空间的能量和系数均值特征构成特征向量,利用SVM分类器进行分类,通过对特征向量类可分性及分类正确率的评估,表明ILDB算法提取的特征具有可分性且分类正确率较高。ILDB算法的通道最高平均分类正确率达到88%,通道最高平均分类正确率比LDB算法提高4.4%和7.2%,所有通道平均分类正确率比LDB算法提高10.1%和9.8%。

关键词：情感识别; ILDB; SVM

目前,情感识别领域常见的识别方法主要有情感行为识别(包括面部表情、语音、姿态等)和生理模式识别(包括皮肤电反应、心率、呼吸、体温等)。基于情感行为识别的研究已经非常成熟,如Shan Caifeng等[1]利用LBP方法进行人脸表情识别;Picard等[2]提出机器智能应该包含情感智能,并且比较了基于多种生理特征的情感识别算法,由此打开了基于生理信号情感识别的大门。相比于皮肤电、心电等生理信号,脑电信号具有非平稳性、非线性、极易受伪迹干扰和幅度非常小的特点,导致脑电信号的处理非常困难。近年来,随着信号处理技术的发展和脑电采集设备的应用,对脑电信号的采集和处理变得相对容易。现在已经建立了基于脑电信号的情感数据库,并且能够从网上下载3类免费的数据库[3]。基于脑电信号的情感识别方法在近几年也得到了一定的发展。

特征提取是模式识别中关键的一步,特征提取的好坏及特征维数的高低直接影响分类识别的正确率及模型的泛化能力。特征提取的方法主要有HHT(Hilbert-Huang Transform)、PCA(Principal Component Analysis)、ICA(Independent Component Analysis)和LDB(Local Discriminant Bases)等[4]。HHT过程中需要进行FFT变换,当时间序列出现突然的频率变化时将导致不确定的结果;当信号的产生机制是高度非线性,并且依赖于复杂的多重性时,PCA是行不通的;ICA的一个限制是各独立成分的能量和次序是不固定的。反映在时域、频域或时频域的信号瞬变现象往往是分类的重要特征,基于这个原因,关注信号的局部特征是很重要的。小波包变换能够同时反映信号的时频特征,最适合于处理脑电信号等随机非平稳信号。基于小波包变换的LDB算法已经被用于生物医学、地球物理学、声波定位仪等多种分类问题。柳革命等[5]提出求取局域判别基的各子空间的能量,形成特征矢量的方法,在水声模式分类中最高达到87.5%的分类正确率,但在特征选择的时候只保留了判决度量函数值较大的部分子空间,没有完全利用全部子空间的特征信息。Zheng Jiming等[6]利用平均距离作为改进的判决度量函数,提取局域判别基各子空间能量的统计特征组成特征矢量,在音频信号分类中最高达到87%的总识别率,但在局域判别基选择上忽略父节点与子节点判别度量值相近的情况,得到的局域判别基未必是最优的。本文在局域判别基选择时设定阈值,在阈值范围之外使用相对熵作为判决度量,在阈值范围之内引入欧氏距离作为新的判决度量,并且可以通过调整阈值保证获得的局域判别基是最优的;最后在特征提取过程中利用ILDB各子空间的能量和系数均值构成特征向量,充分利用了全部子空间的特征信息。

1小波包分解与局域判别基(LDB)

1.1概述

BB算法[7]是从正交小波包库中选择一组具有最小熵的小波包基作为最优基。BB算法主要用于数据压缩和信号去噪领域。LDB算法对BB算法进行了改进,首先确定一个最能反映类可分性特征的判别度量函数,然后通过极大化判别度量函数获得一组具有最优类可分性的小波包正交基,最后以这组小波包基系数作为特征向量，因此LDB算法的第一步就是小波包分解。

1.2小波包分解

1.3局域判别基

(1)

(2)

LDB算法步骤如下:

Step0选择一个正交基库,并且指定最大分解深度T和判决度量D;

Step1为类别c=1,…,C建立时频能量图Γc;

Step3通过如下规则判决最好的子空间Aj,k:

如果Δj,k≥Δj+1,2k+Δj+1,2k+1,则令Aj,k=Bj,k;否则令Aj,k=Aj+1,2k⊕Aj+1,2k+1,Δj,k=Δj+1,2k+Δj+1,2k+1;

Step4根据判别度量值对基函数的分类能力进行由大到小排序;

Step5用前k个(k≤2n0)最具分类能力的基函数系数构建特征向量。

2改进的局域判别基(ILDB)算法

通过分析研究发现LDB算法存在2个主要问题:

(2)仅仅选择前K个基函数系数作为特征,没有完全利用各个子空间的特征,这将降低特征提取的可靠性及类可分性能力,进而影响分类正确率。

(3)

(4)

(5)

(6)

由于选取了相对熵和欧氏距离作为判决度量,所以为了降低特征维数及完全利用各个子空间的特征,在特征提取过程中利用ILDB各子空间的能量和系数均值构成特征向量。利用前面提出的方法对原LDB算法中的step3进行改进,ILDB算法的step3改为：

Step3通过如下规则判决最好的子空间Aj,k:

如果Δj,k-Δj+1,2k-Δj+1,2k+1≥ε,则令Aj,k=Bj,k;否则计算dj,k-dj+1,2k-dj+1,2k+1,如果dj,k-dj+1,2k-dj+1,2k+1≥0,则令Aj,k=Bj,k,否则令Aj,k=Aj+1,2k⊕Aj+1,2k+1,Δj,k=Δj+1,2k+Δj+1,2k+1。

关于如何选取基函数,目前还没有很好的理论方法,鉴于Daubechies小波具有良好的紧支性、正交性,选择db3作为基函数,对脑电信号进行5层小波包分解,分别采用LDB和ILDB算法(ε=5)得到的样本局域判别基如图1、2所示。

图1　LDB算法小波包正交基

图2　ILDB算法小波包正交基

由图1、2可见,LDB算法和ILDB算法得到的局域判别基略有不同,主要原因是增加了新的判别准则。

3特征提取

本文选择DEAP情感数据库[8]进行样本特征提取。DEAP数据库基于效价、觉醒度和支配度三维情感模型,实验过程中使用32通道的数据采集设备记录了多达32个被试的情感脑电数据。根据数据库文件participant_ratings的描述,从Valence、Arousal和Dominance评分较高的被试数据中可以提取12个愉悦状态脑电数据,11个悲伤状态脑电数据,15个平静状态脑电数据,27个喜爱状态脑电数据和10个厌恶脑电数据。选取愉悦、悲伤、平静、喜爱和厌恶状态脑电数据样本各10个,截取14～63 s共6 400个数据长度进行特征提取。神经科学和心理学的研究表明,人的各项生理和心理活动都影响脑电信号的δ频段(1～4 Hz)、θ频段(4～8 Hz)、α频段(8～13 Hz)、β频段(13～30 Hz)、γ频段(36～44 Hz),大部分文献在特征提取方面都是先提取脑电信号的各个节律,然后在各节律频段提取相应的特征,这种做法无疑会增加计算时间,不利于实时应用。本文提取特征时直接提取脑电信号的特征。设原始EEG信号采样率fs,各通道采样数据长度为2n0,将EEG信号进行T级小波包分解,分别选择ILDB和LDB作为小波包的一个完备基,这样在第j(0

(7)

则每个通道所形成的系数均值特征矢量可以表示为Mi={AVEj,k},多个通道所形成的系数均值特征矢量可表示为M={M1,…,Mi}。从能量角度看,小波包变换将信号分解到不同的时频域上,小波包变换幅度平方的积分同信号的能量成正比,则小波包树第j层第k个节点的能量Ej,k计算公式为

(8)

则每个通道所形成的能量特征矢量可以表示为Ni={Ej,k} ,多个通道所形成的能量特征矢量可表示为N={N1,…,Ni}。

为了验证LDB算法和ILDB算法得到的特征矢量的类可分性能力,可以使用Fisher判别准则[10]。定义准则:

(9)

表1　LDB与ILDB算法提取特征J值比较

对比表1中的J值可以看出，ILDB算法提取的特征向量的J值大于LDB算法提取的特征向量的J值,说明ILDB算法提取的特征向量的类可分性能力强于LDB算法提取的特征向量,从而从类可分性的角度验证了ILDB算法的有效性。

4仿真结果与分析

模式识别的方法主要分为两大类:一类是无监督的学习方法,包括模糊聚类、K均值和自组织映射等;另一类是有监督的学习方法,包括支持向量机、神经网络、决策树、贝叶斯网络、K近邻和隐马尔科夫模型等。支持向量机有良好的分类正确率及模型泛化能力,本文采用SVM作为分类器进行情感模式分类。目前SVM实现的软件包很多,以LIBSVM最为常用。LIBSVM使用过程中需要选定核函数,确定参数C、g。参数C和g的确定可以采用参数寻优算法。鉴于数据库样本数量较少的限制,为了避免分类问题的模型欠拟合现象,分别采用多项式核函数、径向基核函数、神经网络核函数构建SVM分类器,比较LDB算法与ILDB算法的分类正确率。

实验过程使用DEAP数据库中愉悦、悲伤、平静、喜爱和厌恶情感状态各10个样本,对每类情感状态的每个样本提取10个相关通道电极的脑电数据,对每个通道每类情感状态的10个样本随机选择其中5个作为训练集样本,另5个作为测试集样本,采用SVM一对一的方法进行分类。分别对每个通道每对情感状态做5次分类实验,比较了各通道脑电数据能量特征向量及能量、均值组合特征向量的平均分类正确率。各情感状态的平均分类正确率在不同的通道是不同的，比如愉悦-悲伤以FC2通道平均分类正确率最高、悲伤-平静以T8通道平均分类正确率最高。FC2通道平均分类正确率如表2所示;T8通道平均分类正确率如表3所示。所有通道平均分类正确率如表4所示,通道最高平均分类正确率如表5所示。所有通道平均分类正确率直方图和通道最高分类正确率直方图如图3所示。

表2　FC2通道平均分类正确率

表3　T8通道平均分类正确率

表4　所有通道平均分类正确率

对比表2和表3可以看出，不同通道同一情感状态对的分类正确率不同,这主要是因为不同通道电极连接不同的脑区,而情感状态与脑区分布相关。由表2、3、4、5可看出分类正确率普遍不是非常高,这是由于脑电信号的非平稳性及产生机理非常复杂,极小的外界扰动及被试者心理波动都会对实验数据造成很大干扰,从而影响特征提取及分类正确率。ILDB算法提取的特征向量分类正确率高于LDB算法提取的特征向量分类正确率,这也从分类正确率的角度证明了ILDB算法的有效性。平静、喜爱、厌恶状态的分类正确率低于愉悦、悲伤状态的分类正确率,主要是由于平静、喜爱、厌恶状态的类别区分度较低。总体上看ILDB算法提取的能量、均值组合特征向量的分类正确率高于能量特征向量的分类正确率,这是由于在局域判别基选择的时候ILDB算法利用了系数欧氏距离准则,在特征提取的时候组合了能量、均值特征,这也说明特征组合的方法可以提高分类正确率。表2和表5中wx情感状态对的能量、均值组合特征向量的分类正确率低于能量特征向量的分类正确率,说明特征之间可能存在冗余以及信号之间具有相关性。由表5可以看出对于特定通道,某些类别的分类正确率较高,可以在今后的分类中对特定类别采集特定通道的脑电信号进行情感状态识别,有助于提高识别率及减少计算量。另外,在实验过程中还发现:LDB算法提取的特征分类正确率对训练集样本依赖性较强,而ILDB算法提取的特征分类正确率对训练集样本依赖性较弱,这主要是由于ILDB算法引入了阈值,通过调节阈值可以降低训练集样本对分类正确率的影响。

表5　通道最高平均分类正确率

图3　分类正确率直方图

5结束语

本文将LDB算法应用于基于脑电信号的情感识别的特征提取上,并提出ILDB算法,使用两种算法分别提取脑电信号局域判别基各子空间小波包能量和系数均值构成特征向量。比较了能量特征和能量、均值组合特征的类可分性能力及分类正确率。两类算法的分类正确率都较高,从而证明了LDB算法可用于基于脑电信号的情感识别方法的特征提取上。ILDB引入了阈值以及欧氏距离准则,通过调节阈值可以降低训练集样本对分类正确率的影响;组合能量、均值特征能够提高分类正确率。由仿真实验结果可以看出ILDB算法的通道最高平均分类正确率达到88%,所有通道平均分类正确率较LDB算法有10.1%和9.8%的提高,通道最高平均分类正确率较LDB算法有4.4%和7.2%的提高,这充分验证了ILDB算法的有效性。

参考文献：

[1]SHAN Caifeng,GONG Shaogang,MCOWAN P W.Robust facial expression recognition using local binary patterns[C]//Proceedings of International Conference on Image Processing.Genoa,Italy:IEEE,2005:370-373.

[2]PICARD R W,VYZAS E,HEALEY J.Toward machine emotional intelligence:Analysis of affective physiological state[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(10):1175-1191.

[3]LIU Yisi,SOURINA O.EEG databases for emotion recognition[C]//2013 International Conference on Cyber Worlds (CW).Yokohama:IEEE,2013:302-309.

[4]AZLAN W A W,LOW Y F.Feature extraction of electroencephalogram (EEG) signal:A review[C]//2014 IEEE Conference on Biomedical Engineering and Sciences (IECBES).USA:IEEE,2014:801-806.

[5]柳革命,孙超,陈建莉.基于局域判别基空间能量的特征提取[J].空军工程大学学报(自然科学版),2008,9(1):33-36.

[6]ZHENG Jiming,WEI Guohua,YANG Chunde.Modified local discriminant bases and its application in audio feature extraction[C]//2009 International Forum on Information Technology and Applications IEEE Computer Society.USA:IEEE,2009:49-52.

[7]COIFMAN R R,WICKERHAUSE M V.Entropy-based algorithms for best basis selection[J].IEEE Transactions on Information Theory,1992,38(2):713-719.

[8]王慧琴.小波分析与应用[M].北京:北京邮电大学出版社,2011.

[9]SAITO N,COIFMAN R R.Local discriminant bases and their applications[J].Journal of Mathematical Imaging and Vision,1995,5(4):337-358.

[10]SERGIOS Theodoridis.Pattern Recognition[M].北京:电子工业出版社,2010.

EGG-Based ILDB Algorithm of Emotion Feature Extration

SHI Wen-fei,YE Xi-ning

(School of Information Science and Engineering,East China University of Science and Technology,Shanghai 200237,China)

Abstract:In recent years,with the rapid development of signal processing and machine learning technology,EEG-based emotion recognition has received more and more attention,in which feature extraction is a key step.This paper proposes an improved local discriminant bases (ILDB)algorithm,in which both the energy and the mean of each signal subspace coefficients are extracted from ILDB to construct feature vectors and SVM is utilized to classify.By assessing the separability of feature vectors and classification accuracy rate,the extracted features via ILDB are separable and have higher classification accuracy.The highest average classification accuracy rate of ILDB algorithm can attain 88%,which is 4.4% and 7.2% higher than that of LDB algorithm.Moreover,the average classification accuracy rate in all channels of ILDB algorithm increases by 10.1% and 9.8%.

Key words:emotion recognition; ILDB; SVM

收稿日期：2015-06-16

基金项目：国家自然科学基金(60974066)

作者简介：时文飞(1987-),男,河南人,硕士生,主要研究方向为模式识别、机器学习。E-mail:18616276050@163.com 通信联系人：叶西宁,E-mail:yexining@ecust.edu.cn

文章编号：1006-3080(2016)02-0254-06

DOI:10.14135/j.cnki.1006-3080.2016.02.016

中图分类号：TP391.4

文献标志码：A