基于mRMR 和BiLSTM 的脑电信号情绪识别

朱以帅， 甘良志， 王 顺

（江苏师范大学 电气工程及自动化学院， 江苏 徐州 221116）

0 引 言

情感的表达是人类生活的一个重要方面［1］。表情描绘了对事件、人类互动、决策和智能的感知。情绪表达一个人的心理、生理和心理状态［2］。 人的情绪状态对人的心理健康有重要影响，通过脑电信号，可以识别这些情绪并对其进行分类［3］。 情绪的概念在几十年前就已经形成，但至今还没有得到心理学家认可的标准思想。 研究者将情绪的分类描述为两种方法：

（1）情绪分成离散的类别；

（2）使用多个维度来识别情绪［4］。 根据唤醒和效价状态导出的量表可以对情绪进行多维分类［5］。唤醒维度从未唤起到兴奋状态，而效价维度则表现为积极情绪或消极情绪。

脑电信号是一组包含冗余信息的离散时间序列，特征提取的目的是消除冗余，提取最能反映脑电信号本质的特征［6］。 近年来，随着特征提取方法的发展与完善，单一的特征提取方法已经不能满足目前的研究需要，研究者们开始提出一些基于组合策略的特征提取方法，如将时频分析方法与非线性方法相结合，实现更好的识别效果。 Duan 等［7］提出微分熵（Differential Entropy，DE）特征对脑电信号进行情绪识别，识别准确率得到显著提升；苗敏敏等［8］提出一种新的自适应优化空频微分熵特征，通过稀疏回归算法对多重局部空间-频域内的微分熵特征进行优化选择；Zhong 等［9］提出用滑动平均技术来平滑短期波动，突出长期趋势或周期，利用Gamma频段进行情绪识别。

上述的熵特征值只对小样本效果显著，且需要一个匹配的模板，常规微分熵虽然对情绪有较好识别，但其在不同脑电信号频段中特征不同，且在不同通道电极间特征数不同。 针对以上问题，本文提出了一种基于最小冗余最大相关的多频段脑电信号特征提取方法，针对脑电信号在不同通道电极间特征数不同，利用最小冗余最大相关性算法自适应选取空点通道集，根据空间导联电极与特征频段分布不同，选择与情绪特性关联较大的空间电极并提出多频段融合算法，对提取微分熵特征进行优化；通过提取不同频段的脑电信号特征，更好的保留具有区分度的关键信息，可以有效提高情感脑电识别的精度。

1 特征提取与模型设计

1.1 微分熵特征

微分熵（Differential Entropy，DE）是香农信息熵在连续变量上的推广形式，式（1）：

其中，p（x） 为连续脑电信号的概率密度函数。

[a，b] 为脑电信号的数据区间。 对于任意长度的一段近似服从高斯分布N（μ，σ2i） 的脑电信号，利用FFT 切片分段后其微分熵如式（2）所示：

由式（2）可知，对于常规脑电信号的微分熵，只需要分析σ2就可以得到其微分熵特征，常规正态分布N（μ，σ2i） 的方差计算如式（3）所示：

通常定义离散信号的频谱能量p，式（4）：

由式（4）可知在不同频段脑电信号的方差为该频段上平均能量值的数倍，即由此可以得出对于某一频段微分熵特征，如式（5）所示：

由式（5）可知，在频谱能量计算中i一定的情况下，脑电信号在不同频段上微分熵为该频段平均能量值数倍，此时利用微分熵特征可以有效减小在特征提取计算时产生的误差，从而提高特征提取的精度。

1.2 通道特征提取

空间导联电极脑电信号包含情绪特征数目具有明显差异，不同信号频段情绪特征也不相同，本文自适应选取18 个空间电极导联处的脑电信号进行分析处理。

结合自适应选取的脑电通道，将脑电信号分解至theta、alpha、beta 、gamma 4 个频段，分别对每一个频段内的信号，进行微分熵特征提取。

最小冗余最大相关性（mRMR）是一种滤波式的特征选择方法，最大化特征与分类变量之间的相关度，可以有效对空间导联电极间进行互信息交换，寻找有利于情绪识别相关通道电极。 为了提高空间导联电极相关性对于情绪识别的准确性，本文基于mRMR 对脑电信号通道相关性进行优化。

mRMR 方法的通道集合的相关性由情绪特征与通道电极间的信息增益均值计算得出。 结合不同通道间的特征数量，利用通道电极间的互信息量，求取不同通道间的特征冗余。 互信息量为式（6）：

其中，x，y为随机数，p（x）、p（y）、p（x，y） 为概率密度函数。

本文用增量搜索方法寻找最优的通道特征集合。 根据已有通道集Sm-1，从剩下的特征X - Sm-1中找到第m个特征，使用mRMR 进行通道特征选择后，会得到一个重要性排名。

最终结合交叉验证来选择结果性能最好的通道集，根据排名对特征子集从高优先级至低优先级逐次交叉验证测试，选择结果最好的一组通道集合。通道特征优化条件为式（7）：

根据mRMR 选取通道集后，利用多频段融合进行特征提取，多频段融合为4-8 Hz、9-14 Hz、14-24 Hz、25-31 Hz、32-45 Hz，由于beta 频段产生本文将其分解为high-beta（25-31Hz）和low-beta（14-24Hz）两部分进行特征提取，可以有效去除特征中冗余信息，提升分类准确性。

本文采用DEAP 数据集32 脑电通道以及由mRMR 选取用于情绪识别18 通道集合，如图1 所示。

图1 脑电通道地形图Fig.1 Topographic map of EEG channel

1.3 模型设计与分析

针对脑电信号特征在时间序列上的特殊性，使用LSTM 可以避免特征丢失等情况发生，可以有效对脑电信号的时间序列上的特征信息进行传递分析。

本文采用具有BiLSTM 层的LSTM 模型进行特征训练，利用正向和反向LSTM 的输出结合以提供给后续的网络模块作为输入；结合一个双向循环的LSTM 模型，利用过去的和未来的输入特征；结合本文特征提取算法进行情绪识别，有效提高识别精确度。

含有双向循环的LSTM 层可以通过正向和逆向对输入序列进行特征提取，并将两个输出向量进行拼接作为该特征的最终向量表达。 利用BiLSTM 对输入熵特征进行训练，使训练速度更快、训练效果更好。

BiLSTM 中两个LSTM 网络单元是相互独立的，可以让模型运行更加稳定。 BiLSTM 模型基本结构如图2 所示。

图2 BiLSTM 模型基本结构Fig.2 Basic Structure of BiLSTM model

在第一层Dense 层之后应用一个ReLU 激活函数，将函数的非线性和稀疏性加入LSTM 网络训练中，从而得到更加精确的结果。 ReLU 定义如式（8）所示：

本文中情绪分类采用激活函数为Softmax，是常见的归一化函数，与交叉熵损失函数一起使用，可以达到很好的分类效果。 因此在最后的1 个Dense 层使用Softmax 函数，其定义如式（9）所示。

本文提出的情绪识别BiLSTM 模型体系结构如图3 所示，用于特征分类的结构包括1 个BiLSTM层、4 个LSTM 层和2 个Dense 层。 合理设置参数可以达到更好的使用效果，其基本设置见表1。

表1 LSTM 层基本设置Tab.1 Basic settings of LSTM layer

图3 情绪识别模型基本结构Fig.3 Basic structure of emotion recognition model

对于4 层LSTM 层每层Dropout 设置为0.5，选择控制输入线性变换的神经元断开比例，在训练过程中可以有效避免过拟合情况产生。

4 层LSTM 层神经元个数units 分别设置为128、64、64、32，合理递减每层神经元个数，可以充分对输入特征进行降维，最终利用Dense 层进行分类。

2 实验数据预处理

DEAP（Database for Emotion Analysis using Physi-ological Signals） 数据集包含32 组脑电数据，由16名男性数据和16 名女性数据构成，保证进行数据采集过程中每人身体状况都处在健康状态［10］。 利用32 个传感器在每个人不同脑区进行信号采集，脑电信号采集过程中，让每位实验者分别观看时间为60 s的40 段不同视频，针对去除眼电信号等干扰，并将原始数据降采样至128 Hz。

研究表明，脑电的主要频段delta （1-3 Hz）、theta（4-7 Hz）、alpha （8-12 Hz）、beta（13-30 Hz）和gamma（31-45 Hz）等5 个节律与人的生理活动有着密切的联系，并发现在不同频带内包含不同比例的情绪特征［11］。

本文利用快速傅里叶变换（Fast Fourier Transform， FFT）对原始脑电信号进行预处理及切片操作，分频段进行脑电信号分析和特征提取。

DEAP 数据集中，每个通道的脑电信号都由40种不同情绪脑电信号组合而成，为防止在特征提取过程中产出过度的特征冗余，对脑电信号进行数据切片。 如图4 所示脑电信号单通道数据构成为1*40*8 064（40 min 数据）个数据点，首先将其分解成40 个1*8 064 的数据段，针对每段信号前3 s 都会有静默阶段，剔除掉前3 s（384 个数据点）的基线信号，将剩余60 s 脑电信号切片分为30 个2 s（256 个数据点）的信号进行FFT，将其分解为theta、alpha、beta 和gamma 这4 个频段上的频域信号，可以达到最好的特征提取效果。

图4 FFT 数据切片流程Fig.4 FFT data slicing process

3 实验与分析

实验进行多次分类验证并计算分类均值用来评估情绪分类过程中采用不同频段特征对分类准确率的影响，分别对Arousal 和Valence 两种特征进行分类验证，不通频段特征分类准确率见表2 和表3。

表2 不同频段特征分类准确率对比（Arousal）Tab.2 Comparison of feature classification accuracy in different frequency bands （Arousal）

表3 不同频段特征分类准确率对比（Valence）Tab.3 Comparison of feature classification accuracy in different frequency bands （Valence）

特征提取均采用设定的18 导联集合，分析了beta、gamma 和多频段融合共3 个频段，其中多频段融合为4-8 Hz、9-14 Hz、14-24 Hz、25-31 Hz、32-45 Hz。 从表2 和表3 可知，多频段融合后利用mRMR 改进的熵特征分类效果优于常规beta 频段和gamma 频段特征，使用BiLSTM 网络模型，利用多频段特征融合后分类正确率也远高于单频段的特征分类。

与常规32 通道导联的识别方法进行对比，本文选取与情绪相关性较大的18 通道导联集合在特征提取及情绪分类方面有更高的准确率。

为了全方位评估本文提出算法，将本文提出mRMR 通道特征选取算法与常见微分熵特征和差分不对称熵特征算法进行对比实验，结果见表4，可见本文引入的BiLSTM 网络模型结构，对比常见算法在情绪识别准确率方面有了明显提升。

表4 算法分类准确率对比（Arousal）Tab.4 Comparison of algorithm classification accuracy （Arousal）

4 结束语

针对现有情感脑电特征提取算法存在特征冗余及对相关通道电极特征分类不明确的情况，本文提出了基于mRMR 优化通道的熵特征提取并用于情绪分类，同时根据空间导联重要性进行通道电极选择。 本 文 使 用DEAP 数 据 集， 针 对Arousal 和Valence 两种不同情绪模式进行分析研究，实验结果表明本文采用的基于mRMR 消除冗余改进微分熵特征在Arousal 和Valence 两种情绪模式下达到了96.23%和93.16%的识别准确率，高于单个频段的识别准确率。 此外，本文在常规LSTM 网络中引入BiLSTM 层，输入情绪特征训练速度更快、更加稳定。未来可以联合脑电通道间影响进行时-空-频域融合算法研究，进一步提高分类准确率。