基于动态功能性脑网络的情感分析

黄义华，童 玥，衡 霞,3，卢 忱，王忠民,3

(1.中兴通讯股份有限公司 企业发展部，广东 深圳 518057;2.西安邮电大学 计算机学院，陕西 西安 710121；3.西安邮电大学 陕西省网络数据分析与智能处理重点实验室，陕西 西安 710121;4.移动网络和移动多媒体技术国家重点实验室，广东 深圳 518055)

0 引 言

人脑中存在成千上万的神经元，通过神经元之间的电位活动传递信息，控制着人体的思维活动、肢体协调水平和情感状态。在情绪产生过程中大脑的许多区域会被激活共同作用控制，表现为大脑的前部和左、右脑区最为活跃。由于现有基于单通道特征的研究方法均忽略了信号在空间结构和功能联系上的信息，使得提取的特征不能准确地表征情感。因而从大脑整体宏观角度，利用脑网络对大脑进行研究是必要的，又因近年图论概念的引入以及网络分析工具的不断增加，使得基于复杂网络的研究成为脑电研究领域的热点。

现有基于脑网络的情感识别研究中，主要使用基于静态连接的功能性脑网络，即默认构建的脑网络状态在给定的较短的时间范围内是相对稳定的，其拓扑连接、功能性表达不受时间的改变而变化。Tommaso等人构建了基于相位同步的静态脑功能连接，结果表明在悲伤期间全脑区的相位同步普遍增加，而高兴状态时额叶和枕叶间会产生较多的相位同步现象。Lee等人使用包括相干性在内的三种不同的静态功能连接方法对积极、中性、消极三种情绪进行了分类，并最终取得了最高 79%的分类准确率，结果表明基于脑网络的情感分析有很大发展空间。近年研究发现，随着时间的变化功能性脑网络的状态也会发生变化，而这种时变性改变能够反映大脑自发活动的非稳定特征，即功能连接也是随着时间变化而动态变化的。Liu等人基于相位滞后指数构建的静态功能性脑网络，显示了功能连通性在研究与情感有关的大脑机制方面的潜力。大脑是在秒级与毫秒级动态变化的，静态连接的处理方式会失去大脑活动在时间维度上的部分有效信息。因此，研究功能性脑网络的动态性是极其必要的。

大脑的功能连通性主要是将大脑不同区域的神经细胞群活动之间的瞬时相干性作为一个同步度量矩阵进行分析。文献[6-10]提出了各种连通性测量方法，这些方法在脑电信号的分析中均没有直接可见的动态特征，然而，网络动态分析对于理解全脑功能具有潜在的重要性。为了分析情感转换过程的大脑动态连接，该文对刺激过程中整个头皮电极在不同频段的同步模式进行估计，并计算相应的测量矩阵进行动态分析。主要贡献有：提出了一个系统的分析框架，该框架包括相关性度量计算，脑状态分割，代表性时间片段提取以及动态网络测量方法，评估验证这种方法能够捕获情绪转换过程中的大脑动力学特征。

1 基于脑电信号动态功能性脑网络

1.1 动态功能连通性分析框架

基于动态功能性脑网络的情感分析框架如图1所示。该框架由三个模块构成，分别是相关性度量模块、脑状态划分和关键时间段提取模块以及动态网络构建和分析模块。

图1 动态功能连通性分析框架

各功能模块具体描述如下:

(A)模块：

相关性度量模块，对于每个时间点的EEG信号计算各通道间相关性，获得

M

×

M

维度的邻接矩阵，其中

M

表示的是脑电通道数。

(B)模块：

脑状态划分和关键时间段提取模块，计算任意两个相邻时间点的SVD矢量空间距离，将相似度低的时间点评估作为脑状态变化点，基于此生成多个时间片段。该过程可以理解为状态分割，也就是将非平稳脑状态划分为多个稳定状态。

(C)模块：

动态网络构建和分析模块，对于每个时间片段，通过构建动态功能性脑网络来分析情感状态。(a)采用2 s长度的滑动时间窗来提取相关有效时间序列；(b)通道间相关性：使用皮尔逊相关系数来衡量个电极间的连通性；(c)功率分布：在相关指定频段下计算各个电极通道的功率分布；(d)在任意时间窗上的邻接矩阵间计算相关性动态矩阵(correlation dynamic matrix，CDM)，获得网络级动态属性；(e)计算任意两时间窗的功率分布间的功率动态(power dynamic matrix，PDM)矩阵，获得网络级动态属性；(f)提取动态矩阵特征；(g)选用SVM进行三分类情感识别任务。

1.2 功能连通性计算

功能性脑网络是依据时间序列关系建立的无向网络，利用复杂网络理论有助于研究不同脑区之间的相互作用、拓扑结构和动力学信息以及与生理功能和疾病产生的关系。皮尔逊相关系数是衡量时间序列之间无向关系的最经典方法，该方法主要用于衡量两个时间序列

X

和

Y

间的线性关系，定义为两个变量之间的协方差和标准差的商，如式(1):

(1)

其中，cov(

X

,

Y

)表示变量

X

和

Y

之间的协方差；

σ

σ

表示变量

X

和

Y

之间的标准差。又因式(2)～式(4)的缘故：

(2)

(3)

μX

=

EX

(4)

则对于给定的时间序列

X

(

t

)和

Y

(

t

)，在该时间段内的皮尔逊相关系数如式(5)所示：

(5)

如果皮尔逊相关系数等于1，则说明两个序列

X

和

Y

呈正相关，等于-1说明两个序列呈负相关，等于0则不相关。

1.3 基于SVD向量空间距离的脑状态分割

提取SVD矢量空间距离：脑状态分割旨在将非平稳的大脑动态时间过程划分为几个准稳态的片段。采用SVD矢量空间距离方法来识别时间序列{

t

,

t

,…,

t

}中的异常点，SVD矢量空间距离表示为

d

(

t

)，如式(6)和式(7)所示：用来度量相邻时间点

t

-1和

t

的SVD向量

U

(

t

-1)和

U

(

t

)之间的加权cos相似度，其中加权cos相似度计算如式(8)所示。

(6)

(7)

(8)

其中，

μ

(

t

-1)∈

U

(

t

-1)、

μ

(

t

)∈

U

(

t

)分别是对应于最大奇异值

λ

(

t

-1)和

λ

(

t

)的向量，而cos

θ

表示cos的相似度。脑状态分割：为了提取{

t

,

t

,…,

t

}时间序列中的异常转换点，使用了基于重要性值的阈值化方法，该方法包括以下步骤：

(1)用对数正态分布拟合SVD向量空间距离，以估计比例、形状和位置参数。

(2)设置初始阈值计算脑状态转换临界点，并生成一组临界的候选点。

则对于两个连续的脑状态转换点cp和cp+1，在时间段(cp,cp+1)中定义一个大脑状态

o

，该状态不同于

o

-1但与

o

,…,

o

-2状态类似。

1.4 动态网络分析

脑状态分割完成之后提取代表性时间片段，采用基于相关模式和频带功率分布方法构建不同网络模式，利用滑动窗口法估计动态相关模式和动态功率分布变化，然后提取网络级的脑动力学的多变量特征。为了量化动态矩阵，将每个动力学矩阵的矩阵均值和矩阵清晰度作为提取的动态矩阵特征。

矩阵均值：动态相关性矩阵的平均值，如式(9)所示：

(9)

矩阵清晰度：描述不同网络状态之间转换的度量，如式(10)所示：

(10)

式(9)、式(10)中，

f

,=

f

(

x

,

y

)表示矩阵

x

行、

y

列的标量值，

k

是矩阵的行数。

2 实验结果与分析

2.1 实验数据

实验选用SEED数据集，有15名被试者(7名男性，8名女性)参加实验，每名被试均进行了3次实验，为了避免一次性长时间采集数据给被试造成脑疲劳或者抵抗心理，在每次实验之后设置了一周的间隔休息时间。每次实验中每位被试均被要求观看15个电影片段(每个4 min)，这些视频片段均选自大众好评的电影，将其作为刺激因子用于激发出情感，其中电影片段主要包括三个情感类别：愉悦(Positive)、中性(Neutral)和悲伤(Negative)。在被试观看电影片段的同时，被试通过头戴电极设备记录下大脑活动所产生的微弱电信号，其采样频率为1 000 Hz。SEED数据集采用的是国际10-20标准的62通道的电极帽设备，各电极在电极帽上的分布如图2所示。

图2 62通道的电极分布图

2.2 结果与分析

选取被试djc的积极、中性和负面情绪的脑电信号片段，得出不同频带上的动态相关性矩阵和动态功率矩阵，如图3～图5所示。

图3 愉悦状态下10 s EEG片段的CDM和PDM

图4 中性状态下10 s EEG片段的CDM和PDM

图5 悲伤状态下10 s EEG片段的CDM和PDM

从图3～图5可以观察到以下几点：

三种不同情绪状态下，基于频带功率分布所构建的动态脑网络比基于皮尔逊相关性构建的脑网络隐含更多的时间维度信息，即不同时间窗间的PDM值高于CDM。

从频带上来说，随着频段变高，且当所有频带同时使用时，CDM和PDM的相关性就越高。这表明频段越高，与情绪活动的相关性就越大。

在all波段下，愉悦情绪和悲伤情绪的CDM矩阵基本一致，而PDM矩阵变化较大。这说明情绪转变过程中频带功率分配模式比网络相关模式更能表征情绪变化。

三种不同情绪状态下，PDM矩阵相比于CDM矩阵差异较大。这说明在研究情绪转变过程时应重点关注功率分布动态变化。

2.3 基于动态矩阵的情感分析

为了验证基于通道间功率分布相关性的动态网络更能表征情绪变化过程，提取PDM和CDM矩阵的动态特征，然后用SVM进行分类识别并与其他方法进行对比。该文选用不同频段的两种动态矩阵的脑电特征来评价脑电情绪识别方法的性能，动态矩阵特征分别为：矩阵均值和矩阵锐度。

从表1分析数据发现：动态脑网络特征相比静态脑网络特征在SVM方法下的情感识别率较高，这是因为动态网络相比静态网络考虑到了情感转换过程中有效的时间信息。

表1 SEED数据集上不同脑电特征在SVM下的平均准确率 %

3 结束语

以辨别和描述人脑网络的状态特征为目标，针对静态功能连接会缺失与时间相关的有效信息，该文提出了一种基于相关模式和频带功率分布的动态脑电情感分析方法。利用通道间相关性和各通道功率矢量分布相关性构建网络模式，并使用滑动窗口方法来估计各窗口间的动态相关性，在SEED数据集上进行分类识别验证所提方法的合理性。

研究发现以下几点：

采用通道间相关性和跨通道频带功率相关性方法，利用滑动窗口的动态数据分析均可完成全脑动态功能网络构建。实验结果发现人脑在三种情绪状态下功能性脑网络的变化具有一定规律性，从而了验证方法的有效性。

在情感分析中PDM相比CDM具有较好的分类识别性能，这可能是由于脑电信号是一种非平稳信号，而皮尔逊相关系数是用来测量信号间线性关系。