基于去趋势波动分析的不同特征音乐刺激下脑电特性

朱嘉诚,李颖洁

(上海大学通信与信息工程学院生物医学工程研究所,上海 200444)

音乐作为一种表达和传递情绪的重要手段,被认为是诱发情绪的最强刺激因素[1].已有研究发现,音乐能增强或削弱听众的情绪,欢快的音乐刺激可以产生积极的情绪,令人不愉快的旋律则会导致负面情绪[2-3],这些变化也能在人体的生理系统中清楚地反映出来[4].然而,音乐本身具有不同的物理特征,如节奏和音调,这些特征的改变会对情绪以及由此引来的电生理反应带来何种变化尚不明晰.此外,音乐具有丰富的时间结构,是一种复杂的听觉场景[5],大脑是如何加工这种时间序列的还需进一步研究[6].

在运用脑电对音乐刺激下的情绪认知的神经研究中,通过时频域等多种分析手段已开展了大量有意义的研究工作[7-10],其中大脑偏侧化是被广泛报道的重要特性[11].然而已有研究结果却并不一致,有研究指出大脑对音调和节奏认知都表现出一定偏侧化机制[12],大脑左半球在时间序列、节奏辨别、音乐句法及音调变化方向等方面的分析与判断起重要作用[13];但也有研究发现音调信息加工存在右脑优势[14],右脑负责旋律总体印象加工.之所以会得出不一致的结果,笔者认为一个重要的原因就是脑电容易受到测量方法的影响,导致信号不稳定而产生伪关联[15],最终造成了研究结果的不一致.

由于脑电是典型的非线性时间序列[16],已有研究认为非线性分析是理解大脑活动潜在动态的更适合的分析手段[17].但是经典的非线性分析方法如相关维数和Lyapunov 指数不仅对噪声非常敏感,而且要求信号是平稳的[18],而脑电信号是非平稳的,因此不适合采用这些方法.近年来,一种新的非线性方法——去趋势波动分析(detrended fluctuation analysis,DFA)方法被广泛用于各类非平稳信号分析[19-21].DFA 方法能有效避免由于信号不稳定而产生的表面上伪关联的干扰[15].可见,相较于上述经典的非线性方法,DFA 方法能够更好地解决脑电测量中对噪声敏感的问题.

综上,本工作通过设计不同物理特征音乐刺激下的电生理实验,采用DFA 方法分析不同实验任务下脑电信号能量序列,结合行为学数据分析,探讨不同音乐特征对受试者情绪认知心理以及电生理反应的影响,并探究相关的大脑偏侧化机制.

1 材料和方法

1.1 受试者

本实验共从上海大学招募了10 名受试者,其中男性5 名,女性5 名,平均年龄为23.90±0.99 岁,平均受教育年限为17.40±0.52 岁,均为右利手,视力正常或矫正视力正常,听力正常,没有任何神经或精神病史.在实验前,所有受试者都经过了焦虑自评量表(self-rating anxiety scale,SAS)、抑郁自评量表(self-rating depression scale,SDS)的评定,SAS 评分为35.30±3.77,SDS 评分为38.00±6.34,评分均在正常范围内.所有受试者在实验前均签署了知情同意书,实验结束后给予适当的报酬.实验经过了上海市临床医药伦理委员会的批准.

1.2 材 料

本实验采用纯音乐片段作为情绪刺激材料.根据乐曲产生的背景,选取3 首音乐,分别是容易诱发悲伤情绪的《伴随着你》、《Canon In D》以及诱发欢快情绪的《My Soul》.为了讨论不同音乐物理特征对情绪的影响,对这3 首乐曲分别进行了加快、减慢、升调、降调4 种处理.所有音乐处理均采用Adobe Audition 软件完成.为了保证音乐片段有足够的时长来对受试者情绪进行激发,截取每首音乐片段的总长度为180 s,并且在每首音乐开始前收集10 s 脑电基线数据.本工作通过水滴音效使受试者保持或恢复平静,以减少个体差异的影响[22].

1.3 实验流程

每个任务分3 个试次进行,每个试次有一段原版乐曲和一段变化版乐曲(快版、慢版、升调版或降调版),即每个任务需要受试者听6 首乐曲.听取不同乐曲之间均有1 min 的休息时间.每个试次的流程如图1 所示.每个试次开始前屏幕中央会呈现提示语,以告知受试者进行何种任务,之后为了尽可能减少眼动带来的干扰以及平复受试者的情绪,会先在屏幕中央呈现符号“+”10 s,同时出现水滴音效.然后刺激音乐片段出现180 s.在聆听结束后,受试者需对之前的音乐片段进行效价打分和唤醒度打分,打分等级从“1”到“9”共9 个.受试者打分结束后可以休息1 min,然后进入变化版乐曲的聆听任务中,流程与聆听原版乐曲一致,只是将刺激材料变为变化版乐曲.休息1 min 后进入下一试次实验,直至听完6 首乐曲,并进行效价和唤醒度评分,实验结束.实验程序由英国诺丁汉大学Jonathan Peirce 教授团队开发的开源软件Psychopy2 编写.

图1 一次实验流程图Fig.1 Flow chart of one experiment

在正式实验开始前,调整音乐播放的音量,使受试者感到舒适.在正式实验过程中,受试者舒适地坐在距离17 英寸液晶显示屏80 cm 处,视角大小约为5◦.受试者在一个封闭无声音干扰的房间内进行所有实验.为了避免受试者疲劳,减少刺激材料熟悉度带来的影响,同时有足够的数据量,整个实验(4 种任务)分4 d 完成,分别是“原版和快版”、“原版和慢版”、“原版和升调版”以及“原版和降调版”,每次完成实验任务需要大约30 min.

1.4 数据采集与预处理

脑电采集设备为Neuroscan 公司的32 导脑电(electroencephalogram,EEG)检测仪.参考电极位于右侧乳突,AFz 作为接地电极,另外记录2 个垂直眼电.采样频率为1 000 Hz,电极阻抗均小于5 kΩ,采集时使用50 Hz 陷波器滤波滤除工频干扰.

整个预处理过程均使用EEGLab(version 12.0.2.6b)完成.(1)变换参考:以左右乳突的均值作为参考电极的值,对所有导联数据进行重参考;(2)低通滤波至30 Hz;(3)去除眼电伪迹:使用独立主成分分析方法去除眼电伪迹;(4)数据分段:对数据进行分段提取,每一段从音乐出现前10 s 至音乐后180 s,并进行基线校正;(5)分类:根据倾听音乐版本的不同,将分段数据分为4 类,最后将数据导出.此外,为了保证正性和负性数据段数一致,本工作选取了欢快乐曲的全部试次的脑电数据,并随机选取了相同数据段数的悲伤乐曲对应的脑电数据进行后续分析.

1.5 信号分析处理

1.5.1 各频带能量

本工作使用小波变换对经过预处理的脑电数据进行分频处理,分别滤出4 个不同频段的脑电信号,分别是δ(1∼4 Hz),θ(4 ∼8 Hz),α(8∼13 Hz),β(13∼30 Hz).在进行小波分解时,选取db5 作为小波基,分解的级数为10.根据提取出的各频段脑电信号,使用一个固定长度的滑动时间窗逐点滑动,取窗口内所有采样点的平方和代表该频段的能量时间序列[23].频段能量

式中:窗宽设为5 s(N=5 000);k 是数据段数,由于音乐长度为180 s,因此k=1,2,···,n(n=36);X(k)i代表第i 段该窗宽内的脑电信号序列.

1.5.2 去趋势波动分析(DFA)

本工作对提取出的各频段能量时间序列进行DFA 分析.

(1) 求能量时间序列E(k)去均值后的和序列y(i),

式中:Emean为能量时间序列E(k)的均值.

(2) 将和序列y(i)分成相等长度s 的子序列,子序列长度Ns=36/s,分割长度s 取1,2,···,36.

(3) 在每个子序列内,采用最小二乘线拟合线性趋势部分,用yn(i)表示.在每个子序列内用和序列减去线性趋势,然后计算得到去趋势序列的均方根波动,记为F(s),

然后在不同长度的子序列上重复上述计算.若F(s)与窗宽s 服从幂率分布,即F(s)∝sα,则说明脑电能量时间序列具有长程相关性.

(4) 根据双对数坐标画出F(s)与窗宽s 的关系曲线,并线性拟合计算曲线的斜率,该关系的斜率即为标度指数α.

标度指数α 为能量时间序列的长程相关性提供了一个定量指标.α 所代表的物理意义是,当0.5<α<1 时表明信号具有长程幂律相关性[24].

1.5.3 分区

按照大脑活动分区域分析,对应电极如表1 所示.

表1 大脑分区与电极Table 1 Brain region and electrodes

1.6 统计分析

本工作采用软件SPSS 22.0(IBM 公司)进行统计分析,使用重复测量方差分别对受试者的效价和唤醒度评分进行分析,其中组内因素为“任务”(原版音乐/变化版音乐).同时使用重复测量方差对脑电数据进行分析,组内因素有“任务”(原版音乐/变化版音乐)、“脑半球”(左半球/右半球)、“脑区域”(额区/中央区/颞区/顶区/枕区).若存在交互效应,则进行简单效应分析.统计结果P 值若小于0.05,则认为存在显著性差异.

2 结果

2.1 行为学结果

通过对效价和唤醒度评分的单样本t 检验,与中性刺激的效价和唤醒度相比,本工作选取的欢快乐曲显著诱发了受试者的快乐情绪(效价P=0.000,平均差=2.100,唤醒度P=0.000,平均差=−2.000);悲伤乐曲也成功诱发了受试者的悲伤情绪(效价P=0.013,平均差=−1.400,唤醒度P=0.019,平均差=−2.000).

在效价评分的统计检验中,发现受试者倾听欢快升调版乐曲的效价显著低于原版乐曲.当受试者倾听悲伤乐曲时,对其升调版乐曲和降调版乐曲的效价评分都显著高于原版悲伤乐曲.

在唤醒度评分的重复测量方差分析中,发现受试者倾听欢快乐曲时,对其升调版乐曲和降调版乐曲的唤醒度评分均显著高于原版悲伤乐曲.具体统计结果如表2 所示.

表2 行为学结果Table 2 Behavioral results

2.2 DFA 分析结果

首先需要求出所有受试者4 种任务的标度指数,单个受试者单个任务的标度指数拟合曲线如图2 所示.

图2 某个受试者的标度指数Fig.2 Scale index of a subject

本工作对4 种任务下的脑电都进行了全频段分析,最终在alpha,beta 频段升调版和降调版两种任务中发现了统计差异.图3 和4 分别显示了倾听欢快乐曲时的脑电敏感区域分布情况,以及倾听各版本欢快乐曲DFA 均值变化情况.图3 中黑色柱状体代表倾听原版欢快乐曲的alpha 频段标度指数,灰色柱状体代表倾听变调版欢快乐曲的alpha 频段标度指数,点状柱状体代表倾听原版欢快乐曲的beta 频段标度指数,空心柱状体代表倾听变调版欢快乐曲的beta 频段标度指数.图5 和6 分别显示了倾听悲伤乐曲时的脑电敏感区域分布情况,以及倾听各版本悲伤乐曲DFA 均值变化情况.图5 中黑色柱状体代表倾听原版悲伤乐曲的alpha 频段标度指数,灰色柱状体代表倾听变调版悲伤乐曲的alpha 频段标度指数,点状柱状体代表倾听原版悲伤乐曲的beta 频段标度指数,空心柱状体代表倾听变调版悲伤乐曲的beta 频段标度指数.此外,对4 d 的原版任务进行了DFA 差异分析,发现并没有显著差异,表明连续几天重复听相同的音乐,不存在疲劳效应.

图3 倾听欢快乐曲脑电敏感区域分布Fig.3 Distribution of brain-sensitive areas listening to happy music

图4 倾听各版本欢快乐曲DFA 均值变化Fig.4 DFA mean change of listening to each version of happy music

图5 倾听悲伤乐曲脑电敏感区域分布Fig.5 Distribution of brain-sensitive areas listening to sad music

图6 倾听各版本悲伤乐曲DFA均值变化Fig.6 DFA mean change of listening to each version of sad music

从图3 和4 可以看出,在倾听欢快的升调版乐曲任务下,alpha 频段内左侧额区升调版乐曲诱发的标度指数显著高于原版乐曲;beta 频段内右侧中央区和顶区升调版乐曲诱发的标度指数显著高于原版乐曲.在倾听欢快的降调版乐曲任务下,beta 频段内左侧额区、中央区和顶区降调版乐曲诱发的标度指数均比原版乐曲更低.

从图5 和6 可以看出,在倾听悲伤的升调版乐曲任务下,alpha 频段内左侧颞区升调版乐曲诱发的标度指数显著低于原版乐曲;beta 频段内右侧颞区升调版乐曲诱发的标度指数显著高于原版乐曲.在倾听悲伤的降调版乐曲任务下,alpha 频段内左侧顶区降调版乐曲诱发的标度指数低于原版乐曲;beta 频段内左侧中央区和枕区降调版乐曲诱发的标度指数比原版乐曲更低.

另外,本工作还对具有显著差异的特定脑区DFA 指标与行为学指标进行了Pearson 相关性分析,最终发现具有显著差异的特定脑区DFA 指标与行为学指标为中等程度相关,即相关系数范围在0.4∼0.6 之间.相关分析结果如表3 和4 所示.

表3 倾听欢快乐曲时行为学与DFA 指标相关性分析结果Table 3 Results of correlation analysis between behavioral and DFA indicators when listening to happy music

表4 倾听悲伤乐曲时行为学与DFA 指标相关性分析结果Table 4 Results of correlation analysis between behavioral and DFA indicators when listening to sad music

3 讨论

本工作的目的在于通过分析不同节奏和音调特征的音乐刺激下诱发的脑电信号标度指数,探究受试者对不同音乐特征的心理生理反应,尤其是对大脑偏侧化的影响.研究发现在不同特征的音乐刺激诱发下,alpha,beta 频段内脑电信号标度指数具有显著差异,且左右脑区出现明显的偏侧化现象.

从行为学数据看,刺激材料的唤醒度和效价与受试者的主观体验直接相关.一般地,效价是描述情绪积极还是消极的指标;唤醒度则是描述情绪的强度[25].本工作发现受试者在倾听悲伤乐曲的升调版和降调版时,效价都有所升高,说明经过变调的悲伤乐曲都正向改变了自我评价的情绪;在倾听欢快乐曲的升调版时,减弱了受试者正向情绪,而欢快乐曲的降调版并没有改变乐曲的情绪属性.类似的研究成果在已有文献中尚未有报道.

从去趋势波动分析结果看,在这一指标基础上发现变化版乐曲刺激带来显著的大脑偏侧化现象.本工作研究结果表明,在不同音调特征的音乐刺激诱发下,alpha,beta 频段上表现出明显大脑偏侧化特点,在alpha 频段升降调引起的电生理变化都体现在左半球,在beta 频段升降调引起更活跃的左半球活动,右半球活动相对减弱.上述结果表明,在音乐情绪加工过程中,与积极或消极情绪相关的偏侧化模式显示出不对称性,音乐情绪加工偏向于左半球优势[26].已有研究发现积极的情绪会产生明显的左半球偏侧化,而本工作研究结果表明,在音乐特征改变的情况下,只要音乐情绪属性未发生改变,这种偏侧化就依然保留.同时,已有研究发现消极情绪不会导致右半球的偏侧化,而本工作研究中升降调改变了悲伤乐曲的情绪属性,因此表现出大脑活动的偏侧化.

此外,从标度指数的物理意义[24]上看,具有统计差异的脑电信号标度指数均在0.5∼1.0 之间,说明不同特征的音乐刺激下脑电依旧具有长程相关性.已有研究还发现,大多数电极位置alpha 和beta 振荡的标度指数相似,这意味着参与长程时间相关性生成的神经元机制在两个频带中大致相似[27].而从本工作研究结果看,与情绪音乐刺激相关的alpha 和beta 频段脑电标度指数表现出不同的特性,同时二者还具有不同的空间分布特性.

最后,结合受试者的效价唤醒度评分结果与DFA 分析结果,本工作发现行为学结果与DFA 结果具有相同的趋势,并且二者相关程度也较高,因此可初步推论,悲伤乐曲的升调版和降调版都使受试者减弱了悲伤的感受,从脑电DFA 分析结果来看,左侧脑区活动更加强烈.而欢快乐曲的升调版导致受试者负向改变自我情绪评价,相应左侧额区活动减弱.这些结果进一步证明了音乐对脑电偏侧化的影响.

4 结束语

综上,本工作为研究不同音乐特征对情绪的影响提供了新的实验依据.结合行为学以及DFA 分析,结果显示了受试者在不同音调特征的音乐刺激诱发下,alpha,beta 频段上具有明显的大脑偏侧化特点,并且在悲伤乐曲刺激下经过升降调变化后左半球脑动力表现更活跃,升调变化引起右侧脑活动减弱,进一步证实了音乐刺激脑电偏侧化现象.此外,本工作应用的DFA 标度指数经过均值统计验证,可以有效证明脑电具有长程相关性的动力学振荡特征[28],DFA 作为脑电信号非线性分析的定量指标,有望用于不同情绪任务的脑电分类识别.