基于脑电的多媒体情绪诱发对智力发挥影响研究

韩宇阳，徐雪远，李子遇，叶龙，张勤，邬霞

（1.北京师范大学人工智能学院，北京 100875；2.中国传媒大学媒介音视频教育部重点实验室，北京 100024）

1 引言

多媒体是多种媒体的综合，包括图像、声音和视频等，研究表明，多媒体内容对情绪有很大影响[1,2]，情绪进而又会影响各种认知功能，诸如对注意力[3]，记忆[4]以及决策[5]等。，因此研究多媒体情绪诱发对认知功能的影响对商业传媒、教育教学等领域有重要的意义。

智力被认为与一系列认知任务的表现有关[6]，智力发挥就是在这些认知任务中智力的表现情况。近年来，越来越多的研究开始关注情绪对认知活动，特别是智力发挥这种综合认知活动的具体影响，例如对认知活动中决策的正确率或者决策速度的影响。许多研究表明，积极情绪会加快信息处理的速度，例如Kalanthroff等人[7]提出情绪会控制认知过程，影响人的注意力，与中性情绪相比，负性情绪会加长反应时间。相反，有理论认为，积极情绪和消极情绪都会对大脑处理信息产生负荷，降低信息处理能力[8,9]。也有一些学者，例如Forgas认为，积极情绪和消极情绪会调用不同的信息处理策略，在某些问题上，消极情绪反而有更好的效果[10]。本文将在此方面进行详细探讨。

在情绪与智力发挥的研究中，对情绪状态的衡量是十分关键的。这种衡量分为两方面，一方面是对情绪状态的量化，主要包括非生理信号和生理信号，在以往的研究中，往往采样非生理信号的方式来衡量情绪，例如通过被试的量表打分作为情绪状态量化依据的情绪反应尺度量表[11]，运用机器学习方法对人脸面部进行情绪识别[12]，或通过语音来识别情绪[13]，这些非生理信号的有效性得到了验证。近年来，通过生理信号来衡量情绪状态受到越来越多的关注，生理信号相比于非生理信号，具有更好的准确性，在衡量情绪等生理状态时效果更好。生理信号包括心电图（Electrocardiogram,ECG）、皮肤温度（Skin Temperature,ST）、脑电图（Electroencephalogram,EEG）等，ECG、ST等基于自主神经系统的识别方法的优点是不易伪装，但缺点是精度低，缺乏统一的评判标准，而基于脑电信号的识别方法不仅不易伪装，而且精度更高[14]。目前有许多基于EEG的情绪研究，包括在情绪分类[15]、特征提取[16]等领域。情绪状态衡量的另一方面是对情绪状态的实时监测。在以往的研究中，情绪诱发和智力发挥会分开进行，并默认智力发挥阶段的情绪即诱发的情绪，例如在Forgas[10]的研究中就通过先阅读能诱发不同情绪的文章，再对文章内容进行回忆的方式衡量情绪对记忆的影响。但这种方式往往无法得到回忆过程中的真实情绪。因此，通过脑电实时监测情绪诱发和智力发挥两个阶段的情绪状态，能够更加准确地描述智力发挥过程中的真实情绪，进而探究情绪对智力发挥的影响。

本文致力于探究情绪对智力发挥的影响，通过多媒体材料，主要是视频材料，来诱发不同情绪，并通过数学算式计算衡量智力的发挥，来探究不同情绪对智力发挥的影响。本文的创新点在于：

（1）.通过脑电实时测量情绪诱发与智力发挥过程中的信号。

（2）.创新性提出基于机器学习的识别智力发挥过程中情绪状态方法。

2 方法

本文运用多媒体视频材料诱发情绪，探究情绪与智力发挥的关系。首先挑选了24 条不同情绪类型视频材料，通过被试评分实验并分析评分结果，选择了积极情绪、中性情绪和消极情绪三种情绪类型下诱发效果最佳的各5 条视频材料，构建了情绪诱发视频数据集，本文将构建好的情绪诱发材料用于情绪与智力发挥脑电实验中，对被试的情绪诱发和智力发挥两个阶段进行了实时脑电监测，并对得到的脑电数据进行了预处理和特征提取，最后，本文运用机器学习方法，以情绪诱发阶段的脑电数据与视频情绪标签作为真值训练分类器，并用此分类器对智力发挥过程中的真实情绪状态进行识别，以此情绪状态识别结果，进一步探究情绪对智力发挥的影响。本文的研究方法流程见图1。

图1 研究方法流程

2.1 情绪诱发视频数据集构建

情绪诱发的主要方式是通过多媒体进行诱发，相对于图片和音频，视频具有更多的感官刺激和更好的情绪渲染能力，基于此，本文构建了一套新的情绪诱发视频数据集，用作后期的情绪多媒体材料。

（1）情绪诱发视频材料评分实验

a) 被试信息

此次数据集构建共采集被试15 名（9 女6 男），均为高校在校学生，年龄范围为19-27 岁，平均年龄22.13岁，右利手，无特殊疾病，符合实验条件。

b) 评分实验过程

实验前，每名被试需要在自己的电脑上安装播放实验范式的软件，待主试讲解完注意事项后，带好耳机并调整到合适音量。

在实验过程中，每位被试被要求在自己的电脑上完成实验范式，整个实验过程包括24段不同内容的情绪材料，被试在观看完每段视频后，需要根据自己的感受填写情绪状态、唤醒度、愉悦度、支配度及PANAS 情绪自评量表。平均每段视频1.5-4 分钟，分为积极、中性、消极三类情绪，每类情绪包含8段视频，具体的实验流程见图3。

图3 情绪诱发视频数据集评估实验范式

（2）评分分析与视频材料选择

情绪视频的选择标准为能够较好地诱发出视频类型所对应的情绪。因此我们首先分析了被试在观看完视频片段的情绪状态评分、唤醒度、愉悦度和支配度，并计算了内部一致性。结果表明，在唤醒度、愉悦度和支配度上内部一致性信度系数分别为0.969、0.841 和0.709，一致性较高，评分可信度高。我们同时对愉悦度、唤醒度做方差分析，以判断不同情绪的评分结果是否存在显著差异。愉悦度评分结果见图2，P值均远小于0.01，说明不同情绪视频下被试的愉悦度评分存在显著性差异，并且随着情绪类型由积极情绪到消极情绪，愉悦度评分也显著下降，说明三种类型的视频均可以诱发出相应的情绪状态。

图2 愉悦度评分箱式图

为选择出诱发效果最佳的视频材料，我们对所有评分进行了主成分分析，找到具有主要影响的评分因素，并以此作为依据，对视频材料进行选择。结果如表1，根据成分因子的重要程度，最终选取了每种情绪类型5段视频，构建情绪诱发视频数据集。

表1主成分分析后的因子及载荷

2.2 情绪与智力发挥脑电实验

在以往的研究中，通常对任务阶段的情绪状态实时监测并不关注，而是将情绪诱发阶段诱发的情绪默认为任务阶段的情绪状态。本文通过脑电信号来实时监测情绪诱发和智力发挥阶段的情绪状态，来对智力发挥过程中真实的情绪状态进行记录，从而为后续情绪对智力发挥影响的探讨提供依据。

（1）被试信息

此次脑电实验共采集被试38 名（21 女17 男），均为高校在校学生，年龄范围为19-25 岁，平均年龄20.63岁，右利手，无特殊疾病，符合实验条件。

（2）脑电实验过程

实验过程在脑电实验室进行，本次脑电采集设备为美国EGI 系统。实验前被试需佩戴128 导电极帽，并听从主试讲解实验流程和注意事项。

实验过程中，被试需观看共15段情绪视频，在每段情绪视频观看结束后，需完成随机7个难度等级的数学计算题共70道，被试需在每道加法计算题出现的2秒内心算出正确答案，并在2秒结果显示阶段判断该显示结果是否为正确答案。每5段视频结束后会进行约5分钟休息，全程记录脑电数据，实验范式见图4。

图4 情绪与智力发挥脑电实验范式

（3）脑电数据预处理

脑电数据的预处理包括人工去除伪迹，滤波，降采样及独立成分分析。

人工去除伪迹过程，主要是去除由于实验中补充脑电液产生的干扰信号以及明显的肌电、眼电信号。滤波过程我们保留了0.1-50Hz 脑电数据，并过滤掉50Hz 工频干扰。降采样过程主要是通过降低采样频率，减小计算量，我们将采样频率从500Hz 降至200Hz。独立成分分析过程是通过线性分解将脑电数据分解成独立源成分后剔除伪迹相关的源成分。

我们将预处理的脑电数据进行分段，将38名被试在观看视频影片部分的脑电数据进行截取，每名被试观看15 个片段，共570 段脑电数据作为情绪脑电数据，将37 名被试（其中一名被试的智力发挥阶段脑电数据标签有误）在观看完每个视频进行的14道数学计算判断题阶段的脑电数据共7770 段作为智力发挥脑电数据。在进一步剔除存在异常的脑电数据段后，最终得到情绪脑电数据570 段和智力发挥脑电数据7524段，用于后续的分析与处理。

（4）脑电特征提取

情绪相关的脑电特征主要分为时域特征、频域特征和空间域特征。时域特征主要包括峰峰值、方差、Hjorth参数特征等，频域特征包括δ(1-4Hz)、θ(4-8Hz)、α(8-12Hz)、β(13-30Hz)、γ(31-45Hz)五个频段的功率等。空间域特征则是将上述特征按照空间进行再次划分和处理得到的带有空间信息的特征。

在本文中共对570 段情绪脑电数据和7524 段智力发挥脑电数据提取了21 种特征，并合并为3380 维的特征向量，特征种类见表2。

表2 情绪与智力发挥脑电特征提取种类

2.3 机器学习情绪识别方法

脑电实时记录的智力发挥阶段情绪状态可以通过对特征的判断进行识别。本文运用机器学习方法，构建基于脑电特征的情绪分类器，对智力发挥阶段的情绪状态进行识别。

（1）分类方法的选择与分类器构建

在此之前，我们已经通过实验挑选出可以诱发出目标情绪的情绪视频，因此可以说明观看视频阶段被试的真实情绪是已知真值，与视频本身的情绪诱发类型相同。我们以此训练情绪脑电特征分类器，并对智力发挥过程的情绪进行识别，即可得出智力发挥阶段的真实情绪，从而探究情绪与智力发挥的关系。

分类器性能的好坏直接决定了智力发挥过程中真实情绪的识别是否准确。我们测试了9种常见的机器学习分类算法，将情绪视频观看阶段的脑电特征输入进行训练，结果见图5。结果表明，随机森林算法、决策树算法和Gradient Boosting算法在分类准确率和泛化能力上表现较好，综合计算效率，我们采用随机森林算法。

图5 9种常见机器学习算法的情绪分类测试效果图

（2）分类器参数调节

我们进一步对随机森林分类器进行了调参，通过调节决策树数量、决策树最大特征数目和最大深度，来优化分类器性能。我们分别测试了不同参数的分类效果，并进行10 折交叉验证，结果表明决策树数目53，最大深度7，最大特征数目43 可达到较优分类性能，分类准确率在77%到86%之间。

（3）智力发挥阶段情绪识别

为了减少实验误差，我们将得到的情绪分类器对7524 段智力发挥脑电数据进行了100 次情绪状态识别，每次识别均重新训练分类器，并将智力发挥脑电数据放入分类器中进行分类，得到100 组智力发挥阶段情绪状态，并根据识别结果对智力发挥过程中不同情绪下答题正确率和反应时进行了统计。

3 结果

3.1 不同情绪对答题正确率的影响

答题正确率反映了被试的数学计算能力，可以直接体现被试的智力发挥水平。图6(a)的结果表明，100组识别结果中，积极情绪下答题正确率普遍高于中性情绪和消极情绪，消极情绪下答题正确率普遍低于积极情绪和中性情绪。为了进一步探究三种情绪状态下的答题正确率是否存在显著性差异，我们进行了差异性检验，检验结果见图7(a)，答题正确率在三种情绪状态中均存在显著性差异。

图6 不同情绪状态下答题正确率与答题反应时岭图

图7 不同情绪状态下答题正确率与答题反应时箱式图

实验结果说明，相对于中性情绪诱发的正常情绪状态，积极情绪对智力发挥存在积极影响，而消极情绪对智力发挥存在消极影响，这一结果与之前一些学者的研究中积极情绪有利于信息处理的论点是一致的。

3.2 不同情绪对答题反应时的影响

答题反应时体现了被试的注意力和反应能力，也可以在一定程度上反应被试的智力发挥水平。从图6(b)中发现，积极情绪下智力发挥过程反应时平均最长，中性情绪次之，而消极情绪下智力发挥反应时具有波动性，在某些组别中反应时很长，但大部分组别中，答题反应时最短。我们同样对三种情绪状态下的答题反应时进行了差异性分析，结果表明P值远小于0.01，均存在显著差异，结果见图7(b)。

结果说明，积极情绪会影响智力发挥过程中的注意力和反应能力，导致反应能力下降，而消极情绪下反应能力有所上升，与之前答题正确率的结果相对比，我们发现情绪对处理决策的准确率和反应时上的影响并不是一致的。因此，我们希望通过对任务更加细致的划分，来进一步探究情绪对智力发挥的影响。

3.3 不同情绪对不同难度题目答题正确率的影响

在简单探究了不同情绪对智力发挥过程中答题正确率和反应时的影响后，我们进一步探究，情绪对智力在不同难度题目的发挥中是否存在影响。我们将题目难度分为3种，即低难度，中等难度和高难度，分别计算了不同情绪诱发下不同题目难度的答题正确率，题目难度分类标准见表3。

表3 数学计算题目难度划分标准表

图8即显示了不同难度题目下情绪状态对答题正确率的影响，可以看出，不同难度下，情绪对智力发挥的影响也是不同的，且存在显著性差异。在低难度下，中性情绪对智力发挥的效果最佳，在中等难度题目中，积极情绪下智力发挥更好，而在高难度问题中，积极情绪和消极情绪对智力发挥均有较好影响。

图8 不同难度题目下情绪状态对答题正确的影响

相同情绪状态下，不同的难度等级对智力发挥的影响也不尽相同。在积极情绪和中性情绪下，答题正确率与难度基本呈负相关。而消极情绪在处理高难度问题时的答题正确率又较中等难度有所回升，说明消极情绪在高难度问题中可能会使智力发挥有更好的表现，结果见图9。

图9 不同情绪状态下题目难度对答题正确率的影响

3.4 不同情绪对不同难度题目答题反应时的影响

在不同情绪状态对不同难度题目的答题反应时影响中，我们发现，低难度问题下，积极情绪表现最差，中性情绪与消极情绪表现更好，中等难度问题中积极情绪和消极情绪表现更佳，二者并无显著性差异，而在解决高难度问题时，消极情绪表现最优，结果见图10。

以难度为因素进行分析，积极情绪状态下，中等难度题目反应时最短，中性情绪与消极情绪状态下，低难度题目反应时最短，结果见图11。

图10不同题目难度下情绪状态对答题反应时的影响

图11 不同情绪状态下题目难度对答题反应时的影响

实验结果表明，情绪对不同难度题目下的智力发挥存在一定的影响。综合答题正确率和反应时来看，积极情绪下解决中高等难度问题更加有利，而消极情绪下，在解决高难度问题时更加有利。

我们通过机器学习方法得到智力发挥阶段情绪状态，并对答题正确率和反应时进行了统计，结果表明，积极情绪在总体上对答题正确率有积极影响，并且在具体的中等难度和高等难度题目中也相比于中性情绪有积极影响。而消极情绪在总体上抑制了答题正确率的表现，但在高难度问题上也要优于中性情绪。

在反应时上，我们发现了与上述相反的结论，积极情绪在总体上不仅没有促进，反而抑制了反应速度，具体表现在主要抑制了低难度问题的反应速度。而消极情绪在总体上，促进了答题的反应速度，尤其是在面对高难度问题时效果更为显著。

这一结果暗示积极情绪和消极情绪在解决问题时，可能会针对不同的问题调用不同的影响策略，从而导致，在不同难度问题上，情绪对智力发挥的影响也不同，这与引言中Forgas的理论一致。

但正如文中所提，本实验仅采集了38名被试数据，在数据量和特征数量上较少，实验结论的普遍性有待进一步验证。另一方面，我们提出的机器学习情绪识别方法中，智力发挥阶段的情绪识别结果直接决定了结论的正确性，这就对该方法的情绪识别准确率和可解释性提出了考验，因此未来还需进一步改进情绪识别方法的准确性和可解释性。

4 结论

本文通过构建情绪诱发视频数据集，设计情绪与智力发挥脑电实验来探究不同多媒体视频诱发的情绪对智力表达的影响，并创新性提出了基于机器学习的智力发挥阶段情绪识别方法。结果表明，积极情绪相对于中性情绪和消极情绪更有利于智力发挥过程中答题准确率的提升，但同时会使反应能力有所下降。从题目难度来看，积极情绪诱发下更有利于解决中高等难度题目，而消极情绪诱发下对高难度问题的解决更为有利。

研究结果不仅有利于进一步探讨多媒体诱发的情绪与智力发挥的关系，也在移动传媒、教育教学领域有应用价值，例如通过多媒体进行教育教学的过程中，可以利用这些规律来对教学材料、教学过程进行更加科学的设计和规划。未来，我们将继续对情绪与智力发挥的关系进行更深入的探讨。