教学视频中视听觉情绪设计的作用机制与优化策略研究*

王 雪 韩美琪 高泽红 王志军

（天津师范大学 教育学部，天津 300387）

一、引言

随着媒体技术和网络技术的不断发展，教学视频因其形象直观、图文声像并茂、学习体验感好等特征，逐渐成为在线学习资源的主要形式[1]。特别是2020年初受新冠疫情影响，各级各类的学校教学活动纷纷转移到线上开展，仅在高等教育领域，截至2020年2月5日，教育部就组织了免费开放的2.4 万余门在线课程资源，覆盖了本科12 个学科门类、专科高职18 个专业大类，以保证“停课不停教、停课不停学”[2]。教学视频更是成为在线课程资源中教学内容的最重要载体，其质量将直接影响在线学习的成效。因此，教学视频的有效设计和应用，受到越来越多研究者和教学实践者的关注。

以往有关教学视频设计的研究，主要集中于视频中的认知因素上，例如，字幕[3-4]、线索[5-6]、教师引导[7-8]、教师形象呈现方式[9-10]、播放速度[11-12]、交互方式[13]等，即通过对认知因素的有效设计，促进学习者选择信息、组织信息和整合信息的认知加工过程[14]，从中总结出促进视频学习绩效的设计方法。然而，教学视频的设计除了要考虑认知因素以外，情绪因素的重要作用同样不容忽视。情绪可以调节认知的加工过程和行为，影响学习者对信息的选择、组织和整合。积极的情绪在认知过程中起协调、促进作用，此时学习效率就会比较高；而消极的情绪起破坏、阻断的作用，此时学习效率就会比较低[15]。近年来，一些研究开始关注情绪设计对多媒体情境下学习的影响[16-19]，但鲜有学者直接针对教学视频中的视觉和听觉情绪设计开展深入研究，且对情绪设计如何影响学习的作用机制尚不清晰。

综上，本研究旨在借助眼动跟踪技术和脑波记录技术，深入探究教学视频中的视觉和听觉情绪设计对认知加工的作用机制、对情绪的诱导作用、对认知负荷的控制以及对学习效果的交互影响，从中总结出视觉和听觉情绪设计的优化策略，为教学视频的优化设计、在线学习情绪的改善和学习绩效的提高，提供参考与借鉴。

二、情绪与多媒体学习

（一）多媒体学习认知情感理论与情绪设计

多媒体学习研究之父梅耶（R.E.Mayer）教授创立了 “多媒体学习认知理论”（Cognitive Theory of Multimedia Learning，CTML），认为多媒体学习是一个生成性的学习过程，包括三个不同的认知加工阶段：选择、组织和整合。具体来说：（1）在认知的选择阶段，学习者通过眼睛和耳朵注意到学习材料中的关键信息，例如图像和解说等，这一过程发生于感觉记忆当中；（2）在认知的组织阶段，学习者组织图像、解说等信息，并在其内部建立联系，形成图像或言语模型，这一过程发生于工作记忆当中；（3）在认知的整合阶段，学习者将工作记忆中的图像或言语模型，与长时记忆中的相关先前知识建立联结并整合[20]。可见，多媒体学习认知理论侧重于学习中的认知因素，但忽略了动机和元认知因素对多媒体学习的潜在影响。

莫里纳（R.Moreno）将动机和元认知因素整合到多媒体学习认知加工过程当中，进一步提出了“多媒体学习认知情感理论”（Cognitive Affective Theory of Learning with Media，CATLM）[21]。该理论认为，学习者的动机和元认知因素将启动、维持或控制认知的选择、组织和整合过程，进而影响认知投入和学习绩效。梅耶在此基础上进一步明确了“情绪设计”（Emotional Design）的基本概念，即对多媒体学习材料中所呈现教学内容的关键元素，进行再设计和修饰。其中，对图形等视觉元素增加拟人化的特征、采用暖色等被称作视觉情绪设计；调整解说的音高及音色、添加符合教学需求的背景音乐等，则被称作听觉情绪设计，目的在于增强学习材料的吸引力，进而提升学习者的学习动机，引发学习者的积极情绪[22]。

基于动机和情绪对多媒体学习的调节作用，“多媒体学习认知情感理论” 还提出了情绪设计对学习影响的基本假设：多媒体学习材料中关键因素的情绪设计，可以引导学习者的注意力集中到关键信息，从而促进认知的选择过程；同时，还可以帮助学习者更好地理解多媒体学习材料中的关键信息，从而促进认知的组织和整合过程（如图1所示）。为此，本研究“在多媒体学习认知情感理论”框架的基础上，对教学视频中表达关键信息的图形以及解说，分别进行不同的视觉和听觉情绪设计，深入探究这些不同的情绪设计对多媒体学习的认知过程、认知效果、认知负荷和情绪的综合交互影响，据此总结出教学视频中情绪设计的优化策略。

图1 多媒体学习认知情感理论框架

（二）相关研究综述

近年来，诸多研究关注了多媒体学习材料中的视觉情绪设计对学习者的情绪与学习效果的影响。一些研究发现，学习材料中视觉元素的情绪设计，能够诱发学习者的积极情绪，促进学习效果的提升。例如乌姆（E.R.Um）等人对“人体的免疫过程”动画中的视觉元素进行了情绪设计，发现暖色和圆形可以激发学习者的积极情绪，降低感知难度，并提高阅读理解和迁移测试成绩[23]；普拉斯（J.L.Plass）等人重复了乌姆的实验，进一步发现，暖色本身不能激发积极情绪，将暖色和圆形结合才能激发学习者的积极情绪，提高保持成绩，但对迁移成绩没有影响[24]；梅耶等人的研究以使用“病毒如何引起感冒”的教学PPT 为实验材料，对关键元素进行了视觉情绪设计，发现彩色和拟人特征能够显著提升学习者的保持测试成绩，但对迁移测试成绩没有显著影响，且视觉情绪设计能显著提升学习者的心理努力程度，使学习者能更积极投入到学习任务当中[25]；杨红云等人通过对国内外31 项相关实证研究展开的元分析发现，视觉情绪设计对学习者的保持成绩和理解成绩，有中等程度的促进作用[26]；布罗姆（C.Brom）等人的元分析研究也发现，视觉情绪设计对学习者的保持成绩、理解成绩和迁移成绩，均有中等程度的促进作用[27]。

然而，还有一些研究发现，多媒体学习材料中关键元素的视觉情绪设计，不能诱发学习者的积极情绪，也不能改善学习效果。例如，薛野等人以“人体的免疫过程”动画作为实验材料，对比了“橙黄红+娃娃脸拟人”与“黑白灰+圆形”两种视觉情绪设计对多媒体学习的影响。研究发现，暖色和拟人仅提高了学习者的内在动机，但没有诱发积极情绪，也没有提升学习成绩，且其情绪水平在学习后有所下降[28]。再如帕克（B.Park）等人对“人体的免疫过程”动画中视觉元素的形状进行了拟人化情绪设计，他们借助眼动仪记录了学习者的视觉认知过程，发现形状的拟人化不能诱发积极情绪，对学习者的理解成绩和迁移成绩也没有显著影响，但能有效引导学习者的视觉注意力集中到情绪设计区域[29]。

除了上述视觉情绪设计的研究之外，近年来也有少数研究关注了听觉情绪设计对多媒体学习的影响。例如高苗苗以大学生为被试，以“人体的免疫过程”教学动画作为实验材料，对动画中的解说声音进行了情绪设计，分为高音、中音和低音三组。研究发现，低音解说能够诱发学习者的积极情绪，促进相关认知负荷，显著提升保持测试与迁移测试成绩[30]。再如乌祖纳（A.M.Uzun）等人的研究结果也表明，在形状的拟人化设计基础上添加有趣的声音效果，会诱发学习者产生积极情绪，但不能提升学习者的心理努力程度、保持测试成绩和迁移测试成绩[31]。

综上所述，大多数研究集中于视觉情绪设计因素对多媒体学习的影响，且已有研究的结论仍不统一，视觉情绪设计效果的稳健性仍需探究。少量研究关注了听觉情绪设计因素，但缺乏对目前常用的人工智能合成音的关注，且视觉和听觉因素的双通道情绪设计的交互作用方式尚不清晰。已有研究大多采用积极情绪、消极情绪、认知负荷的自我报告和学习效果测试的方式，考量情绪设计因素对多媒体学习的影响，对视听觉情绪设计的作用机制，例如，对眼动加工机制和脑电生理机制尚缺乏深入的探究。除此之外，教学视频具有多种信息同时呈现（图片、文字、声音、动画、影像等）、动态性、复杂性和转瞬即逝等特点。学习者不仅要加工当前信息，同时还要记忆并整合之前播放过的信息，这容易使学习者产生过大的认知负担[32]。因此，有必要深入探究教学视频中情绪因素的有效设计方法，诱发学习者在视频学习时产生积极情绪和动机，调动高水平的学习投入，促进深层次的认知加工，进而提升视频学习效果。

三、研究问题

在分析多媒体学习认知情感理论、相关研究和教学视频情绪设计实际需求的基础上，本研究采用实验研究方法，综合考虑教学视频中的视听觉因素的双通道情绪设计，使用眼动仪和脑波仪跟踪记录学习者学习不同的视听觉情绪设计教学视频时，视觉和大脑的认知加工过程[33]；并在学习结束之后，通过问卷测量学习者的情绪状态、认知负荷和学习效果，从认知过程、学习体验与效果多个视角深入探究教学视频中的视觉和听觉情绪设计，对视频学习的影响。主要解决以下几个研究问题：

问题1：教学视频中的视觉和听觉情绪设计，对学习者的情绪有何影响？

问题2：教学视频中的视觉和听觉情绪设计，对学习效果和认知负荷有何影响？

问题3：教学视频中的视觉和听觉情绪设计，对认知加工过程的作用机制是什么？

问题4：学习者的情绪与学习效果、认知负荷和认知过程有何关联？

问题5：如何通过视听觉情绪的优化设计，改善视频学习成效？

四、研究方法

（一）实验设计与被试

研究采用2（视觉情绪设计）×3（听觉情绪设计）两因素完全随机实验设计，共包括六个实验分组。视觉情绪设计因素包括“彩色+拟人”“黑白色+无拟人”两个水平，听觉情绪设计包括“智能合成音”“真人低音”和“真人高音”三个水平。

从天津师范大学招募被试180 人，去除先前知识测试成绩高的和眼动采样率低的被试，最终保留有效被试156 人，其中男生58 人，女生98 人，年龄在18-26 岁。全部被试的母语为中文，且视力或矫正视力正常。为了保证每组性别比例的均衡，58 名男生和98 名女生被分别随机分配到六个实验组，每组被试26 人（男生大约10 人，女生大约16 人）。

（二）视频学习材料

视频学习材料取材于梅耶的经典实验材料“闪电的形成过程与原理”[34]。在“多媒体学习认知情感理论”和先前研究的基础上，对视频中表达关键信息的图形颜色和形状进行视觉情绪设计，即将视频中出现的水滴、冰晶、正电荷、负电荷等图形，设计为“彩色+拟人”和“黑白色+无拟人”两种形式。其中“彩色+拟人”中的颜色使用人们熟知的色彩，例如将水滴和冰晶处理为蓝色，形状使用拟人化的特征（为水滴添加表情等）；“黑白色+无拟人” 中的颜色仅使用黑白两色，且不添加拟人化的形状特征。图2展示了部分视觉情绪设计样例。

图2 视觉情绪设计样例

在听觉情绪设计上，设计三个版本的解说声音，即“智能合成音”“真人低音”和“真人高音”。考虑到当前人工智能应用的普遍性，实验选取人工智能合成音作为声音情绪设计的一种形式，对比其与真人声音对情绪、认知过程、认知负荷和学习效果的影响。“智能合成音”为男声，由科大讯飞平台在线语音智能合成服务自动生成。在已有相关研究的基础上，声音的另外两种情绪设计也分为高音和低音两种，均由男性真人录制而成。区分低音和高音的方法如下：邀请播音主持专业的两位声音明亮和两位声音低沉的男学生进行解说录音，语速正常，音量适中。解说声音录制后，由播音主持专业的两位教师和二十位研究生对四种解说录音进行音调高低评判，选定四种解说中音调最高和最低的解说声音，进一步用Protools 软件对两种解说音调进行观测，如图3所示，高音调（明亮）男声高频更为饱满，低音调（低沉）男声低频更为饱满。

根据本研究的实验设计，将视频学习材料中的视觉情绪设计和听觉情绪设计进行组合搭配，制作成六个版本，即“彩色+拟人+智能合成音”“彩色+拟人+真人低音”“彩色+拟人+真人高音”“黑白色+无拟人+智能合成音”“黑白色+无拟人+真人低音”和“黑白色+无拟人+真人高音”，供六个实验组进行视频自主学习。

图3 “真人低音”与“真人高音”频率对比

（三）主要仪器

眼动仪一台：采用Tobii X120 型眼动仪，采样率为120 Hz，完成被试的眼动定标和眼动数据采集；同时配合使用Tobii Studio 3.2 软件进行眼动数据的处理、导出以及简单分析。脑波仪一台：采用CUBand脑电仪，型号为CUB1-RS，采集被试的专注度、放松度等脑认知加工指标，配套软件为迈思睿认知能力训练与脑电分析系统，存储并输出被试的专注度和放松度等脑波数据。

（四）测量变量及工具

1.被试基本信息问卷

用于收集被试的性别、年龄、专业、年级等基础信息[35]。

2.先前知识问卷

由4 道题组成，涵盖了视频学习材料中讲解的知识主题，被试从非常不熟悉（0 分）到非常熟悉（4分）评估自己对学习材料的熟悉程度，总分值介于0-16 分之间。综合全部被试的先前知识测试结果，本研究将分值处于0-11 分（包括0 和11）的被试视为低知识经验水平；高于11 分的被试视为高知识经验水平。为了避免先前知识水平对实验结果产生干扰，高知识经验水平的被试会被剔除掉。单因素方差分析结果表明：六个实验组间的先前知识水平没有显著差异（F=.685，p=.635>.05）。

3.情绪量表

用于测量被试学习完成之后的情绪状态，掌握视频学习材料中的视听觉情绪设计对情绪的诱导作用。采用的是沃森（D.Watson）等编制的[36]，由邱林等人修订的“积极—消极情绪量表”[37]。量表共18 题，由积极情绪分量表（9 题，Cronbach’s α=.883）和消极情绪分量表（9 题，Cronbach’s α=.901）构成，被试从1（完全不符合，计1 分）到5（完全符合，计5 分）这五个级别，评估自己的情绪状态。积极情绪和消极情绪的测量结果，均介于1-45 分之间。

4.学习效果和认知负荷

（1）保持测试：测量被试记住了多少视频学习材料中的知识，以反映学习的数量[38]。保持测试包括7道选择题（Cronbach’s α=.827），全部来源于视频学习材料中讲解的内容，每题5 分，共35 分。

（2）迁移测试：测量被试对知识的理解和应用能力，以反映学习的质量[39]。迁移测试包括3 道简答题（Cronbach’s α=.807），不直接源于视频学习材料，但可利用视频讲解的内容进行解答，每题10 分，共30 分。

（3）认知负荷量表：测量被试学习实验材料时的认知负荷。采用帕斯（F.G.Paas）编制的认知负荷量表[40]（2 题，Cronbach’s α=.74），测量心理努力程度和材料难度，使用9 级自评量表，1 表示最少的努力和非常容易（计1 分），9 表示最大的努力和非常困难（计9 分）。心理努力程度和材料难度的测量结果，均介于1-9 分之间。

5.认知过程

（1）眼动指标。本实验导出视觉情绪设计兴趣区的三类眼动指标，包括总注视次数、总注视时间和平均注视时间，分析被试学习不同视频材料时对关键信息的视觉认知加工情况。总注视次数：被试在一个兴趣区或一组兴趣区的注视点总数，反映学习者对学习材料的注意程度；总注视时间：被试在一个兴趣区或一组兴趣区的全部注视点持续时间的总和，反映学习者对学习材料的认知加工程度；平均注视时间：被试在一个兴趣区或一组兴趣区注视点的平均持续时间，反映学习者对学习材料的认知负荷[41]。

（2）脑波指标。通过脑波仪的监测，采集学习者的脑波数据，包括专注度和放松度，分析被试学习不同的视频材料时的大脑认知加工情况。专注度：反映学习者注意力的集中程度，专注度越高就越能促进完成学习任务的效率，且越能关注学习材料的细节；放松度：反映学习者的平静或放松的脑状态，与学习者的情绪状态有关[42]，放松度适宜时能够改善负面情绪[43]，但是过高的大脑放松度则不利于学习。

（五）实验流程

本实验在眼动实验室开展，每位被试逐一进行测试，时间约为45 分钟，具体流程如图4所示。

1.准备

主试引导被试进入实验室，并向被试简单介绍实验流程，让被试听1 分钟预先选定好的柔和轻音乐，以舒缓情绪。

2.前测

被试填写基本信息问卷和先前知识水平测试问卷。

3.视频学习+眼动和脑波跟踪

首先，主试引导被试坐到眼动仪前的椅子上，并向其说明实验过程和注意事项；其次，主试为被试佩戴耳机和脑波仪，并根据被试实际情况调整座椅的距离和高度，眼动定标完成后呈现实验指导语；最后，被试学习实验视频材料，并在学习完成后按空格键结束学习。

4.情绪测量

被试填写积极和消极情绪量表。

5.学习效果和认知负荷测量

被试完成保持、迁移测试并填写认知负荷量表。

（六）实验数据分析

根据量表测试数据以及眼动仪、脑波仪记录的数据，分别计算六组被试学习不同的视听觉情绪设计教学视频时的积极情绪、消极情绪、保持测试成绩、迁移测试成绩、感知材料难度、心理努力程度、总注视次数、总注视时间、平均注视时间、专注度和放松度的平均值（M）和标准差（SD），如表1所示，并使用IBM SPSS Statistics 25 对相关数据进行统计分析。

1.对学习者情绪影响的数据分析

（1）积极情绪：视觉情绪设计的主效应显著（F=4.394，p=.038＜.05），听觉情绪设计的主效应不显著（F=1.895，p=.154＞.05），视听觉情绪设计的交互作用不显著（F=1.048，p=.353＞.05）。

图4 实验流程图

表1 实验数据描述性分析（M±SD）

独立样本T 检验表明：相对于 “黑白色+无拟人”，“彩色+拟人”能显著提升学习者的积极情绪（t=2.083，p=.039＜.05）。对于“智能合成音”因素下的两个不同的视觉情绪设计组来说，“彩色+拟人”组的积极情绪显著高于“黑白色+无拟人”组（t=2.150，p=.036＜.05）；对于“真人低音”因素和“真人高音”因素来说，不同的视觉情绪设计对学习者的积极情绪影响均不显著。这表明，使用“智能合成音”解说时，“彩色+拟人”的视觉情绪设计更能诱发学习者的积极情绪。

（2）消极情绪：视觉情绪设计的主效应不显著（F=.001，p=.978＞.05），听觉情绪设计的主效应不显著（F=.988，p=.375＞.05），视听觉情绪设计的交互作用不显著（F=1.000，p=.370＞.05）。

2.对学习效果和认知负荷影响的数据分析

（1）保持测试成绩：视觉情绪设计的主效应不显著（F=.000，p=1.000＞.05），听觉情绪设计的主效应显著（F=3.832，p=.024＜.05），视听觉情绪设计的交互作用不显著（F=1.043，p=.355＞.05）。

听觉情绪设计类型的事后多重比较表明：在保持测试成绩上，“真人低音”组显著高于“真人高音”组（p=.006＜.01）；“真人低音”组高于“智能合成音”组，差异不显著；“智能合成音”组高于“真人高音”组，差异也不显著。这表明“真人低音”比“智能合成音”和“真人高音”更容易促进学习者对知识的记忆。

（2）迁移测试成绩：视觉情绪设计的主效应显著（F=5.331，p=.022＜.05），听觉情绪设计的主效应不显著（F=.305，p=.738＞.05），视听觉情绪设计的交互作用不显著（F=1.291，p=.278＞.05）。

独立样本T 检验表明：相对于 “黑白色+无拟人”，“彩色+拟人” 的视觉情绪设计能显著提升学习者的迁移测试成绩（t=2.315，p=.022＜.05）。这表明“彩色+拟人” 的视觉情绪设计更能促进对知识的理解和应用，可促进有意义学习的发生。

（3）材料难度：视觉情绪设计的主效应不显著（F=.666，p=.416＞.05），听觉情绪设计的主效应不显著（F=2.258，p=.108＞.05），视听觉情绪设计的交互作用不显著（F=1.072，p=.345＞.05）。

（4）心理努力程度：视觉情绪设计的主效应不显著（F=1.119，p=.292＞.05），听觉情绪设计的主效应不显著（F=.112，p=.895＞.05），视听觉情绪设计的交互作用不显著（F=.756，p=.471＞.05）。

3.对认知加工过程（眼动、脑波）影响的数据分析

（1）总注视次数：视觉情绪设计的主效应不显著（F=.069，p=.793＞.05），听觉情绪设计的主效应不显著（F=.457，p=.634＞.05），视听觉情绪设计的交互作用不显著（F=.372，p=.690＞.05）。

（2）总注视时间：视觉情绪设计的主效应不显著（F=.272，p=.603＞.05），听觉情绪设计的主效应不显著（F=.514，p=.599＞.05），视听觉情绪设计的交互作用显著（F=3.313，p=.039＜.05）。

通过进一步的简单效应分析，我们发现：对于“彩色+拟人”因素下的三个不同的声音设计组来说，总注视时间组间差异边缘显著（F=2.633，p=.079＜.10）。进一步的事后多重比较表明：“智能合成音” 组的总注视时间显著高于“真人低音”组（p=.025＜.05），其余声音组间无显著性差异。对于“黑白色+无拟人”因素下的三个不同的声音设计组来说，总注视时间组间差异不显著（F=1.364，p=.262＞.05）。这表明在“彩色+拟人”视觉情绪设计下，“智能合成音”组比“真人低音” 组吸引了学习者更多的视觉注意力到视觉情绪设计区域。

对于“智能合成音”因素下的两个不同的视觉情绪设计组来说，“彩色+拟人”组的总注视时间显著高于“黑白色+无拟人”组（t=2.034，p=.047＜.05）；对于“真人低音”因素和“真人高音”因素来说，视觉情绪设计对学习者的总注视时间影响都不显著。这表明在“智能合成音”下，“彩色+拟人”更能吸引学习者更多的视觉注意力到视觉情绪设计区域。

（3）平均注视时间：视觉情绪设计的主效应不显著（F=.041，p=.839＞.05），听觉情绪设计的主效应不显著（F=.212，p=.809＞.05），视听觉情绪设计的交互作用不显著（F=1.137，p=.324＞.05）。

（4）专注度：视觉情绪设计的主效应显著（F=4.489，p=.036＜.05），听觉情绪设计的主效应不显著（F=1.226，p=.296＞.05），视听觉情绪设计的交互作用显著（F=3.411，p=.036＜.05）。

独立样本T 检验表明：相对于“彩色+拟人”，“黑白色+无拟人”能显著提升学习者的专注度（t=2.083，p=.039＜.05）。

通过进一步的简单效应分析，我们发现：对于“彩色+拟人”因素下的三个不同的声音设计组来说，专注度组间差异显著（F=3.761，p=.028＜.05）。进一步的事后多重比较表明，“智能合成音” 组（p=.013＜.05）和“真人低音”组（p=.034＜.05）的专注度显著高于“真人高音”组，“智能合成音”组和“真人低音”组间无显著性差异；对于“黑白色+无拟人”因素下的三个不同的声音设计组来说，专注度组间差异不显著（F=.397，p=.673＞.05）。这表明当被试在视觉上具有情绪设计时，即“彩色+拟人”“智能合成音”组和“真人低音”组的学习专注度更高。

对于“真人高音”因素下的两个不同的视觉情绪设计组来说，“彩色+拟人”组的专注度显著低于“黑白色+无拟人”组（t=-3.436，p=.001＜.01）；对于“智能合成音”因素和“真人低音”因素来说，视觉情绪设计对学习者的学习专注度影响都不显著。这表明在“真人高音”的解说之下，“黑白色+无拟人”更能提高学习者的学习专注度。

（5）放松度：视觉情绪设计的主效应不显著（F=.065，p=.799＞.05），听觉情绪设计的主效应不显著（F=2.193，p=.115＞.05），视听觉情绪设计的交互作用显著（F=3.358，p=.037＜.05）。

进一步的简单效应分析表明：对于“彩色+拟人”因素下的三个不同的声音设计组来说，放松度组间差异不显著（F=.165，p=.848＞.05）；对于“黑白色+无拟人”因素下的三个不同的声音设计组来说，放松度组间差异显著（F=5.609，p=.005＜.01）。进一步的事后多重比较表明，“智能合成音”组的放松度显著高于“真人低音”组（p=.004＜.01）和“真人高音”组（p=.005＜.01），“真人低音”组和“真人高音”组间无显著性差异。这表明在“黑白色+无拟人”的视觉情绪设计之下，“智能合成音”组的学习放松度显著更高。

对于“智能合成音”因素下的两个不同的视觉情绪设计组来说，“彩色+拟人” 组的放松度显著低于“黑白色+无拟人”组（t=-2.941，p=.005＜.01）；对于“真人低音”因素和“真人高音”因素来说，视觉情绪设计对学习者的放松度影响都不显著。这表明在“智能合成音”的解说之下，“黑白色+无拟人”的视觉情绪设计能显著提高学习者的放松度。

4.情绪与学习效果、认知负荷和认知过程之间的相关性分析

对于情绪与学习效果、认知负荷和认知过程之间的相关性分析，如表2所示。

表2 相关性分析结果

（1）视觉认知过程与学习效果之间的相关性：总注视次数与保持测试成绩显著正相关（p=.034＜.05）。

（2）视觉认知过程与大脑认知过程之间的相关性：总注视次数与总注视时间显著正相关（p=.007＜.01），总注视次数与平均注视时间显著负相关（p＜.000＜.01），平均注视时间与放松度显著负相关（p=.045＜.05）。

（3）情绪与学习效果及认知负荷之间的相关性：积极情绪与保持测试成绩显著正相关（p=.020＜.05），与材料难度显著负相关（p=.022＜.05），与心理努力程度显著正相关（p=.026＜.05）；消极情绪与材料难度显著正相关（p=.026＜.05），与心理努力程度显著负相关（p=.017＜.05）。

五、讨论与分析

本研究综合探究了教学视频中视觉和听觉的情绪设计，对学习者的情绪、学习效果、认知负荷、认知过程的交互影响作用。从整体上来看，研究结论支持“多媒体学习认知情感理论”，即学习材料中关键元素的情绪设计能够激发学习者的学习动机，诱发学习者的积极情绪，调动学习者更高水平的学习投入，从而促进学习效果的提升。除此之外，研究结论在一定程度上能够直接体现教学视频中的视听觉情绪设计，对学习者的认知过程、体验和结果的作用机制。

（一）教学视频中视觉和听觉情绪设计对学习者情绪的诱发作用

学习者的情绪状态测量结果表明，教学视频中的视听觉情绪设计，仅对学习者的积极情绪有显著影响，对消极情绪无显著影响。视觉情绪设计能增强教学视频的吸引力，显著诱发学习者的积极情绪，“彩色+拟人”的视觉情绪设计显著优于“黑白色+无拟人”，这与乌姆[44]、普拉斯[45]和梅耶[46]等人的研究发现一致。教学视频中解说的声音情绪设计，对学习者的情绪状态没有显著影响，这可能是因为本研究仅对比了声音的音高，音高对学习者情绪的作用可能比较有限，音色、语速等其他声音设计因素对情绪的影响仍需深入探究[47]。值得关注的是，视觉情绪设计对积极情绪的诱导作用，在不同的听觉情绪设计条件下也有所不同：当解说为“智能合成音”时，“彩色+拟人”更能显著诱发学习者的积极情绪；而当解说为真人声音时，无论是高音还是低音，“彩色+拟人”并不能显著诱发学习者的积极情绪。这或许是因为“智能合成音”由人工智能生成，这种声音与真人声音相比情绪成分较少，是一种偏中性的声音情绪设计，此时声音对学习者情绪的影响可以忽略不计。因此，视觉情绪设计的情绪诱发作用发挥得更为显著。

（二）教学视频中视觉和听觉情绪设计对学习效果和认知负荷的影响

学习者的学习效果测试结果表明，教学视频中的视觉和听觉情绪设计，对保持测试成绩和迁移测试成绩不存在交互作用。教学视频的听觉情绪设计对学习者的保持测试成绩影响显著，“真人低音”解说能够显著促进保持测试成绩的提升，更容易促进学习者对于知识内容的记忆，这与高苗苗的研究发现一致[48]。教学视频的视觉情绪设计对学习者的迁移测试成绩影响显著，“彩色+拟人”的视觉情绪设计能显著提升学习者的迁移测试成绩，更能加深学习者对知识的理解和应用，从而促进有意义学习的发生。以往研究大多没有发现彩色和拟人化特征对迁移测试成绩的促进作用[49-51]，本研究的发现进一步拓展了已有的研究成果，并且更加有力地证实了“多媒体学习认知情感理论”的基本假设，对学习材料中关键元素进行视觉情绪设计，能够有效促进认知的组织和整合过程的发生，从而帮助学习者更好地理解关键教学内容，取得更好的学习质量[52]。

学习者的认知负荷测量结果表明，在心理努力程度和学习材料感知难度上，视觉和听觉情绪设计主效应和交互作用均不显著。这或许是因为本研究的视频学习材料难度一般，且学习者对自身的认知负荷不够敏感，后续研究应采取更为灵敏的测量方法。

（三）教学视频的视听觉情绪设计对学习者认知加工过程的作用机制

本研究较以往研究的重要创新之处在于：使用眼动仪和脑波仪直接跟踪学习者在使用不同的视听觉情绪设计视频学习时的视线变化和脑波变化情况，并深入探究了学习者的视觉认知机制和脑电加工机制。根据兰格（J.Lange）的情绪理论，情绪状态的变化主要是生理变化导致的结果。因此，学习者的视觉认知和大脑认知的变化情况，也可从另一方面体现出其情绪状态的变化[53]。

眼动数据表明，教学视频中的视觉和听觉情绪设计，对设计区的总注视时间具有显著的交互作用，但对设计区的总注视次数和平均注视点持续时间没有显著影响。当视频的解说为“智能合成音”时，“彩色+拟人”的视觉情绪设计，更能引导学习者的视觉注意力集中到视觉情绪设计区域，与帕克等人的研究发现一致[54]。原因可能是“智能合成音”的情绪导向作用相对最弱，此时视觉上的情绪设计，即“彩色+拟人”特征，更容易引导学习者的注意力集中到教学视频中的关键信息，这与对学习者积极情绪的作用机制类似。此项研究结果，直接证明了视觉情绪设计能够促进认知选择过程的发生，这是对“多媒体学习认知情感理论”中视觉认知加工机制的有力补充。另外，研究者还意外地发现，当视觉情绪设计为“彩色+拟人”时，“智能合成音”比“真人低音”吸引了学习者更多的视线到视觉设计区域。这或许是因为，只有在解说声音的情绪设计成分较弱时，视觉情绪设计才能发挥对学习者视觉注意力的引导作用。由此可见，当多媒体学习材料中的情绪设计因素过多时，学习者的视觉注意力有可能受到干扰。

脑波数据表明，教学视频中的视觉情绪设计对学习者的专注度影响显著，且视觉和听觉情绪设计对学习者的专注度存在显著的交互作用。然而与预期不一致的是，“黑白色+无拟人”更能提升学习者的学习专注度，且当视频中的解说为“真人高音”时，“黑白色+无拟人” 更能显著地提升学习者的学习专注度，这或许与学习材料的内容和学习者自身学习风格有关[55]，后续仍需深入探究。视觉和听觉情绪设计对学习者的放松度存在显著的交互作用：当视觉情绪设计为黑白色和无拟人时，“智能合成音” 组的学习放松度显著高于其他两种声音组，这表明视觉和听觉设计的情绪引导倾向越小，学习者的学习越容易放松。并且当解说为“智能合成音”时，此时，解说声音的情绪导向作用最弱，“黑白色+无拟人”更能显著提高学习者的放松度，但对学习效果有阻碍作用。具体表现为，学习者在学习“黑白色+无拟人+智能合成音”的视频时，大脑处于过度放松的状态，从而导致注意力分散，不能集中精力投入学习任务。由此可见，过于放松的状态会阻碍学习效果的提升[56]。

（四）学习者的情绪、认知过程、学习效果、认知负荷的关联机制

参考乌祖纳等人[57]、乌姆等人[58]和王雪等人[59]的相关研究中对情绪、认知过程、认知负荷和学习效果之间关联机制的分析方法，本研究也对这几项数据进行了相关性分析，深入探讨情绪与认知过程、认知负荷及认知效果之间的关联。相关性分析结果表明，学习者学习不同的视听觉情绪设计教学视频的各项指标之间存在关联，图5-8 显示了各实验分组的各项指标的变化趋势。

学习者的积极情绪与保持测试成绩、心理努力程度显著正相关，与材料难度显著负相关；而消极情绪与材料难度显著正相关，与心理努力程度显著负相关。这表明：由教学视频中的情绪设计诱发的积极情绪能够促进学习者更高水平的学习投入，降低对学习材料的感知难度，促进对知识的记忆，取得更多的学习数量。而当学习者认为材料难度过高时则会引发消极情绪，降低学习投入水平。与此同时，学习者对设计区的总注视次数与保持测试成绩，也呈显著正相关，这进一步佐证了学习者分配了更多的视觉注意力到关键区域，具有较高水平的学习投入。

图5 情绪组间变化趋势图

图6 认知过程组间变化趋势图

图7 学习效果组间变化趋势图

图8 认知负荷组间变化趋势图

此外，本研究还发现了学习者的视觉认知加工与大脑认知加工间的关联，学习者的平均注视时间与放松度显著负相关。平均注视时间是指学习者的视线停留在注视点上平均时间，这反映了学习者对学习内容的加工程度和认知负荷，平均注视点持续时间越长，则加工程度越高、认知负荷越大[60]。因此，平均注视时间较长代表了学习者投入了更多的认知加工资源，此时，大脑的放松度就会降低。上述分析进一步证明了，情感和动机因素会通过增加或减少认知投入来影响认知过程、学习效果和认知负荷。需要说明的是，部分相关系数属于弱相关水平，有可能由不同的偶发性因素引起，后续仍需大量的重复实验，进一步证实本研究关联机制的稳健性。

（五）教学视频中视听觉情绪优化设计的策略

基于以上对相关测量结果的综合分析与讨论，我们从中总结出教学视频中视觉和听觉情绪设计的具有可操作性的几条优化策略，供教学视频的设计者和使用者参考借鉴。

第一，当教学视频设计者单独对教学视频中的视觉或听觉进行情绪设计时，首先，我们建议对教学视频中表达关键信息的图形进行视觉情绪设计，即同时使用彩色和拟人化特征，能够促进学习者积极情绪的产生，引导视觉注意力分配，促进更高水平的学习投入，从而提升学习质量；其次，建议对教学视频中的解说音高进行听觉情绪设计，“真人低音”的解说，虽对学习者的情绪无影响，但能促进知识的记忆，提升学习数量，同时，应避免“真人高音”的解说。

需要强调的是，无论是视觉情绪设计还是听觉情绪设计，都要符合相关性原则（Coherence Principle），即要将设计集中于视频中表达的关键教学内容元素上，对必要且关键的视听觉元素进行再设计（例如，增强趣味性或吸引力），不能增添额外的无关元素，避免对视频学习产生干扰。

第二，当综合对教学视频中的视觉和听觉进行情绪设计时，视觉上的“彩色+拟人”情绪设计与“智能合成音”的解说是最佳组合，此时，学习者更容易产生积极的情绪，分配更多的视觉注意力到关键区域，调动更多的认知投入，进而促进整体学习效果的提升。这主要是因为视觉是学习者获取信息的最主要来源[61]，当听觉通道上的情绪设计因素过多时，则会对视觉通道的情绪设计效果产生干扰，阻碍积极情绪的产生、视觉注意力的合理分配，甚至是大脑的专注度与放松度。因此，“彩色+拟人”的视觉情绪设计与“智能合成音”的解说，是最佳的视听觉情绪设计组合方式。

六、结论与展望

教学视频作为在线学习中教学内容的最重要载体，是学习者使用最为频繁的一种教学资源，其设计和应用能否有效调动学习者的积极情绪，将直接影响在线学习的成效。尤其在后疫情时代，在线学习将步入常态化阶段，通过对教学视频中的情绪因素所做的有效设计，能够改善学习者的学业情绪，维持学习动机，缓解学业压力，是重要且必要的。本研究在以往研究和“多媒体学习认知情感理论”的基础上，创新性地借助眼动仪和脑波仪记录了学习者学习不同视听觉情绪设计教学视频的视觉认知过程和大脑认知加工过程，采用问卷方式测量了学习者的情绪、认知负荷和学习效果，深入探究了教学视频中的视觉和听觉情绪设计对情绪、认知过程、学习效果、认知负荷的影响和作用机制。在此基础上，进一步凝练出教学视频中视听觉情绪设计的三条优化策略，以期为教学视频的优化设计、改善在线学习情绪、提升在线学习绩效，提供参考和借鉴。

需要说明的是，受人力、物力和实验周期所限，本研究中的被试群体主要是大学生，实验材料属于物理科学范畴，后续研究将选取更丰富的被试类型和实验材料类型，并且在真实的教学环境中进行实验结论应用效果的检验，以提高研究结论的稳健性和可推广性。另外，后续研究仍需探索学习者的情绪和认知负荷的直接测量方式，避免自我报告量表测量结果的不准确性。