教学视频角色表征对学习影响的多模态数据融合分析

乔金秀 穆 肃 黄向阳 陈小梅 罗吉

摘要：当前，教学视频已成为学生日常学习过程中不可或缺的数字学习资源，其设计与优化受到了研究者的广泛关注。但相关研究较少从教学媒体角色表征的角度出发，对不同类型的教学视频进行比较研究。为此，文章基于拟剧理论和信息技术3T论，以广东省H大学教育技术学专业的90名大学生为实验对象，设置了三组表征不同角色（教师、工具、同伴）的教学视频，通过对眼动注视数据、视频画面数据、学习成绩数据等多模态数据的融合分析，发现表征不同角色的视频对学生的学习体验和学习效果有显著影响，使用表征教师角色、同伴角色的视频学习能带来更好的学习体验和学习效果。同时，文章对不同角色表征的视频与学习效果之间的中介效应进行了分析，发现总注视时长在不同角色组教学视频与学习效果之间起中介作用，而心流体验对学习效果没有中介作用。文章的研究对于指导学生选择学习资源、优化教学设计、提升教学效果有一定的实践价值，可为数字化学习环境下的教学实践提供有益参考。

关键词：教学视频；内容交互；角色表征；视觉关注；学习体验；学习效果

【中图分类号】G40-057 【文献标识码】A 【论文编号】1009—8097（2024）05—0074—10 【DOI】10.3969/j.issn.1009-8097.2024.05.008

引言

教學视频作为学习资源中常用的教学媒体，是学生与知识建立联系的纽带。经过精心设计和组织的视频内容，在吸引学生注意力、引发学生积极思考等方面发挥着重要作用^[1]。教学中的交互，可以分为学生与教学内容的交互、学生与教师的交互、学生与学生的交互。学生通过视频资源进行学习的过程，实际上属于学生与教学内容的交互。社会学家Goffman^[2]曾用戏剧隐喻解释人们在日常生活、学习中的交互行为，将交互视作一种基于印象管理手段的表演。当学生观看教学内容时，会对视频产生各种角色印象，这些角色印象可能是教师、同伴等。通过这些角色印象，学生会在学习过程中建立认知和情感联系，从而影响其学习体验和学习效果。不同角色的表现方式、特点会对学生产生不同的影响，进而影响他们对教学内容的理解和接受程度。

近年来，许多研究考察了视频信息呈现方式对学生学习的影响^[3][4][5][6]，但这些研究多从媒体设计的视角出发，而很少从交互的视角来分析教学视频表征的不同角色对学习产生的影响。基于此，本研究聚焦教学视频表征不同角色对学习的影响，设计并开展眼动实验，对眼动数据、视频画面数据、学习成绩数据等多模态数据进行融合分析，探索表征不同角色的教学视频对学习的影响机制，以期为教学视频表征角色的设计提供更加客观、科学的依据。

一 相关研究

1 教学视频角色表征相关概念及其研究

“角色”一词来源于戏剧范畴，是指演员按照剧本规定扮演的各种特定人物^[7]。20世纪初，美国著名社会学家Mead^[8]将“角色”引入社会心理学领域，认为人的表现是在社会交互中以特定的角色展开。之后，角色理论的集大成者Goffman^[9]提出拟剧理论，认为社会交互就像戏剧表演，人们在不同情境下扮演不同的角色，并通过表演来传达信息和互动。教学视频的学习实质上也是一种交互过程，利用视频开展的学习可以看作是一种教学主体借助媒体以特定角色呈现内容从而实现教学目的的活动^[10]。随着数字时代的来临，在线课程、在线教学在全世界广为盛行，数字化学习和教学交互的方式更加多元、复杂^[11]。教学交互主体也不再局限于人与人之间，而是逐渐扩展出了人机交互、概念交互等形态^[12]。根据Goffman的拟剧理论，在学习者利用教学视频进行的学习活动中，视频内容呈现的特定形象可以看作是表演者，而学习者是观众，观众对视频扮演角色的感知由视频内容的制作者设定。换言之，学习者观看教学视频时会形成对教学视频扮演不同角色的印象，并进行相应的信息感知、注意和加工。

2 教学视频表征角色对学习影响的相关研究

拟剧理论视角下，学习者在教学视频的学习过程中会倾向于将技术承载的主体“拟人化”，对教学视频产生特定角色印象^[13]；同时，学习者通过感知教学视频呈现的角色表征获得教学临场感，从而开展有意义的学习^[14]。Taylor曾根据信息技术在教育中所扮演的角色，提出了信息技术3T论：信息技术教育应用可作为教师（Tutor）、学习者（Tutee）、工具（Tools）实现教学信息的组织与传递^[15]。在探究视频教学内容作为教师角色表征影响学习效果的机制时，不同研究者得出的结论各有不同。例如，Maulana等^[16]利用人工智能技术创建了不同拟真度的教师角色形象，发现视觉特征的拟真度越高，学习者感知到的社会互动越积极，学习态度也更积极；而Randall^[17]发现，教学视频扮演教师角色时，其较强的权威性可能会给学习者的学习带来负面影响。在探究教学视频表征同伴角色对学习效果的影响方面，崔佳等^[18]发现同伴角色表征的教学视频学习能够促进学生的认知投入；而王思遥^[19]通过调查研究，发现表征同伴角色的教学视频正向调节学生学习与行为投入、认知投入、情感投入的关系，而表征教师角色的视频对学生学习效果与在线学习投入的关系没有显著影响。

上述关于教学视频不同角色表征对学习影响的研究多为针对单一角色呈现的视频，数据主要来源于调查数据和仪器采集的生理数据（如眼动数据、面部数据等），而鲜少从教学视频多种角色对比的视角进行学习过程的多模态数据融合分析，也缺少教学视频不同角色表征对学习的影响机制研究。为此，本研究基于学习者视频教学情境，结合信息技术3T论中信息技术在教育中扮演的三类角色，考察教学视频表征教师、同伴、工具三种角色时对学习的不同影响，并尝试分析引起这种差异的学习影响机制。

二 研究设计

1 实验对象

2022年11月，本研究招募广东省H大学教育技术学专业的90名大学生开展眼动实验，其中男生、女生各45人，实验时长为30分钟。实验以教学视频不同的角色表征（教师、同伴、工具）为自变量，以视觉关注、学习体验和学习效果为因变量。被试按照1：1的性别比被随机分配到三个角色组（即教师角色组、同伴角色组、工具角色组），三个角色组分别利用主题相同但呈现角色不同的教学视频进行学习。

2 实验材料与环境

（1）视频材料

三个教学视频分别选自国家智慧教育公共服务平台、PPT教学课件和某视频网站，教学视频的主题都是人教版《地理（七年级下）》中的“亚洲河流”，且教学视频的难易程度相同。视频学习材料内容均通过专业教师的核对修改，以保证内容的科学性和准确性。

在表征教师角色的教学视频中，教师人物形象在视频画面中呈现，面向镜头讲解知识点，视频时长3分20秒；表征同伴角色的教学视频画面有两个卡通形象，通过同伴之间的交流传递知识点内容，视频时长2分9秒；而表征工具角色的教学视频提供学习内容相关的文字、图片与画外音讲解，视频时长2分11秒。

（2）实验环境与设备

本研究的实验设备为一台17英寸、分辨率1280×1024的计算机，一台Tobii T120桌面式眼动仪和一个摄像头。实验进行过程中，计算机屏幕内容同步记录为图像，被试面部表情由摄像头记录，并由眼动数据系统实现基于时间的数据同步。被试在同一间安静的实验室进行视频学习，实验开始前会有研究人员做相关实验说明，但实验开始后被试全程不会受到人为干扰。

（3）研究工具

本研究采用的研究工具主要包括：①基本信息问卷，用于收集学生的性别、年龄等基本信息。②学习体验量表。参考Jackson等^[20]编制的心流状态量表（Flow Status Scale，FSS），本研究设计了包含“心流体验”和“学习感知”两个部分的学习体验量表，用于考察被试观看教学视频时的体验。该量表包含12个题项，采用李克特5点量表法计分，总分为12个题项得分之和——分数越高，表示学习者在观看教学视频过程中的学习体验越好。信度检验Cronbachs α=0.709，说明量表的信度较高。③学习效果试卷。本研究设计了包含10道题目的学习效果试卷，来检验被试观看完教学视频后对学习内容的掌握情况。

（4）实验流程

本实验采用被试间单因素实验，流程分为五步（如图1所示）：①实验介绍。被试进入眼动实验室，研究人员告知被试实验流程、注意事项和学习任务，被试签署实验知情同意书。②随机分组。被试按照1：1的性别比，被随机分配到教师角色组、同伴角色组和工具角色组。③眼动实验校准。研究人员指导被试调整座椅位置和身体坐姿，之后被试进行眼动视线校准。④视频学习。被试观看时长为2～3分钟不等的教学视频，同时由眼动数据系统记录被试观看教学视频全过程的眼动轨迹、录制屏幕画面等。⑤测试。完成教学视频学习后，被试填写基本信息问卷，完成学习体验量表和学习效果试卷作答，以用于后续的研究分析。

三 研究分析

已有的眼动相关研究表明，学习者的注视能直观反映其视觉注意分配情况，具体表现为：学习者对某一特定区域注视的时间越长、注视次数越多，表示对该区域的内容越感兴趣^[21]。基于此，本研究選取基于学习者眼动数据形成的画面各分区总注视时长、总注视次数、平均注视时长三个参数（统称为“视觉关注”），来反映学习者对特定学习内容注意资源的投入和加工程度^[22]。本研究对三种不同角色表征教学视频的内容画面划分兴趣区，根据兴趣区分别计算学习者在各区的总注视时间，以考察学习者的视觉注意分配和加工情况；同时，结合学习成绩数据明确不同角色视频对学习成效的影响。本研究将画面数据、成绩数据、眼动数据以时间为基线对齐，进行多模态数据融合分析。对各因变量进行正态性检验的结果表明，各因变量数据均基本服从正态分布。本研究以三种表征不同角色的教学视频为自变量，以被试的视觉关注、学习体验、学习效果为因变量，进行单因素方差分析，得到因变量的描述性统计结果，如表1所示。

1 不同角色表征的教学视频对学习影响的比较分析

（1）视觉关注

在视觉关注方面，三个角色组对教学视频内容的总注视时间存在显著差异[F（2， 87）=24.219，p＜0.001，η²=0.358]。LSD事后检验发现，教师角色组的总注视时长明显多于工具角色组、同伴角色组（MD=34.91，p≤0.001；MD=53.66，p＜0.001）；工具角色组的总注视时长大于同伴角色组（MD=18.75，p=0.019＜0.05）。三个角色组的总注视次数存在显著差异[F（2， 87）=17.91，p＜0.001，η²=0.292]。LSD事后检验发现，教师角色组、工具角色组的总注视次数显著多于同伴角色组（MD=187.93，p＜0.001；MD=196.47，p＜0.001），其他两两组间不存在显著差异（p=0.819＞0.05）。此外，三个角色组的平均注视时长也存在显著差异[F（2， 87）=20.471，p＜0.001，η²=0.320]。LSD事后检验发现，教师角色组、同伴角色组的平均注视时长显著长于工具角色组（MD=0.77，p＜0.001；MD=0.67，p＜0.001）。以上数据分析结果表明，不同角色表征的教学视频会影响学生对教学内容的视觉关注和视觉加工，具体表现为教师角色组和同伴角色组对视频内容的视觉注意投入更多。

（2）学习体验

学习体验包含“心流体验”和“学习感知”两个维度：①心流体验维度上，三个角色组存在显著差异[F（2， 87）=4.233，p=0.018＜0.05，η²=0.089]。为了进一步检验三种不同角色表征教学视频的两两组间差异，本研究进行了LSD事后多重检验，结果显示：教师角色组和工具角色组的心流体验高于同伴角色组（MD=2.73，p=0.011；MD=2.57，p=0.017），其他两两组间不存在显著差异（ps＞0.05）。②学习感知维度上，三个角色组存在显著差异[F（2， 87）=20.152，p≤0.001，η²=0.317]。LSD事后检验发现，同伴角色组的学习感知高于教师角色组、工具角色组（MD=1.7，p＜0.001；MD=1.37，p＜0.001），其他两两组间不存在显著差异（ps＞0.05）。以上数据分析结果表明，不同角色表征的教学视频影响学生的学习体验；相较于教师角色组和工具角色组，同伴角色组的心流体验较低，但学习感知更高。

（3）学习效果

为比较不同角色表征的教学视频对学习效果的影响，本研究对三个角色组的测试成绩进行了单因素方差分析，结果显示：三个角色组的测试成绩存在显著差异[F（2， 87）=3.21，p=0.045＜0.05，η²=0.069]。LSD事后检验发现，教师角色组的学习效果高于工具角色组（MD=9，p=0.017＜0.05），其他两两组间不存在显著差异（ps＞0.05）。可见，教师角色组的教学视频对学习效果的正向影响最为明显。

（4）不同成绩区间学生的注意分布情况

为进一步了解组内不同成绩区间的学生对教学内容注视是否存在差异，本研究采用眼动热力图直观展示被试在观看教学视频过程中的注意分布情况。成绩区间分为优秀、良好、不及格三个等级，其对应的分数段和各组人数分布情况如表2所示。

对不同成绩区间学生的注视进行叠加，形成了三个角色组不同成绩区间的学生注视热力图，如图2、图3、图4所示。从图2可以看出：①成绩处于“不及格”区间的学生注视点分散、无明显注视热区。②成绩处于“优秀”“良好”区间的学生注视点都有明显聚集、整体差异不大，视线主要集中在视频内容和教师面部区域；而相较于成绩良好学生，成绩优秀学生的注视点数量更多且其覆盖面更广，表明成绩优秀学生具有更强的信息关注和提取能力。

从图3可以看出：相较于成绩不及格学生，成绩优秀学生和成绩良好学生的注视点数量更多，注视点的覆盖面也更广；成绩优秀学生对教学视频字幕区域的视线关注比成绩良好学生更多，表明学习效果好的学生更倾向于利用文字信息进行学习。以上表现间接说明学生会对带来有效教学信息的画面区域投入较多关注，这有利于正向提升学习效果。

从图4可以看出：在注视点的数量和覆盖面上，成绩优秀学生的注视热力图与成绩良好学生、成绩不及格学生的注视热力图不存在显著差异。值得一提的是，虽然成绩良好学生的注视点数量更多且其覆盖面更广，但在视频文字内容区域，成绩优秀学生的注视热点更集中于文字关键词兴趣区，表明这些学生有意识地对视频画面进行合理的注意分配，有选择地进行浏览，从而能够取得更好的学习效果。

2 教学视频角色表征对学习的中介效应分析

为进一步明确不同角色表征的教学视频对学习的作用机制，本研究探讨了不同角色表征的教学视频对学习效果的影响是否存在中介效应。具体来说，本研究以视频角色表征为自变量，以学习体验中的心流体验、视觉关注中的总注视时长为中介变量，以学习效果为因变量，采用Hayes^[23]的Process程序对总注视时长和心流体验的中介效应进行检验。

本研究采用Bootstrap方法对中介效应的显著性进行检验，得到总注视时长和心流体验的中介效应检验路径系数，分别如图5、图6所示。中介效应检验结果显示，视觉关注在不同角色教学视频与学习效果之间起部分中介作用，即相较于工具角色组，教师角色组通过更长时间的注视来提升学习效果[a×b=3.5392，95%C.I.=（-7.9118， -0.0537）]；而心流体验对学习效果没有中介作用[a×b=0.042，95%C.I.=（-1.4790， 0.9093）]。

四 结论与讨论

本研究从角色交互的视角切入，分析了表征教师角色、同伴角色和工具角色的三组教学视频对学生学习的影响，结果发现：教师角色组和同伴角色组对视频内容的视觉注意投入更多；教师角色组和工具角色组的心流体验优于同伴角色组，但同伴角色组的学习感知更强；教师角色组的教学视频对学习效果的正向影响最为明显。同时，本研究检验了教学视频角色表征对总注视时长和心流体验的中介效应，结果表明：总注视时长在不同角色组教学视频与学习效果之间起中介作用，而心流体验对学习效果没有中介作用。

1 教学视频角色表征对学生学习影响的差异明显

如前文所述，教师角色组对视频内容的视觉注意投入更多、心流体验更高、学习效果更好——这一结论与杨九民^[24]、Sher^[25]的相关研究结果基本一致，但与韩小利等^[26]的研究结果不一致。分析原因，主要在于教师作为传统教学内容的权威者，其角色形象可以帮助学生建立对教学内容的认同感，增强学习的积极性和主动性；而教师角色在教学视频中的呈现，既能丰富学生的交互性体验，也能督促学生以更加认真的态度参与学习，从而取得良好的学习效果。组间差异显著性分析结果显示，表征同伴角色的教学视频对学习感知有显著影响，而对学习效果无显著影响，这一结论与王思遥^[27]提出的同伴交互视频对学习有正向影响的研究结果不一致。究其原因，可能在于本研究中表征同伴角色的教学视频以卡通动画人物的形象呈现，其在吸引学生注意力的同时也会引发其情感共鸣，因而学生的学习感知和学习体验会比较强烈且深刻。但与真人教师形象或图文内容呈现的教学视频相比，卡通动画人物及其教学画面的色彩丰富、动作变化多^[28]，更有可能分散学生的注意力，故不利于学生对核心内容信息的关注和加工，从而减弱了学习效果^[29]。分析同伴角色组不同成绩区间的学生注视热力图，可以发现另一个可能的原因是该组学生观看教学视频时，更多地关注视频字幕区，而对图像区的眼动注视无明显变化，可见表征同伴角色的教學视频并没有明显引发学生的“同伴感觉”^[30]，因而对学习效果也就没有显著影响。工具角色组对视频内容的视觉注意投入最少，且其对学习效果无明显正向影响。从工具角色组不同成绩区间的学生注视热力图可以看出，学生整体的视觉关注内容多为文字。根据多感官学习理论，文字形式的内容通常是抽象的，缺乏趣味性和吸引力^[31]，不利于学生理解和记忆，难以产生良好的学习效果。

2 總注视时长在不同角色组教学视频与学习效果之间起中介作用

中介效应分析结果表明，教师角色组通过调节总注视时长来提升学习效果，而其他组未发现中介效应。从教师角色组的眼动注视热力图也可得知，学习效果好的学生其视觉关注区域覆盖面积最大，且有明显的视觉关注重点。学生对教学视频中的教师面部会予以较多注视，说明学生习惯于将注意力放在教师身上。这一表现符合多媒体等效原理，人们倾向于根据媒介传达的信息与媒介进行社会交互，就像与另一个人进行交互一样^[32]。这表明学生会将其在传统课堂的学习体验带到在线学习和数字资源的应用过程中，即画面中有教师形象时，学生会不自觉地倾向于注视教师，进而投入更多的注意力去获取相关信息并进行信息加工处理^[33]。

此外，本研究发现，心流体验对学习效果没有中介作用，这与乔爱玲等^[34]的研究结论不一致。究其原因，可能与学习材料本身的特点和实验环境对心流体验的影响有关：一方面，学习材料的内容多为陈述性知识，故学生的认知和对知识的加工更多地停留在识记、理解层面；另一方面，实验环境下尽管研究人员向学生强调要按其真实学习过程和经验完成视频学习，但仍不可避免地会产生霍桑效应（即研究对象意识到自己正在被研究，从而出现改变自己行为的倾向）^[35]，致使学生不能全身心地投入学习并完全沉浸其中，也就无法产生真正的心流体验。

五 结语

设计并选择合适的视频资源开展学习，有利于学习者获得更好的学习体验和学习效果。本研究从教学视频表征的角色视角切入，挖掘不同角色表征的教学视频对学习者学习体验和学习效果的影响差异，所得结论可为教学视频的设计与优化提供实证依据，这为学生选择学习资源和教学方式提供了重要参考。同时，教师也可结合不同角色在教学视频中的作用，设计更具吸引力和有效性的教学视频资源，有针对性地选择适合的教学视频角色表征，以更好地引导和促进学生的学习^[36]。

需要说明的是，本研究使用的教学视频内容为地理学科的相关知识点，后续需扩大学科覆盖面，进一步开展其他学科内容学习的实验。此外，本研究未考虑学习者的个体差异，如不同学习者的学习风格、先验知识水平、认知负荷差异等^[37]。而具有不同个体特征的学习者利用视频学习时，其学习感知、学习效果存在差异^[38]。基于此，探讨表征不同角色教学视频对学习者个体的影响，将是下一步研究的重点之一。

参考文献

[1]Dixson M D. Creating effective student engagement in online courses： What do students find engaging？[J]. Journal of the Scholarship of Teaching and Learning， 2010，（2）：1-13.

[2][9]（美）欧文·戈夫曼著.冯钢译.日常生活中的自我呈现[M].北京：北京大学出版社，2008：11、17.

[3]Berney S， Bétrancourt M. Does animation enhance learning？ A meta-analysis[J]. Computers & Education， 2016，101：150-167.

[4]Stebner F， Kühl T， H?ffler T N， et al. The role of process information in narrations while learning with animations and static pictures[J]. Computers & Education， 2017，104：34-48.

[5]卢婷，杨现民.信息呈现方式与认知风格对概念性知识移动学习效果影响研究[J].中国远程教育，2016，（6）：36-43、80.

[6]曹建霞，傅安娜，王锐，等.教学视频中教师呈现方式对学习者社会存在感和学习效果的影响[J].现代教育技术，2017，（7）：75-81.

[7]（美）罗伯特·科恩著.费春放，梁超群译.这就是戏剧（第10版）[M]：北京：北京大学出版社，2020：42-86.

[8]Mead G. Self and society： From the standpoint of a social behaviorist[M]. Chicago： University of Chicago Press， 1934：89.

[10]辛娜敏，王立勋，张伟远.远程教育中互动的理念及派别之述评[J].中国远程教育，2003，（17）：27-33.

[11]Schindler L A， Burkholder G J， Morad O A， et al. Computer-based technology and student engagement： A critical review of the literature[J]. International Journal of Educational Technology in Higher Education， 2017，（1）：1-28.

[12]Wang Z， Chen L， Anderson T. A framework for interaction and cognitive engagement in connectivist learning contexts[J]. International Review of Research in Open and Distributed Learning， 2014，（2）：121-141.

[13]Van den Berghe R， Verhagen J， Oudgenoeg-Paz O， et al. Social robots for language learning： A review[J]. Review of Educational Research， 2019，（2）：259-295.

[14]Garrison D R， Arbaugh J B. Researching the community of inquiry framework： Review， issues， and future directions[J]. The Internet and Higher Education， 2007，（3）：157-172.

[15]王吉庆.从3T到3E：信息技术在教育中的应用观的改变[J].现代教育技术，2001，（1）：22-24、76.

[16]Maulana R， Helms-Lorenz M， Irnidayanti Y， et al. Autonomous motivation in the Indonesian classroom： Relationship with teacher support through the lens of self-determination theory[J]. The Asia-Pacific Education Researcher， 2016，25：441-451.

[17]Randall N. A survey of robot-assisted language learning （RALL）[J]. ACM Transactions on Human-Robot Interaction （THRI）， 2019，（1）：1-36.

[18]崔佳，刘冲.协作式在线教学交互模型及动力研究[J].重庆高教研究，2021，（2）：59-70.

[19][27]王思遥.在线课程教学的交互形式与学生学习投入表现的关系探究[J].华东师范大学学报（教育科学版），2021，（7）：38.

[20]Jackson S A， Marsh H W. Development and validation of a scale to measure optimal experience： The Flow state scale[J]. Journal of Sport and Exercise Psychology， 1996，（1）：17-35.

[21]Pi Z， Xu K， Liu C， et al. Instructor presence in video lectures： Eye gaze matters， but not body orientation[J]. Computers & Education， 2020，144：103713.

[22]Liu H C， Lai M L， Chuang H H. Using eye-tracking technology to investigate the redundant effect of multimedia web pages on viewers cognitive processes[J]. Computers in Human Behavior， 2011，（6）：2410-2417.

[23]Hayes， A. Beyond Baron and Kenny： Statistical mediation analysis in the new millennium[J]. Communication Monographs， 2009，（1）：408-420.

[24]杨九民.在线视频课程中教师对学习过程与效果的影响[D].武汉：华中师范大学，2014：18-54.

[25]Sher A. Assessing the relationship of student-instructor and student-student interaction to student learning and satisfaction in web-based online learning environment[J]. Journal of Interactive Online Learning， 2009，（2）：102-117.

[26]韩小利，陈凯泉，姜永玲.在线教学视频中教师出镜效果的总体效应及优化策略探析[J].数字教育，2022，（2）：41-46.

[28]王月，張海，王以宁，等.教学视频对概念性知识学习效果的影响——基于实物视频与动画视频的差异性影响比较[J].现代教育技术，2020，（5）：40-46.

[29]Harp S F， Mayer R E. How seductive details do their damage： A theory of cognitive interest in science learning[J]. Journal of Educational Psychology， 1998，（3）：414-434.

[30]包志梅.本科生学业成绩的同伴效应研究[J].中国高教研究，2020，（6）：25-31.

[31]Mayer R E. Multimedia learning （2nd ed.）[M]. New York： Cambridge University Press， 2009：200-220.

[32]Nass C I， Brave S. Wired for speech： How voice activates and advances the human-computer relationship[M]. Cambridge： MIT Press， 2005：9.

[33]Bavelas J B， Coates L， Johnson T. Listener responses as a collaborative process： The role of gaze[J]. Journal of Communication， 2002，（3）：566-580.

[34]乔爱玲，龚鑫，韩涵.形式差异的外部概念支架对学生游戏化学习心流和效果的影响[J].电化教育研究，2021，（12）：86-92、99.

[35]Sedgwick P， Greenwood N. Understanding the Hawthorne effect[J]. BMJ， 2015，351：1-2.

[36]单美贤，张瑞阳.在线视频学习过程中学习者的情感状态识别及其影响因素研究[J].现代教育技术，2023，（12）：65-75.

[37]薛耀锋，王坤，邱奕盛，等.基于多模态数据的在线学习认知负荷评估[J].现代教育技术，2024，（3）：79-88.

[38]Huang C L， Luo Y F， Yang S C， et al. Influence of students learning style， sense of presence， and cognitive load on learning outcomes in an immersive virtual reality learning environment[J]. Journal of Educational Computing Research， 2020，（3）：596-615.

Multimodal Data Fusion Analysis of the Influence of Teaching Video Role Representation on Learning

QIAO Jin-Xiu^1，2MU Su^{3[Corresponding Author]}HUANG Xiang-Yang²CHEN Xiao-Mei²LUO Ji²

（1. Information Construction Management Office， South China Normal University， Guangzhou， Guangdong， China 510631;

2. School of Information Technology in Education， South China Normal University， Guangzhou， Guangdong， China 510631;

3. Institute of Artificial Intelligence in Education， South China Normal University， Guangzhou， Guangdong， China 510631）

Abstract： At present， teaching videos have become the indispensable digital learning resources in students daily learning process， and their design and optimization have been widely concerned by researchers. However， there is limited research comparing different types of teaching videos starting from the perspective of role representation of teaching media. Therefore， based on the dramaturgical theory and the information technology 3T theory， this paper took 90 university students majoring in educational technology at H University in Guangdong province as experimental subjects， set three groups of teaching videos representing different roles （teacher， tool and peer）， and found that the videos representing different roles had significant impacts on students learning experience and learning effects through multimodal data fusion analysis of eye-tracking data， video frame data， and learning performance data. And the learning of using videos representing teacher role and peer role can lead to better learning experience and learning effects. At the same， the mediating effect between the videos represented by different roles and the learning effect was analyzed， and found that the total gaze duration played a mediating role between the teaching videos of different role groups and the learning effects， while the flow experience had no mediating effect on learning effects. The research of this paper had certain practical value for guiding students to choose learning resources， optimizing teaching design and improving teaching effect， and can provide useful reference for teaching practice in the digital learning environment.

Keywords： teaching video; content interaction; role representation; visual attention; learning experience; learning effect

*基金項目：本文为国家自然科学基金2022年度重点项目“课堂流媒体跨模态知识元协同解析与评估方法”（项目编号：62237001）的阶段性研究成果。

作者简介：乔金秀，华南师范大学信息化建设管理办公室实习研究员，华南师范大学教育信息技术学院在读博士，研究方向为多模态学习分析、高校信息化建设，邮箱为qiaojx@m.scnu.edu.cn。

收稿日期：2023年7月5日

编辑：小米