视频课程中教育智能体的社会线索设计研究

刘清堂 巴深 余舒凡 张翼恒 张妮

[摘   要] 教育智能体在视频课程中的应用，是提升视频课程社会交互性的有效途径之一。然而，如何进行社會线索的设计以满足学习者的个性化需求，仍有待探索。研究采用内容分析方法，梳理了33项实证研究中教育智能体社会线索的设计。分析结果显示，教育智能体的社会线索整体上可划分为动态、静态和语音线索三类。其中，静态社会线索中的性别和年龄，动态社会线索中的表情和手势，以及语音社会线索是近十年研究关注的热点。此外还发现，不同学习者对社会线索的感知可能存在差异，但现有教育智能体的设计很少将学习者的偏好纳入考虑范围内。为了解决这一问题，文章基于内容分析的结果，设计并实现了支持个性化社会线索设计与调节的教育智能体原型系统，为改善视频课程中社会交互功能的设计提供了一种可行的方法。

[关键词] 教育智能体; 社会线索; 个性化学习; 视频课程; 在线学习

[中图分类号] G434            [文献标志码] A

[作者简介] 刘清堂（1969—），男，湖北仙桃人。教授，博士，主要从事智能教育、学习分析及教育数据挖掘等研究。E-mail：liuqtang@mail.ccnu.edu.cn。巴深为通讯作者，E-mail：shenba@mails.ccnu.edu.cn。

一、问题的提出

近年来，在相关政策引领和指导下，我国在线教育的规模呈爆发式的增长[1]。《国家中长期教育改革和发展规划纲要（2010—2020年）》中提出，加强优质教育资源的开发与应用，促进优质教育资源的普及与共享，建设网络教学资源体系，开发网络学习课程，创新网络教学模式，是促进教育信息化进程的重要手段[2]。作为在线教育的主要形式，在线视频课程自出现以来，因其开放性与大规模性，受到社会各界的广泛关注与支持[3]。而随着关注度的提升，人们对视频课程质量的要求也水涨船高，仅仅录制教师授课的视频，将传统课堂简单地“移植”到在线平台，不仅无法满足学习者的需求，也无法发挥出在线学习的独特优势[4]。相关研究指出，视频课程中教师的个人特点、授课风格、教学行为等因素均会对学习者的学习兴趣与投入度等产生显著影响[3，5]。其中，教师在教学过程中所传递的社会线索，例如衣着、表情、动作等，均有可能影响学习者对自身社会存在的感知，并决定他们的学习主动性[6]。此外，不同学习者之间，因为性别、个性、学业成绩等方面存在差异，也可能会使他们对同样的社会线索产生不同的感知。因此，基于社会认知的视角，为了进一步提升在线视频课程的教学质量，需要通过合适的方法，满足视频课程中学习者的个性化社会交互需求。

教育智能体（Pedagogical Agent）是呈现于数字化学习环境中，旨在促进认知学习的虚拟形象[7]。若干实证研究的结果显示，在视频课程中利用教育智能体传递社会线索，能够显著地提升学习者的学习动机、学习兴趣及学习表现等[8-10]。因此，在视频课程中应用教育智能体，是解决学习者对个性化社会交互需求的一种可能的方法。

二、社会线索对认知学习的影响机制

社会代理理论（Social Agency Theory）描述了在学习材料中，教育智能体所呈现的社会线索对认知学习的影响机制。社会代理理论主要包含四个部分，通过线性的因果关系组成。首先，教育智能体所呈现的包含社会线索的教学信息，会使学习者相信他们在与另一个真实的人进行交互[11]。从而学习者就会调用人际交互策略，在社会层面更加积极地参与到学习过程中。随后，因为在社会交互中，双方存在着一种共识，即说话方会为了促进倾听方的理解，而尽可能准确、相关、简洁地传递信息[12]。与此同时，倾听方会在这种社会共识的驱动下，更加主动地参与到信息处理的过程中。最后，因为学习者主动地参与到了信息的处理过程中，他们通常也会获得更好的学习效果[13]。反之，若教学信息中不包含社会线索，则不会发生以上的过程。图1呈现了包含社会线索的教学信息对认知学习的作用机制。

尽管社会代理理论认为教学信息中的社会线索可以通过提升学习者的社会存在感，从而达到学习效果提升的目的。但是部分实证研究的结果表明，教育智能体的社会线索并非在任何条件下都可以产生积极的效果。此外，近年来的实证研究普遍关注于教育智能体的设计，而很少有研究关注学习者之间的差异对他们的社会存在感及学习效果产生的影响[7]。因此，文章对近年来文献中关注的教育智能体社会线索进行了系统的梳理，深入分析了学习者差异对社会线索感知的影响。

三、教育智能体社会线索分类框架构建

在教育智能体的实证研究中，研究者主要通过实验研究的方法，探讨一到两种社会线索对认知学习的影响。在他们的研究报告中，均会有专门的部分介绍对应研究中教育智能体社会线索的设计方法。因此，文章选用内容分析法，抽取实证研究中教育智能体社会线索的设计部分，分析并建立教育智能体社会线索的分类框架。

（一）数据的收集整理

文章选取的数据样本为2011至2019年间，同行评审的教育智能体实证研究文献。同行评审论文是研究者们的主要交流渠道，具有一定的代表性与严谨性。数据的采集过程与研究者前期的研究一致[7]，研究者以教育智能体的常用英文翻译“Pedagogical Agent”及其他变式和近义词为关键词，并用“Education”“Learning”等关键词限定其教育应用场景，在“Web of Science”“Elsevier Science Direct”“Cambridge Science Abstracts”和“Engineering Compendex”四个较为权威的数据库中，检索2011至2019年间同行评审的期刊论文。

为了确保检索得到的文献与文章的主题一致，研究者进行了两轮筛选与整理工作。首先，研究者通过阅读文献的题目与摘要，筛去与研究主题明显无关的文献。然后，研究者下载了余下文献的全文，并进行第二轮筛选。在阅读文献过程中发现，教育智能体的实证研究普遍关注教育智能体认知功能与社会功能的设计。结合文章的主题，研究者最后保留了33篇文献，并整理出其中描述教育智能体社会线索设计的部分。

（二）数据的编码标注

对于检索得到的33篇文献，研究者从中抽取出描述教育智能体社会线索设计的部分，对社会线索的類型和呈现形式进行了标注与整理。结果发现，近年来教育智能体的相关研究所讨论的社会线索包括：性别、种族、年龄、衣着、形象、表情、眼神、手势、姿态及声音。而以上社会线索的主要呈现方式可以分为图像和语音。其中，多数研究主要关注以图像方式呈现教育智能体的社会线索。

（三）社会线索分类框架构建

因为已有研究尚未针对教育智能体的社会线索拟定分类，所以文章在对检索得到的文献进行描述分析的过程中，根据各研究所描述的教育智能体社会线索，通过一种“无监督”的方式逐步建立了社会线索的分类结构。研究发现，近十年来教育智能体的研究中，重点关注的社会线索主要可分为静态社会线索、动态社会线索及语音社会线索三大类。对于静态社会线索，研究者主要关注教育智能体的性别、种族、年龄、衣着及该角色的形象对学习的影响;对于动态线索，研究者主要关注教育智能体的表情、眼神、手势和躯体的姿态对学习的影响;对于语音社会线索，研究者主要关注人类声音与机器合成的声音对学习的影响，完整的分类框架如图2所示。

1. 静态社会线索

教育智能体的静态社会线索，主要指呈现于数字学习环境中虚拟角色的静态特征。因为教育智能体通常是以人类或拟人化的角色出现，所以大部分研究都关注于教育智能体的拟人特征对认知学习的影响。在Veletsianos等人的一项研究中，79名大学生被试被分为四组分别观看一段视频课程。该实验研究的自变量为视频课程中教育智能体的形象和视频课程的内容。该研究的结果表明，学习者对教育智能体的外在特征存在着固有印象（Stereotype），即特定性别、种族或者年龄的教育智能体可能会更加符合学习者的认知，从而与学习者产生更加自然的社会交互，提升学习者的社会存在感[14]。特征相似性理论也提出，当学习场景中存在着与学习者在个人特征上相似的社会榜样时，学习者的自我效能感会得到显著的增强，他们的学习表现也会因此而提升[15]。另一方面，Kim与Wei开展的一项研究探讨了学习者的属性对他们选择教育智能体的影响，以及他们对教育智能体感知的影响。该研究选取了210名高中男生与女生，他们中包括白人与西班牙裔人种。该研究发现，学习者更倾向于和他们性别、种族相同的教育智能体[16]。但是在另一项研究中，Shiban等人选取了大学生作为样本，研究教育智能体的性别、形象等因素是否会对学习者产生影响。该研究的结果显示，与女性智能体相比，男性智能体对学习者的动机或者学习表现均没有显著的影响[17]。因此，文章认为以上研究产生不同结果的原因之一，可能是学习者对教育智能体静态社会线索的感知会由于个体的差异而不同。也就是说，若教育智能体的静态社会线索可以满足学习者的个性化需求，那么可能会对学习产生更加积极的影响。

2. 动态社会线索

教育智能体的动态社会线索，主要指教育智能体与学习者、学习环境或者学习内容进行交互时，所表现出的动态拟人特征，例如面部表情、眼神的变化以及身体的动作等。情感反馈理论（Emotional Response Theory）提出，学习者的情感状态会对他们的选择产生影响。当学习者处于较为积极的情感状态时，他们会更加愿意进行学习，并与学习内容及教师产生交互。反之，消极的情绪会降低学习者参与学习活动的意愿[18]。因此，基于该理论可以推断，当教育智能体表现出积极的社会线索时，会使学习者感知到他们在与一个生动、丰富的社会对象进行交互。那么，学习者也更加可能受其感染而产生积极的情绪，从而提升参与学习的意愿与主动性。例如在Liew等人于2017年开展的一项研究中，72名大一的学生被分成两组，分别与一个呈现积极情绪的教育智能体和一个呈现中性情绪的教育智能体进行交互。研究结果表明，具有积极情绪的教育智能体显著增强了学习者的情绪、内在动机和学习效果[8]。但是，若学习者受教育智能体所传递的社会线索影响产生消极情绪，则会抑制他们的学习。例如在Liew等人于2016年的研究中，107名大一学生同样被分为两组，分别与一个具有积极情绪和中性情绪的教育智能体进行交互。但该研究发现，教育智能体的积极情绪被学习者认为是一种虚伪的表现，导致该组中的学习者没有表现出比中性组的学习者更好的学习效果[19]。

此外，从认知负荷的视角来看，设计不合理的动态社会线索也有可能会对学习产生负面的影响。认知负荷理论指出，学习者用以处理信息的工作负荷是有限的[20]。在学习过程中，若教育智能体表现出一定的动态社会线索，那么学习者势必会分配部分注意力用以处理这些信息，从而导致外部认知负荷的提升。但因为不同学习者处理信息的能力有所差异，所以在视频课程中动态线索的使用也需要因人而异[21]。综上所述，虽然教育智能体的动态社会线索有可能会对学习产生积极的影响，但根据相关理论及实证研究可知，动态社会线索的设计也需要综合考虑学习者的特征，否则可能会产生与预期相反的效果。

3. 语音社会线索

教育智能体的语音社会线索是信息传递时，语音通道中所包含的信息。语音社会线索近期的研究主要关注人类语音与机器合成语音间的差异。在2017年之前，研究者普遍认为机器合成语音的质量距离人类真实的语音还有一定的差距，人类语音可以使学习者产生更高的社会存在感，进而取得更好的学习效果，该理论也被称为语音效应（Voice Effect）[22]。随着近年来语音合成技术的迅速发展，研究者也开始重新审视这一结论。在Craig与Schroeder开展的一项实证研究中，140名被试被分为三组，分别与具有经典语音、现代语音和人类语音的教育智能体进行交互。其中经典语音是指由传统的语音合成引擎合成的语音，而现代语音来自最新的语音合成引擎。该实验的结果显示，分配在现代语音组的学习者取得了比另外两组都显著的学习表现，并且学习者认为现代语音与人类语音具有相同的可信度和促进学习的效果[23]。为了进一步研究语音线索的影响，Craig与Schroeder在后续研究中隐藏了教育智能体的虚拟形象，仅对比经典语音、现代语音和人类语音对学习的影响。该研究的结果表明，现代语音组的学习者与人类语音组的学习者在学习表现上没有显著差异，而这两组中学习者的表现均显著优于经典语音组的学习者[24]。因此，综合近期实证研究的结果可以推断，现代语音合成引擎可以作为一种新的方式，为视频课程中的教育智能体配音。该方式的优势在于，语音合成引擎可以按照教学设计者的需求灵活地调整语速、音调等参数，使之与教学内容及学习者的个人偏好更加匹配，而避免了反复录制的繁杂工作。

四、支持个性化社会线索设计的教育智能体原型系统

通过对教育智能体社会线索相关实证研究的讨论，文章发现学习者的个人特征与他们对社会线索的偏好有一定的联系。例如，学习者倾向于与他们年龄、性别及种族相似的教育智能体[14];学习者个人情感状态会影响教育智能体情感干预的效果[25];学习者信息处理的能力也决定着社会线索对认知学习的影响[21]。由此可以推断，在视频课程中，为了充分发挥教育智能体社会线索的积极作用，其设计与呈现方式需要考虑学习者的个性化需求。但是，在当前的视频课程或实证研究中，无论是教师录像或者是教育智能体，其社会线索表达均是统一设定、不支持个性化调节的。因此，针对这一实际问题，文章面向在线视频学习环境，提出了支持个性化社会线索设计的教育智能体原型系统。

（一）设计框架

在普通视频课程学习平台的基础上，原型系统不仅增加了教育智能体，同时也将教育智能体的选择与设计向学习者开放。学习者每次进行学习时，可以按照自己的需求创建视频课程中的虚拟形象，或者对学习历史中使用过的形象进行编辑与修改。依据上文所述，教育智能体的社会线索主要分为三个方面：静态、动态和语音社会系统。因此，原型系统也将教育智能体的设计过程划分为三个部分，详细过程如图3所示。

第一步，學习者选择教育智能体的静态社会线索，包括教育智能体的角色、呈现方式、呈现的位置与大小。角色的选择中，原型系统为学习者提供了若干种类型的角色选项，既有仿真度高的类人形象，也有卡通化的类人形象，还包含拟人化的动物形象。类人形象在性别、种族、年龄等参数上也提供了丰富的选择。学习者可以按照课程内容选择适合自己的角色作为教师形象出现在视频课程中。呈现方式的选择中，学习者可以决定视频课程中出现教育智能体的头部、上半身或全身形象。呈现的位置和大小选项决定了教育智能体在视频课程中出现的位置和占据屏幕的尺寸。

第二步，学习者选择教育智能体的动态社会线索，包括眼部和头部动作、面部表情和手势动作。教育智能体的眼部与头部动作包括向不同方向的转动，能够随着课程的进行与学习者或学习内容产生一定的交互。眼部与头部的动作由教学设计者在课程开发时提前设计完成，学习者可以选择教育智能体表现预设的头部和眼部动作，或选择让其保持静止面向前方的状态，以减少不必要的干扰。教育智能体的面部表情可以表达9种不同的情绪，旨在增强学习者的情感存在。面部表情也由教学设计者提前预设，学习者亦可选择让教育智能体保持中性的面部表情。教育智能体的手势动作包括两种，第一种是指向性手势，主要可用于引导学习者注意到某一帧画面中的重点内容，降低无关信息的干扰;第二种手势为形象手势，主要用于形象地传递某种特定的含义。学习者可以选择让教育智能体表现完整的手势动作，或表现其中一种手势，或不表现任何手势动作。

第三步，学习者选择教育智能体的语音社会线索。学习者可以根据自己选择的角色，从6种语音类型中选择适合的语音。然后，学习者还可以对所选语音的语速和语调进行调节。完成教育智能体的设计后，学习者可将自己的选择保存下来，作为再次进行学习时的默认选项。课程结束后，原型系统将引导学习者对学习体验与教育智能体进行评价，为日后的研究分析工作提供数据基础。

（二）实现方法

该教育智能体原型系统利用Media Semantics公司所提供的Character API服务，基于JavaScript构建了可应用于在线视频学习平台的教育智能体工具。Character API是一款基于RESTful框架的云端角色动画仿真服务软件。该软件主要面向Web开发者，借助云计算、边缘缓存、CSS或WebGL等技术，为开发者提供了样式丰富、操作灵活的虚拟仿真形象。因为虚拟角色的控制可全部通过JavaScript编码完成，该API不仅降低了开发的难度，提升了形象控制的灵活性，同时也保证了虚拟形象与现有众多视频学习平台的兼容性，以及与课程内容的可交互性。

五、结   语

在线视频课程作为一种创新的教学方式，对教育公平与开放的实现具有十分重要的意义。为了充分发挥在线平台的优势，避免简单地复制、搬运传统课堂，研究者们应以教学、认知理论为基础，合理运用教育技术手段，提升在线视频课程的教学质量。针对在线视频课程中社会交互不足这一核心问题，文章首先分析了社会线索对认知学习的作用机制，发现合理的社会线索可以提升学习者的社会存在感，从而达到促进主动学习的效果。随后，文章通过内容分析的方法，对已有文献中教育智能体的社会线索进行了梳理，并建立了社会线索的分类框架，发现教育智能体的社会线索包括静态、动态和语音社会线索三大类。同时，内容分析也发现，不同的学习者由于个人属性的差异，对相同社会线索的感知也存在着区别。因此，文章认为在线视频课程应借助教育智能体，为学习者提供个性化的社会线索，以最优化社会交互对学习的促进作用，并降低其干扰。因此，文章基于内容分析的结果，设计并实现了支持个性化社会线索设计的教育智能体原型系统，为实现视频课程中个性化的社会交互提供了一种可行的途径。

[参考文献]

[1] 中商产业研究院. 2019年中国在线教育市场预测：用户规模或将突破2亿人[EB/OL]. （2019-05-06）[2020-02-12]. http：//www.askci.com/news/chanye/20190506/0932431145754.shtml.

[2] 中华人民共和国教育部. 国家中长期教育改革和发展规划纲要（2010—2020年）[EB/OL].（2010-07-29）[2020-02-12]. http：//www.gov.cn/jrzg/2010-07/29/content_1667143.htm.

[3] 王萍. 人工智能在教育视频中的应用分析与设计[J]. 电化教育研究，2020，41（3）：93-100，121.

[4] 楊九民，李丽，刘晓莉，朱芳芳，高姝睿，皮忠玲. 在线开放课程中的交互设计及其应用现状分析[J].电化教育研究，2018，39（11）：61-68.

[5] 杨九民，吴长城，皮忠玲，谢和平. 促进学习还是干扰学习——弹幕对学习影响的元分析[J].电化教育研究，2019，40（6）：84-90，120.

[6] MAYER R E. The Cambridge handbook of multimedia learning[M]. Cambridge： Cambridge University Press， 2005.

[7] 刘清堂，巴深，罗磊，张翼恒，吴林静. 教育智能体对认知学习的作用机制研究述评[J]. 远程教育杂志，2019，37（5）：35-44.

[8] LIEW T W， ZIN N A M， SAHARI N. Exploring the affective， motivational and cognitive effects of pedagogical agent enthusiasm in a multimedia learning environment[J]. Human-centric computing and information sciences， 2017， 7（1）： 9.

[9] DINER S， DOANAY A. The effects of multiple-pedagogical agents on learners' academic success， motivation， and cognitive load[J]. Computers & education， 2017， 111：74-100.

[10] VAN DER MEIJ H， VAN DER MEIJ J， HARMSEN R. Animated pedagogical agents effects on enhancing student motivation and learning in a science inquiry learning environment[J]. Educational technology research and development， 2015， 63（3）： 381-403.

[11] KLOWAIT N. The quest for appropriate models of human-likeness： anthropomorphism in media equation research[J]. AI & society， 2018， 33（4）： 527-536.

[12] MILLER E K， BUSCHMAN T. Working memory capacity： limits on the bandwidth of cognition[J]. Daedalus， 2015， 144（1）：112-122.

[13] MAYER R E. Using multimedia for e-learning[J]. Journal of computer assisted learning， 2017， 33（5）： 403-423.

[14] VELETSIANOS G. Contextually relevant pedagogical agents： visual appearance， stereotypes， and first impressions and their impact on learning[J]. Computers & education， 2010， 55（2）： 576-585.

[15] BANDURA A. Self-efficacy： the exercise of control[M]. New York： W.H. Freeman， 1997.

[16] KIM Y， WEI Q. The impact of learner attributes and learner choice in an agent-based environment[J]. Computers & education， 2011， 56（2）： 505-514.

[17] SHIBAN Y， SCHELHORN I， JOBST V， H？魻RNLEIN A， PUPPE F， PAULI P， M？譈HLBERGER A. The appearance effect： influences of virtual agent features on performance and motivation[J]. Computers in human behavior， 2015，49： 5-11.

[18] MEHRABIAN A. Nonverbal communication[M]. New Jersey： Transaction Publishers，1972.

[19] LIEW T W， ZIN N A M， SAHARI N， TAN S M. The effects of a pedagogical agent's smiling expression on the learner's emotions and motivation in a virtual learning environment[J]. The international review of research in open and distributed learning， 2016， 17（5）： 248-266.

[20] SWELLER J. Cognitive load theory， learning difficulty， and instructional design[J]. Learn instr， 1994（4）： 295-312.

[21] SWELLER J. Cognitive load theory and educational technology[J]. Educational technology research and development，2020，68（1）：1-16.

[22] MAYER R E. Principles based on social cues in multimedia learning： personalization， voice， image， and embodiment principles[M]// In The Cambridge handbook of multimedia learning （2nd ed.）（pp. 345-368.）. New York， NY： Cambridge University Press， 2014.

[23] CRAIG S D， SCHROEDER N L. Reconsidering the voice effect when learning from a virtual human[J]. Computers & education， 2017， 114： 193-205.

[24] CRAIG S D， SCHROEDER N L. Text-to-speech software and learning： investigating the relevancy of the voice effect[J]. Journal of educational computing research， 2019， 57（6）： 1534-1548.

[25] KIM Y， THAYNE J， WEI Q. An embodied agent helps anxious students in mathematics learning[J]. Educational technology research and development， 2017，65（1）： 219-235.