伴随言语的图标手势类型对初中生词语激活与理解的影响——对智能导学系统教学代理设计的启示

杨翠蓉,廖雅丽,袁 欢

(1.苏州科技大学, 江苏 苏州 215009;2.汉寿县职业中等专业学校，湖南 常德 415900)

一、引言

智能导学系统是计算机以指导者身份向不同特征学习者进行知识传递、学习指导的学习支持系统[1]。作为核心模块之一的教学模块，主要是通过人机言语互动脚本实现教学代理(模拟教师)对学习者进行一对一学习指导。随着社会建构主义学习理论的出现与兴起，研究者意识到学习是一种言语互动过程，主要体现为对话与讨论；随着具身语言观的出现与兴起，研究者又意识到手势在师生言语互动过程中的重要性，学习者观察教师手势会影响他们对教师言语内容的理解，进而影响其学习结果[2-3]。基于对学习与言语互动的新认识，智能导学系统的人机言语互动脚本已不仅限于教学代理的书面与口头言语互动脚本设计，还越来越重视教学代理身体言语互动脚本设计，尤其是手势脚本。

教师指示手势最早予以研究并广泛应用到智能导学系统教学代理手势脚本设计[4-5]。除指示手势外，促进言语理解的教学手势还有图标手势。图标手势(Iconic Gesture)通常伴随言语出现，是具体描绘对象形状、动作等特征的手部动作，它具有语义表征功能。根据图标手势与言语语义的关系，可将图标手势分为冗余手势与补充手势。冗余手势指与言语语义一致的图标手势；补充手势指与言语语义相关，是言语中未包含的语义信息的图标手势。智能导学系统为促进学习者知识理解，往往多依据专家教师图标手势研究结果、有效教学中的图标手势研究结果来设计教学代理的图标手势脚本。例如，Cassell设计了智能导学系统教学代理Rea的补充手势脚本[6]。Rea在口头解释学习内容时，用补充手势描述言语中未涉及的内容。另一智能导学系统中教学代理Steve的身体言语互动脚本则纳入了冗余手势。教学代理Steve在讲授复杂机器运转时言语陈述“打开3号切断阀”，同时其伴随言语的冗余手势模拟操作切断阀[7]。还有的智能导学系统的教学代理手势设计既包括冗余手势又包括补充手势。如Max教学代理的图标手势[8]。无论是专家教师图标手势研究，还是有效教学的图标手势研究，都是课堂情境中的观察描述研究，不能控制教师言语、面部表情、眼神等因素，它们会影响学生理解图标手势，进而影响言语理解结果[9-10]。据此设计的智能导学系统教学代理的图标手势有效程度有待明确，有必要具体明了教学代理的冗余手势、补充手势对学生言语理解、学习结果的作用。有研究者指出，实验研究能排除教师言语等无关变量的影响，有必要通过实验研究探讨伴随言语的图标手势类型对学生知识学习与理解的影响，为智能导学系统教学代理图标手势设计提供科学可靠的依据[4，11]。

二、图标手势对言语理解影响的文献综述

(一)语义一致与不一致的图标手势对言语理解影响的研究现状

不同理论在图标手势影响言语理解的认识上存在差异。言语-手势整合理论认为图标手势的语义表征功能影响言语理解，与言语语义不一致的图标手势相比，言语语义一致的图标手势更能促进言语理解，即言语-手势一致性效应[12]；注意集中理论则认为无论是与言语语义一致还是不一致的图标手势，都会引起学习者对手势及其伴随言语的注意，在言语理解正确性上无区别[13]。Dargue等采用回放研究范式[14]，将故事叙述视频分为言语与图标手势语义一致的视频、言语与图标手势语义不一致的视频以及仅言语视频，发现图标手势比无手势更能促进儿童的故事理解，但语义不一致的图标手势与语义一致的图标手势在故事理解正确率上无显著差异，证实图标手势促进言语理解在于其注意集中效应。Dargue等运用MEG脑磁图技术[15]，发现言语理解存在言语-手势一致性效应，即与言语语义一致的图标手势比不一致的图标手势更显著地促进言语理解，且语义不一致的图标手势比语义一致的图标手势会激活个体更多脑区参与手势加工，主要有左颞叶与左枕区等言语相关脑区、涉及感觉运动的左运动脑区皮层。 同样有研究者沿用回放研究范式，运用fMRI技术发现，语义不一致的图标手势显著激活左侧下颞回脑区，增加言语-手势整合负荷[16]。另外，采用回放研究范式的相关 ERP研究也发现，言语语义不一致的图标手势在与言语整合时会出现更负的N400效应，表明语义不一致的图标手势与言语整合加工更难[17]。Eggenberger等则采用启动范式[18]，运用眼动技术比较与言语语义一致与不一致的图标手势对言语理解的影响，发现对于失语症患者与正常成人，语义一致手势的言语理解最好，语义不一致手势的言语理解最低，只是失语症患者更多注意视频中人物的手而不是脸，反映手势具有语义表征功能。Ying[19]等、Sekine[20]等同样采用启动研究范式，运用ERP技术，不仅发现言语-手势一致性效应，而且还发现与言语语义不一致的图标手势会导致儿童在更多脑区出现更负的N400效应。总之，无论是回放研究范式还是启动研究范式，已有研究大多证实言语-手势整合理论，当加工整合语义不一致的图标手势时，个体会激活更多相关脑区，投入更多工作记忆资源，增加他们的认知负荷[21-23]。

(二)冗余手势与补充手势对言语理解影响的研究现状

教师在课堂教学或个别指导时，较少运用与言语语义对立的图标手势，更多运用与言语语义一致的图标手势(冗余手势)、与言语语义不一致但相关的图标手势(补充手势)。不过Singer等采用面对面研究范式[24]，让教师用不同的图标手势讲授数学等式问题解决策略，发现与仅言语、伴随言语的冗余手势相比，伴随言语的补充手势更有利于学生掌握与应用数学等式问题解决策略，这与言语-手势整合理论不符(言语-手势整合理论表明伴随言语的补充手势应不利于个体言语理解)，可能的原因是从教师角度(说话者)来看，同时用言语与手势分别表达2种不同策略所付出的努力要小于言语同时表达2种策略，从学生角度(听话者)来说，理解手势也能减少他们的心智努力，他们更容易从手势中获得与学习内容相关的语义。Macoun等沿用回放研究范式[13]，发现补充手势不仅提供言语中所没有的信息，还能引起儿童对整体故事的注意，它们比节拍手势更显著提高学前儿童的言语理解。该结果不仅表明伴随言语的补充手势更能促进言语理解，而且还证实了手势促进言语理解的注意集中理论。但是有研究采用fMRI技术探讨冗余手势与补充手势对成人与儿童言语理解影响，发现并不是所有8—11岁儿童都能有效整合补充手势与言语，而且比起冗余手势的加工，有效进行言语-手势整合的儿童在加工补充手势时在颞下回、右颞中回和左颞上回脑区有更强的激活，反映儿童在整合补充手势会增加他们的认知负荷，需要比成人激活更多的脑区[25]。Buisine等分别设计有伴随言语的冗余手势与补充手势的教学动画[26]，发现冗余手势比补充手势更显著地促进学生的线索回忆成绩、学习主观评价，并且学生认为呈现冗余手势的教师表达能力显著好于呈现补充手势的教师。

(三)问题提出

冗余手势与补充手势对言语理解影响的研究结论存在争议与分歧，可能缘于有些研究采用面对面研究范式和回放研究范式，这两种范式能保证研究的生态性，但难以排除言语内容与数量、教师凝视、表情等对言语理解的影响。更重要的是，基于这两种范式的研究均是在任务结束后进行自由回忆测验、再认测验等，使得言语与伴随言语的手势整合不仅有并列加工，还有序列加工。序列加工能减轻个体认知负荷，因而已有研究发现补充手势比冗余手势更为促进言语理解。鉴于教学内容的多样性以及言语的瞬时性、即时性特点，最好让学生即时准确理解教师言语，有必要更多探讨言语与伴随言语的手势的并列加工，为智能导学系统教学代理的图标手势设计提供依据，由此有研究者认为有必要采用启动范式探讨补充手势与冗余手势对言语理解的影响[20]。另外，多数研究的补充手势与言语多构成附属关系，即补充手势是言语相关内容的补充[13，24]。这种附属关系会减轻被试在整合言语与补充手势时的认知负荷。课堂教学的补充手势除与言语存在附属关系外还存在并列关系，即言语与补充手势分别描述客体或事件的不同属性或特征。例如，小学教师在讲授“排球”概念时，用言语表述“它是圆的”，同时用手势表现扣球的动作，但目前并不清楚该种补充手势对言语理解的影响。结合上述论述，对于10岁以下儿童，图标手势促进言语理解的研究结果证实注意集中理论与手势-言语整合理论，而对于成人，已有研究结果则支持手势-言语整合理论。初中生正处于青春期阶段，在思维上处于形象思维向抽象思维过渡阶段，理解图标手势对初中生言语理解的影响及其理论基础十分必要。基于此，本研究选取具体词语，探讨伴随言语的补充手势与冗余手势对初中生词语理解的影响。由于词语理解前先要激活头脑中已有相关词语，故研究分为两个实验，依次是(1)伴随言语的图标手势对初中生词语激活的影响；(2)伴随言语的图标手势对初中生词语理解的影响。

三、实验一： 伴随言语的图标手势对初中生词语激活的影响

(一)研究目的

实验一探讨不同的图标手势对初中生词语激活的影响。研究假设为：(1)根据注意集中理论，伴随言语的冗余手势与补充手势在判断高低相关词的正确率与反应时上无显著差异，也无交互作用；(2)根据言语-手势整合理论，伴随言语的冗余手势对高相关词判断的正确率与反应时要显著优于补充手势，对低相关词判断的正确率、反应时要差于补充手势。

(二)研究方法

1.被试

实验招募苏州某中学初一学生50名，根据实验对有效被试数据的要求，剔除10名被试，最终有效被试为40名(女性19名)，平均年龄13.58岁。所有被试视力或矫正视力正常，均为右利手，自愿参加实验。实验完毕给予一定报酬。

2.实验设计

实验采用2(伴随言语的图标手势：冗余、补充)×2(目标真词的语义相关度：高、低)被试内设计。伴随言语的冗余手势操作性定义为手势与言语均描述学校用品的使用动作；伴随言语的补充手势操作性定义为手势描述学校用品的使用动作、言语描述学校用品的形状；因变量为正确率与正确判断反应时；控制变量为学生空间知觉能力、学校用品(手势与言语描述对象)的操作性、复杂性与熟悉性。

3.实验材料

(1)实验任务

本实验研究范式为：基于启动的真假词判断任务[27-28]，启动刺激为有言语与图标手势的视频，目标刺激为真词与假词。

(2)目标刺激材料编制

目标刺激由真词与假词构成。本研究真词是从BOSS(Bank of Standardized Stimuli)数据库中选取中等操作类学校用品图片刺激25个[29]，招募未参加正式实验的72名初一学生(男42名，女30名)，对25个学校用品进行命名，并采用自编物品特征的5点主观评价问卷进行学校用品熟悉性、复杂性和操作性的调查。为避免实验材料的操作性、熟悉性、复杂性对实验结果的影响，最终选取8个中等操作 (M操作= 3.03, SD操作=0.92)、熟悉(M熟悉=3.23, SD熟悉=0.98)、结构简单(M结构=2.16, SD结构=0.19)的学校用品作为正式实验材料，将命名频率最高的名称确定为各学校用品的概念名称。

目标刺激中的真词包括高相关词与低相关词。与启动刺激(有图标手势与言语的视频)语义一致的词为高相关词，与启动刺激语义不一致的词为低相关词。假词是指由词素组成但无语义的词。它是实验中的过滤刺激，并不纳入数据分析。设计假词可以避免被试猜到实验真正目的，而且插入假词判断的实验试次还可以避免同一启动刺激(视频)在较小间隔试次中出现。本实验假词构成原则是假词读音不能和真词读音相同，以防止其有意义。为确保实验中每个词素出现的频率相同，本实验的假词是从一对高低相关词中随意抽取词素组成无意义的词素组。如，“便本利”来自高低相关词“便利贴”与“笔记本”。

(3)启动刺激材料编制

启动刺激是包括言语与手势的视频，分为伴随言语的冗余手势视频、伴随言语的补充手势视频。为避免言语与图标手势的新异性影响个体理解，分别编制视频的言语脚本：有熟悉的形状言语(M=4.58, SD=0.65)与动作言语(M=4.71, SD=0.55)，编制熟悉的手势脚本(M=4.63, SD=0.58)。最后，手势均为1—2个手部动作。动作言语(M=12.88, SD=0.83)与形状言语(M=13.12, SD=1.13)字数无显著差异(t =-0.80，P=0.45)。

首先，请一位成年男性和一位成年女性面对一台固定位置和角度的摄像设备录制手势，紧接着用Vegas视频剪辑软件对手势视频进行剪辑，使所有手势起始时间点一致。手势过程约5秒，包括手势起始阶段(双手自然下垂，为静止状态，时长约1秒)、动作阶段(手臂开始动作，直到手势完成，时长约4秒)、结束阶段(双手下垂，回到静止状态)。另外，为避免表演者形象和表情吸引被试注意，视频表演者均着黑色T恤与裤子，头部不出镜(示例见图1)。其次，录制实验所需的言语。运用文字转语音工具，将言语脚本转换为发音人分别是男性和女性的音频，每个音频采样率为16KHz。最后，运用Vegas视频剪辑软件将视频文件和音频文件整合为一个视频文件，最终伴随言语的冗余手势视频中的手势动作平均时长为4296 ms (SD=275.02)，言语平均时长为4141.06 ms (SD=322.59)，伴随言语的补充手势视频中的手势动作平均时长为4293.88 ms (SD=278)，言语平均时长为4177.44 ms (SD=346.76)。对两种视频中的言语时长与手势时长分别进行比较，发现两种视频中的手势动作平均时长无显著差异(t=0.02, P=0.98)，言语平均时长无显著差异(t=0.54, P=0.60)。

4.实验流程

在正式实验前，先让被试完成三维旋转实验以测试他们的空间知觉能力。正式实验为基于启动的真假词判断任务。实验由2个BLOCK(伴随言语的冗余手势与补充手势)构成，每个BLOCK的试次为34个(包括2个练习试次)，实验总计68个试次，以伪随机形式呈现。为避免顺序效应，实验采取BLOCK平衡。由于同一内容分别摄制男演员与女演员视频版，每个BLOCK内部采取视频的性别平衡。实验流程如下：屏幕中央呈现注视点“+”500 ms后随即呈现视频(启动刺激)，被试尽力理解视频描述的学校用品，视频呈现完毕后立即出现词语(目标刺激)，被试要快而准地判断其是真词还是假词。正式实验结束之后，被试完成视频再认任务。再认任务包括正式实验中出现的视频与未出现的视频，目的是测试被试正式实验时的视频注意集中程度，作为筛选数据的手段之一。

(三)研究结果与分析

分析结果前要整理所有数据。首先，根据视频再认测试结果，剔除视频再认正确率低于50%的6名被试；其次，根据基于启动的真假词判断任务的数据分析要求，将判断正确率低于50%的4名被试予以剔除；最后，对40名有效被试的数据进行整理，剔除错误反应试次、反应过快与过慢(反应时在3个标准差之外)的反应试次。

1.初中生空间知觉能力与真词判断的相关分析

分别对初中生空间知觉能力同真词判断正确率与反应时进行皮尔逊相关分析，结果表明，空间知觉能力与真词判断正确率、反应时不相关(P值均大于 0.05)，说明空间知觉能力不影响基于启动的真词判断结果(见表1)。

表1 空间知觉能力与词语判断正确率、正确判断反应时的相关结果(r)

2.不同图标手势条件下初中生高低相关词判断正确率比较

表2 不同图标手势条件下的高低相关词判断正确率与正确判断反应时

3.不同图标手势条件下初中生高低相关词正确判断反应时比较

四、实验二：伴随言语的图标手势类型对初中生词语理解的影响

(一)研究目的

在对真词进行判断前，先要激活头脑内部相关词语。实验一发现伴随言语的补充手势对高低相关词判断正确率要高于伴随言语的冗余手势，伴随言语的补充手势对高低相关词判断反应时无显著差异，而伴随言语的冗余手势对低相关词判断反应时要慢于高相关词。该结果表明，伴随言语的冗余手势比伴随言语的补充手势能更精准激活概念名称(高相关词)。为更进一步揭示伴随言语的图标手势类型对词语理解的影响，实验二进行两种伴随言语的图标手势条件下的词语理解实验。

实验二研究假设：(1)依据注意集中理论，伴随言语的冗余手势的词语理解正确率与伴随言语的补充手势无显著差异；(2)依据言语-手势整合理论，伴随言语的冗余手势的词语理解正确率显著高于伴随言语的补充手势。

(二)研究方法

1.被试

被试与实验一相同。为避免实验一对实验二的影响，根据遗忘规律，在一周后进行实验二。实验过程中有3名被试因客观原因退出实验，最终被试47名(平均年龄为13.57岁，其中女性23名)。

2.实验设计

采用单因素被试内设计，自变量为图标手势类型：伴随言语的冗余手势与补充手势。因变量为词语选择正确率。

3.实验材料

视频材料与实验一相同。根据Holler等手势理解研究中的因变量测量方法[30]——词语迫选任务，实验者按近似1：1的比例编制词语迫选任务的备选答案，其中正确答案(10个)与其它备选答案(10个)。其它备选答案同样选自25个中等操作性物品，它们在熟悉性(M=3.34,SD=0.22)、复杂性(M=2.09,SD=0.23)与正确答案之间无显著差异(t复杂=-0.70,P=0.49;t熟悉=1.29,P=0.22)。所有答案呈现在一张答题纸上，答题纸左侧为备选答案，每个备选答案前都有字母序号。答题纸右侧为每个试次的答题区，共10题。当进行实验时，被试将备选答案相应字母写在答题区。

4.实验流程

实验由2个BLOCK(伴随言语的冗余手势与补充手势)共计10个实验试次构成，采取BLOCK平衡。由于同一内容视频有男女演员两个版本，每个BLOCK内部进行视频的性别平衡。实验流程是：在电脑屏幕中央出现注视点“+”500 ms后随即呈现视频，被试尽力理解视频描述的学校用品，视频呈现完毕后进行词语迫选任务，然后按空格键开始下一个试次。正式实验前，每个BLOCK均有2次练习机会。

实验结束后对被试进行访谈，了解他们确定视频中物品的方法，结果发现被试在实验过程中不是凭借对上次实验的记忆去进行判断，而是心理模拟物体使用动作，据此选择自己认为正确的选项。

(三)研究结果与分析

1.初中生空间知觉能力与词语理解正确率的相关

为探讨被试空间知觉能力对词语理解正确率的影响，运用皮尔逊相关对两者进行相关分析，结果表明，空间知觉能力与冗余手势条件下的词语理解正确率不相关(r=0.03,P>0.05)、与补充手势条件下的词语理解正确率不相关(r=0.15,P>0.05)。该结果说明，空间知觉能力不影响被试的词语理解能力。

2.不同图标手势条件下初中生的词语理解正确度

以词语选择正确的题目数为因变量、以图标手势类型为自变量进行卡方检验，结果表明，冗余手势条件下词语选择正确数量显著高于补充手势条件(χ2=8.80,P<0.01)(见表3)。以词语选择正确率为因变量，以图标手势类型为自变量，进行配对样本t检验，发现冗余手势与言语整合时词语理解正确率(M=0.69,SD=0.15)显著高于补充手势与言语整合时词语理解正确率(M=0.59,SD=0.21)，t=-2.92,P<0.05,Cohen’s d=0.55(见图3)。

表3 不同图标手势条件下词语再认回答正确的题目数

五、研究讨论

在对目标刺激进行判断前，先需对视频中的图标手势与言语进行整合，形成并激活相应概念名称。实验一采用基于启动的真假词判断研究范式，探讨不同伴随言语的图标手势对词语判断的影响，发现伴随言语的补充手势对真词判断正确率显著高于冗余手势。当为低相关词时，伴随言语的冗余手势对词语正确判断反应时显著慢于伴随言语的补充手势,并且伴随言语的冗余手势对高相关词正确判断反应时要显著快于低相关词，伴随言语的补充手势对高低相关词正确判断反应时无显著差异。

无论是伴随言语的冗余手势还是补充手势，对于同一教学用品，理论上都应形成同一词语，但从正确率来看，补充手势与言语进行整合时，对真词的判断正确率显著高于冗余手势，其中主要是对低相关词的判断正确率(见表2)。真词包括高低相关词，根据激活扩散理论判断表明，伴随言语的补充手势所激活的词语与高低相关词的语义联系性强于伴随言语的冗余手势，这是由于伴随言语的补充手势所激活的词语概念定义不明确所导致。从正确判断反应时来看，本研究结果与Ortega[27]等、Wing-Chee[28]等、De-Fu[31]等研究结果一致。研究表明，当冗余手势与言语进行整合时，对高相关词正确判断反应时显著快于低相关词。用激活扩散理论来解释，表明该手势与言语进行整合形成的词语与高相关词的语义距离更近，更容易激活，与低相关词的语义距离更远，更难于激活，说明伴随言语的冗余手势所形成的词语更精准。当补充手势与言语进行整合时，高低相关词正确判断反应时无显著差异，表明所形成的词语与高低相关词的语义距离无差异，说明该手势激活的词语不明确。研究结果还发现，伴随言语的冗余手势对低相关词正确判断反应时显著长于伴随言语的补充手势，说明与伴随言语的补充手势相比，伴随的冗余手势与言语进行整合形成的词语与低相关词的语义距离要更长。此结果与伴随言语的补充手势词语判断正确率结果一样，是由伴随言语的补充手势所激活的词语概念定义不明确导致。总之，实验一正确率与反应时结果表明，相比于伴随言语的补充手势，伴随言语的冗余手势能够激活初中生头脑内部更精准的词语，支持手势影响言语理解的手势-言语整合理论，可能与言语信息一致的手势才能激活更精确的词语。

实验二结果表明，当言语与冗余手势整合时，词语理解的正确率显著高于言语与补充手势整合，验证了Buisine等的研究[26]。实验一结果可以很好地解释实验二结果：实验一发现言语与冗余手势整合激活的词语名称要比与补充手势整合形成的词语名称更为精准，从而伴随言语的冗余手势比伴随言语的补充手势更能促进词语理解。已有手势与言语整合加工的认知神经研究结果发现，言语与补充手势整合会比言语与冗余手势更为增加被试的认知负荷，导致言语与补充手势整合加工更加困难，言语理解程度降低[19]。本研究被试为初中生，初中生处于形象思维转向抽象思维的过渡阶段，言语与手势分别对同一物品特征进行抽象或具象描述，有助于帮助初中生掌握概念关键特征，理解词语概念。另一方面，初中生的工作记忆资源有限，其工作记忆能力不如成人，伴随言语的冗余手势更有助于减轻初中生的认知负荷，促进词语理解。实验二结果与Singer[24]等、Macoun[13]等研究结果不一致，后者发现伴随言语的补充手势比伴随言语的冗余手势更有利于言语理解。可能Singer[24]等与Macoun[13]等的研究材料是有上下文的故事叙述视频，采取事后自由回忆测试，即观看完整个视频后的自由回忆测试，使得这两个研究中的言语-手势的整合不仅仅是言语与手势的并列加工，可能还有故事叙述视频中上下文言语与手势的序列加工，序列加工可以减轻被试对补充手势加工的认知负荷，分配更多的认知资源分别进行言语加工与补充手势加工，同时补充手势又提供言语未涉及的语义信息，最终导致补充手势比冗余手势更能促进故事理解[20]。实验二结果仍支持言语-手势整合理论，与言语语义一致的手势比不一致的手势更能促进言语理解。

实验一和实验二结果表明伴随言语的冗余手势比补充手势能激活更精准的词语，从而促进词语理解。具身认知理论在言语领域中体现为具身语言观，具身语言观认为语言不是概念，也不是反映概念与概念之间的关系，它是让人们感同身受的视听与身体感觉运动等多感觉通道刺激，是对外部世界的现实表征以及基于自身动作经验的认知活动[32]。具身语言观研究还发现运动共振在言语理解中的作用，即看到动作或听到动词会引发运动共振，表现为大脑的运动皮层、额中叶皮层有显著的激活水平[33]。具身语言观的运动共振机制为手势-言语整合理论提供生物学基础，并能解释本研究成果。手势作为身体动作的重要组成部分，依据运动共振机制判断，手势或言语所涉的动作相关脑区参与越多，就越有利于言语理解。本研究实验一与实验二中伴随言语的冗余手势操作性定义为手势与言语均描述学校用品的使用动作；伴随言语的补充手势操作性定义为手势描述学校用品的使用动作、言语描述学校用品的形状。伴随言语的冗余手势条件下，个体身体动作系统参与的成分更多，由此引发更强的运动共振，它比伴随言语的补充手势更能激活精准的词语以及促进词语理解。

六、研究结论及启示

本研究通过两个实验逐次探讨伴随言语的图标手势类型对词语激活与理解的影响，得出以下结论：(1)与伴随言语的补充手势相比，伴随言语的冗余手势与高相关词有更近的语义距离，它更易激活初中生头脑内部更精准的词语；(2)伴随言语的冗余手势比补充手势更能促进初中生词语理解。

智能导学系统通过学习指导促进学生学习。具体来说，是通过智能导学系统中有效教学代理的言语互动脚本实现。教学代理的言语互动脚本包括教师口头与书面言语互动脚本以及身体言语互动脚本，本研究结果能为面向初中生的智能导学系统的教学代理口头言语互动脚本与身体言语互动脚本设计提供科学有效的建议。

首先，本研究发现伴随言语的冗余手势比伴随言语的补充手势更有助于初中生的词语激活与理解。由此，在设计面向初中生的智能导学系统教学代理言语互动脚本时，口头言语互动脚本与身体言语互动脚本设计宜指向同一内容，既能减轻初中生的认知负荷，又是对同一学习内容进行双重加工，有助于初中生学习过程中即时有效理解教学代理的言语。本研究是真实验研究，有效控制视频中人物表情、眼神等无关变量，为进一步减轻初中生学习中的认知负荷，尽量让初中生工作记忆资源用于当前学习内容的加工，教学代理的身体言语互动脚本设计宜突出动态的冗余手势，尽量减少教学代理的其他身体言语，如面部表情不宜复杂多变、眼神尽量要凝视学习者或是指向学习内容的引导性眼神。

其次，本研究伴随言语的冗余手势是言语与手势均为描述物品使用动作。具身语言观的运动共振机制为伴随言语的冗余手势促进言语理解提供生物学机制，而且根据图标手势产生与发展研究，动作手势比形状手势出现更早[34]，根据图标手势理解研究，儿童与成人理解动作手势的准确率显著高于形状手势[34-35]。根据本研究结果与已有研究发现，智能导学系统教学代理的身体语言应尽量为动作，口头语言也尽量是描述物品使用的动作或个体动作，以促进初中生更准确激活相关知识经验，促进词语理解。

智能导学系统设计与开发是交叉学科研究，不仅是计算机科学、教育技术学领域的研究问题，也是教育心理学、认知心理学领域的热点研究问题。例如，认知心理学的具身认知理论为教学代理的具身性设计提供理论基础，来自思维、言语与手势等心理与认知过程的研究成果为教学代理自然语言对话设计、与言语相匹配的手势动作设计提供科学依据。随着3D等电脑人物设计技术、算法技术的改进，栩栩如生的模拟真人的教学代理将会在智能导学系统中得以应用，促进学生学习的教学代理设计更急需教育心理学、认知心理学等领域研究成果为其提供理论基础与依据。本研究仅探讨伴随言语的图标手势对初中生词语理解的影响，未来还有必要选取不同年龄阶段的学习者，关注图标手势的其他特征对学习的影响，如形状手势、动作手势、执行者视角的手势、观察者视角的手势等，进一步丰富智能导学系统教学代理的言语互动脚本设计。