多模态交互在教学中的应用

胡小强 桑小十

摘要：现代信息技术的高速发展，为人机交互带来了新途径，多模态交互成为人机交互史上的全新可能，也为其他领域带来了新的活力。与此同时，新技术的产生与发展也对教育领域产生了巨大冲击，研究以教学中的“多模态交互”为介入点，对多模态交互相关概念的界定进行阐述，接着分析了多模态交互技术在教学中的应用，并以物理力学实验为例开展教学设计，将多模态交互技术进行有效融合，总结出多模态交互在教学中应用的优势，最后给出建议。

关键词：多模态交互;教学设计;VR教学;虚拟实验室;物理

中图分类号：G40-057  文献标识码：A  论文编号：1674-2117（2022）13-0089-05

● 教学中的“多模态交互”

1.多模态交互的概念

“模态”（Modality）最早是作为一种生物学的概念被提出来的，之后随着科技的不断进步与发展，逐渐被引申到计算机与人工智能领域，成为机器与现实物理事物之间联系的一种理论通道。顾曰国教授认为模态是指人类通过感官跟外部环境之间进行互动的方式，用单个感官进行交互的叫单模态，用两个的叫双模态，三个以上的叫多模态。[1]在新技术时代，眼睛、鼻子、嘴、手和耳朵可以通过多模态交互技术变成鼠标和键盘，更准确地将信息传达给计算机交互，扩大了交互的多样性。多模态交互技术的实现就是这样一个复杂的信息传输、分析、处理、呈现的过程。在这个过程当中，设备和用户能够达到随时随地进行联合交互的效果，无论是听觉、视觉、触觉还是手势通过多模式交互技术，用户便可以在一个专门为它开发的接口上选择不同类型的输入设备（如键盘、鼠标、手写笔、触摸屏、语音等）的连接，可以确定访问信息所使用的交互模式并与之进行交互。多模态交互技术在多种领域广泛应用，目前运用得较多的领域包括教育、医疗、工程、娱乐、游戏、军事、航空、航海等。

2.多模态交互技术在教学中的应用

多模态交互技术在教育领域有着广泛的应用。在国家重大课题方面，由潘志庚教授作为首席科学家领衔的国家重点研发计划项目“多模态自然交互的虚实融合开放式实验教学环境”主要研究复杂实验教学环境中的实时仿真、多通道感知（视、听、触、嗅）的同步呈现，研究探究式学习过程建模与行为量化评估等科学问题，开发新型的教学实验，解决现有中学实验课程中探究性弱、自主性差、精准性低、实验成本高等系列难题。

多模态交互技术在教学中也有许多应用。例如，在科学教学中，其应用主要以科普为主，如在妇联、科协、消防、地震局等部门的指导下，中山大学以及华南师范大学开发了一套“恩授”教育游戏，向儿童介绍科学、自然、卫生等科学知识，其中融合了多模态、体感游戏等创新技术，在游戏中儿童需要眼、耳以及肢体的多种配合来进行操作，让其以第一人称的方式模拟进入地震、火灾、溺水等虚拟的三维场景，在互动体验中学习各种安全知识和自救技能，增强自我保护能力，保障生命和财产的安全。又如，在地理教学中，其应用主要是以视听交互及手势交互为主，以《地質灾害》一课为例，教师使用桌面VR一体机展示3D洪水现象并且进行拖拽，从各个角度展示，达到学习者的视听交互。学习者可以通过手势交互进行救灾活动，如人群的驱散、挖通渠道、搬运石块等。学习者在模拟环境中解决问题，将地理知识与实际生活联系，化抽象为具体，提高了学习积极性，进而提高了教学效率。

● 多模态交互在教学中应用的优势

1.多模态交互技术能提升课堂交互性

过去，教师在研究教学设计问题时常采用非交互性的多媒体教学形式，主要包括教学学习科学系统中的口头和视觉表现形式，这是属于线性的过程，从信息获取的角度来看，这种学习方式仅仅只是向学生的记忆中添加信息，教师的工作也仅是向学生呈现信息，学生的工作只有简单的接收信息。但通过多模态交互技术会使教学的整个过程和效果产生明显的不同。封虹虹认为，要尊重学生的主体地位，教师应该在教学中根据学生特征，因材施教尽享多模态教学。[2]打造虚拟应用场景进行交互式学习，可以在英语课堂中提升学生对课堂的关注度，进而使其对英语学习产生浓厚的兴趣。在英语课堂中需要针对不同特点的学生，通过多模态交互技术、VR技术打造虚拟英语应用场景，实现虚拟视听交互、人机交互，让每位学生都能够且愿意参与到课堂中进行学习。这种学习环境是高效互动的，因为它关注到每一位学生的学习节奏。

2.多模态交互技术能促进学生的有意义学习

有意义学习依赖于认知活动，如从一节课中选择相关的信息，将其组织成一个连贯的结构，并将新知识与现有知识相结合。非交互的环境不能促进行为的主动性，如果想通过简单的演示文稿来设计一个能激发学生认知能力的演示文稿，那确实是一个挑战。与之相比，利用多模态交互技术的交互式学习环境更有利于构建学生的有意义学习。施建平认为，交互要达到“心物相融，启智引思”，多模态情境要达到作用于多感官，能给学生带来全身心的沉浸，使之在情境中思考。以《七律·长征》一诗为例，在学习“金沙水拍云崖暖，大度桥横铁索寒”这两句时，学生无法通过简单的多媒体课件和图片了解为什么面对如此险境红军战士会有“暖”意。为了让学生真正理解当时的场景，可采用声、光、电等多重交互技术搭建虚拟的金沙江和大渡河，使学生的视觉、听觉与智慧设备进行交互，进入当时的作战场景，亲身体会当时战斗的惨烈，从而感受红军的艰辛以及大无畏的精神，深刻了解红军长征精神。[3]

3.多模态交互技术能促进学生的学习兴趣

多模态交互技术是一种具有视觉、听觉、触觉等多感知沉浸的技术，在教学中使用多模态交互技术，可以让书本中的知识变得可以触摸、互动、感知，让学生在过程中有身临其境的沉浸式体验。让学生具有沉浸其中的丰富感受以及自由度高的交互体验，不仅有效提高了其学习主动性，更是给学生提供了大量的亲身体验、观察、操作以及与其他学生协作学习的机会，促进了学生认知活动的开展以及知识的建构。[4]有学者研究表明，在教育教学的过程中，通过单一模态学习的学习者的学习能力比通过多种模态共同学习的学习者的学习能力要差。心理学认为，单一个体情绪系统的发生机制和表达机制都属于复杂的范畴，主要强调外界环境刺激和内部生理、心理和其认知状态对个体心理的情绪变化的共同作用。传统的学习方式，常是教师的单线讲授，学生被动吸收，整个过程无法刺激学生产生情绪变化，难以激发特定的大脑活动模式，学生难免会觉得学习枯燥无味。这也表明，单一模态的刺激难以提高学习者的情绪状态。马菁认为，多模态学习模式可以唤起学生学习英语词汇的积极性，教师可以在课堂中运用多模态交互技术营造出兼具游戏性和娱乐性的学习环境，通过多种模态参与的渠道激励学生参与到词汇的教学中，引发学生对课堂的情感认知的深层共鸣。[5]通过多模态交互技术对利用多种智能传感设备学习的学习者进行视觉、听觉、触觉、嗅觉等多种感官的刺激，提高学习者的情绪状态，实现“认知—行为—情感—交互”的过程。[6]

● 基于物理力学实验的教学设计

物理是一门注重实验的自然科学基础课程，物理实验的操作环节是必不可少的，多模态交互技术可以通过视觉、听觉、触觉等多种模态进行交互打造虚拟实验室，具有弥补实验场地以及实验设备的不足、打破空间和时间的限制、优化已有教学和实验模式以及优化抽象物理现象的呈现等优点。下面，笔者以物理力学实验——牛顿第一定律实验为例，通过多模态交互技术辅助进行教学设计。

1.基于学情设计教学目标

《牛顿第一定律》是人教版物理九年级《运动和力》中的内容，其中主要包括三个方面：维持运动需要力嗎、牛顿第一定律以及惯性。本节课是在学生学习了运动学和力学初步知识的基础上，首次将力和运动联系起来，研究力和运动的关系和规律，是联系运动和力的纽带与桥梁，同时为后面力学知识的学习打下基础。将多模态交互技术通过VR虚拟实验室的形式运用到本节课的教学活动中，在传统的虚拟实验室中加入视、听、触交互，让学习者能够沉浸式地体验实验操作的整个过程。

基于此，将本节课的教学目标设计如下：

①知识与技能目标：知道牛顿第一定律的内容;了解惯性的概念，会解释简单的惯性现象。

②过程与方法目标：学会利用VR头盔与手套进行实验操作，在师生互动、生生互动、人机互动中进行交流讨论并得出实验结论。

③情感态度与价值观目标：使用VR设备进行多模态交互激发学习兴趣以及好奇心;通过对实验探究活动的参与，学习科学家实事求是、尊重自然规律、不迷信权威的科学态度，感悟科学规律获得的过程要经过许多科学家的不懈努力、培养科学的思维方法和科学探究精神。

2.设计实验活动展开教学

①提出问题。教师播放多媒体课件，展示亚里士多德和伽利略的观点，进行师生以及生生讨论交流，提出实验探究问题。

设计意图：通过交流讨论提出问题，培养学习者的探究能力、合作学习意识以及科学的思维方式。

②探索知识。学生带着问题观看教师实验，教师在VR虚拟实验室中，选择表面粗糙、比较光滑和很光滑三种水平面进行实验，得出实验数据，让学生总结和分析数据，并推理假设在完全光滑的水平面上会得到什么样的数据。

设计意图：学生很少接触VR虚拟实验室，教师首先进行实验，为下一环节学生的实验操作做示范，发挥学生的主体作用，让学生自己分析实验数据、得出结论、回答问题，引导学生进一步推理，激发学生在下一环节中动手操作的兴趣，培养学生假设和推理能力。

③自主实验。学生通过VR虚拟实验室对教师演示实验进行还原，得出自己的数据，通过所佩戴的VR手套进行触觉交互来判断每一个水平面的光滑程度，并进行实验，在此基础上，选择表面完全光滑的水平面进行上述推理的求证并得出结论。

设计意图：通过多模态交互技术和VR设备，可以将现实中仅能通过假设和想象来实现的现象具象化，让学生通过实践来学习这部分知识，突破重难点。

④总结实验，教师总结讲授牛顿第一定律和惯性。实验设计过程如下页图所示。

● 多模态交互在教学设计应用中的建议

1.注重低成本多模态交互硬件的研发

在企业前期开发多模态交互技术的应用和设备时，研发的成本较高，导致市面上绝大多数多模态技术设备销售价格普遍居高，很多学校和机构因为资金问题无法承担多模态交互技术设备高昂的价格，因此导致多模态交互技术无法在学校的教育教学中广泛普及。同时，大多数的智慧软件普遍存在通用性差、使用难度大、开发花费巨大且应用效果有限等问题。另外，从技术层面来说，新兴的传感应用技术、3D的物理建模技术、高速的图形图像处理、成像显示、人工智能等开发智慧软件普遍所需的相关技术，还有很多问题有待解决。[7]以上诸多问题都限制了多模态交互技术在中小学教学中的推广应用与普及。因此，多模态的硬件设备只有得到广泛的研究与开发，才能从根本上解决在教学中推广和普及的问题。

2.鼓励多模态交互教学资源的开发

目前，多模态交互技术才刚刚起步，硬件设施不完善，很多学校因为资金短缺没有配齐多模态交互设备以及相应的智慧教室，且大部分中小学教师并未具备熟练使用新技术的能力，不知道应如何把多模态交互技术与教育教学进行融合并进一步开发相关的教学资源。[8]同时，服务于中小学基础教育的教学资源比较少，以上种种原因造成多模态交互技术在中小学教学中难以进行实践与应用。所以，教育部门可鼓励教师积极参与到多模态交互教学应用资源的开发中，丰富多模态教学应用资源的深度和广度。相信随着多模态交互技术的不断发展、新兴技术的进步，将多模态交互技术应用于教学势在必行。

3.拓展在实验教学等方面的应用

目前，传统实验教学多是以实物课堂的形式为主，教师以一边示范一边讲解的形式进行授课，教师做一步学生做一步，实验过程变得零碎，有些实验将理论教学和实验操作分开，分多节课进行，导致理论知识与实践操作在时间和空间上严重脱节。同时，在实验过程中因为班级人数较多，学生在实验中有不懂或者做错的地方教师也无法及时指出并进行指导，而实验器材的限制使得学生无法在预习以及复习阶段进行实验。此外，还有些实验仪器面临体积过大、价格过高等问题，有些实验器材和材料难以准备，有些实验无法确保安全性。针对这些问题，多模态交互技术运用到教学当中，通过视觉、听觉、触觉等多种模态融合AR/VR等技术，开发虚拟实验室，不仅减小了时间和空间的差距，解决了传统实验中的耗材问题、安全问题等，还可以通过程序判断有效避免学习者在实验中操作失误却无法即时得到指正的问题，大大提高了实验教学的教学效率。[9]

● 结语

现代教育技术的进步与发展、人们学习观念的转变以及教育教学大环境的改善，为多模态交互技术进入教学带来了基本的便利条件。目前，我国的多模态交互技术与教学融合的研究虽然尚处于起步阶段，但相信随着社会的不断进步、技术的不断研究与发展，以及在教学中不断加深的实践研究，多模态技术将会逐渐趋于成熟，多模态教学也将会日渐成熟，在不久的将来成为教学中不可或缺的一部分，给教学注入新的生机与活力。

参考文献：

[1]顾曰国.多媒体、多模态学习剖析[J].外语电化教学，2007（02）：3-12.

[2]封虹虹.大学英语视听课堂多模态教学模式构建路径[J].淮北职业技术学院学报，2021，20（01）：51-53+66.

[3]施建平.小学语文教学中多模态学习情境的创设[J].语文世界：教师之窗，2021（03）：4-5.

[4]陈璟.虚拟现实技术在基础教育中的应用及对策分析[J].普洱学院学报，2020，36（06）：130-132.

[5]马菁.探析多模态教学模式在高中英语词汇教学中的运用[J].校园英语，2021（05）：175-176.

[6]王一岩，王杨春晓，郑永和.多模态学习分析：“多模态”驱动的智能教育研究新趋向[J].中国电化教育，2021（03）：88-96.

[7]胡建平，黄国政.Leap Motion体感技术在教育中的应用现状及问题分析[J].福建广播电视大学学报，2016（05）：23-28.

[8]李琼华，罗敏.多模态视角下农村小学英语口语教学的问题诊断及对策研究——以湖北省B小为例[J].湖北师范大学学报：哲学社会科学版，2019，39（01）：138-142.

[9]何珊.VR技术在物理实验教学模式创新中的应用[J].兰州石化职业技术学院学报，2021，21（01）：61-63.

作者简介：胡小强（1970—），男，汉族，江西南昌人，硕士，江西科技师范大学教育学院副院长，研究方向为虚拟现实技术在教育中的应用、现代教育技术等;桑小十（1997—），女，汉族，山东临沂人，硕士，江西科技师范大学教育学院（通讯作者），研究方向为多模态在教学中的应用。