虚拟现实环境下在线教育平台开展多模态教学的思考——以广播电视大学计算机课程为例

唐文奕

（福建广播电视大学福鼎学院，福建福鼎，355200）

受到疫情的冲击，在线教育获得爆发式的增长。翻转课堂、MOOC 等在线教育课程以及各种在线教育平台蓬勃发展。教学环境的改变催生新的教学理念，教学理念的兴起则必然有与之相应的应用这一教学理念的平台。如果说在线教育代表了一种教学环境的改变，它催生了传统的文本和话语交互的教育理念向多模态教育理念的改变，那么反过来，多模态教育理念，又对应用它的教育环境提出了更进一步的要求。

一、 对于多模态教学理念的认识

多模态研究是由新伦敦小组（New London Group） 的《宣言》 （1996） 引发的， 《宣言》呼吁对教育学采取多元读写方法，以应对当时出现的新交流形式的激增。模态是在任何媒介或类型（如声音、颜色、音调、音乐和纹理） 中表现、表达和交流意义的组成部分和惯例。

所谓多模态话语分析为基础的教学理念可以理解为以多模态话语分析理论为基础建立的教学关系。在课堂上，教师将声音、图片、动画等多种媒介（模态） 作为独立的教学语言交互方式，通过对这些媒介的协同整合设计应用，以最能体现课程特点要求，最能调动学习者感官反应的方式，使学习者积极参与到课程学习的动态过程中，促进学习者通过共同参与和合作来进行学习。

语言是一种社会符号，是人们交流交际的工具。20 世纪90 年代以来，系统功能语言学者们将语言的社会符号性扩展开来，将声音、图像、动作和空间、颜色设计等多模态也作为与语言一样具有交互功能的社会符号基本资源进行研究。在这个系统中，声音、图像、动作和空间、颜色设计等都是用于社会交互的媒介符号系统。语言只是该系统中人类众多交流方式中的一种符号。对媒介符号系统的研究，最为突出和具有代表性的是分析视觉图像的语法框架，它为社会符号资源的话语化分析提供了基本的理论依据和分析方法，并在此基础上形成多模态话语分析的研究雏形。而以课程教学为对象的多模态研究则以此作为基础铺展开来。

当然，这个符号系统并不是杂乱简单的混合，而是要符合一定的规律，这个规律是语言产生以来逐渐发展而来的，是一整套由语汇构成，符合一定语法规则的系统，通过对语汇的选择和使用，实现人类之间的交流与沟通。

以图像来说，它实际上也包含一个体现为选择行为的符号系统。图片中不包括什么，包括什么，都是一个表达意义时“选择”的结果，而这些选择体现了选择者对意义的指认，也就是所谓的意义潜势，从而使图片实现不同的社会功能。其表达的目的是一致的，即用于沟通和交流，语言与图片的不同只是意义的表达方式。它们同样是通过符号构造出的沟通的发出者、接收者和被表达的事物之间的特定关系。而对于表达的整体而言，则是通过交流的各种元素内在与外在的整合来实现的。

另一个方面，图片作为一种交流的符号系统，也是具有社会性的，它与传播和阅读、制造它们的人以及社会单位紧密结合，因而具有典型的社会环境的特色。从这个意义上说，图片是带着意识形态的。

一般意义上，构成在线计算机课程教学的多模态交互方式构成了该课程的语篇结构。我们这里所称的语篇结构与其他面向一种模态进行分析所称的语篇不同，实际上是一种由多种符号系统共同构成的，贯穿计算机课程教学的整体。在这里，语篇多模态化指的是在计算机教学中，通过统合运用各种符号资源(如有声语言、形象、声音、设计、动作等)共同参与计算机的教学过程，以追求计算机课程教学表达的多样化设计。但是，与大多数理工课程一样，由于计算机课程的知识体系往往是由一系列相对模糊或抽象的概念符号构成，因此，从文本文件出发运用简单的图像资料或者图表资料对计算机课程进行设计是没有问题的，但往往因其直观简单无法直观准确地表达实现有效的交流，因而需要在文本语言符号的基础上构建一个全面系统的，从构图视角、图片架构、色调等多模态开展教学设计，以构建多模态为基础的语法分析框架。

需要强调的是，声音、形象、设计等模态并不等同于教学设计中的要素，要素是构成教学的元素，而作为模态的声音、形象、设计是可以独立实现交互的交流手段，在教学过程中，它们是可以独立表述教学内容的。

鉴于上述，我们认为，所谓多模态教学，必然是在对多种模态进行的综合话语分析基础上，为实现教学目标，对各种模态的整体应用，那种仅仅增加或减少几个模态的做法，并不能称为完整意义上的多模态教学，充其量可以称为多媒体辅助下的教学。

二、 多模态视角下对在线教育的反思

对于在线教育来说，为了多样化呈现教学内容、发挥学习者主体性、丰富课堂表现，以文本、语言、图片、影像、空间结构、动画等符号资源为代表的多模态协同交互手段正从内容到形式深刻影响并改变着教育，在在线教育模式下，人们已越来越多地将多模态作为教学的组织方式，并使用多模态语法分析框架，来丰富和解读教学中文字以外的表达方式。但是，仅仅简单的在教学中使用多模态还不足以真正实现在线教育的教学目标，为了达到教学的效果，为了有效发挥多模态教学的效果，更大的问题是要针对在线教育多模态教学的特点改造在线教育的教学平台。

站在多模态话语分析的视角上，反思当前在线教育，无论从教学内容、教学组织方式、教学效果还是在线教育平台本身的建设，都不甚理想，甚至可以说仅仅是传统面授课程的移植，总的来说，体现为在线教育平台的教学环境过于简单，无法适应在线教育个性化教学、现代化教学的需要。

1. 教学环境与教学交互相关性不强

我们在传统教学中，大多数使用多媒体辅助教学，而从模态话语分析的角度，声音、图片、视频等过去传统的多媒体辅助工具都是与声音、图像相对应的语言传达媒介，具有独立的语汇语法系统，可以独立表达课程内容。而传统教学中的多媒体，只是声音、图像等的辅助工具，并无独立的交互功能。在线教学，因教与学的双方受到空间的阻隔，很难像传统教学那样面对面进行，因而，需要更多样的教学交互方式，有时，甚至需要使用图像、图表等模态作为独立的交互工具使用。

但在当前在线平台上的课程教学中，普遍沿用以教师、教室、教材为依托的传统教学模式，使用的录播课件的方式开展教学。在这种方式中，教师是教学的中心，并以课本为依托，范围局限在教室中，基本体现为照本宣科的模式。不同者，只在于在线教育使用录播设备将教师授课的过程记录下来而已。在在线教学的过程中，这种教学模式很难调动学习者的学习兴趣，学习者普遍缺乏实践能力，无法实现教学目标要求的对创新思维、创新能力的培养。

2. 对多模态缺乏综合全面的分析利用

在电大在线教学平台环境下，教师往往会根据教学内容的需要组合和使用包括图像、视频、图表等交流方式，以帮助学习者理解和记忆教学内容。但是，这种交流方式，从目前来看，仍然处于从属地位，是由语言教学的需要来使用，并没有建立在系统的模态分析基础之上。模态话语分析理论认为，图像、画面、设计等教学中的辅助交流方式，都是有自己独立的语汇语法体系的，因而，在使用这些工具开展教学活动时，要想完整准确地表达教学内容，就必须采用类似传统教学中的语言授课方式一样，对这些要素进行系统的组织和设计。并且计算机课程虽然已经在电大开设了很多年，但由于科技的迅速发展，计算机的升级换代很快，运用的领域也较为广泛，即使是教师也都难以适应计算机学科知识发展变化，对计算机领域的新知识、新发展了解并不一定比学习者多。这就要求教师为了完整准确地表述教学内容，需要运用多种教学手段从多个层面对学习者进行讲解。而这就要求对所使用的模态进行综合全面的分析。

3. 模态话语缺乏系统的表述设计

计算机是一门应用性技术性都很强的学科，学习者在学习过程中，除需要掌握基本的理论知识，对学习者的实际操作能力也提出了较高的要求。在教学过程中，往往需要学习者通过上机的实际操作，将理论知识巩固到实际的操作中，但是，在线上课程中，这些优势恰恰成了教学中难以克服的阻碍，教师无法进行直观的演示，学习者无法实际触摸体验。教师如果仅仅使用录像设备对教师的计算机硬件操作行为进行录播，是很难提起学习者兴趣的，也无法与学习者展开有效的互动。

4. 模态指向单一，缺乏教师和学习者的互动

目前的在线平台，对模态资源的调用往往决定权在教师，学习者往往是被动的接受者，因而无法建立以学习者为主导的学习模式。以学习者为主体，开展学习者的主动互助式的学习是进行在线教学的需要。教学需要学习者有主动的探究精神，并通过结合课本与实际生活中的需要，有目的地开展学习活动。但我们目前的在线课程，由于网络的阻隔，不但学习者的互助互动很难实现，而且由于缺少教师的引导和监控，学习者过度放松，以至于以学习者为主体也很难实现。

5. 教学环境不能适应多模态整合

国内多模态话语的研究还处在起始阶段，李战子、顾曰国、胡壮麟、朱永生、张德禄等从多媒体、多模态学习；多模态、多媒体符号学；多模态话语分析的理论基础与研究方法、课堂教学多模态话语等方面进行了研究。结合这些成果，我们认为，恰恰是线下教学的应用背景限制了多模态理念的发展，其研究大多局限在语言教学中，且模态的综合应用大多仅涉及到语言和视频、图片等两到三个模态的应用，远未达到综合模态的程度。总的来说，存在着在线教育无法引起学习者学习兴趣、平台稳定性差、知识点呈现方式单一、线下课堂知识点过多、没有开发利用好网络教学资源等问题，而这些问题一方面固然是由于课程的性质和传统教育思维的影响，但我们认为，也是由于缺乏多方位运用模态话语分析的语言环境。

三、 依托虚拟现实技术打造在线多模态教学平台

为了充分体现多模态教学理念，我们认为利用虚拟现实技术打造在线教育平台的做法有利于多模态围绕教学目标实现在线教育的话语分析和话语整合。

虚拟现实技术植根于数字化电子传播技术及数码技术的发展。它能够生成实时的、逼真的、三维的人工虚拟环境，让人能深入虚拟的环境之中，并能完全模仿真实世界与环境进行实时交流，同时获得各种感官上的直观又自然的感知和认知体验。从这个意义上说，虚拟现实技术的发展为多模态教学的模态整合提供了良好的平台。虚拟现实是信息形态的最终体现，它模糊了现实和虚拟之间的关系，超越多媒体技术而实现了人机交互的完整而系统的体验，是模态话语形式的新模式。在这种情况下，教学状态不只是调动学习者的听觉与视觉等部分感官，而是通过启动多感官同步以实现教学信息的交互，在学习者接受知识的过程中，能使用数码设备模拟真实语境，使课堂环境中的话语交互更趋于真实的语境。通过虚拟现实技术，课堂交互可以最大程度地打破文本时代线性叙事的方式，帮助教师在课堂中通过多模态的方式调动学习者的听觉、视觉、触觉等多种感官进行交互，实现教学信息有效传递，使学习者正确接受并准确理解课堂的话语语义。

例如在计算机网络信息安全课程中，有关网络安全防范这一知识点的教学就完全可以利用虚拟现实技术以游戏的方式实现教学。首先，我们运用多模态对网络病毒进行实体化设计，将不同类型不同危害程度的病毒设计成不同的模型，让现实中无法触及的病毒程序在虚拟环境中成为学习者能够感知触摸听闻的实体，在这个环节中，我们甚至可以尝试让学习者参与到病毒模态设计的过程中。其次，我们将网络病毒和计算机软件的交互过程故事化，让学习者通过融入故事的发展和环境，多维度体会病毒对计算机的攻击方式及其危害，这种代入感会让学习者形成更多的直观印象。最后，我们也可以借助一些隐喻或者暗寓的手法，将电影中的某些情节或者片段融入到虚拟现实中，例如我们就曾经使用电影《西游记》中孙悟空与妖怪搏斗的场面来形容抵抗网络病毒艰难，也曾使用电影《黑客帝国》中对于网络病毒数字化流转方式的描写来将病毒的传播形象化。

学习者在虚拟课堂中学习计算机的整个过程和真实的面授教学一致，通过模拟在真实世界中学习技能的过程，运用多种感官的整合实现与现实一样的体验。而且，不同的参与者在参与过程中可以形成不同的教学体验，获得不同的感受。因此，利用虚拟现实课堂中的多模态体验，可以淡化教师与学习者之间认知与感觉的界限，创设新的认知体验。

对于教学来说，学习的过程由低到高可以分为学习者被动地学习，学习者在教师的引导下学习和学习者主动积极地自主学习三个阶段。在这三个阶段中，学习环境和学习方式在其中起到了重要的作用。对于传统教学来说，学习环境和学习方式体现为课堂中教师的授课行为和学习者在教师监督下的学习行为，无论是授课还是学习，都是以语言为载体进行的，但是在计算机在线教育的环境下，单纯的语言教学很难引发学习者的兴趣，因而自始至终，学习者都处于被动学习的状态之中。因此，有必要将远程教育、多模态理念与虚拟现实技术结合，在虚拟现实中，多种类型模态的组合和运用更为直接，在这种环境下，教师使用多种类型的模态，从而使课堂变得生动和丰富，使学习者对学习的过程充满激情，并使学习环境变得对学习者更为友好和生动，从而达到让学习者主动积极的自主学习的目的。

四、 多模态理念在虚拟现实环境中的应用要点

我们认为，在虚拟现实环境下建立在线教育的多模态教学模式，以下几个方面的内容值得重点把握：

第一，要充分利用虚拟现实环境所提供的有利条件，从计算机课程的实际需要出发，根据教学的具体内容和具体要求对多模态话语进行整体分析和设计。多模态话语分析的目的是要达到理想的课程教学目标，在这里，多模态话语分析是工具而不是目的，因此就需要有针对性地对课程进行多模态话语设计，并从实现课程整体教学目标的角度，对模态语篇进行整体构架，而不是为了使用某一个模态而强搬硬凑。同时，要区分传统教学环境与虚拟现实教学环境的特点，有针对性地在虚拟现实环境中运用多模态理念。

第二，要充分以利用多模态理念整合在线教育的学习资源。在线教育的优势就在于教学资源众多，因此，慎重挑选学习资源至关重要。而这一点对于打造虚拟现实环境中的多模态教学模式尤为突出。但过于庞杂的资源堆砌不但无助于实现教学目标，相反会干扰正常的教学秩序，同时，教学资源有必要按照课程的性质和教学内容进行重新审视，不可直接照搬，而是需要结合课程的设计与要求，通过多模态信息的互动与反馈，提高学习者对知识的理解与掌握能力。教师在进行多模态话语设计与分析的过程中，要重视非语言手段在现代教学模式中的重要作用，包括课程中使用的工具、设施设备以及教学环境。无论采用何种形式的模态，最终都要以学习者的学习为目的，要以调动学习者学习的积极性为目标。

第三，要用动态的视角看待多模态理论在虚拟现实环境中的应用问题。课程内容的呈现，学习者与教师的互动，教学环境及教学措施的递进，都需要教师在进行模态设计的时候以动态的眼光去看待，如要素之间先后，教学内容之间的关系等，避免简单的就一个方面一个要素进行模态设计和话语分析，只有这样才能形成完整的语篇结构，才能有助于学习者的知识获取，能力培养。

总之，在多模态理论背景下开展教学，既是在线教育理论的创新，也是实践的需要。从在线教育来看，要发挥多模态理论在教学中的作用，需要突破传统教育教学模式的束缚，着眼于良好的与在线教育相适应的教育教学环境的创设。虚拟现实技术的发展为多模态理论在在线教育中的应用提供了契机，因此，要以动态的视角开展在线教育的资源整合、要统合运用在线教育过程中的诸模态，并进行整体设计，才能充分发挥多模态理念在在线教育中的作用。