5G环境下的多模态智慧课堂实践

蔡苏 焦新月 杨阳 蒋林帆 余胜泉

摘要：5G技术的普及将推动教学向个性化、精准化、智能化、融合化方向发展。然而，目前国内对5G技术与教育融合的研究多为理论探索与理念构建，缺乏课堂应用实践案例。因此，探讨5G环境下多模态融合教學的智慧课堂教学方式，有助于将理论与实践相结合，为智慧课堂的开发与应用提供参考。北京师范大学“移动学习”教育部—中国移动联合实验室联合中国移动开发了5G环境下的多模态智慧课堂实践案例——“彩虹的秘密”，通过多模态资源整合、多模态互动、多模态评估的多模态智慧教学方式，利用5G高带宽、低时延、大连接的技术特性，接入VR/AR/MR设备、全息投影、智能白板、移动终端、智慧学习笔等多种形态的智联终端和教育装备，实现多种软硬件设备间的无缝互联、协同工作，为学习者提供沉浸式的实时学习体验。总结实践经验，实施多模态智慧课堂，需要“以学生为本”构建多模态学习环境和多通道融合的多模态资源，鼓励学生通过自主探究，实现新旧概念的交互。此外，多模态智慧课堂还倡导多元、动态的学习评价体系，以帮助教师进行精准决策和调控。

关键词：5G;多模态;智慧课堂;模型构建;实践案例

中图分类号：G434   文献标识码：A    文章编号：1009-5195（2021）05-0103-10   doi10.3969/j.issn.1009-5195.2021.05.011

基金项目：国家自然科学基金面上项目“智能增强现实学习环境中多通道信息融合计算及评测研究”（61977007）。

作者简介：蔡苏，博士，副教授，北京师范大学教育学部“VR/AR+教育”实验室，“移动学习”教育部—中国移动联合实验室，北京师范大学未来教育高精尖创新中心（北京 100875）;焦新月，硕士研究生，北京师范大学教育学部教育技术学院（北京 100875）;杨阳，教师，云南大学附属中学大学城校区（云南昆明 650000）;蒋林帆，硕士研究生，北京师范大学教育学部教育技术学院（广东珠海 519000）;余胜泉，博士，教授，博士生导师，北京师范大学“移动学习”教育部—中国移动联合实验室，北京师范大学未来教育高精尖创新中心（北京 100875）。

一、5G技术催生智慧教育新命题

自2012年世界无线电通信（World Radiocomnication Conferences，WRC）会议后，世界各国和组织纷纷开始投入第五代移动通信网络（5th-Generation Mobile Communication Technology，简称5G）技术的开发建设（兰国帅等，2019）。2018年，《教育信息化2.0行动计划》发布，提出加快面向下一代网络的高校智能学习体系建设要求，要求“适应5G网络技术发展，服务全时域、全空域、全受众的智能学习新要求”，“形成泛在化、智能化学习体系，推进信息技术和智能技术深度融入教育教学全过程”（中华人民共和国教育部，2018）。2020年的《政府工作报告》也明确指出要“发展新一代信息网络，拓展5G应用”（新华社，2020）。

相对于4G，5G技术具有更强的关键性能力：传输峰值速率达到20Gbps、用户体验数据率达到100Mbps、频谱效率提升3倍、移动性达500公里/小时、时延达到1毫秒、连接密度每平方公里达到10Tbps、能效比IMT-A提升100倍、流量密度每平方米达到10Mbps（IMT-2020（5G）推进组，2015）。基于5G技术的三大核心使用情境：增强型移动宽带、超可靠和低延迟通信、大规模机器类型通信（ITU-R，2015），云计算、大数据、人工智能、物联网、移动互联网、传感器、虚拟/增强现实等技术将获得赋能发展和更好的融合应用机会（张坤颖等，2019），进而可以对人们的工作、生活和学习领域产生综合影响（兰国帅等，2019）。有研究者提出5G应该被视为一个平台（袁磊等，2019），通过它与各类服务的无线连接，移动通信技术将实现大规模的互联互通，完成从经典的流量服务模式向全要素生态链模式转变（赵兴龙等，2019）。

5G技术对于教育领域的影响也将体现在对整个教育生态体系的深刻改变和重塑（张坤颖等，2019）。5G技术将促成其他技术在学习环境中的“超快获取”“超多连接”和“超强可靠”（赵兴龙等，2019），让师生的技术使用体验得到优化。当前虚拟现实（Virtual Reality，VR）和增强现实（Augmented Reality，AR）技术大多限于桌面式的应用，5G技术凭借传输速度的提升将实现资源应用客户端模式向云端模式的转变（赵兴龙等，2019），使分布式和沉浸式的VR/AR应用得到较好的应用和普及（张坤颖等，2019），实现真实场景的实时和流畅再现。5G低时延的特征也将改善当前多媒体传输的延迟、卡顿、低清晰度现象，支撑超高清视频和全息影像的实时流畅呈现，让多个空间的师生可以实现实时互动交流，达成与课堂外实景的全方位、立体化互动（赵兴龙等，2019）。5G技术还将通过助力大数据技术和物联网技术对学习环境中的数据进行更好地测量、收集、分析和报告（赵兴龙等，2019），使信息收集更多元、更全面。总的来说，5G技术将促使学习环境向更加个性化、精准化、智能化、融合化的方向发展，助力师生实时获取丰富的多模态学习资源，从而推动教学方式和学习方式发生重大转变。

二、5G技术促进多模态教与学模式重构

模态是交流的渠道和媒介，包括语言、文字、技术、图像、颜色、音乐等符号（夏颖，2016）。事件中模态的使用实现了人类感官与外界环境的交互（Kress et al.，2001）。当多个感官参与到与环境的互动中，实现的互动就是多模态的，人们日常的互动都是多模态的（顾曰国，2007）。课堂环境中可以包含丰富的模态，如PPT课件、视频等相关文字和音频、视频材料，支持学生通过视觉、听觉、触觉等，与教师及课程内容之间建立起多模态互动（戴志敏等，2013）。

5G技术催生的教育应用所引发的教育变革，促进了全息技术、高清晰视频、VR/AR、物联网技术+教育等教学形态的涌现，使得意义表征和信息交流更加多模态化，为多模态融合的智慧课堂创造了机会（田阳等，2019）。在此背景下，教学方式和学习方式的重构成为促进5G课堂环境下多模态交互的关键。多模态融合的智慧课堂需要我们改变传统的教学方式，实施多模态教学，以促进课堂教学最优化（王慧君等，2015）。多模态教学是在多模态理论指导下，将语言、图像、声音、动作等的多模态要素整合成为最有效的意义表达和交流方式，并指导学生借助多模态手段构建意义。多模态教学法强调身体和大脑调动多个感官通过多种媒体协同参与教学过程（沈洪等，2015）。在多模态教学中，教师运用多模态系统对课堂教学进行设计，借助VR、AR、全息等技术，建设多模态课程资源，充分调动学生感官潜能，为学习者提供多模态的交互学习环境，促进学习者对学习内容的多模态理解和意义建构。师生在这种多模态的交互过程中，将会促进有效学习的发生（田阳等，2019）。

由此可见，在5G技术的支持下，多模态融合的智慧课堂将会对传统的教育方式产生巨大的冲击。因此，探讨5G环境下多模态融合的智慧课堂教学方式具有重要的理论价值与实践意义。然而，目前国内对5G技术与教育融合的研究多为理论探索与理念构建，由于技术的限制，鲜有将5G技术应用于课堂的实践案例。因此，本研究拟通过5G环境下的多模态智慧课堂实践，探讨5G环境下多模态融合教学的智慧课堂教学方式。2019年7月26日，中国移动在深圳发布“5G+智能教育”行业应用首发暨“5G智慧课堂”开课仪式。北京师范大学“移动学习”教育部—中国移动联合实验室、“VR/AR+教育”实验室联合中国移动开发了一节5G多模态智慧课堂实践案例——“彩虹的秘密”。现场通过5G网络实现了全息信号传输，并利用全息投影、AR、智慧学习笔等新技术进行了一堂跨越深圳、北京、贵阳三地的小学科学示范课。本文将以这一节5G课堂为案例，展现5G环境中的技术应用和多模态交互过程，分析多个技术在5G环境下的教学作用，结合实践经验给出5G环境下多模态智慧课堂的实施建议，以期为后续5G与教育的深入融合提供案例参考。

三、5G多模态智慧课堂模型构建

在5G 技术的支持下，各种多模态资源之间的交互会变得更加便捷，这为教与学模式的创新、诸多教育要素的整合重组提供了契机。教师、学生、学习资源、学习环境是5G支持下教育场景的四大基本要素，他們之间相互作用，相互影响（袁磊等，2019）。多模态的智慧课堂需要充分发挥各要素的优势，利用5G环境下多模态的信息技术，使学生与教师、学习资源、学习环境之间的交互更加多样化、个性化，发掘各模态的潜能，使各要素之间相辅相成（王慧君等，2015）。

基于上述设计思路，我们结合实践构建了5G环境下多模态智慧课堂模型，如图 1所示。5G网络下的多模态学习环境应充分利用5G高带宽、低时延、大连接的技术特性，通过接入多种形态的智联终端和教育装备（如VR/AR/MR设备、全息投影、智能白板、移动终端、智慧学习笔等），实现多种软硬件设备间的无缝互联、协同工作，为学习者提供真正沉浸式的实时学习体验。

5G网络高带宽和低时延的特性，使全息投影技术能支持学生与异地的学科专家进行实时的交流，全息立体地显示教学过程，实现跨时空教学资源的多屏投射（张坤颖等， 2019），让师生交互脱离时空的限制;5G 的低时延让沉浸式/交互式的AR环境更具个性化与情景化，学生可以在真实课堂中观察到现实生活中难以观测或操纵的虚拟物体，具有与世界零距离接触的真实感知体验;智慧学习笔的笔迹识别引擎、机器学习批改引擎、个性化推荐引擎能够以多种方式连接到网络，教师和异地专家能实时了解学生的学习情况;5G超100Mbps的用户体验数据速率，可以大大增强AI的数据分析能力，使不同模态的数据实现跨媒体的学习和推理，进而实现智能管控、智能测评以及个性化推荐（兰国帅等， 2019）。5G技术高带宽、低时延、大连接的特性为多模态学习资源和信息交互以及多终端互通互联提供了传输条件，有助于实现更加智能化的多模态学习环境构建。

我们将5G多模态智慧课堂教学过程总结概括为多模态资源整合、多模态互动和多模态评估三个阶段。

1.多模态资源整合——情境导入

5G环境下的多模态课堂需要教师在课程设计阶段整合多模态的资源，帮助学生从多个感官通道进行信息获取。在情境导入阶段，教师利用多种信息化手段，制定优质的多模态学习资源，如VR/AR课程资源、音视频资源、含多种媒体（图片、文本、动画等）的PPT等，使多种模态结合以实现对学生多种感官的刺激，激发学生的学习兴趣和注意力。

2.多模态互动——知识建构

5G环境下的多模态互动除了包括教学中的师生、生生等交互外，还包括教师、学生和环境中的设备三者之间的交互。学生可以通过移动终端设备（如手机、平板等）与多模态资源（VR/AR、全息、视音频等）或教师进行交互，实现视觉、听觉、触觉等多通道的输入和输出，调动学生多种感官协同参与，与教师和同学展开深入的交流和讨论，从而获得深层次的知识建构（王慧君等，2015），促进知识内化。多模态互动能有效提升学生的问题解决和协作沟通等高阶思维能力，这也是当今中国创新发展和创新人才培养的一个重要着力点。

3.多模态评估——应用检测与反馈

在5G网络的支持下，各种移动终端的跨时空性和便捷性使得教师使用多种模态方法对学生的学习结果或过程进行持续监测和跟踪成为可能。多模态评估强调从多种信息渠道收集学生的学习过程和结果数据。5G的高带宽、低时延等特性允许教师从不同的信息通道，收集学生多方面的学习过程数据。如AI驱动评估，基于学习分析技术，可为教师、学生和家长提供学生学习进展的持续反馈;智慧笔的自动笔迹识别，可将所有学生的过程性或总结性结果传至终端，生成学情分析报告，从而对学生进行个性化推荐。此外，多模态评估还体现在评价方式的多模态、评价手段的多模态、评价维度的多模态等方面（王慧君等，2015）。因此，多方法、多渠道、全方位的多模态评估将使学习变得更加数字化、智能化，最终实现优化教学模态、提高智慧教学成效的目标。

总之，5G支持下的多模态学习环境为学生、教师、学校搭建了一个更为畅通互联的大场域，其中所蕴含的多模态资源整合、多模态互动和多模态评估，构成了未来5G多模态智慧课堂的新生态。

四、5G多模态课堂之实践案例：彩虹的秘密

1.课程概况

基于5G多模态智慧课堂的模型，我们以小学科学五年级上册科教版第二单元《光》和苏教版第二单元《光与色彩》为基础设计了综合拓展课——“彩虹的秘密”，并在深圳、北京、贵阳三地进行了实时同步教学，教学时间为40分钟。在本节课中，学生需要结合单元所学知识解释彩虹的成因和颜色特征，总结出形成彩虹的条件、时间和方位，简单叙述彩虹是拱形的原因。

彩虹是一种生活中不常见且难以人为操控的自然现象，学生难以在真实环境中进行仔细的观察和探究。在5G环境下，使用AR眼镜和基于平板的AR应用重现彩虹，可以丰富学生的直接经验，促进学生与环境进行交互，启发学生主动探究关于彩虹的自然规律。在教学过程中，每一位学生的智慧学习笔与教师终端互联，通过笔迹识别和自动批改，教师可以实时得到学情分析报告，实现对学生的精准教学。同时，基于5G传输的全息技术实现了异地学科专家进课堂与师生对话，促进优质资源的互通共享，拓展了课堂的信息面，帮助师生从更深层次认识自然。

本课程主要分为四个环节。教师在课程中通过对不同技术的运用，促进师生、生生、学生与学习环境、学生与学习内容之间进行多模态交互，基于彩虹这一生活中具体的现象促进学生对于光学知识的综合运用和深入理解。

2.环节一：多模态资源整合——AR情境导入

本环节通过AR眼镜为师生提供沉浸式的彩虹观测体验作为课程的情境导入环节。教师引导学生在虚实结合的AR环境下观察彩虹形成的过程和现象，形成感性认识，获取彩虹现象中的关键事物及其特征。在彩虹的形成这一AR场景中，学生可以观察到乌云聚集、大雨滂沱、雨过天晴这一彩虹形成的气象过程，并在彩虹出现的情境下，观察到雨后云层和太阳与彩虹的相对位置，通过刺激学生视觉、听觉等多种感官，为学生创设了身临其境的学习体验。图 2为师生通过AR眼镜观察彩虹现象。教师在学生观察的过程中，将推进观察的进程，并且通过提问引导学生表达观察到的现象，启发学生根据生活经验和AR环境中观察到现象提出科学问题，并基于色散、反射和折射等光学知识，对彩虹的颜色数量、颜色排列、形成原因等问题进行解答。

本环节在课件之外主要使用了基于AR眼镜的学习资源，旨在以虚实结合的方式在真实空间中呈现彩虹的形成，创设体验环境，丰富学生的感性认识，为学生观察彩虹的形成提供理想条件，激发学生的兴趣和好奇心。整个教学环节通过整合AR资源调动了学生的视觉、听觉、触觉等多种感官，实现了多模态的交互，从而使学生全身心地投入到多模态学习环境中来。

3.环节二：多模态互动——师生全息交流

本环节中教师根据上一环节学生的解答，提出更深入的问题：“彩虹为什么是拱形的？”我们基于5G传输的全息投影，将北京的学科专家的影像、声音、课件和板书实时呈现在课堂中（如图 3所示），深圳师生们的影像和声音等信息也通过5G实时传输到北京和贵阳。北京的专家和深圳的现场师生进行实时的问答和交流。专家通过课件为师生们介绍了不同颜色光线的彩虹角，揭示彩虹是拱形的原理，并启发学生根据彩虹的形成推断霓的形成光路。学生通过智慧学习笔进行绘图，每位学生所画的图案通过智慧学习笔捕捉呈现在教师端，实现教师对学生作答的实时监控。

本环节主要使用基于5G传输的全息技术，让异地专家以生动形式走进课堂，带来专业化的深层信息，促进学生对知识的理解。为实现专家、教师对学生的精准指导，课题组使用智慧学习笔捕捉学生的作答图像，并将图像实时传输到教师端，辅助教师实时掌握学生的学习情况，实现学生与教师、异地专家的多模态互动，从而调动学生多种感官的协同参与，使学生获得深层次的知识建构。

4.环节三：多模态互动——生生协作探究

本环节是上一环节的延伸和拓展。在学生深入理解彩虹的形成过程和形成条件后，教师引导学生总结彩虹出现的时间段和方位，以及降雨方位对彩虹出现的影响。学生使用平板上的AR课件以小组为单位进行交互式探究，分别通过控制时间滑块改变太阳的位置，旋转识别卡片以全局视角观察彩虹出现的场景，旋转虚拟人物的朝向以人物视角观察彩虹变化的场景，如图 4所示。学生在交互和观察现象的时候进行交流讨论，并用智慧学习笔记录探究發现。同时教师发挥主导作用，引导学生从太阳的位置和空气中水珠的位置解释观察到的现象，并启发学生运用AR技术组织探究结论，进行分享交流。

本环节主要采用了基于平板交互的AR学习资源，以小组探究的形式促进学生主动发现规律、建构知识。通过AR技术呈现虚实结合的城市彩虹沙盘场景，支持学生控制实际不可操作的事物，观察现象的变化，自主发现自然规律，实现生生之间的协作探究以及学生与AR学习资源之间的多模态互动。

5.环节四：多模态评估——实时反馈，提升学生情感价值观

本环节是课程的总结和评价环节。教师通过课件呈现情境问题，学生根据所学的知识进行判断，并使用智慧学习笔作出选择，教师实时得到学生作答结果的统计，判断学生的知识掌握情况，如图 5所示。在判断题之后，学生填写一份邀请卡，生成一个彩虹形成的虚拟情境，并邀请伙伴在合适的时间一起去观察彩虹。在课堂的最后，师生们一起再次通过沉浸式的AR观察彩虹，带着对知识的理解再次感受虚实结合的彩虹，深化对彩虹的理解和感受，促进学生情感价值观的提升。

本环节使用智慧学习笔作为多模态评价的工具。智慧学习笔实时捕捉和统计学生的答案，使教师可以得到实时的学情统计，帮助教师精准获取学生的理解难点，进行有针对性的讲解，从而实现评价方式（小组评价、教师评价）、评价手段（智慧学习笔过程检测）、评价维度（认知、情感等）的多模态应用。

五、5G多模态智慧课堂实践案例中技术对教育的影响分析

基于5G的三大使用情境，“彩虹的秘密”这一堂课实现了异地实时全息投影、沉浸式和交互式AR技术和智慧学习笔的使用，并构成了师生平板、智慧学习笔、AR眼镜、教室白板和云端的互联互通。在课堂中，多元技术的运用拓充了媒体的形式，设备间的互联使得教学过程中使用的资源和产生的数据可以在多个终端传递、呈现，充分调动学生多个感官对学习环境的感知和加工，形成多模态的交互。

5G技术、全息投影技术、AR技术和智慧学习笔是本课程中主要使用的关键技术和设备，每一种技术和设备都在课堂中为实现多模态的互动教学起到了重要的作用。

1. 5G对教学的支撑作用

本课程中，5G技术支撑了其他技术的运用。首先，5G技术保证了全息影像的实时传输，使北京、深圳、贵阳三地的图像和声音信号可以几乎零时延地传送到另一个场地，实现了不同空间师生的实时交流。由于5G传输的高容量特性，异地的教师可以灵活使用课件和板书辅助讲解，学生可以清晰看到教师、课件和板书的动态影像。其次，5G技术保证了AR技术的沉浸性和交互实时性。基于5G技术提供的增强型宽带，AR应用中可以采用云端复杂模型和多音频营造更为逼真的情境，在使用过程中也不会出现因视角转换和交互引起的卡顿和延时现象。第三，5G技术保证了教学过程中数据的实时获取、统计和报告。多名学生的智慧学习笔实现了与教师终端的互联，学生在学习过程中的选择、画图和书写结果都可以被记录和分析，并以报告的形式呈现在教师的终端上，辅助教师监控学情，作出决策。最后，5G技术保证了多设备的互联互通，教师可以通过课堂中的大屏幕展示AR情境、课件、学生答题情况。教师的平板和学生的学习笔均能以无线形式与大屏幕进行连接，增加了教学过程的互动性。

总之，5G技术可以成为课堂教学环境构建的底层核心技术，为课堂引入更丰富的学习资源和信息交互提供传输条件，使教学环境更加智能、融合、个性、精准。除了本次课堂中的技术应用，5G技术还可以用于实现其他自然环境在教室中的呈现、大型虚拟仿真实验的开展、分布式AR探究的进行以及更多类型数据的记录、处理和报告。总的来说，5G技术环境下，更多真实、虚拟的空间可以被无缝接入课堂，各教学元素之间将具备更强的联通性和互动性，教学过程的数据将会得到更全面的记录和更实时的处理。

2.全息技术在智慧课堂的应用

全息即完全信息，全息技术即利用光的干涉原理，将整个物体发射的特定光波以干涉条纹的形式把物体的全部信息记录下来，并在一定条件下形成与物体本身具有极高相似度的三维图像（李佩佩等，2017）。在本课程中，不同颜色光线的彩虹角是理解彩虹颜色排列和拱形的重点，讲解该知识点需要分析多种光路情况，这对普通教师来说有一定难度。通过全息技术让专家参与课堂，学生可以通过与专家教师的交流形成对这一知识更清晰的认识，从而更好地理解彩虹的形成。通过全息技术，北京专家讲课的影像被呈现在深圳的课堂上，学生可以看到异地教师的动作和表情，与其进行实时的交流。相比于电话、视频等形式的连接方式，全息技术可以保留更多的信息，并使两个分离的空间连接、融合起来，让学生和异地教师及资源的交互摆脱时空分离的限制。

全息技术的使用可以更生动地将其他空间的事物呈现在课堂中，除了像本节课中这样引入其他专家教师为学生进行知识讲解外，全息技术也可以用于引入一个具体的事物到课堂中进行全方位的展现，如一个文物、动物或者器械。随着光学设备的发展，未来全息技术还可以用于将另一场景叠加到教室空间中，让学生在教室中体验置身于任何地方的感觉。

3. AR在智慧课堂的应用

AR是一项支持将虚拟对象和真实世界融合并协同显示在真实环境中的技术。一个基于AR的系统具有以下三个特征：虚实结合、实时交互和三维注册（蔡苏等，2016;Azuma，1997;Azuma et al.，2001）。本课程在第一环节和第三环节中分别使用了基于Realmax的AR眼镜和基于平板的AR技术。在第一个环节，基于AR眼镜的沉浸式环境在学生所处的真实课堂中叠加虚拟对象，支持师生之间、同伴之间进行多模态的交流。通过AR眼镜，学生可以在教室中直接观察彩虹形成的过程和现象，通过直接体验深化学生对于彩虹的感性认识，支持学生对过程性的自然现象进行完整细致地观察。在第三个环节，基于平板的AR技术支持学生通过与卡片和平板呈现的模型之间的交互控制现实生活中不可能操控的物体，从空中和地面的视角同步观察彩虹，总结彩虹出现的时间和方位。通过AR技术，学生可以得到更多的观察和探究机会。他們可以观察需要一定条件才能在现实生活中看到的现象，也可以控制现实条件下不能操控的现象，通过虚拟仿真获得探究体验，并通过主动学习的方式完成知识建构。

已有研究证明AR在有助于提升学习满意度和效果（Akcayir et al.，2017）之余，还能帮助学习者形成对抽象概念的理解（陈颖博等，2020;Cai et al.，2017;Strzys et al.，2018;Cai et al.，2019），以及有选择性地进行学习（Ruiz-Ariza et al.，2018）。在本节课所用的眼镜沉浸式AR技术和平板交互式AR技术的基础上，可以进一步使用分布式的AR技术，实现多人协同作业，促进教学过程中学生之间的协作与交流。

4.智慧学习笔的作用

智慧学习笔通过自动笔迹识别、大数据分析、机器学习个性化推荐，有助于实现精准教学辅导并减轻教师负担。智慧学习笔装载了笔迹识别引擎、机器学习批改引擎、个性化推荐引擎和泛在连接装置。它能够以多种方式连接到网络，实现客观题的自动批改和主观题的自适应批改，形成学情分析报告。在本节课中，每位学生都拥有一支与教师终端连接的智慧学习笔。第二个环节中学生使用智慧学习笔进行画图分析，答案实时呈现给教师和异地专家，使教师和专家能够更为及时、精准地攻克教学难点。第三和第四个环节中，学生使用智慧学习笔进行选择和记录，教师通过学情分析报告实时掌握学生的作答情况，对教学进程进行更好的安排。

智慧学习笔的运用促进了教育领域大数据的收集和学习分析技术的应用。在获得更多作业数据的情况下，结合推荐算法，智慧学习笔可以定位学生的薄弱知识点，推送强化练习，实现个性化、精准化的教学。对于教师来说，批改系统可以大幅提升作业批改效率，学情分析报告能够辅助教师对学生的学习情况进行更深入细致的挖掘，帮助教师从数据的层面对教学过程和学生学习过程形成更精确的认识。

六、面向5G的多模态智慧课堂的反思及实施建议

本次教学实践在5G网络的支持下，综合创设了具有AR、全息、智慧学习笔、交互白板等技术且可以和云端互通的多模态学习环境，在教学过程中实现了多模态资源整合、多模态互动和多模态评估，是从理论到实践的一次尝试，可为今后开展5G网络下的多模态智慧课堂教学提供借鉴。尽管此次联合示范课堂取得圆满成功，从教学及技术角度来说仍然存在一些问题。总结和反思此次实践经验，本文提出以下5G多模态智慧课堂的实施建议。

1. 5G多模态学习环境的建设——以学生为本

“彩虹的秘密”这堂课基于5G的三大使用情境，实现了异地实时全息投影、沉浸式和交互式AR技术和智慧学习笔的使用，构成了师生平板、智慧学习笔、AR眼镜、教室白板和云端的互联互通。在课堂中，多技术的运用拓充了媒体的形式，设备间的互联使得教学过程中使用的资源和产生的数据可以在多个终端传递、呈现，充分调动学生多个感官对学习环境的感知和加工，形成了多模态的交互。但在教学过程中研究者也发现：多种技术的综合使用给学生带来了一些困扰，如AR眼镜等专用设备对小学生来说质量过重，容易让学生产生疲劳;教师的教学活动需要在多种技术之间进行交替操作，容易分散学生的注意力等。

5G技术促进了全息技术、VR/AR、大数据、人工智能、物联网等技术在教育领域的应用，营造了更为智能化、融合化的教学环境。当多个技术被运用到教学中时，恰当地发挥每个技术的作用，促进技术之间的互相加成是实现技术赋能教育的重要议题，也是实现融创式智慧教学的重要方面（陈琳等，2016）。因此如何促进技术之间相互协同，激发学生发挥更大的潜能是当前教育信息化的主要目标。然而大多数教育工作者寄望技术会对教育教学带来革命性变革，但却以为加大设备的投入和使用即可达到。事实上，智慧课堂构建成功与否，最主要的标志是看课堂教学中信息化的作用是否由提供便利和提高效率升级为支撑教学创新（钟绍春等，2020）。因此学科教师应与时俱进，根据学科特点、学习者特征和智慧课堂理念进行多模态教学活动的再设计，立足于让学生提高问题解决能力、创新能力等高阶思维能力来应用AR/VR等技术创建的多模态学习环境。同时，推进5G技术与教育新技术的融合，提供能方便师生课堂应用的轻量级设备，也是保障多模态智慧课堂能够落地实施的重要举措。

2. 5G多模态资源整合——注重多通道融合

“彩虹的秘密”课程中主要使用了AR软件让学生身临其境地感受雨过天晴等场景，动画、声音、图片等调动了学生的视听等多通道，实现了多模态的感官刺激。多模态资源是学生获取知识的主要来源，不同的学生有着不同的感官倾向，多模态的刺激有利于学生对学习内容的关注和记忆，因此要尽可能多地设计和构建多种模态的课程资源。教师在教学过程中，可以通过合理使用全息、VR/AR等技术，拓展学生学习的空间，丰富学生可以获取的信息类型，为学生进行自主探究提供支持。此外，在进行多模态学习资源的创设过程中，同样应以学生为本，使课堂能够帮助学生提高自身的多元互动能力和各种器官协同工作的能力，使学习者轻松快乐地学习，而且使师生、生生相互协作，相互促进，形成学习共同体，激发出更大潜能。

3. 5G多模态互动——重视自主探究、概念交互

本次5G多模态课堂的教学尝试中使用了全息技术、AR技术、智慧学习笔等技术让学生与同伴、教师、学习环境之间进行了多模态的交互。学生在本节课堂中達到了较好的学习效果，这得益于课程设计阶段教师注重学生的自主探究以及概念交互。

多模态互动的过程中应以教师为主导，以学生为主体，重视学生的自主探究。教师不仅要关注学生的知识获得，也要关注学生的能力培养，重视学生已有概念和新概念的交互。在本案例中，彩虹的形成条件等知识都是在教师的引导下，让学生通过自主与多模态资源进行交互探究所得。陈丽（2004）指出学生与媒体的交互旨在促进学生与学习资源、同伴和教师的交互，从而实现学生自身已有概念和新概念的交互。教师应将实现学生的概念交互作为技术媒体引入的衡量标准。教师需要在技术进入课堂时形成清晰的作用路径，即技术将如何促进学生与教学要素的信息交互，从而如何推动哪些新旧概念的交互。在技术使用的过程中，教师要时刻关注路径中要素交互的触发，实时推动学生概念交互的发生，帮助学生实现深层次的学习（王志军等，2017）。

此外，在多模态互动的过程中还应注意通过多模态信息和支架降低技术带来的认知负荷。综合使用多种技术必然会给学生带来较高的认知负荷，但已有研究证明教学中多模态的信息在一定程度上能够降低学生对于知识学习的认知负荷（郇怡斌，2013）。新技术进入课堂，教师需要给予学生一定的时间熟悉操作。在初始阶段，教师需要进行一定的示范操作，通过投屏演示与解说相结合的方式介绍技术产品使用方式，帮助学生尽快熟悉产品。在课堂过程中，教师需清晰地发布技术应用的任务，避免学生过度探索。结构清晰的任务单等支架工具也可以起到引导学生合理使用技术的作用。

4. 5G多模态评估——多元、动态评估

多模态智慧课堂倡导多元化的学习评价体系（周晓春，2020）。本次多模态课堂中使用了智慧学习笔对学生进行多模态评估，但由于技术的限制，在多元、动态评估方面仍有欠缺，还未能全面、动态地对学生的表现进行评估。

随着5G技术的发展，多元化、动态的评估方式可以对学习主体在某一特定阶段的学业表现作出准确、全面、合理的评价与反馈。如使用学习分析技术，捕捉、处理活动过程中的学生数据，对学生使用其他技术的学习结果进行实时监测;智能设备实时捕捉学生在学习过程中产生的多模态数据，对数据进行分析和报告呈现。随着笔迹识别技术的发展，教师可以根据课程内容启发学生利用图像、文字等多种方式进行记录，拓展学生学习数据的类型。此外，数据的分析可以帮助教师对学生的课堂表现进行动态评估，也可以用于检测学生应用其他技术进行学习的成果。具体来说，通过对学生探究过程数据的分析，教师可以了解不同小组的探究过程和结果，对学生进行精准指导;通过统一问答测试，教师可以掌握全体同学的学习情况，抓住教学难点，进行有针对性的讲解。

未來5G多模态智慧课堂的建设将建立5G环境下的学习分析、情感识别、情境感知等智能感知环境，形成教与学实时数据采集规范，动态采集教与学数据，为实现多模态的教学创新提供精准的数据支持，帮助教师进行精准决策和调控。

参考文献：

[1]蔡苏，王沛文，杨阳等（2016）.增强现实（AR）技术的教育应用综述[J].远程教育杂志， 34（5）：27-40.

[2]陈丽（2004）.远程学习的教学交互模型和教学交互层次塔[J].中国远程教育，（5）：24-28，78.

[3]陈琳，陈耀华，李康康等（2016）.智慧教育核心的智慧型课程开发[J].现代远程教育研究， （1）：33-40.

[4]陈颖博，张文兰，陈思睿（2020）.基于增强现实的场馆学习效果分析——以“AR盒子”虚拟仿真学习环境为例[J].现代远程教育研究，32（5）：104-112.

[5]戴志敏，郭露（2013）.多模态信息认知教学模式中案例教学效果解析[J].教育学术月刊，（1）：79-83.

[6]顾曰国（2007）.多媒体、多模态学习剖析[J].外语电化教学，（2）：3-12.

[7]IMT-2020（5G）推进组（2015）.5G概念白皮书[EB/OL]. [2019-03-22]. http：//www.imt2020.org.cn/zh/documents/1.

[8]兰国帅，郭倩，魏家财等（2019）.5G+智能技术：构筑“智能+”时代的智能教育新生态系统[J].远程教育杂志，37（3）：3-16.

[9]李佩佩，陈琳，冯熳（2017）.全息技术在智慧教育中的应用研究[J].现代教育技术，27（6）：12-17.

[10]沈洪，马楠，陈宇（2015）.基于多模态信息融合理论的信息技术外包人才培养课程体系构建 [J].中国高教研究，（3）：86-88.

[11]田阳，陈鹏，黄荣怀等（2019）.面向混合学习的多模态交互分析机制及优化策略[J].电化教育研究，40（9）：1-8.

[12]王慧君，王海丽（2015）.多模态视域下翻转课堂教学模式研究[J].电化教育研究，36（12）：70-76.

[13]王志军，赵宏，陈丽（2017）.基于远程学习教学交互层次塔的学习活动设计[J].中国远程教育，（6）：39-47.

[14]夏颖（2016）.基于多模态话语分析理论的大学生自主学习模式研究——以大学英语课程为例[J].黑龙江高教研究，（9）：138-141.

[15]新华社（2020）.政府工作报告[EB/OL].[2020-12-01].http：//www.gov.cn/premier/2020-05/29/content_5516072.htm.

[16]郇怡斌（2013）.新媒介时代英语专业视听课多模态教学的实施[J].教育与职业，（14）：151-152.

[17]袁磊，张艳丽，罗刚（2019）.5G时代的教育场景要素变革与应对之策[J].远程教育杂志，37（3）： 27-37.

[18]张坤颖，薛赵红，程婷等（2019）.来路与进路：5G+AI技术场域中的教与学新审视[J].远程教育杂志，37（3）：17-26.

[19]赵兴龙，许林，李雅瑄（2019）.5G之教育应用：内涵探解与场景创新——兼论新兴信息技术优化育人生态的新思考[J].中国电化教育，（4）：5-9.

[20]中华人民共和国教育部（2018）.教育部关于印发《教育信息化2.0行动计划》的通知[EB/OL].[2020-10-12].http：//www.moe.gov.cn/srcsite/A16/s3342/201804/t20180425_334188.html.

[21]钟绍春，钟卓，张琢（2020）.如何构建智慧课堂[J].电化教育研究，41（10）：15-21，28.

[22]周晓春（2020）.多模态视域下英语学习智慧课堂构型初探[J].湖北文理学院学报，41（4）：72-76，85.

[23]Akcayir， M.， & Akcayir， G. （2017）. Advantages and Challenges Associated with Augmented Reality Crossmark for Education： A Systematic Review of the Literature[J]. Educational Research Review， 20：1-11.

[24]Azuma， R. （1997）. A Survey of Augmented Reality[J]. Presence of Teleoperators & Virtual Environments， 6（4）：355-385.

[25]Azuma， R.， Baillot， Y.， & Behringer， R. et al. （2001）. Recent Advances in Augmented Reality[J]. IEEE Computer Graphics and Applications， 21（6）：34-47.

[26]Cai， S.， Chiang， F.-K.， & Sun， Y. et al. （2017）. Applications of Augmented Reality-Based Natural Interactive Learning in Magnetic Field Instruction[J]. Interactive Learning Environments， 25（6）：778-791.

[27]Cai， S.， Liu， E.， & Yang， Y. et al. （2019）. Tablet-Based AR Technology： Impacts on Students Conceptions and Approaches to Learning Mathematics According to Their Self-Efficacy[J]. British Journal of Educational Technology， 50（1）：248-263.

[28]Kress， G. R.， & Van Leeuwen， T. （2001）. Multimodal Discourse： the Modes and Media of Contemporary Communication[M]. London： Arnold.

[29]Ruiz-Ariza， A.， Casuso， R.A.， & Suarez-Manzano， S. et al. （2018）. Effect of Augmented Reality Game Pokemon GO on Cognitive Performance and Emotional Intelligence in Adolescent Young[J]. Computers & Education， 116：49-63.

[30]Strzys， M. P.， Kapp， S.， & Thees， M. et al. （2018）. Physics Holo.lab Learning Experience： Using Smartglasses for Augmented Reality Labwork to Foster the Concepts of Heat Conduction[J]. European Journal of Physics， 39. doi： 10.1088/1361-6404/aaa8fb.

[31]ITU-R（2015）. IMT Vision-Framework and Overall Objectives of the Future Development of IMT for 2020 and Beyond[R]. Geneva： ITU-R M.2083：5.

收稿日期 2020-12-20責任编辑 汪燕

Practice of Multimodality Smart Classroom Under 5G Environment

CAI Su， JIAO Xinyue， YANG Yang， JIANG Linfan， YU Shengquan

Abstract： The popularization of 5G technology will promote the teaching to be more personalized， precise， intelligent， and integrated. However， the current domestic research on the integration of 5G technology and education is mostly theoretical exploration and concept construction， and there is a lack of practical cases in real classrooms. Therefore， exploring the smart classroom teaching method of multimodality teaching in the 5G environment will help to combine theory with practice， and provide a reference for the development and application of smart classrooms. Joint Lab for Mobile Learning of MOE-CMCC in Beijing Normal University and China Mobile Communications Corporation （CMCC） have developed a case of multimodality smart classroom under the 5G environment： “The Secret of Rainbow”. This smart classroom adopted a multimodality smart teaching method which consists of the integration of multimodality resources， multimodality interaction and multimodality evaluation， and connected to a variety of intelligent terminals and educational equipment including VR/AR/MR equipment， holographic projection， smart whiteboard， mobile terminal， smart learning pen， taking advantages of the technical characteristics of 5G-wide bandwidth， low latency， and large connection. It realized the seamless interconnection and collaborative work between a variety of hardware and software devices， providing learners with an immersive real-time learning experience. This study summarized that when implementing multimodality smart classrooms， it is necessary to take the “student-oriented” as a principle to construct a multimodality learning environment and multimodality resources integration of multi-channel， and encourage students to realize the interaction between new and old concepts through independent exploration. In addition， the multimodality smart classroom also advocates a diversified and dynamic learning evaluation system to help teachers make precise decisions and adjustments.

Keywords： 5G; Multimodality; Smart Classroom; Model Construction; Practical Case