数字教材新形态:AR 数字教材的应用与开发

杨继林 ,姚亮 ,杨彦军 ,刘金凤

(1.上饶师范学院 文学与新闻传播学院,江西 上饶 334001;2.上饶师范学院 教务处,江西 上饶 334001;3.上饶师范学院 物理与电子信息学院,江西 上饶 334001;4.南昌大学 教育发展研究院,江西 南昌 330031)

受全球新型冠状病毒疫情的冲击,我国应急启动了史无前例的大规模在线教育,在极大推进教育信息化步伐的同时,也暴露出数字教材匮乏的窘境,建设信息技术与教育教学深度融合、多种介质综合运用、表现力丰富的新形态教材[1]成为亟待解决的问题。

AR 是增强现实(Augmented Reality)的英文缩写。AR 技术是一种借助计算机图形、可视化等技术,将虚拟信息叠加到真实环境中,从而达到超越现实的数字化技术[2]。随着移动智能终端的普及,AR 与教材的融合也逐渐转向以移动智能机为载体,以基于富媒体的数字教材之上链接AR 内容为主要形态的AR 数字教材。其以虚实融合情景模拟和再现的方式为学习者带来视、听、触等多种感官下的具身学习体验。学习者与虚拟信息的沉浸式交互有助于学习者理解抽象内容、获得情感流畅与归属感,进而培养其问题解决能力和批判思维能力。因此,基于AR 技术的数字化教材的开发具有实用性和价值性。

1 AR 数字教材的演变

1.1 AR 数字教材的技术特征

回顾我国数字教材的演变历程,沙沙等学者依据技术应用方式,将我国中小学数字教材分为静态数字教材、多媒体数字教材、数据化数字教材三种类型[3]。随着VR、AR、MR 技术发展日新月异,数字教材的AR技术成分占比逐渐增大,有成为当下数字教材主流技术的趋势,对此必须给予足够的重视。为此,本研究将数字教材分为静态媒体数字教材、多媒体数字教材、富媒体数字教材、AR 数字教材四代。AR 数字教材作为数字教材的最新形态,具有AR 技术的三大特征[4]:一是虚实结合,实现现实和虚拟世界的融合;二是三维注册,实现3D 图像的精确配准;三是实时交互,能够实现现实世界与虚拟信息的实时反馈。这些技术特征使得AR 数字教材较之前三代在传播力、直观性、互动性等方面具有明显优势。四代数字教材技术特性比较如表1所示,由此也反映出数字教材技术演变的进程。

表1 不同类型的数字教材媒体特性

1.2 AR 数字教材的教学特性

已有学者研究AR 教材的教学功能。马来西亚学者[5]采用观察和访谈法证实AR pop－up book教材有利于提高小学生英语学习动机。泰国学者研究动画增强现实书模型(AARBook Model)[6],并评估其增强团队合作的效果。韩国学者[7]指出AR 教材可以帮助学生理解并记忆抽象信息,支持沉浸式学习和差异化学习,从而增加学生的学习动机和参与度。结合AR 数字教材的定义、技术特征以及AR 书籍的相关研究,归纳出AR 数字教材具有以下教学特性。

1.2.1 学习过程涉身化

皮亚杰发现幼儿认识世界是通过吮吸和抓握等身体动作完成的,人的认知发展是建立在感觉能力和运动能力之上的发展。因此身体的感觉及运动成了学习的关键,人是通过身体来认识世界的,这便是学习的涉身性[8]。AR 数字教材可以还原教学内容场景,立体呈现教学模型,提供深度互动体验,使得整个教学过程身临其境。

1.2.2 学习经验具体化

“经验之塔”(The Cone of Experience)理论认为人的经验可以通过直接或间接两种方式习得,通过这两种方式将经验分为做的经验、观察的经验、抽象的经验三大类。传统的数字教材在纸质教材的基础上补充静态的二维图片和动态的视音频,为学习者提供观察的经验和抽象经验。而AR 数字教材能填补纸质书和传统数字教材中所不能提供的“做的经验”。AR 数字教材可以成为将学生移动到动画交互的虚拟环境中去的手段[9],即点击AR 数字教材中的识别按钮,可直接将三维立体的动态模型或影像叠加在屏幕之上,支持的手势识别可让用户直接触碰(抓取、移动、添加、减少、旋转、拆除、组合)虚拟模型。

1.2.3 认知通道平衡化

认知负荷理论认为任何学习活动和任务的完成都需要耗费认知资源,从而造成认知负荷。从单一的视觉通道向听觉、视觉、触觉等多通道分流,这样有效平衡“言语通道”和“视觉通道”中的信息流量以平衡各通道中的认知负荷[10]。

1.2.4 知识记忆无意化

AR 数字教材可将二维的内容转换成逼真的立体影像,让用户全身心投入虚拟世界之中,与三维影像的立体化交互,易于使学习者更多采用无意识记忆,能够直抵潜意识,从而加深知识记忆。

1.2.5 学习场合自由化

AR数字教材以移动智能终端为依托,学习者只需开启摄像头对准识别图或点击同步APP便能进入学习界面,学习场所由被动、固定的向主动、移动式的转换,随着学习场所的改变,能够营造出个性化的学习环境,促进学习者深度学习。

2 AR 数字教材的教育应用

数字教材是一类面向教育教学的特殊电子书,为进一步了解AR 数字教材具体的教育应用情况,以AR数字教材、AR book为检索词在中外文期刊文献数据库中进行检索,共检索中文21篇、外文127篇。除深入研读理论文献外,同时关注AR 数字教育、AR 数字出版企业。整合分析理论资料与实际产品过程中,罗列出10个AR 数字教材典型案例(如表2所示),参照应用对象的学习领域划分可见,现有AR 数字教材的教育应用主要集中在语言学习、科学教育与职业教育等三大板块。

表2 案例来源汇集表

2.1 语言学习

汉语拼音是识字的基础,是阅读的前提。学好拼音是低年级语文学科的首要任务。然而,传统拼音教学往往采用跟读教学方式、以命令式的口吻让学习者死记硬背,整个教学过程缺乏趣味性,大大降低了学习者对学习的热爱和激情。AR 数字教材的出现,使学习者在逼真的“现实情境”中直接用双手对虚拟物体进行灵活的操作,激发他们的学习兴趣和自主探索的能力。例如:新东方推出的一套AR 拼音学习教材,学习者通过装有摄像头的设备对准AR 标识的卡片或图案进行扫描,不仅能观看到叠加在现实世界之上的三维影像,还能让学习者沉浸在逼真的虚实融合环境之中。

2.2 科学教育

科学学科(物理、化学、生物、地理中天文部分)具备抽象化、微观化、模型化、空间认知以及彰显实验能力的学科特征[11]。AR 技术能仿真模拟并重现科学微观和宏观场景,使得学习者能够感知不可见现象,加深学习者对抽象知识的理解。蔡苏团队早在2016年就发现,不少国外学者分别通过增强现实技术,来创建探索天文知识(地球和太阳、白天和黑夜的关系)的场景,模拟化学成分,创设可视化、可自然交互的磁场[12]。

2.3 职业教育

传统的机械类数字教材只能提供二维图片供学习者学习,而欠缺空间想象能力的学生在处理零部件的空间位置及运动关系时就会感到困难[13],使用硬件的摄像头获取AR 数字教材中的零部件或设备图片,进行空间注册,然后将模型动画与教具及其现实场景进行匹配,并通过摄像机渲染达到逼真效果,最后将形成增强现实的特效场景叠加在教具实物之上[14]。

3 AR 数字教材的开发现状

目前,国内已经有若干AR 数字教材设计与开发的研究实例。周灵等[15]提出基于Windows平台的增强现实少儿英语教科书的研发流程包括需求分析、项目设计、项目实施、调试与发布多个阶段。进一步,黄敏等[16]采用Unity3D 集成Vuforia SDK 设计实现基于增强现实技术的英语视听说移动教学软件VBook。钟春霞[17]等认为,基于增强现实的数字教材设计,需要结合系统的教学设计理念,并且要面向实景学习、体验式学习、游戏化学习等学习方式。

AR 数字教材的整体流程设计分为五个阶段:需求分析阶段、整体设计阶段、实现阶段、测试与调试、发布,如图1所示。

图1 AR 数字教材的开发模型

(1)需求分析阶段:根据师生对数字教材的需求进行分析研究,主要包括:在匹配教学目标、教学重难点的基础上,确定教材的具体哪些教学知识点是需要融合AR 元素的。

(2)整体设计阶段:根据用户的需求分析,对比并筛选开发环境,对不同特性的资源(识别图、三维模型、多媒体资源)进行分类设计,以及对交互方式进行设计。

(3)实现阶段:先选定教材主题内容的增强方式,运用不同的开发工具和平台对想要呈现的AR 资源分类制作。

(4)测试与调试阶段:通过已安装测试APP的终端扫描查看识别图效果以及特效的效果是否达到标准。根据用户体验的反馈意见,对制作的AR 资源进行调试修改。

(5)发布阶段:在安卓及苹果商店发布APP,学习者可通过图书封面的二维码扫描下载APP,开启AR学习之旅。

AR数字教材开发对开发环境以及人员要求较高。正如徐瑶瑶[18]在开发面向移动终端的无标识增强现实电子书时所指出的,软硬件开发环境涉及的软件技术主要有:识别图制作、3D 建模、增强现实应用开发软件与SDK 的使用、交互代码的编写等,整个开发过程要求各个部门及各个板块的专业人员高度配合。笔者致力于探寻简易操作的AR 开发路径,因此,下面将详述不同开发环境和平台的AR 实例开发步骤,供AR开发者参考。

4 AR 数字教材开发

4.1 基于Unity 3D＋Easy AR SDK 开发

在开发AR 数字教材时,借鉴上述AR 数字教材的整体流程设计。

(1)需求分析阶段:遵循各学科类的教材设计原则,根据学习对象的学习风格和心理特征,选定需增加AR 互动学习场景的内容。如选定小学英语BUS单词,增加AR 互动学习场景,以游戏化、趣味性来激发学生学习英语的兴趣,使他们初步建立学习英语的自信心。

(2)整体设计阶段:先确定AR 互动场景实现流程,如图2所示。再根据实现要求选择开发环境:Unity4.2版本,Easy AR SDK 1.0版本。

图2 AR 互动场景实现流程

(1)制作识别图。用Adobe Photoshop CC软件制作单词卡片,新建项目大小为595∗842像素,使用文字工具输入“BUS”,字色为红色,字体为Algerian,调整画布与图像的比例,将其保存为BUS.JPG,如图3所示。

图3 BUS识别图

(2)素材制作。可通过网络资源下载所需的三维模型和音频文件,将三维模型经过3D MAX 软件处理后导出为BUS.FBX 文件,如图4所示;另将BUS音频文件用Adobe Audition软件进行简单降噪、添加音效后命名为BUS.MP3,如图5所示。

图4 BUS三维模型

图5 BUS音频处理

(3)识别功能制作。在Easy AR 官网下载Easy AR SDK 1.0版本,解压后找到此SDK 案例中的“Hello AR”将其导入到Unity4.2软件中,在“Project”面板中双击Easy AR_Start UP,导入识别图素材至Streaming Assets目录下,更换场景中的识别图为BUS.jpg,新建一个材质命名为M_bus,将识别图附给他们,设置相应的属性完成识别功能,如图6所示。

图6 BUS的AR 场景

(4)AR 场景呈现。将BUS汽车模型拖到Unity主场景中,作为识别图“BUS”的子物体,之后在模型上添加盒子碰撞器“Box Collider”,调整位置与大小。编写运行脚本语言为“void On MouseDown(){}”来实现触碰模型时,出现英文朗读。

4.2 基于睿视平台

睿视平台提供模板工具制作AR 内容,学习者在开发AR 内容时,无须学习开发代码等之类的专业技术,即可简单制作出一个增强现实案例。以AR earth 为例。

(1)制作平台:AR 内容制作官网:https://ravvar.cn/new/80。

(2)操作步骤:

1)登录账号。在“睿视”官网中点击右上角的“制作AR”按钮,登录账号。

2)创作AR。第一步:完成项目创建。点击制作界面的“＋”按钮,新建项目,在项目名称和项目描述都输入“AR earth”,添加识别图为“D.jpg”,项目类型选择“公开”和“AR”,即完成项目创建。第二步:AR 场景制作。点击“＋AR 场景”按钮,进入AR 编辑界面。在编辑界面中添加三维模型,调整位置和大小,如图7所示;选择功能列表的“模型动画控制”和“自定义动画”,设置功能相关属性,如图8和9所示,场景制作完成后点击保存按钮,完成AR 制作,返回后台“我的项目”页,找出对应场景后呈现项目二维码,如图10所示。

图7 睿视在线编辑界面

图8 模型设置

图9 模型自定义设置

图10 项目二维码

3)应用。打开移动智能终端上的“睿视”APP,扫描二维码,即可查看叠加在真实世界的虚拟影像。

5 结语

AR 数字教材是基于增强现实技术形成的一种新型数字教材,它是在富媒体数字教材的基础上融入AR技术的多感官交互性书籍,其超越传统书籍之处是能带给师生跨越时空限制的多感官体验,有效降低学生的认知负荷,全面丰富师生对事物与知识的立体认知。当前,虚拟仿真教学已融入多个学科教育教学中,而AR 数字教材正是助力虚拟仿真教育教学的又一利器。可以说,AR 数字教材用最贴近自然的交互方式为学习者搭建了一个自主探索的空间,做到教学内容立体化、生动化,真正实现教师乐教、学生乐学的教育境界。目前,AR 数字教材仍处于探索阶段,期望本研究能为AR 数字教材开发者提供参考,进而促进我国基于AR数字教材的教育教学实践的进一步发展。