全息教室虚拟系统设计与实现
2018-01-31温皓晴
温皓晴
摘 要:虚拟现实技术、增强现实技术和混合现实技术的发展和运用,为我们提供了一个创新教学方式、改变传统教学模式的全新思路,运用这些技术打造“全息教室”,是一种提高教学效果、丰富教学手段、增强教学表达力的较好解决方案。论文阐述了全息教室概念,设计了全息教室虚拟系统结构和基本形态,从软件系统和硬件系统方面论述了全息教室虚拟系统的实现方法。通过对全息教室虚拟系统这一热点问题进行较为系统的研究,力求构建一个较完整的全息教室虚拟系统环境,以期找到应用的普遍规律。
关键词:虚拟现实;全息教室;虚拟系统;设计
引言
随着信息技术的飞速发展,我们已经进入数字化信息时代。如何把先进的信息技术引入教育领域、创新教育模式、增强课堂教学的实效性,值得我们思考和探索。虚拟现实技术、增强现实技术和混合现实技术的发展与运用,为我们提供了一个创新教学方式、改变传统教学模式的全新思路,运用这些技术打造“全息教室”,应当是一种提高教学效果、丰富教学手段、增强教学表达力的较好解决方案。本文力求依托虚拟现实技术、增强现实技术和混合现实技术,融合全新教育理念,为开创虚拟教学崭新领域、创设新型智能教育平台,提供思路,设计实现方法。
一、全息教室概述
虚拟现实(Virtual Reality,简称VR)运用于游戏以及电影等,我们早有所闻,但运用“VR+教育”的模式在高等院校及中小学进行授课,那又会是什么效果呢?宽敞的教室里,老师正在向学生讲解太阳系天体的运动,随着操控笔在空中的一点,太阳系整个星系就悬浮在师生眼前运行,学生们跟随着老师的讲解“登陆”各大行星,对每个星球的环境进行探究,了解星球表面的温度、湿度、物质构成……这不是幻想,更不是科幻电影的假设,这就是全息教室。
(一)全息教室概念界定
全息教室从广义上讲,就是将虚拟现实技术与教育学习环节有机整合,以教学大纲为蓝本,以教学资源为核心,集终端、应用系统、平台、内容于一体,将抽象的概念情境化,为学习者打造不同教育阶段的,高度仿真、高度沉浸、高度交互的一体化解决方案。从狭义上讲,全息教室的概念就是在多媒体环境下,综合运用文本、图形、图像、音频、视频、虚拟现实等多种类型信息手段教学的方式。
(二)全息教室功能特点
全息教室以虚拟现实技术(VR)、增强现实技术(AR)为核心,以硬件系统为交互载体,集3D互动教学课件制作、使用、学习、考核、管理等多种功能于一体,针对不同教育阶段,分别打造幼儿欢乐教室、虚拟教室、虚拟实验室、虚拟实训室、虚拟考场等多种应用形态,针对不同专业设置,立体展示各学科系統(自然的、物理的、社会的)的结构和形态,对各学科课程进行模拟教学,利用光学动作捕捉技术实时跟踪眼部、手部位置,进行自然交互,为学生提供一种可供他们体验和观测的环境,极大提高实训教学质量,提升教学效果。全息教室的功能特点可以概括为以下三点:
1.全息可视:通过渲染引擎生成全息3D立体影像,课件内容全息呈现在眼前。
2.自然交互:利用光学动作捕捉技术实时跟踪眼部、手部位置,可进行自然交互,如:机械拆装、医疗解剖等。
3.数据管理:实现课件制作、模型增改、协同培训、远程教育、学生考核、内容共享以及账户管理等功能。
(三)全息教室教学目标
传统教学,一般是将三维甚至更多维度空间事物的流程、原理等经过总结提炼成一维维度的语言表述或计算公式等抽象知识系统,在教学中为了让学生充分理解这些知识,往往通过二维逻辑或原理图的形式对知识进行解析,必要时还通过三维空间的实际实验或实习促进理解。但是二维解析和三维实验实习往往处于不同的时间和空间进行,而且由于实验或实习条件的限制,往往无法对知识进行准确、充分和全面的还原,从而对学生学习造成一定的障碍。
全息教室通过VR 三维呈现的仿真场景及AR 台交互式教学,将三维形态和二维解析甚至抽象知识信息进行同步、对应和交互,使传统教学中的三个维度的教学内容有机组合在同一教学场景内,有效地解决传统教学方式的弊端,帮助教师更有效地进行知识的教授,帮助学生更直观地对知识进行理解和记忆。如图1所示。
全息教室通过上下屏联动技术,充分将右脑的三维空间和形象思维与左脑的语言、数字和逻辑理解完美结合,通过标识卡交互的创造性教学方式,将学生动眼观察、动脑思考和动手操作同步统一,有效提高学生的注意力和理解记忆效率。如图2所示。
全息教室模拟真实的实验环境,让学生在虚拟的三维环境下进行实验和实训练习,使用信息网络技术对用户实验和实训的数据进行采集,再通过虚拟仿真实验教学管理平台进行实验课程安排和实验效果考察,从而打破教学过程中对于实验的高危险和高污染、时间和空间以及资源消耗大成本高等限制,增强学生的实操动手能力,在寓教于乐的虚拟教学环境下,提升学生的学习兴趣、提高学生的创新能力,并建立完善的教学效果考核、评价和反馈机制。
二、全息教室虚拟系统设计
全息教室的构建应主要包括软件平台、硬件平台和云课程平台。软件平台主要是基于虚拟现实引擎开发和创建3D互动教学课件。硬件平台通过各种沉浸式交互体验虚拟现实设备(全息台、cave、AR台、实体教具)进行教学。云课程平台包含授课工具图3和虚拟仿真教学资源库,提供常态化在线学习和服务。如图3所示。
(一)全息教室虚拟系统结构
全息教室系统架构如图4所示,整个系统分为引擎系统、逻辑系统、设备系统和用户四个层级。依照虚拟现实行业以及相关软硬件系统集成的相关标准化体系与要求,定制开发整体化教学平台。采用以VRP—虚拟现实引擎为基础的系统结构,系统软件部分采用面向对象的设计方法以及基于组件设计的理念和技术,结合虚拟现实硬件设备,对系统用户业务进行逻辑实现和封装;教师可通过基于VRP虚拟引擎生成的虚拟教育编辑器编辑沉浸体验式课件,通过系统提供的本地及远程多种数据连接方式,利用云资源库提供的数据存储和访问功能,将课件传送到云课程平台内,云课程平台内课件内容是可呈现共享方式,且课件可以通过HTML5技术构建网络学习环境进行远程教育。endprint
1.引擎系统。全息教室的底层技术引擎是以虚拟现实引擎为基础,引擎系统为整个系统的完整性提供全面支撑,为系统的开放性、安全性、规范性、兼容性、稳定性以及经济性提供整体支持。
2.逻辑系统。逻辑系统实现了整个系统的主要功能模块,以专业虚拟现实教学平台编辑器为基础,作为用户使用界面,提供用户管理、课件管理、多设备支持以及教学管理等功能,为整个教育方案提供完整的系统支撑;教学数据云平台则为课件管理提供了良好的系统支持以及安全性保障。
(1)设备系统。全息教室提供了大量可选择的设备系统,以全息台、AR台、全息黑板以及头显等多种硬件组成的硬件系统,为整个系统提供多元化的硬件支撑。
(2)用户系统。全息教室用户系统为教师、学生提供友好的操作界面,条理清晰的逻辑结构,为用户使用提供最大便捷。
教师、学生、管理员组成用户系统,通过“人人通”系统与云资源库相连,进行数据交互,形成数据流。图5为整个系统简单数据流示意图。
(二)全息教室虚拟系统特性
系统集成多个虚拟现实体验式硬件设备来支撑沉浸式体验教学,通过云课程平台,各硬件设备调取编辑好的课件内容,学生即可通过“人人通”软件经过硬件设备在虚拟、境界逼真、可交互的教学环境中进行沉浸式学习。全息教室不再局限于有形的教室中,教学活动的空间和时间得到了无形的拓展,系统提供了学生与教师在科室或在家多地点登陆的便捷功能,方便用户管理各自的工作与学习,系统对多个行业以及专业提供开放性,支持多重的教育生命周期,教室在各方面都展现出了强大的应用性,蕴藏了无限生机与拓展性。
1.覆盖多重教育生命周期。全息教室将虚拟现实与增强现实技术与教育学习环节有机整合,以教学大纲为蓝本,以教学资源为核心,集终端、应用系统、平台、内容于一体,将抽象的概念情境化,为学习者打造高度仿真、高度沉浸、高度交互的学习场景,涵盖家庭教育、幼儿教育、中小教育、职业教育、高等教育以及企业培训教育在内的全教育生命周期。
图6
2.变被动接受为主动体验。传统意义上的教育,学习更多是一种强制记忆的过程,抽象知识点,不易被学生理解,缺乏对学习的兴趣。学生个体间想象力的差距也会造成知识获取的差异。另一方面,在类似地理、生物、化学、艺术、医学等学科上,即使老师准备大量图文、视频素材,也难保证直观性。而这一切使用全息教室,就可以在很大程度上解决。全息教室让学习知识变成一个沉浸于虚拟空间里的“体验之旅”,对于学习兴趣的提升、知识难点的理解、创新思维的扩展都将产生积极意义。
全息教室是将传统学习转换为体验式学习的过程,在传统教育上,教师是教学的中心,学生只需专心听讲,认真记笔记即可。而体验式学习则要求学习者发挥主动精神,对自己的学习负主要责任,真正成为教学过程的主体。全息教室的教学方式强调学习者积极主动的参与,教师通过调动学生,将被动学习变成主动掌握的过程,使学习者完完全全参与学习过程,真正成为课堂的主角。教师的作用不再是一味地单方面传授知识,更重要的是利用虚拟现实资源为学生做好体验开始前的准备工作,让学生产生一种渴望学习的冲动,自愿地全身心地投入学习过程。
3.保障学生安全使用。由于独特的教学效果优势,VR/AR将在学校获得更大规模的使用,如何确保学生的使用安全,尤其是如何保护学生视力,将是VR课程的重要要求。
最令我们熟知的就是“虚拟现实晕动症”,与平时经历的晕动症不同,这是一种由视觉诱发的晕动症。晕动症带来的主要不适感是由于在没有发生实际运动的情况下,虚拟环境给出了移动的视觉信息造成的,而大家所熟悉的一般晕动症是由真实的运动带来的(如摇晃的船舶带来的晕船)。在这两类情况下,都存在着视觉和前庭感觉间的冲突。此外,虚拟现实晕动症还会产生在虚拟现实环境下特有的症状,如眼紧张疲劳。有的使用者会在使用头戴式显示器短时间内产生虚拟现实晕动症,而有的人却从不会产生这类症状。造成晕动症的因素有很多,比如运动速度、场景的控制程度、体验时间、视场、闪烁、刷新率以及年龄等个体因素都是产生晕动症的起因。
系统根据教育全周期中不同年龄段学生的具体情况,全面衡量沉浸感、设备流明、观察方式、观察距离、交互方式等人机交互要素,并提出科学的虚拟现实教育产品装备与使用建议。
(三)全息教室虚拟系统形态
全息教室依托强大的软硬件支持,可以采用多元化的形态进行教学支持。图7为全息教室示意图。
作为系统的使用者,可以根据自己的需求定制自己所需的教室形态,根据系统的受众对象、教学内容、场地要求以及成本限制等因素,来配置选择适合自己的全息教室形态。
1.全息黑板教室(简配版)。顧名思义,全息黑板教室,就是在我们熟知的教室基础上增加一块全息黑板,老师使用全息黑板进行授课,学生佩戴立体眼镜进行学习,如图8所示。
2.标准全息教室(标配版)。标准版全息教室是在全息黑板基础上增加桌面全息台而组成的教室形态,授课时间教师在全息黑板上进行讲解,学生可以在桌面全息台上完成老师布置的任务以及复习巩固学到的知识,如图9所示。
3.完整全息教室(全配版)。完整全息教室是在标准版全息教室的基础上,增加AR台、单屏全息台、CAVE、头盔而组成的多功能全息教室形态,教师可以多元化地使用相应的教学资源进行授课,学生也可以在不同的设备体验教学内容,如图10所示。
4.实训教室。实训教室不同于标准教室,是由N个单独设备组成的针对性实训室。定制针对性的内容,选择相应的硬件设备组成一个设备实训室。比如由若干台AR台组成的实训教室,学生在机器上进行特定的操作训练,对单一技能进行深度培训。
5.自定义教室。顾名思义,自定义教室是根据需求而定制的全息教室形态,由于一些客观条件约束,如授课内容、场地空间、预算空间等条件限制,在不同的条件下我们可能需要有针对性地选择一些设备进行教室配置,自定义教室形态就能完美解决这个问题。
三、全息教室虚拟系统实现
全息教室虚拟系统着眼信息化教学要求,立足虚拟教学、虚拟实验的具体需求,遵循“聚焦有效表达、凸显教学支持”的原则,主要采用虚拟现实、增强现实、全息成像等技术手段,快速、直观、形象地再现教学全程,用简单、高效、自然的方式为虚拟教学和虚拟实验提供可视化情境再现工具和开放式研讨环境。系统主要功能可以概括为服务虚拟教学和实验的情境创设、交互研讨和数据分析。系统实现主要包括软件系统实现和硬件环境构建两个部分。
(一)全息教室软件系统实现
软件系统由开发工具、教育编辑器、课件编辑平台、云课程平台和远程协助五个部分组成,形成全流程的系统架构。
1.虚拟现实开发工具。很久以来,在中国的虚拟现实技术领域,一直是引进国外的虚拟现实软件,适用较为广泛的有以下几个:(1)Vega是美国Multigen Paradigm公司开发的视景仿真软件。(2)Virtools是法国达索集团出品的虚拟现实编辑和开发软件。(3)Quest 3D是荷兰Act 3D B.V.公司的虚拟互动开发平台。(4)Unity 3D是英国Unity Technologies公司开发的,目前行业内应用较广的平台。(5)Cult 3D是瑞典的Cycore公司开发的网络三维虚拟软件。
中国近年来也涌现出一些独立开发具有自主知识产权的虚拟现实开发平台,打破该领域被国外垄断的局面,以极高的性价比获得国内广大客户的喜爱,比较突出的有两个:(1)VRP是中视典数字科技独立开发的具有完全自主知识产权的三维互动仿真平台,在国内虚拟现实开发平台中比较有代表性。(2)Converse 3D是北京中天灏景网络科技有限公司自主研发的具有完全知识产权的一款三维虚拟现实平台软件。
国产软件的优点是适用性强、操作简单、功能强大、高度可视化、所见即所得,所有的操作不需要程序员参与,稍加学习和研究就可以很快制作出自己的虚拟现实场景,比较适用于初学者和教师层面,所以系统选用VRP虚拟现实开发平台作为主要开发工具。
2.虚拟现实教育编辑器。虚拟现实教育编辑器是在基于虚拟现实开发工具内核的基础上,针对教育行业开放的接口,在虚拟现实开发工具所提供的内核接口的基础上,开发出自己所需要的定制的三维内容,用户可以根据自己的需要来设置软件的界面,设置软件的运行逻辑,设置外部控件对虚拟现实开发工具窗口的响应等,满足用户对三维仿真交互的各方面专业需求。
虚拟现实教育编辑器可以更大程度减少用户的重复劳动,使用虚拟现实开发工具用户不再纠缠于各种实现方法的技术细节,从繁重的技术工作中解放出来。独创的编辑器直接编译运行,一键发布等功能,让用户可以快速上手制作VR课件内容,可以将精力完全投入到最终效果的制作上来,从而将交互课件内容制作提高到一个更高的程度。
3.虚拟现实课件编辑平台。虚拟现实课件编辑平台是基于虚拟现实教育编辑器一种专门制作三维仿真课件的工具软件,它由建模及输出模块、场景编辑器模块、仿真数据库管理模块、仿真算法模块、VR仿真内容发布系统、流动动力学粒子系统仿真模块、网络仿真及通讯模块、多通道视觉仿真模块、各类仿真特效模块、OCX控件二次开发包模块等功能组成。它力求按照用户的操作习惯安排操作界面,尽量简化所需的操作环节,能快速定做仿真课件的平台。该平台将三维仿真设计、实时渲染浏览和远程网络压缩发布等功能融为一体,使用户可以针对教学重点、难点,方便快捷地制作出三维仿真教具和实物模型,用于形象教学和交互式教学。
该平台集成虚拟现实交互引擎所具有的先进特性,不但仿真效果真实性大大提高,而且能直接处理大量模型数据,使高质量的三维画面在远程交互中能快速传输,为广大师生展现了全方位、真实的学习对象和学习环境。
4.虚拟现实云课程平台。虚拟现实云课程平台是大型在线三维体验式课程平台,提供常态化在线学习和学习服务,包含授课工具和教育资源内容。云课程是基于云计算技术的教育应用而出现的新课程形态,它集交互式阅读体验、多媒体学习资源、学习辅助工具为一体的立体化数字课程。云课程平台在满足独立桌面操作体验的基础上,用户可根据实际教学场景需求,灵活快速统一切换操作系统,从而满足多种教学场景的应用。
云课程平台需实现与虚拟现实教育编辑器无缝对接,教师可快速将编辑好的三维课件上传至云课程平台,学习者可以通过浏览器及客户端两种方式登录,中视典同步以太网交换传输解决方案,借助高效的传输网络,保证了学生端流畅的操作体验,如图11、12所示。
(1)课件分享。云课程平台是一个通用平台,教师可直接利用该平台进行网络课程的发布和二次开发,课件上传后,可以共享,可避免重復劳动,节省人力、物力。教师可以对其他共享课件做修改工作,生成全新的课件,系统共享功能给课件制作和升级带来更大的方便。(2)多媒体素材上传。系统提供制作课件的多媒体素材上传,素材库内支持文本、图像、贴图、动画、声音以及视频等各种类型支持课件制作的内容。使用者可上传素材和下载,随时调取库内的素材,可快速搭建制作课件内容。
5.远程协助。系统提供远程协助,在使用者遇到问题时,通过系统接受远程协助帮助,特别是初级使用者,远程协助技术能够帮助系统的使用者解决所遇到的难题。
系统基于所述用户终端发送的当前信息从信息系统中获取实时动态信息,立即将其发送给所述用户终端或预存一段时间之后发送给所述用户终端;针对用户终端发送的反馈信息和请求向所述用户终端发送问题规划服务指令。
(二)全息教室硬件环境构建
硬件环境主要由全息黑板、全息感知设备、互动研讨桌面等组成,主要实现线上全景教学、沉浸式交互体验和开放式研讨交流。
1.核心设备—全息黑板。全息黑板可以定位为教室的核心设备,它和远程会议系统很相似,可以连接学生的PC端或移动设备,进行信息共享,建立高效的沟通,这些得益于它独有的智能功能。endprint
在VR教室中将全息黑板挂到黑板的位置,作为中心设备,可供多人参与,全息黑板能连接全息台,同时能兼容大部分的Android/IOS手机和平板电脑,学生可以通过全息台操作或移动设备或PC端将图像实时发送到全息黑板上,可以细致地表达出学生们的想法。且全息黑板是一个双向沟通性设备,设备可以连接到每个一个同学的设备上,可以毫不费力的共享内容,可以很容易地发送课堂内容和作业,不管是在课内还是课外,通过和全息黑板连接的移动设备/PC端,每个人都可以看到一样的内容,都会呈现清晰的声音和高质量的视频课堂,如图13所示。
2.全息感知设备。全息台是将平面图像转换为三维立体并可以交互的设备。全息就是代替传统的平面显示,将个人电脑图形转换为虚拟全息的3D立体显示。当用户在佩戴超轻型人体工程学眼镜后,用户头部转动及观看视角被系统实时捕捉,根据用户即时视角进行运动视差调整(Motion Parallax)。不再是传统的立体视觉(Binocular Parallax)仅仅提供的是纵深感(如前后距离),而是运动视差绑定,带给用户的是更贴近真实自然的视觉效果,即用户视角往左右偏离时,用户不仅仅看到前后景深感,同时还可以观测物体的左右侧。通过手拿类似操控笔,系统可以捕捉到用户手部在空间中的位置信息,用户直接用该操控笔在空气中对眼前的全息图像进行交互。
全息台不仅可以提供立体视觉,也是一个基于Windows的可操作设备,在连接全息黑板后,学生可以同步看到老师的三维立体的操控演示,能更加的直观理解例如机械设备、立体几何、医疗操作等在平面难以理解的知识。能使学生在虚拟的环境中理解抽象化的概念,使概念直观化、形象化。如图14所示。
3.互动研讨桌面。互动研讨桌面(又名AR台),是采用增强现实技术,通过识别标识卡marker代替鼠标键盘与虚拟场景交互的一种全新交互方式。标识卡的正面是便于用户识别的内容提示,反面是便于计算机识别的二维码图形,外观上主要分上屏和下屏两大部分,上屏为显示屏(弧形幕),下屏为操作屏。其原理大致为:操控台捕捉标识卡输入的信号后加以解释,然后对虚拟场景环境数据库作必要的更新,并对当前的虚拟场景做出相应的调整,最后将这一新视点下的三维视觉图像反馈给使用者,使其即时获得感官上的虚拟体验。
使用者通过显示屏幕观测三维虚拟场景,利用标识卡Maker代替鼠标和键盘,可在虚拟场内行走和观看,并可以利用标识卡Maker对三维虚拟场景内的物品进行操控。AR台可以同时控制场景内多个虚拟物品,以达到传统交互产品所不能达到的虚拟操控的精细程度,进行演示抽象概念的推演,在一些环境较为复杂或需要精确模拟操控的场景内,AR台支持更高精确度的操控。如图15所示。
标识卡的信息既可以静态的,也可以是动态的,还可以是相机、光照、天气等辅助信息,通过这些标识卡的不同组合,可以为教学研讨提供便捷的交互环境,实現学生与教师的实时交互,这种交互,既可以是学生的主动求教,也可以是教师的适时干预,教师可以实时掌握学生的思维过程,而目的是最大限度培养学生的思维能力。
四、结论
教学信息的全息化,是综合运用虚拟现实等信息手段开展多维度教学的方式,全息教室虚拟系统通过全流程的系统架构,为教学过程提供了全维度视角,是现代教育发展的产物。全息教室以其真实的三维场景呈现、创新的交互教学方式和开放的内容生成工具,为老师与学生打造各个教育阶段的,高度融合、高度沉浸、高度交互的解决方案,为教师提供从课程内容制作直至教学数据的实用工具链,辅助高效率的备课以及教学分析,颠覆了传统教学环境、大大提升了教学质量。
参考文献:
[1]钟志贤.信息化教学模式[M].北京:北京师范大学出版社,2006.
[2]汤跃明.虚拟现实技术在教育中的应用[M].北京:科学出版社,2007.
[3]李欣.虚拟现实及其教育应用[M].北京:科学出版社,2008.
[4]奥利弗?格劳.虚拟艺术[M].北京:清华大学出版社,2007.
[5]齐鹏.新感性:虚拟与现实[M].北京:人民出版社,2008.
[6]周跃良.中小学虚拟学习环境设计与应用[M].北京:人民教育出版社,2006.6.
[7]裘伟廷.虚拟学习社会研究[M].北京:中国社会科学出版社,2006.
[8]张涛.多媒体技术与虚拟现实[M].北京:清华大学出版社,2008
[9]恰瑞罗特.情境中的课程——课程与教学设计[M].北京:中国轻工业出版社,2007.endprint