智慧虚拟现实实验室的构建研究

2018-10-11汤嘉立习海旭黄纯国

实验技术与管理 2018年9期

汤嘉立, 习海旭, 黄纯国

(江苏理工学院计算机工程学院, 江苏常州 213001)

实验是人类认识世界的主要科学方法。实验教学在自然科学的课程教学中具有重要的作用[1-2]。通过实验教学,可以再现计算机科学的原理和规律,加深学生对计算机知识的记忆,促进学生计算机操作技能的发展,同时可以进一步发展学生的创新实践能力[3-4]。目前,在计算机实验教学中存在什么样的问题,如何顺应信息技术的最新发展,构建良好的计算机实验教学环境,以提高计算机实验教学的效果,一直是计算机课程教学研究者关注的主要研究内容。

1 计算机实验教学现状

高校的分型发展,使得应用型本科院校更加关注学生实践能力的培养,理实一体化的教学模式在计算机课程教学中得到广泛的关注和应用[5-6]。目前,计算机实验教学普遍存在以下3大问题,成为制约理实一体化教学的主要障碍。

1.1 课程内容更新频繁,实验系统建设和维护成本较大

近年来,计算机学科在推动社会信息化革命中起到了越来越重要的作用。计算机应用热点经历了云计算、大数据应用和虚拟现实应用等发展阶段。为了让学生掌握行业应用前沿科技,计算机学科课程的内容更新频繁,需要建设相应的学科实验室,实验室建设成功之后,在使用过程中需要后期的技术维护和培养相应的实验管理人员,建设和维护成本较大。

1.2 实验指导工作繁重,知识获取路径单一

实验班级大多是大班教学,由于学生获得知识和技能的能力有差异,教师需要花费大量时间进行实验指导工作,或吸引优秀生辅助指导工作,即便如此,还是存在学生获取实验相关知识的途径较少、实验指导力度不够等问题[7-8],学生实验走过场,学习态度被动。

1.3 实验限制条件过多,实验体验的真实感较差

一方面,实验管理人员出于规范管理的需要,往往在电脑上安装保护卡[9],也严格规范了师生对实验系统的操作权限,这导致在计算机实验教学过程中无法根据教学需要,更改计算机系统环境,所进行的实验和真实情景有差异,也无法进行激发学生创新能力的探究性实验。另一方面,虚拟软件所提供的功能,对真实实验和行业工作环境进行了一定程度的抽象,实验知识和技能还不能顺利地迁移到真实工作情景中。

2 智慧虚拟现实实验室的规划与建设

2.1 智慧虚拟现实实验室的特征和功能

为了从一定程度上解决计算机实验教学的现存问题,需要基于先进的信息技术构建一种可动态扩展的、智能的和支持自然操作交互的计算机实验支持系统。该系统使用软件虚拟技术对实验软硬件环境进行模拟仿真,以学习分析技术对实验过程进行智能指导,采用虚拟现实技术创设实验临场感。

(1) 以软件虚拟技术对实验环境进行模拟仿真。计算机软硬件实验课程都可以采用软件虚拟的方式进行构建。采用Flash技术可以绘制计算机实验的硬件设备,编写AS脚本控制硬件设备的操作逻辑,仿真实现硬件功能；采用虚拟机技术构建虚拟计算机系统,构建多样化的计算机操作环境。基于软件虚拟实现的实验室,教学资源方便更新,不同学习系统的资源便于集成共享,系统升级和后期维护成本较小。

(2) 以学习分析技术对实验过程进行智能指导。学习分析技术采用数据挖掘算法,分析学习者在实验教学系统中的学习过程数据(例如访问时间、时长、交互次数、交互操作过程、交互路径等)[10],识别共性问题及学习困难者,对学习者进行智能的学习指导推送,为教师聚焦学习指导的重点,提高指导效率。

(3) 以虚拟现实技术创设实验临场感。虚拟现实技术基于计算机生成一种人造的三维世界[11],学习者通过立体感官设备(例如立体头盔、耳机等)感知逼真的虚拟世界,通过自然交互设备(例如操作手柄、数据手套、数据衣等)与虚拟世界中的对象进行交互,获得实时反馈。通过虚拟现实技术,一方面可以弥补软件虚拟仿真中缺乏的真实感操作体验,更有利于知识和技能迁移到实际工作场景中；另一方面可支持学习者进行自由创作,直观地验证假设,有效地激发了创新能力的发展。

满足以上3个特性的计算机实验支持系统,可称为具有智能的虚拟现实实验室(简称智慧虚拟现实实验室)。该实验室不仅可以应用于计算机学科课程的实验教学,也可以应用于自然科学研究、工程产品原型的设计和仿真模拟、建筑和艺术设计等需要创造性能力培养的学科教学。

2.2 智慧虚拟现实实验室的组成

如图1所示,智慧虚拟现实实验室由计算机图形生成系统、立体显示系统、虚拟现实跟踪系统(简称VR跟踪系统)、音响系统和智慧实验教学系统5个模块组成。

图1 智慧虚拟现实实验室架构图

(1) 计算机图形生成系统主要由虚拟现实仿真服务器(简称VR服务器)和虚拟现实图形工作站(俗称渲染主机)和虚拟现实仿真软件组成。VR服务器基于虚拟现实仿真软件来控制渲染主机生成并更新场景立体图像对,发送指令控制立体显示系统动态显示场景,识别人的位置和交互动作,进行运算并给予实时反馈；渲染主机主要负责实时生成三维场景。

(2) 立体显示系统以三维的形式高清显示虚拟可视化环境。

(3) VR跟踪系统捕捉人体的眼点位置信息并实现手部的操作跟踪,实现与场景或物体的人机交互操作。

(4) 音响系统模拟环境的声音,能够播放来自渲染主机和VR服务器的声音,具有足够的声音还原清晰度和响度。

(5) 智慧实验教学系统由内容服务器(包括Web、数据库和教学资源服务器)、学习过程数据集成处理、学习分析和内容生成模块组成。实现对学生实验操作过程数据的统一处理和集成,进行学习困难诊断、个性化内容提示和实验指导[12]。

3 智慧虚拟现实实验室下的计算机实验教学

根据教学需要,可构建立体投影、响应工作台和立体头盔3类虚拟现实系统。

(1) 立体投影虚拟现实系统由立体投影仪、投影幕、VR服务器、渲染主机、立体追踪眼镜、跟踪摄像头和交互手柄组成。立体投影仪分别将虚拟场景的立体图像对投影到投影幕上,立体追踪液晶眼镜片同步分别打开左、右眼镜片,使得具有左右眼视差的图像分别进入大脑,合成立体图像,通过交互手柄可对虚拟场景进行漫游、单击、拖拽、旋转等常规操作。

(2) 响应工作台虚拟现实系统由立体投影仪、反射镜、显示平板、VR服务器、渲染主机、可移动车、立体追踪眼镜、跟踪摄像头和交互手柄组成。立体投影仪投影出立体图像对,经过反射镜反射到显示平板,观察者佩戴立体追踪液晶眼镜观察立体场景,通过交互手柄操作场景对象。整套设备安装在移动车上,是一个可根据实验需要随时移动的虚拟现实系统。

(3) 立体头盔虚拟现实系统由头盔显示器、定位装置、VR服务器、渲染主机和交互手柄组成。立体图像对显示在立体头盔中,观察者佩戴立体头盔观看虚拟场景,定位装置跟踪观察者在一定空间内运动的位置,实时更新虚拟场景,观察者还可以通过交互手柄操作场景对象。

3.1 虚拟现实系统的教学特征

智慧虚拟现实实验室中的实验教学一般是教师首先讲解实验原理,说明实验内容和实验步骤,然后让学生先使用虚拟软件进行实验,再通过虚拟现实系统进行真实感体验,强化实验中获得的技能。碰到复杂的实验,教师分步骤带领学生进行实验。在掌握基本实验知识和技能的基础上,最后需要进行小组协作性或综合设计性实验,以促进学生合作和创新能力的培养。实验过程一般包括了教师演示、自主操作、小组协作和设计创作4个环节,如表1所示,不同类型的虚拟现实系统对这4个环节具有不同的适合度。

表1 虚拟现实系统对实验环节的支持度

3.2 智慧虚拟计算机实验教学模式

根据虚拟现实系统的教学特征,从完成实验的参与人数和实验目标两个维度将计算机实验教学模式分为如表2所示的4种类型。

表2 智慧学习环境中的常见活动模式

3.2.1 个人验证性实验

个人验证性实验由学生个人进行,目的是验证知识、获得技能。首先,学生在智慧实验教学系统中按照实验指导书的要求自行实验,实验过程中系统根据学生的实验情况,在智能更新的专家库中提取指导内容,较复杂的问题由教师现场进行指导。然后,根据实验内容的特点决定是否使用立体头盔虚拟现实系统进行真实感操作体验,以进一步获得直观的经验、知识和更真实的操作技能。例如,在微机组装实验中,学生进行软件虚拟的虚拟装机之后,可佩戴立体头盔,体验真实感的装机操作。

3.2.2 多人协作性实验

多人协作性实验由若干个学生组成小组进行,目的主要是验证知识、获得技能、培养合作能力。首先,学生根据实验任务分工,过程中可随时讨论合作,使用软件虚拟的方式完成各自的任务,形成实验成果。然后,根据实验内容的特点决定是否使用立体投影虚拟现实系统进行真实感更强的协同工作。智慧实验教学系统和教师在上述实验阶段中都可承担实验指导工作。例如,在计算机网络组网实验中,学生进行软件虚拟的组网实验之后,可佩戴立体眼镜,观看到真实感很强的网络机房,进行体验感逼真的组网操作。

3.2.3 个人探究性实验

个人探究性实验是学生为解决某个问题提出假设并进行验证的实验,可以培养学生的创新能力。首先,学生按照实验任务设计出解决方案,使用软件虚拟的方式分别实现系统模块并仿真系统的运行结果,检验是否解决了问题。然后,根据实验内容的特点决定是否使用立体头盔虚拟现实系统进一步检验真实环境下该解决方案的可行性。例如,在单片机设计实验中,为解决学生上机实验签到的问题,设计出一种人脸识别签到系统，和已有的一卡通校园系统进行数据集成,需要学生选择合适的电子元器件组装起来,然后进行硬件编程。为验证单片机系统的实际应用效果,学生可佩戴立体头盔,将单片机系统安装在真实感很强的虚拟实验室环境中,进行多场景下的实际应用,发现存在的问题并进行改进。

3.2.4 多人探究性实验

多人探究性实验是学生群体为解决复杂的系统性问题提出假设并进行验证的实验,可以培养学生的创新及合作能力。首先,学生针对问题提出系统的整体方案,学生分工实现自己擅长的部分,使用软件虚拟的方式合成系统并仿真。然后,根据实验内容的特点决定是否使用立体投影或响应工作台虚拟现实系统验证真实环境下系统整体方案的可行性。例如,在嵌入式设计实验中,需要设计并实现一种智能农业种植系统,有学生专门设计传感器,有学生专门设计嵌入式控制单元,有学生专门设计软件系统。进行软件虚拟实验后,学生可在虚拟农场中进行应用,也可将响应工作台虚拟现实系统移动到真实农场中实施增强现实实验,以发现存在的问题并进行改进。

3.3 智慧虚拟计算机实验教学实施

3.3.1 智慧虚拟现实实验室的建设

江苏理工学院虚拟现实实验室于2015年建成,该实验室占地约110 m2,分为背投间、虚拟现实实验活动区和系统监控管理区，相关软硬件见图2。

图2 江苏理工学院智慧虚拟现实实验室软硬件配置

3.3.2 智慧实验教学系统的构建

江苏理工智慧实验教学系统基于Unity3d引擎构建了整个计算机工程学院的机房和专业实验室,其中专业实验室包括多媒体网络教学实验室、虚拟现实实验室、嵌入式实验室、机器人实验室和虚拟演播实验室。采用Visual Studio.net开发环境,C#编程语言实现了设备的操作交互,实现了动态加载教学资源库里的三维素材资源,采用数据挖掘算法并结合SQL Server数据库实现实验过程的智能指导功能。图3所示是嵌入式实验室的虚拟实验场景；图4是虚拟演播室的虚拟实验场景。