基于虚拟现实技术的体验式学习系统实践研究

王巍

摘要：课题是研究一个基于虚拟现实技术的体验式学习系统，系统开发使用3Dmax、Unity3D、JavaScript、C#、MySQL等工具和技术，设计体验式虚拟现实学习系统的具体功能模块和体验式学习演示场景。通过头戴式虚拟现实显示器、头戴式3D手势输入设备、微型主机等组件组合便携式体感硬件系统，并通过系统测试验证基于虚拟现实技术的体验式学习系统的开发成果。

引言：

尝试通过虚拟现实技术建立一个学习者可以便捷使用的、具有浸入式体验感的虚拟空间场景学习系统。该系统建立在对虚拟现实技术、体验式学习理论、体感捕捉技术、图形图像渲染引擎研究与应用、虚拟现实成像技术、人体工程学、游戏开发等多个方面学科的综合研究。研究实现一种全新的体验式学习方式，通过计算机虚拟各种场景和互动方式来建立直观的、逼真的、感同身受的学习经历体验。并通过这种伪真实的体验来加深学习记忆，起到快速学习的目的，是和传统课堂学习完全不同的学习形式和教育的方法。

研究具体要解决的问题总结如下：

1、研究建立三维虚拟现实环境的操控技术

研究实现角色在虚拟现实场景的自由运动和UI操作以及物体触碰等控制。研究实现手势控制，通过三维传感器对使用者手部动作进行捕捉，匹配预设的动作模型来识别手势命令。研究计算机通过三维手势传感器捕捉使用者手势数据，来实现虚拟现实操控，研究结合虚拟现实设备实现在虚拟三维场景中的计算机操控。研究实现多种三维虚拟现实场景的虚拟物体碰撞代替传统计算机系统的二维界面和元素。

2、研究建立便携式的虚拟现实体感系统

研究使用头戴式虚拟现实显示器、头戴式3D手势输入设备、微型主机等设备构建可便携式体感系统，使用者可通过设备穿戴或便携轻松使用该套系统。通过微型主机WIFI联网模块形成和服务器的数据交换。研究实现同一虚拟场景多个使用者交互。

3、研究实现基于系统上的体验式学习场景

研究融合式虚拟现实技术，实现体验式学习场景应用。研究在虚拟现实基础系统上，实现体验式学习场景应用的开发，结合基础系统功能实现体验式学习。研究全面融合游戏学习、体感学习理念，研究从学习的本质入手，颠覆传统课堂学习形式，建立全新的感官学习体验。

研究过程与目标：

1、建立一种体感式学习的方法

课题研究融合虚拟现实技术，实现体验式学习场景应用。在虚拟现实基础系统上，实现体验式学习场景应用的开发，结合基础系统功能实现体验式学习。研究融合游戏学习、体感学习理念，从学习的本质入手，颠覆传统课堂学习形式，建立全新的感官学习体验。并研究通过三维虚拟现实环境的操控技术，实现角色在虚拟现实场景的自由运动和UI操作以及物体触碰等控制。实现手势控制，通过三维传感器对使用者手部动作进行捕捉，匹配预设的动作模型来识别手势命令。

2、建立一个软硬件兼备的完整虚拟现实体验学习系统方案

系统研究一种便携式的基于虚拟现实和互联网的体感系统，包括头戴式显示器、头戴式陀螺仪、头戴式3D手势体感器、微型主机以及附件组成。头戴式显示器用于显示三维虚拟场景，头戴式陀螺仪用于定位头戴式设备方向和水平仰角;头戴式3D手势体感器用于定位人体手的空间位置;微型主机用于处理输入和输出信息及存储体感软件。系统设计了一种计算机操作系统，更具体地说涉及一种基于三维手势体感的计算机操作系统，计算机通过三维手势传感器捕捉使用者手势数据，来实现虚拟现实操控;结合虚拟现实设备实现在虚拟三维场景中的计算机操控;实现多种三维虚拟现实场景的虚拟物体碰撞代替传统计算机系统的二维界面和元素。系统建立了一个软硬件完备的虚拟现实体验学习系统。

3、课题开发一个基于系统技术的教育内容演示

系统开发一个K12教育阶段的数学速算教学内容“数字王国”。内容演示部分开发内容场景、内容关卡、内容逻辑、内容情节等。内容场景包括数字王国场景和太空飞船场景。内容关卡包括速算关卡和练习关卡，内容逻辑包括学习逻辑和测试逻辑，内容情节包括数据魔术情节和用户游历地图发现关卡。

4、课题实现VR虚拟场景内的虚拟操控技术

系统实现计算机通过三维手势传感器捕捉使用者手势数据，来实现虚拟现实操控。并实现结合虚拟现实设备实现在虚拟三维场景中的计算机操控，实现多种三维虚拟现实场景的虚拟物体碰撞代替传统计算机系统的二维界面和元素的具体技术。

5、课题实现VR设备的可穿戴技术

课题实现通过头戴式虚拟现实显示器、头戴式3D手势输入设备、微型主机等组件构成的可便携式体感系统，使用者可通过设备穿戴或便携轻松使用该套系统。并且可以通过微型主机WIFI联网模块形成和服务器的数据交换。通过使用手势即可进行场景内的虚拟操作。实现同一虚拟场景多个使用者互动。

研究结果与社会效益

1、通过课题研究过程建立黑龙江财经学院虚拟现实实验室

課题研究通过黑龙江财经学院艺术系和哈尔滨寰维科技发展有限公司合作完成，黑龙江财经学院艺术系研究团队主要负责虚拟现实学习内容的开发，哈尔滨寰维科技发展有限公司主要负责虚拟现实技术公关和系统开发。双方建立基于黑龙江财经学院文化创意产业学院的项目研究实验室，长期从事课题的研究和成果转化。

2、设计并实现一种便携式虚拟现实学习系统

课题研究领域涉及虚拟现实技术、体验式学习理论、体感捕捉技术、图形图像渲染引擎研究与应用、虚拟现实成像技术、人体工程学、游戏开发等多个方面学科。课题结合虚拟现实技术的发展趋势和体验式学习的方式与应用研究，实现一种全新的体验式学习方式，通过计算机虚拟各种场景和互动方式来建立直观的、逼真的、感同身受的学习经历体验。

系统硬件部分设计并实现一种便携式的基于虚拟现实和互联网的体感系统，包括头戴式显示器，头戴式陀螺仪，头戴式3D手势体感器，微型主机以及附件组成。

系统软件部分采用C/S即客户端和服务器的架构模式，根据MVC系统框架设计思想构建系统总体框架。研究通过三维虚拟现实环境的操控技术，实现角色在虚拟现实场景的自由运动和UI操作以及物体触碰等控制。实现手势控制，通过三维传感器对使用者手部动作进行捕捉，匹配预设的动作模型来识别手势命令。

研究内容部分通过3Dmax三维模型制作软件设计并制作课题内容的虚拟场景，通过Unity3D虚拟引擎平台以及JavaScript、C#、MySQL等技术，设计并开发系统的具体功能模块和虚拟现实体验式学习内容。

3、课题研究成果采用技术转让和应用产品开发的方式进行转化。成果应用不限于教育学习，也可以应用于产品VR交互、会展VR交互、商业环境VR游历交互等。

（作者单位：黑龙江财经学院艺术系）