基于VR技术的工程图学移动学习系统

刘 伟， 杜 强， 张顺心， 张建军

(河北工业大学机械工程学院，天津 300130)

基于VR技术的工程图学移动学习系统

刘 伟， 杜 强， 张顺心， 张建军

(河北工业大学机械工程学院，天津 300130)

基于虚拟现实(VR)技术，利用JPCT-AE三维引擎、3DsMAX以及 OpenGL ES 2.0等工具，开发出应用于Android平台移动终端的工程图学移动学习系统，详细描述了系统的底层结构、功能及技术开发方案。针对工程图学课程的认知规律开发了分屏功能，使多媒体影音讲解与立体虚拟模型同屏展示，同时实现了对虚拟模型的交互控制。

虚拟现实；工程图学；虚拟模型；分屏功能

移动学习[1](mobile-learning)是一种基于无线网络和移动终端的新型学习方式，具有可携带性、无线性、移动性、便捷性等特点；基于虚拟现实(virtual reality，VR)技术的移动学习模式具有传统学习所没有的高度沉浸感、交互性、移动性等优点。

随着智能终端硬件性能的快速提高，基于移动设备的3D图像处理能力也越来越受到人们的重视，为虚拟现实在移动设备上的发展提供了机会。早在1997年芬兰奥卢大学(University of Oulu)VTT电子研究中心首次提出了虚拟现实移动化的概念，并研究了基于蜂窝数据网络的无线数据传输，制订了相应的协议体系[2]；Wang等[3]将移动网络和虚拟现实技术相结合，提出移动虚拟空间(virtual model phone design space，VMPDS)，实现移动平台虚拟模型数据库的扩展；Vélaz等[4]将VR技术应用到机械工程教学中，深入探讨了交互技术对教学过程的影响。

近年来，国内许多研究机构在紧跟国际虚拟现实新技术的同时也积极将虚拟现实技术应用到移动平台，Ma等[5-6]针对移动硬件平台，提出了虚拟化身的分布式渲染技术，采用动作层次细节(levels of detail，LOD)模型和替代物技术相结合的方法进行压缩数据，实现3D模型在移动平台实时渲染；叶琳等[7-10]探讨了虚拟模型造型技术，并建立机械制图虚拟模型室；邱龙辉等[11]利用Direct3D Mobile开发出基于Windows Mobile平台的工程图学虚拟模型库，加载VRML虚拟模型，实现虚拟模型在移动设备的显示。

综上分析，国内外针对VR的研究多是独立于移动平台，在移动教学领域也没有得到广泛应用，本文将VR技术应用于工程图学教学领域，设计并开发出一款基于 VR技术的工程图学移动学习系统，针对工程图学课程的认知规律开发了分屏功能，使多媒体影音讲解与立体虚拟模型同屏展示，同时实现了对虚拟模型的交互控制，在Android智能终端构造出真实的学习情境，有助于学生获得较好的学习体验和学习效果。

1 底层结构

工程图学移动学习系统开发应用平台为Android，该移动学习系统底层结构如图1所示，当用户根据需要，用手指触控用户界面时，系统会发送请求至服务器业务逻辑层，分析并处理界面请求数据后，会对数据访问层发出相应的指令，调用Mssql与Access数据库，通过无线网络传输至Android设备上，可保证数据传输的效率和传输过程的稳定性。

图1 底层结构设计

2 系统方案

工程图学移动学习系统主要用于辅助教学，目的是为了加强学生对立体模型的理解，提高学生在空间和平面之间的思维转换能力，同时该系统也可以帮助学生有效利用碎片化时间进行学习。系统分为硬件系统、网络协同、软件平台 3部分，系统方案设计如图2所示。

图2 系统方案设计

2.1 系统功能

工程图学移动学习系统，设计理念立足于移动学习模式，基于VR技术进行开发，分为4个模块：多媒体教学模块、立体模型库模块、绘图练习模块和讨论与评价模块，实现如下功能：

(1) 重要知识点的视频讲解，可随时调出相关立体模型，与视频讲解实时分屏交互演示；

(2) 模型演示支持多点触控，可实现虚拟模型的缩放、旋转、正交与透视投影等交互操作，并能够实现虚拟模型亮度调节；

(3) 提供实时绘图练习功能，可随时调出答案及相关立体模型进行参考对照；

(4) 学生通过系统提交学习过程中所产生的问题，与教师进行实时交流。

2.2 软件开发

基于移动学习系统的功能要求，软件开发综合考虑 Android设备的硬件性能以及软件的兼容性，具体方案如图3所示。

(1) 以Eclipse作为开发平台，配置JDK (Java Development Kit)和 Android SDK (Software Development Kit)安装环境，安装 Android 插件ADT (Android Development Tools)，创建 AVD (Android Virtual Device)。

(2) 使用 Solidworks建立三维模型，在3DsMAX进行贴图处理，通过JPCT-AE与OpenGL ES 2.0将其导入移动虚拟现实系统中，并实现人机交互。

(3) 工程图学移动学习系统视觉模块，主要通是过Multimedia技术实现视频播放，为了实现系统功能，减小应用软件体积，视频选用 MP4格式。

(4) 工程图学移动学习系统触觉模块使用MotionEvent，并在多点触控技术的支持下，实现手势与模型的交互操作。

图3 软件开发方案

3 系统流程

利用三维设计软件Solidworks建立三维模型，导入3DsMAX中做贴图及纹理处理，得到虚拟模型，利用JPCT-AE与OpenGL ES 2.0、MotionEvent等工具与插件实现模型在 Android设备上的显示与交互。系统的详细开发流程如图4所示。

3.1 虚拟模型制作

3DsMAX建立的模型很难达到机械产品的技术要求，而 Solidworks建立的几何模型又无法直接转换为虚拟现实模型。因此，基于优势互补理念[12]，利用Solidworks建立模型后，导入3DsMAX中进行模型转化与材质优化，最终会使得模型在Android设备上显示更加细腻，色彩更加鲜明。

3.2 模型加载与显示

JPCT-AE是一种封装了OpenGL ES的三维引擎，是JPCT在Android平台上的移植版本，拥有强大的3D解决方案，World类是JPCT-AE最重要的一个类，其包含的对象和光线定义了 JPCT-AE的场景；在3DsMAX中得到虚拟模型与颜色后，利用该引擎将其载入到移动虚拟现实系统中，由Object3D 加载模型到 World 类中，通过SetAmbientLight与 SetIntensity设置环境光源强度，控制场景明暗，这样就建立了JPCT-AE引擎环境，实现模型在虚拟场景中的加载。

本文是通过JPCT-AE加载模型，并联合OpenGL ES 2.0设置Camera实现模型显示以及不同模式之间的转换，并使用MotionEvent进行模型控制，实现模型缩放、正交与透视等交互。图 5为虚拟模型在Android设备上的显示效果，所用设备为联想智能手机，CPU主频为1.2 GHz，运行内存1 GB，屏幕分辨率为960×540，操作系统为Android 4.2.2。

图4 系统开发流程

图5 模型展示

3.3 分屏教学

基于OpenGL ES 2.0所实现的分屏教学模式是工程图学移动学习系统的核心。

分屏教学的实现：①在程序界面设置并定义mGLView，通过Loadobj( )与Camera实现三维模型在 mGLView中显示；②在模型下方添加底部View，定义为 vGLView，通过 frameLayout.add View( )将教学视频添加到vGLView中，通过设定mGLView的大小比例，实现分屏显示；③依靠重力感应，通过判断Android设备的横屏与竖屏，实现不同的效果，当竖屏时可以规定模型占屏幕的50%，进行分屏，而当横屏时则规定授课视频铺满全屏幕。图 6为竖屏状态下的分屏显示，屏幕的上下两部分可同时操作，互不影响。

图6 分屏教学

4 结 论

本文在Android平台下开发的“工程图学移动学习系统”，充分利用了JPCT-AE三维引擎强大的向下兼容性以及轻量化的优点，并将其应用于工程图学的移动教学领域。根据工程图学教学特点和认知规律，设计实现了立体模型与视频教学在同一界面下的实时分屏演示，并能够对立体模型进行缩放、旋转、正交投影的交互操作，同时还具备实时绘图练习的功能，方便学生随时随地进行学习。河北工业大学在2015年将工程图学移动学习系统应用到工程图学的教学实践中，教学计划采用多媒体教学、实验平台教学以及移动学习系统相结合的模式，取代以往传统的多媒体影音教学；学生运用移动学习系统在Android终端主动学习，经过一个学期的学习后，学生的学习兴趣与学习积极性得到提升，学习成绩有所提高。

本文是VR在教育领域的应用一种实践探索，基于 VR技术的移动学习模式具有传统学习所没有的虚拟性、交互性、移动性等优点，虚拟现实技术与移动学习在教育领域的结合将是未来教育的一种发展趋势。

[1] Zhang Y K, Wei C M. Research of adults’ M-learning based on mobile phone [J]. Advanced Materials Research, 2013, (9): 14-15.

[2] Pyssysalo T, Pulli P. A Picocell-based architecture for a real-time mobile virtual reality [C]//Proceedings 9th Euromicro Workshop on Real Time Systems, June. 11-13, 1997. Los Alamitos: IEEE Computer Society Press, 1997: 144-151.

[3] Wang P J, Bjärnemo R, Motte D. A web-based interactive virtual environment for mobile phone customization [J]. Journal of Computing and Information Science in Engineering, 2005, (5): 67-70.

[4] Vélaz Y, A Rce J R, Gutiérrez T, et al. The influence of interaction technology on the learning of assembly tasks using virtual reality [J]. Journal of Computing and Information Science in Engineering, 2014, 14(4): 36-44.

[5] Ma J, Zhu H J, Gong J H. Study of navigation based on intelligent avatar with mobile virtual reality [C]//IET International Conference on Wireless Mobile and Multimedia Networks Proceedings, Nov. 6-9, 2006, Hangzhou, China. New York: IEEE Press, 2006: 435-439.

[6] 马 骏, 朱衡君, 韩景芸, 等. 移动虚拟现实中虚拟化身的分布式渲染[J]. 北京工业大学学报, 2007, 33(10): 33-37.

[7] 叶 琳. 机械制图虚拟现实网络模型室的建立[J]. 工程图学学报, 2002, 22(3): 202-206.

[8] 冯桂珍, 池建斌. 基于 Web的虚拟现实模型创建工具[J]. 工程图学学报, 2004, 24(3): 30-34.

[9] 冯桂珍, 池建斌, 王大鸣, 等. 基于 Web的机械制图虚拟模型库的构建[J]. 工程图学学报, 2008, 29(6): 149-153.

[10] 张向华, 董晓英, 叶 霞, 等. 基于 VRML的虚拟现实技术在远程教育中的应用[J]. 装备制造技术, 2012, (12): 194-197.

[11] 邱龙辉, 楚建明, 叶 琳. 基于智能手机的工程图学虚拟模型库的研究与实现[J]. 图学学报, 2013, 34(1): 83-86.

[12] 刘加妹, 周志坚, 甄 苓. 多媒体教学与传统教学优势互补的探讨[J]. 大学数学, 2005, 21(6): 32-35.

Mobile Learning System of Engineering Graphics Based on VR Technology

Liu Wei, Du Qiang, Zhang Shunxin, Zhang Jianjun
(School of Mechanical Engineering, Hebei University of Technology, Tianjin 300130, China)

In the perspective of the cognitive process and the demand of diverse learning needs in the future, this paper presents a mobile learning system of engineering graphics based on the android platform and describes the main program of underlying structure, function and technology solutions. The mobile learning system of engineering graphics is designed based on virtual reality (VR), which is combined with JPCT-AE 3D engine, 3DsMAX and OpenGL ES 2.0 on the mobile terminals. In particular, according to the cognitive rules of engineering graphics course, this kind of application is characterized by split-screen function that displays multimedia and 3D virtual models at the same time. It also achieves interactive control of virtual models.

virtual reality; engineering graphics; virtual model; split-screen function

TB 23

10.11996/JG.j.2095-302X.2016060857

A

2095-302X(2016)06-0857-05

2016-05-17；定稿日期：2016-06-27

河北省高等教育教学改革研究与实践项目(2015GJJG016)

刘 伟(1978−)，男，河北献县人，讲师，博士。主要研究方向为并联机器人、计算机图形学。E-mail：buaawei@126.com

张建军(1971−)，男，河北沧州人，教授，博士，博士生导师。主要研究方向为并联机构、机构学。E-mail：zhjjun96@139.com