基于VR技术的智能实验操作系统研究

刘煜，杨建，李志强

（鄂尔多斯应用技术学院，内蒙古 鄂尔多斯 017020）

0 引言

将VR技术与实验教学相结合是当下的研究热点之一，实验教学无论是在中学教育还是高等教育过程中始终是一项核心的教学环节。以普通高校为例，实验室既是开展实验教学，研究新型技术的地点，也是锻炼学生实践能力，提高学生自主思考和解决难题能力的绝佳场所。实验属于实践一类，将教师讲述的知识应用到现实中，可以更好地使同学接受新知识，提高学生的创新能力和综合素质。近年来，我国在科技领域高速发展，对具有深度研究能力人才的需求也是持续增长。我国高校的招生人数逐年都在增加，学校的实验室负担极大，超负荷运行更会加快设备的损坏程度。

2017年4月，在天津大学举办的工科建设研讨会上，全体参会人一致认为：为保证国家持续稳定发展，同时在一些尖端领域占有一席之地，就必须培养造就一大批多样化、创新型卓越工程科技人才。自改革开放以来，我国的发展非常迅速，因此也急需一大批在领域内具有高水平操作能力的人才来继续保持这种发展势头。实践能力在学生的综合评价中占据着重要地位，将理论充分运用到实践之中，确保学生就业后不是只会“纸上谈兵”之人。目前的高校实验教学存在诸多问题，如：实验教学资源不足，学生对实验课重视程度不够，实验内容主要以验证性实验为主，实验考核方式不够合理等。实验教学中的硬件资源，如实验室的环境、实验设备等是制约实验室发展的重要因素之一。以通信类专业为例，实验设备多为电子器件，器材制造精密，轻微磕碰或者通电时间过长都会导致实验结果的偏差，为保证偏差结果不会误导学生，通常以缩短器材使用周期来换取结果的可靠性，这是一个恶性循环[1]。

1 VR技术与实验操作的结合

本文所述的系统是以数电实验为操作模板。将VR技术引入到电路实验教学中，通过3Dmax建模软件将电路实验所需要的基本器件和设备按1：1比例进行建模。根据不同的实验需求进行电路的预先搭建，并在初学者常出现的错误之处进行提示操作，对常见问题（如短路、断路等）的后果进行实时展现，让体验者切身实地地感受误操作可能会对实验结果带来的影响。该系统可强化安全操作意识，使学生熟练掌握实验操作流程，培养学生解决实际问题的能力，从而达到保护器材，理论联系实际，加强学生实践操作能力的目的[2]。

2 基于VR技术的智能实验操作系统功能

根据当前学生实验操作中普遍存在的问题，基于VR技术的实验操作系统可分为以下四个功能模块。

2.1 学习模式

在学习模式中系统会根据体验者选择的实验内容进行文档解读，包括实验流程介绍、注意事项、所需器材及规格等，同时有选择性地观看专业实验员对该实验的操作视频和要点介绍等。

2.2 实操模式

在学习模式跟学完成之后，体验者就可以进行实操。该模式下，体验者头戴VR头盔，手持手柄在虚拟实验室场景中进行操作。虚拟场景中存在与视频讲解中的设备一样的按等比例建模出的实验台，电子器件和学生电源等，同时前置黑板上有详细的实验操作流程，如体验者在实操过程中有疑问或者无从下手时可以随时观看讲解视频和文档。同时系统具有错误提示功能，如果在某一环节体验者出现错误，场景中会悬浮出提示框进行提示[3]。

2.3 考试模式

在进行完学习和体验之后，学生可以根据自身情况或者老师要求进行考试。考试过程中无任何提示功能，真实检验学生的学习情况和动手能力，方便学生对实验内容进行总结，加深实验印象。

2.4 扩展模式

该模式下学生可以自由发挥，不受实验内容的限制，学生可以自由发挥想法进行电路搭建，极大提高学生探索兴趣和创新能力。

3 基于VR技术的智能实验操作系统总体设计

3.1 运行系统及软件介绍

实验操作系统是以极限矩阵猎豹V8台式主机作为系统运行主机，搭载了一颗拥有四核八线程、主频高达3.4GHz的i5-6700CPU，配以8GB的DDR4高速内存和512GSSD的存储，计算机操作系统为windows10专业版，在硬件和软件方面尽最大程度保证系统的流畅运行。开发软件为由U-T公司开发、市面上目前最主流的VR虚拟现实开发软件——Unity3D。本文所用的开发软件提供运行时的音频、特效、渲染服务。套件采用HTC公司于2017年推出的VR头显产品—HTCVIVE。头显的刷新率高，佩戴两个无线定位器，可实时确定用户的位置和手部动作。实验室模拟图形搭建软件采用Discreet公司开发的3DMax建模软件，其具有设计方案更全面，导出文件格式融合性高等优点[4]。

3.2 系统总体架构

系统共分为五层，各层次说明如下：

（1）软件层：软件运行于微软电脑操作平台上，使用steamVR提供基础的驱动程序。

（2）引擎层：Unity3D为软件提供动画渲染支持，包括视频、音频和振动反馈等

（3）硬件层：VR头盔设备、手持手柄和入耳式耳机构成体验系统硬件部分。

（4）服务层：软件层、引擎层和硬件层同时为服务层服务，服务层提供视觉管理，音频管理，UI管理和玩家管理。视觉管理提供最真实的虚拟现实场景；音频管理则根据场景中显示情况的不同提供音频的破防，停止和混响功能；UI管理提供了软件的初始化界面和操作界面；玩家管理提供了角色的控制，引导功能。

（5）应用层：不同的实验内容及事故体验的具体实现。

3.3 系统交互设计

（1）用Unity3D进行虚拟实验室及实验器材的绘制，对虚拟场景进行优化处理。

（2）进行交互的流程设计，完善判断条件，将交互设计储存成文档，把各个场景串起来，完成交互模型。

（3）在场景中设计各种事故触发点，用户可以主动通过手柄按钮触发事故，也可以在连接过程中判断器件交互是否正确来触发事故，如短路、虚接、电流过大等。

3.4 系统软件设计流程

系统开发软件为Unity3D，逻辑实现语言为C#，开发流程图如图1所示。

图1 系统开发流程图

3.5 系统硬件

该系统的硬件成分包含：VR头盔、两个操作手柄、VR位置跟踪器设备和入耳式耳机。VR头盔和入耳式耳机作为系统的输出设备，实现了视觉和听觉上的模拟。操作手柄和VR位置跟踪器设备作为系统的输入，采集用户手部动作和位置，在虚拟场景中以人手的形式展现出来。VR位置跟踪器主要为红外线定位器，它的基本原理就是在矩形空间内安装两个可发射远红外的装置，对空间快速发射感应光线，VR头盔和手柄中放置了多个光线接收装置，通过计算光线到达接收器的时间以及角度，计算机就可以得到使用者在定位器范围内的坐标，也就得到了动作信息，完成动作的捕捉，设备如图2和图3所示。

图2 HTCVIVE手柄示意图

图3 HTCVIVE定位器示意图

4 基于VR技术的智能实验操作系统的实际应用

在实际的操作中，一套上述中的电脑和一套HTCVIVE在约4平方米的空间内设备就可以进行操作。首先连接好VR头盔和主机，打开系统软件，体验者头戴VR头盔，用VR手柄进行操作，选择好要操作的实验项目后进入体验场景。在场景内可以以第一视角向任意方向行走，场景中会通过手柄发出指示前进的光线，如果手柄的扳机按下，场景中的人员就会到达该区域，随后就可以通过扳机模拟手部的抓取动作，将器件放到相应的位置进行连接，完成后就可以打开开关，进行查验。同时还能以第三视角体验事故还原，总结错误发生原因，避免在以后的实验中发生类似的事故。目前系统已实现上述功能，完整了重现了实际实验操作过程[5]。

5 结语

基于VR技术的智能实验操作系统以模拟实验为基础，以虚拟现实技术为支撑，搭建了按1：1还原的实验室场景和实验器材，结合VR头盔和手柄实现了人的行走和手部的抓取，让体验者有更加逼真的感受，从而增加体验者的实操兴趣，提高学生的安全意识，避免基础错误的发生，极大程度减小对昂贵实验器材的损害。将VR技术与现实高度结合，不仅提高了学生的动手实践能力，而且极大程度上推动了学生的发展。