基于VR 技术的全三维危险实景动态反馈培训平台

杜志勇

（神华宝日希勒能源有限公司，内蒙古 呼伦贝尔 021025）

安全培训是煤矿安全生产工作中的一项重要保障，培训效果的好坏直接影响到企业的发展稳定，而人是实现安全生产的关键因素[1-3]。从以往发生的安全事故来看，煤矿企业80%以上都是因为违章作业、违章指挥、设计和管理不规范等人的不安全行为造成的。出现这些危险事故很重要的一个原因是相当多的工人安全观念淡薄，缺乏安全生产基本常识，没有自律意识，自我保护能力较差，造成伤亡事故甚至是重特大事故屡屡发生。因此，加强安全教育培训，不断强化全员安全意识，增强全员防范意识，提高从业人员的安全管理水平和操作技能，才能从根本上改变当前煤矿事故多发的现状[4-6]。虚拟现实技术与实际操作培训相融合，不仅能够在沉浸式的虚拟场景中开展煤矿安全事件的学习和应急处置演练，在短时间内能够大幅提升从业人员的安全素质，也避免了资金、人力资源的浪费，有利于企业提高安全管理水平[7-8]。

1 平台设计与使用

1.1 平台搭建

平台总共分为硬件设计和软件开发2 部分。平台结构示意图如图1，全三维危险实景动态反馈培训平台VR 可穿戴设备包括VR 头盔，VR 头盔的上端设置有头带，头带的下端侧边连接有VR 头盔壳体，头带的下端两侧设置有耳机，VR 头盔通过无线蓝牙连接操控手柄。

图1 平台结构示意图

操控手柄背面结构示意图如图2，上端设置有套绳，操控手柄的两侧设置有手柄调节组件。其中VR 头盔壳体内置2 块3.5 英寸AMOLED 屏幕，麦克风、SteamVR 追踪技术、G-sensor 校正、gyroscope陀螺仪、proximity 距离感测器和瞳距感测器，并设置有用于捕获到用户头部运动的精确位置信息的位置传感器。VR 头盔1 采用人体工学设计，可调整镜头距离、瞳距、耳机和头带长度，连接方式包括USB-C 3.0、DP1.2、无线蓝牙3 种。

图2 操控手柄背面结构示意图

全三维实景模型是按照真实场景搭建，模拟真实现场生产过程。通过采取专家意见，选取事故多发典型场景作为应用背景，能够达到提高操作人员安全意识的功能[9]。

与以往的三维动画展示、VR 展示不同是，本平台开发重点在于使用者在虚拟实景中真正参与到事件其中，有改变事件走向的权利，可以在虚拟空间中对典型事故案例进行还原和变向，同时可以在虚拟演练过程中排查危险源。其交互性能包括以下方面：

1）露天煤矿事故案例。提供模拟实景观摩及事故行为预测的功能。

2）露天煤矿危险源排查。按照实际危险源存在模式在虚拟空间中进行高仿真排查。

3）工具选择。通过使用手柄触碰屏幕显示的不同图标，进行事件的触发或危险源的选择，方便直观。

4）深度考核。通过受训人员改变事故走向及危险源排查，实时评测打分，得到实训结果。

1.2 具体使用方式

使用时，操作人员将手套进套绳中，避免操控手柄脱落摔坏，调节手柄组件使之固定。将头带戴在头部，调节VR 头盔壳体内显示屏间距，现场模拟的声音由耳机传输，双手握住操控手柄进行调控，在图形工作站和虚拟现实集成控制器的软件配合下进行全三维危险实景体验及交互。

利用VR 头盔，借助其陀螺仪功能的空间定位相互结合，可以让使用者沉浸在1 个由软件模拟的危险实景环境中。用户穿戴上VR 头盔，拿起手持操控手柄、即进行操作。

2 平台技术特点

1）典型事故案例VR 深度交互。通过VR 交互的功能以及提供事故案例观影模式，可以创新性地采用深度交互模式，同时用户可以触发一系列事件，改变事故的走向，完成虚拟参与到案例其中，深刻感受按规程操作的正确结果和违规操作带来的严重后果。

2）危险源排查VR 实训考核。针对排查危险源的特点，设计了移动-排查-提交的实训交互模式，通过交互手柄找寻危险源，通过交互面板进行危险源的对应选项，通过提交成绩菜单告知实训结果。该培训可以检验员工对设备危险源排查范围和流程的熟悉程度，考察员工对危险源状态和隐患判别认定的准确度，强化各工种员工对自身排查项目的掌握程度。

3）全三维危险实景动态反馈参训平台开发。全三维危险实景动态反馈参训平台是综合涉及到典型案例、危险源排查的虚拟平台，因此针对用户需求其功能不仅有现场观看模式，还有深度交互操作。基于这些特点建立1 个基础的虚拟仿真平台，以达到对整个软件的模型材质、动画制作、导向逻辑控制、操作逻辑控制以及工具调用的协同管理。此平台是以Unity3D 为核心进行开发，内容开发完成后与沉浸式虚拟现实操作平台（VR 头盔套装）进行对接，将内容发布到沉浸式虚拟现实操作平台环境内进行显示，并使用沉浸式虚拟现实操作平台配套交互追踪系统和操作手柄实现虚拟深度交互操作。

4）功能化设计与模块定制。针对事故导向、正确操作和错误操作，从而实现场景功能与应用功能设计，在沉浸式环境中进行人机交互控制，并在符合物理逻辑顺序的基础上，通过导航式触控交互点进入到下一环节。对多个分支的互动操作，由于有些事件过程会出现多个需判断走向的交互分支，因此将采用射线的方式根据提示区的提示选择需要再次交互的程序，选择的程序事件将载入当前环境中。由于现实需求的不断变化，导致新的功能需求出现，或原有的功能需要更新、废除时，满足新需求的功能模块可以随时方便地添加，旧功能模块可以随时快捷地修改、更新、废除。

5）网络基础硬件配置。整体装置由VR 头盔套装、服务器、主交换机、路由器、集成控制器、工作站等构成，在使用场地建立内部局域网，应用系统采用3 层架构，即客户端软件、浏览器/应用服务器/数据库服务器，OOP（面向对象）方式进行基础运行框架搭建。将应用服务器与数据库服务器分离，其间通过高速以太网连接。在客户端部署专用软件及捆绑专用浏览器，主干可通过快速以太网，为大量数据传递、数据查询提供足够带宽。在设计模式上应用了技术领先的MVC 模式，保证了系统的高可扩展及高可维护性等。

3 应用案例

1）煤矿典型事故案例。案例设计以“电铲掉石块砸电缆事故”为例，当电铲车司机即将进行回转操作时（此时为既定动画），驾驶室前挡风出现电子图标（动态效果，提示驾驶员观察四周），同时语音提示（“请遵守铲车作业规范，作业前注意检查作业环境，对现场危险源进行辨识，作业过程中时刻关注地面监护员发出的提示与指令！”）。语音结束后，驾驶室前挡风出现悬浮图标，手柄触碰不同图标，会触发不同事件。触碰观察四周图标后驾驶员将转动驾驶舱，观察到地面监督员正在做旗语动作，提示地面有电缆，规避掉事故风险（动画）。而触碰盲目操作图标驾驶员将盲目操作，未能观察到监督员提示信息，进入既定动画播放流程（事故发生）。

2）露天煤矿危险源排查。危险源排查以平路机检查为例。预设危险源位置，且均集中于设备外观可见部位，不涉及内部结构。经过主动观察发现危险源后按压控制键，触发选择项会直观的在界面显示出来。通过固定语音提示，能够判断危险源是否存在隐患；进而根据语音提示，指示隐患事由，判断是否选择为潜在危险要素。最后现场给出考核成绩单。

4 结语

基于VR 技术的全三维危险实景动态反馈培训平台利用最新的VR 虚拟现实软件技术、HMD（头戴式可视设备Head Mount Display）设备及高端图形工作站，建立“全三维危险实景动态反馈参训平台”，大力改善了神宝能源露天煤矿培训数字化程度，确实提高了企业培训效率和水平，可以真正帮助实现企业安全生产，助力企业进入数智化新时代。