基于VR 技术的矿山救援小队在线协同训练系统设计及实现

2023-10-07孙云川蒋旭刚

煤矿安全 2023年9期

孙云川，刘雄，唐聃，蒋旭刚，魏晓

（中煤科工集团重庆研究院有限公司，重庆 400037）

作为处理矿山灾变事故的重要组织，矿山救援队能否发挥积极有效的作用取决于平时的训练效果。目前，指战员的训练主要包括基础业务学习和实战训练2 部分[1]。其中基础业务主要是思想政治、心理素质、体能、装备管理以及一般技术操作等方面的学习，提升个人的技战术水平。实战训练则是以救援小队的形式，模拟实际的灾变环境，锻炼每位指战员的综合实战执行能力和协同作战能力。

目前构建演习巷道的实战训练方式，普遍存在动态灾变环境的模拟程度不高、场景固定、

演练成本高、考核难度大、存在安全隐患等问题。随着计算机技术的发展，利用虚拟现实（VR）技术进行灾变环境模拟，进行相关业务的模拟训练，是一种新型的培训模式。刘雄等[2-3]、侯建明等[4]基于虚拟现实技术开发了矿山救援医疗急救培训系统，通过在复杂环境中对复杂伤情进行伤口包扎、骨折固定、止血方法、心肺复苏等训练，提高救护队员的现场急救能力；刘晓丹等[5]、张慧等[6]利用套接字技术实现多人在线交互演练，进行多行业协同的城市运行安全突发事件应急演练；鄢阳等[7]、王亮等[8]、王辉东等[9]、苏雷涛等[10]、陈益等[11]在电力行业应用VR 技术，如电缆接头的理论学习、电缆接头制作、故障检修等培训，降低了风险，提高了作业人员动作标准化程度；戴红芬等[12]、王进嘉等[13]开发了心血管介入仿真模拟系统，模拟导丝介入手术，具有较好的仿真模拟效果；刘广文[14]、牛坤等[15]基于VR 技术进行机车驾驶模拟演练研究，使培训人员在三维仿真的驾驶环境下进行反复的学习演练，熟悉机车操纵流程和检查标准化作业。

为此，设计了基于VR 技术的矿山救援小队在线协同训练系统，利用虚拟现实技术呈现高级视觉环境，模拟实际场地所不能模拟的救灾场景，使得救援小队在零风险情况下根据自己的角色分工及灾害类型选择合适的救援装备，进行标注矿图、侦察灾区、抢救遇险遇难人员、处置灾害等救援任务，同时系统将进行智能考核评价，查找不足和问题所在，更好地提高指战员的综合实战执行能力和协同作战能力。

1 系统总体设计

1.1 系统架构

矿山救援小队在线协同训练系统架构设计图如图1。整个系统架构由用户层、表现层、业务逻辑层以及数据访问层组成。

图1 矿山救援小队在线协同训练系统架构设计图Fig.1 Architecture design of online collaborative training system for mine rescue team

用户层主要是根据训练队员、指挥员、裁判员、管理员和观众5 种用户角色设计，根据不同角色功能需求，选用合适的硬件设备，保证良好交互体验效果；表现层主要是针对特定用户采取的硬件设备，根据需要满足的功能，设计良好的交互管理界面及展示场景，其中包括三维实时渲染界面、二维窗口功能界面等，该层将软件进行可视化，相当于整个系统的门户；业务逻辑层主要是程序数据分析和脚本控制等模块构成，主要表现界面按钮的逻辑关系，实现数据的同步传输、调用、运算等功能；数据访问层主要由相关的相关资源库构成，通过存储相关场景模型、考题、评分规则和日志等资源，供业务逻辑层进行调用，是整个软件的基础。

1.2 系统内容

系统训练内容将严格按照矿山救援比武标准设计，以实际救援流程为蓝本，涵盖领取任务、站前检查、建立井下基地、灾区侦查、医疗急救和灾害处置等内容。整个内容设计上既保证了整体流程的一致性，同时又根据灾害场景变化，将井下训练内容进行随机搭配，从而保证训练内容的多变性，实现“变”与“不变”的有机统一。具体为：

1）领取任务和装备。①领取任务：考核要点为语音口述传达任务及相关注意事项；②领取装备：考核要点为根据灾害类别，领取相应的装备。

2）站前检查。氧气呼吸器自检、互检试题：考核要点为客观弹题考核氧气呼吸器自检、互检的注意事项。

3）建立井下基地。选择下井点：考核要点为井下基地的建设要点。

4）灾区侦察。①侦察路线：考核要点为排成1 队，斜着前行，队长在前，副队长在后，相互看到，中间无遮挡；②测气：考核要点为测气位置、操作要求；③测风：考核要点为位置、电子风表的操作要求、注意事项；④顶板检测：考核要点为位置、正确操作方法；⑤矿图标注：考核要点为位置、矿图标识识别；⑥现场标注：考核要点为位置、标注内容要点；⑦通讯信息：考核要点为是否汇报、汇报内容是否匹配、是否同意；⑧温度检测：考核要点为位置、设备的使用；⑨采集气样：考核要点为位置、设备的使用。

5）医疗急救。遇难和遇困人员：考核要点为考察相关人员的处置流程，包括判断现场环境、判断伤员意识、佩戴2 h 正压呼吸器、救治伤员、担架转移等。

6）灾害处置。①火灾：考核要点为考察大火和小伙不同的处置方式，包括干粉灭火器灭火使用方法、打板闭、建风障等间接灭火流程；②顶板支护：考核要点为液压手动泵的使用要点；③水灾：考核要点为潜水泵的使用要点；④瓦斯超标区：考核要点为风排瓦斯的要点；⑤烟雾区：考核要点为风排烟雾的要点。

1.3 系统功能

系统在整个架构设计的基础上，进一步分析各模块的功能需求，通过搭建Host 服务器控制整个程序流程及各个模块之间的协作。系统功能模块包括总控、网络、多角色管理、相机管理、场景管理、交互提醒、人物动画、实时语音、角色状态、装备管理、地图、矿图标注、场景标注、时间管理、考核功能、日志和生成报告等功能模块，各功能模块通过脚本控制实现其逻辑化，再设计其界面实现交互可视化，从而使得达到日常训练、观摩和竞赛的目的。具体为：

1）总控功能。控制整个程序流程及各个模块之间的协作。

2）网络功能。搭建Host 服务器；广播服务器信息；同步客户端所有数据；发送和接收所有数据包；处理网络数据逻辑等。

3）多角色管理功能。救援小队成员、指挥员、裁判员、观摩员、管理员等多角色。

4）相机管理功能。视角切换，矿图标注、日志、矿图人物位置等UI 显示。

5）场景管理功能。演练场景切换：地上场景，地下场景，系统中预设多个场景，队伍随机抽选。

6）交互提醒功能。手柄上各按键功能提醒、PC端各功能模块提醒、场景中可交互对象提醒功能。

7）人物动画功能。人物动画的站立行走动作等与VR 头盔和手部的IK 匹配；人物通过网络模块实现人物动画同步。

8）实时语音功能。实时语音同步交流。

9）角色状态功能。模拟人物的状态信息。

10）装备管理功能。管理队员随身携带装备，装备包含质量，概率损坏等数据，并与技能配合使用。

11）地图功能。UI 显示地下场景小地图功能。

12）矿图标注功能。UI 显示地下场景小地图，并在上面标注各种事件图标。

13）场景标注。场景中面对巷道或者在标注板上，标注需求信息。

14）时间管理。模拟巷道中操作时间消耗等信息，模拟时间消耗。

15）考核功能。根据考核内容进行智能考核评价。

16）日志功能。管理所有的队员操作记录，包括操作时间、操作地点、操作人员等。

17）生成报告功能。矿图记录数据、技能操作记录数据、技能操作在矿图的位置信息数据、题答题记录数据等。

2 系统实现

2.1 实现途径

系统实现途径整体设计图如图2。

首先，管理人员将通过后台数据管理模块进行救援小队训练任务的发布，其中包括训练队伍、时长和场景的安排；然后，救援小队队员、指挥员、裁判和观众等各角色分别从对应的端口进行登录，其中以救援小队VR 协同演练为中心，指挥员负责控制整体演练进程和指令下达，队员进入发布的场景中进行选择装备、灾区侦查、矿图标注、抢救人员和灾害处理等训练，其训练内容将实时同步到裁判端和观摩端，伴随语音播报，供参观、学习和考核；同时，系统内部将演练的操作进行记录，并自动考核，演练结束之后给出成绩；最后，将演练的日志、成绩以及音视频资料上传服务器，通过后台进行统一管理，针对性提高救援小队协同作战能力。

2.2 实现过程

2.2.1 构建场景模型

场景模型制作流程示意图如图3。

图3 场景模型制作流程示意图Fig.3 Schematic diagram of scene model production process

利用3dsmax 软件构建煤矿虚拟现实模型，进行巷道的类型、位置、大小、形状、支护形式等编辑，实时生成巷道模型，并建立相应的模型数据库、任务预置体，实时生成井巷内伤员、灾害（煤矿瓦斯灾害、水灾、火灾、顶板灾害等）位置等，通过该数据库可以构建不同条件下、不同灾害类型的煤矿救援现场动态灾变场景，满足复杂条件下的多人协同训练。在此基础上，利用Unity3D虚拟现实开发平台，结合煤矿虚拟现实模型，实现动态灾变环境重建功能，并能模拟随时间和空间的变化而不断变化的动态灾变环境，同时，场景也能随任务完成度的变化不断发生变化。

系统场景包括煤矿综采工作面、掘进工作面、变电所、井底车场等，其中涉及装备、设施种类繁多，其对应的碰撞体与模型本身还不尽相同。因此在程序开发过程中，需要经过大量的人工测试，减少“孤岛”、“狭口”、“阶梯”和“黑洞”等现象，确保演练流程顺利以及良好交互。通过碰撞体检测算法，辅助开发人员进行自测和调试，提高场景测试的效率和准确率。

碰撞体检测技术实现效果如下：

1）“孤岛”效应。判断碰撞体局部形成的单独空间，采用高亮的提示效果展示，帮助开发人员确定该区域是否需要联通，避免该区域任务不能触发，导致演练进程中断。

2）“狭口”效应。判断人物碰撞体的大小，给予一定的富裕指数（人为设置），然后检测场景内连通道，判断是否满足人物碰撞体的需求，对不符合要求的区域进行高亮提示，供开发人员再次判断和修改。

3）“阶梯”效应。输入碰撞体高度值，进行检索，供开发人员判断是否需要对其做斜坡平滑处理，解决VR 万向移动平台不具备跳跃功能问题。

4）“黑洞”效应。判断巷道穿模导致局部面片脱落的情况，并高亮显示，辅助开发人员进行模型优化，其中在一些复杂、大角度交叉的巷道口容易出现。

2.2.2 VR 交互

系统采用VR 万向行走平台、VR 手柄和头盔等设备实现交互操作。为保证良好的VR 交互体验效果，从硬件设备、场景构建、交互功能设计和辅助教学4 个方面进行考量，实现界面、语音、边缘闪烁提示、射线、动画的良好体验效果。同时，针对使用VR 万向行走平台不习惯的用户，设计多种交互方式供选择，力求简化操作，方便控制。

1）行走控制。通过VR 万向行动平台可实现360°旋转和踏步行走功能，更符合行为习惯；同时也提供手柄圆盘交互方式，采用“上、下、左、右”控制方向，更易于上手。

2）IK 动画匹配。通过代码任意控制模型的手、脚、头，从而实现采集气样、检测气体、敲帮问顶、矿图标注、医疗急救等，展示医疗急救过程中探脉搏、消毒的技术操作。

2.2.3 智能考核评价

严格遵循矿山救援规程考核标准和矿山救援比武评分标准，设置考核点、分值、难易等级、难易比例，形成评分规则数据库。以任务区为核心概念，进行任务逻辑的构建，演练过程中系统自动记录个人和队伍的操作，并计入演练日志数据库，以设定的任务逻辑为蓝本比对实际完成情况，进行计分。对于不能用任务区的形式考核的要点，比如行进队列、话术应用等内容，采用裁判员进行主观评分，同时录入对应的分值系统，由系统进行最后统一折算。智能考核评估的实现路径图如图4。