基于混合现实技术构建排爆训练平台的研究

孙博祥 武警部队特种警察学院

引言

排爆是指专业排爆人员对所有爆炸物或疑似爆炸物的识别、转移、拆解、摧毁或销毁，使其失去爆炸性能的行为，简述为排除爆炸物。排爆是军警部队担负的一项特殊任务，使命光荣、责任重大、危险性高，并且危险性是即时的、致命的。在排爆过程中，判断错误或操作失误导致的后果是不可逆的，更是不可重复和弥补的，因此有必要对排爆人员进行接近于实战的训练，采取相应的训练，避免或减少排爆人员因训练不到位而造成的错误与失误，达到成功排爆的预期目的。计算机科学技术和虚拟技术为安全排爆和训练提供了更多新的技术和方法。这不仅确保了训练排爆技能，还保证了参训人员的安全，同时解决了排爆训练中的实践操作训练难实施等诸多难题。

一、混合现实技术解决排爆训练难题

目前，排爆训练的装备器材运用，以实装操作为主要方法，包括手工拆除爆炸物，主要爆炸物实物组件和雷管、炸药替代物进行模拟爆炸物制作和拆除训练。该方式存在装备器材磨损快、经费保障困难等问题，尤其手工拆除爆炸物训练，进入模拟实战阶段，运用点火头代替电雷管，适量火药代替炸药，具有一定的危险性。

混合现实技术（MR）可以将图形化显示与虚拟能效数据完美结合。目前，混合现实技术在虚拟仿真训练上有着较为成熟的技术应用。混合现实技术，通过为用户提供图像、声音、特效等方式模拟真实环境，同时结合空中鼠标、手势识别及力反馈设备，能够有效地克服时间因素以及空间因素的限制与约束，使得虚拟空间和现实空间得到有效的融合，用自然的方式与虚拟环境进行交互操作，拥有很强的身临其境感，改变了过去排爆人员除了亲身经历，就只能间接了解环境的模式，从而有效的扩展了其认知手段和领域。

?

将混合现实技术应用到排爆训练中，可有效消除安全隐患，沉浸式的体验培训也可大大提升训练效率，能够更好的解决排爆学习及实际操作训练，并降低训练成本。此外，该技术的应用还可以避免排爆装备器材操作以及手工拆除爆炸物训练，丰富排爆不同环境场景适应性训练，进行排爆行动组织指挥训练，开展排爆模拟演练，在训练中建立排爆人员的综合技能数据，并针对弱项强化练习，在实战场景下引导经验不足者进行排爆训练，并开展综合能力评估。

二、整体设计

基于混合现实技术的爆炸物拆除训练平台，通过为用户提供图像、声音、特效等方式模拟真实环境，使得虚拟空间和现实空间得到有效的融合，用户由此拥有很强的身临其境感。使用者可通过MR眼镜来观察设置好的虚拟场景，该场景可以根据训练需要设置，并且单人设备设定了通讯功能。单人眼镜中看到的画面除了真实的物体以外，还有由电脑计算渲染出来的高清晰度、大视场角的虚拟场景内容，并为用户提供了带跟踪的手持式手柄，可用于与虚拟环境物体进行交互。该系统集成了显示、跟踪、交互、计算等多种设备，可以极大提升训练的逼真度和训练效果。

（一）具备功能

1.排爆数据库

根据可提供的爆炸物资料，使用3DMAX对每个爆炸物建立三维模型，导出FBX（第一次使用应该写出全名）文件。对每个爆炸物建立电子数据档案，应当包括可提供资料里的所有数据项（如型号、尺寸、引爆方式、拆解步骤等）。根据上述资料的数据量，建立对应规模的数据库以及排爆设备和排爆人员相应的数据库。

2.虚拟仿真教学导航系统

将3DMAX导出的FBX文件导入Unity，建立素材文档。设计教学关卡或教学视频，具体形式待定。为了让使用者查看和了解每种爆炸物，教学内容应当涉及爆炸物的所有数据项。

3.爆炸物在线识别与实训系统

获取若干爆炸物模型的图片。利用基于神经网络的物体识别算法（Resnet50/ Fusion Net等）训练物体识别模型。构建接近真实场景的1:1实训场景，用来练习和测试排爆技能。

4.MR交互

使用者佩戴设备即可以MR方式体验虚拟仿真系统，具体API参考Unity支持的MR硬件。

（二）系统构建

系统构建包括：（1）建立爆炸物的三维模型和资料的数据库；（2）利用MR眼镜自带相机获取爆炸物图像；（3）通过模型识别出对应的爆炸物模型，并以此从数据库中获取对应爆炸物的信息；（4）利用硬件的投影技术，配以交互UI界面，使用者能够完成对排爆的教学体验和实训体验。

（三）所需软件

需要VS2019、Unity、3DMAX及支持SQL语句的数据库。软件开发环境具体包括：

（1）三维建模工具使用Autodesk公司开发的3DMAX，可导出模型用于后续工作；（2）混合现实中的虚拟环境搭建使用业界领先的Unity引擎，可提供实时逼真的显示效果；（3）建立联网数据库，支持SQL语句查询；（4）软件开发IDE，如VS2019，支持分模块协同开发等。

（四）所需硬件

硬件包括MR显示设备和电脑两部分。其中，MR显示系统是用来实时刷新、绘制和显示混合现实中的虚拟对抗场景，并且与处理器进行实时数据交换，根据自带摄像头获取爆炸物图像来判断爆炸物的位置和种类。电脑是用来计算爆炸物数据和使用者操作，根据爆炸物位置和具体的操作，实时计算爆炸物的变化，判断使用者对爆炸物的操作，及时传递给系统进行渲染。

三、平台构建步骤

（一）基础数据层构建

主要工作是资料录入和基础功能模块的搭建，即构建一个排爆训练平台的原型系统。

1.资料准备

根据初期的设计文档准备各种资料，包括爆炸物资料、排爆工具和防护装备资料、排爆相关人员资料、排爆工作教学资料等。

2.录入爆炸物信息

根据可提供的爆炸物资料，扫描爆炸物内部结构，使用3DMAX对每个爆炸物建立三维模型，导出FBX文件。对每个爆炸物建立电子数据档案，应当包括可提供资料里的所有数据项，包括型号、尺寸、引爆方式，拆解流程图和演示视频等。

按上述步骤，对常用排爆设备进行建模，包括设备名称、所属单位、生产商、使用方法等，并能按排爆类型、设备名称等对设备进行条件及组合查询。

4.录入人员信息

采集排爆人员信息或与已有人员管理数据库建立关联。人员管理模块能添加、更新、删除相关信息，包括姓名、性别、年龄、住址、所属单位（相应部门）、联系电话等，并能按所属单位进行查询。

根据以上资料的数据量，建立对应规模的数据库。数据库应当能添加、更新、删除各种数据项。可根据数据库的数据量决定是否需要服务器。

（二）构建教学虚拟仿真场景

主要工作是构建虚拟仿真教学导航系统。

1.资源管理

将3DMAX导出的FBX文件导入Unity，建立素材文档，应当包括排爆相关的视频资源、音频资源、文本资源等。

阅读的概念没有疑议，而涉及“浅阅读”，关键在于一个“浅”字，这个浅字应该定义于阅读的主体、客体，速度还是目的？我们可以做个具体的对比分析。

2.设计教学关卡，完善教学视频

为了让使用者查看和了解每种爆炸物,教学内容应当涉及爆炸物的所有数据项，并对常见排爆设备设置相应教学内容和考核内容，确保使用者能够搭配设备完成排爆工作。

3.设计教学模式下的交互UI界面

包括查看教学内容，拖拽移动虚拟排爆工具对教学关卡中的爆炸物进行实验等。

4.教学模式下的MR交互

绑定MR眼镜，使用者佩戴设备即可以MR方式体验虚拟仿真系统，具体API参考Unity支持的MR硬件。

（三）构建实训虚拟仿真场景

主要工作是构建爆炸物在线识别与实训系统。

1.数据采集及预处理

获取海量的真实爆炸物图片，采用自动标注结合人工筛选的方式，对数据进行清洗，并标注出训练模型所使用的数据集，同时将真实爆炸物进行三维建模，形成三维特征数据库。

2.模型训练与识别

图片式识别基于神经网络的物体识别算法（Resnet50/Fusion Net）构建训练物体识别模型。实际物体的整体识别利用OPENCV图形图像特征点识别法进行AI智能识别。

3.设计实训模式下的交互UI界面

包括爆炸物的三维模型和资料中的所有数据项，根据提示完成爆炸物拆除。

四、混合现实排爆训练平台的特点

基于混合现实技术的排爆训练平台有如下几方面特点：

1.系统构建的训练场景逼真且沉浸感强

系统使用3D建模，用粒子特效和动画等还原爆炸物引爆等场景，给使用者一个逼真的工作场景和视听体验。

2.系统提高了训练的效率和安全性

真实场景往往受限于天气、场地等外部因素。而该平台可以通过仿真模拟出可反复训练的环境场景，针对不同要求建设不同场景，并配有评分测验系统，大大提高了训练效率。另外，由于是仿真场景，会在暴露安全问题的同时降低危险的发生，减少因失误造成的经济损失或人员伤亡。

3.系统支持多人联机协同训练

可以通过硬件设备进行单人训练、多人交互训练和在线教学，最大程度地还原真实训练场景。

4.系统可扩展性强

可根据实际需求分批扩展相关功能，对系统进行升级和二次开发。

5.完整的数据库

该系统具有针对爆炸物的数据库包括爆炸物的 3D 模型、尺寸、引爆方法等资料和拆解流程图。同时与人员管理数据库联动，实现管理与训练一体化。

6.模块化教学

针对不同类型的爆炸物，建立排爆工具集和专门的排爆训练场，还原排爆成功和失败的场景。

7.交互设计

将拆解流程图与教学模块结合，可以跟随拆解引导动画一步步完成排爆工作。

8.设计随机场景

通过一系列挑战强化使用者的排爆技能，完成对排爆技能的测试。

五、平台效果

训练平台分为桌面操作平台和MR操作平台。桌面操作平台需根据账号密码登录，教员和学员的权限不同，可操作界面也不同。教员端的主要功能有选择场景、评分系统、统计结果和数据资源管理，学员端的主要功能有爆炸物展示、设备使用、操作实践和训练测试。

MR操作平台与MR设备搭配使用，将实际场景与虚拟界面叠加显示。主要功能有爆炸物资料、拆解引导、组装引导、录制视频、模型库及系统设置。

经测试，整套训练平台可支持至少50人同时在线进行单人训练和在线教学，多人交互训练支持每组4人的训练。平台可供排爆任务常见的场景，包括大中小型广场、机场、火车站、地铁站、公交车站、加油站、加气站、重要单位（如领事馆）附近、大中小型商场、居民区附近等。平台提供可供操作的爆炸物种类有定时、遥控、感应、松发、压发、拉发、反平衡等。

使用该平台进行训练，学员在学习和训练中将接受更多新事物、新技术，更愿意主动学习并探索新的训练学习方式。使用虚拟训练课程，几乎没有任何训练危险，学员有充分的时间和精力做好专业技能的学习和训练，结合MR的操作引导，能够大大提高完成任务的成功率和安全性。同时，虚拟训练课程中的场景、装备、爆炸物等还能够反复使用，学员能够通过反复动手实践提高自己对理论知识的理解和对知识的掌握程度，训练能够达到随时随地进行，既便利又能带来更好的训练效果。通过跟踪每个学员的训练考核评估结果，能及时了解学员们对训练内容的掌握情况，也便于教员和各级领导把握学员训练的节奏。

六、结语

随着虚拟技术和传感器技术的发展，混合现实技术能够模拟各种环境，生成各种爆炸物，进行各类排爆装备操作训练和手工拆除爆炸物训练。该技术在排爆训练平台中的应用，能够较好解决实装训练带来的安全、损耗和经费问题，实现科技支撑任务、技术服务作战的目的。