公安民警VR仿真训练仪功能特点与实战应用

2020-11-19吴余川陈元

警察技术 2020年6期

吴余川陈元

1. 重庆市公安局江北区分局 2. 重庆子元科技有限公司

引言

随着经济的发展和科技的进步，意识形态与文化的冲突不断升级，全球性风险的急剧扩散，同时恐怖主义和分裂主义思想也有日益泛滥的不良趋势，这导致国内社会治安形势变得异常严峻和复杂。据国家统计局统计，2018年全国受理和查处各类治安案件共972万起，各类刑事案件共506万起，然而仅2018年就有301名公安民警、141名警务辅助人员在执勤过程中因公牺牲，1.2万余名公安民警和警务辅助人员因公负伤。因此，在处理复杂公共治安突发事件时，如何安全、高效地完成警务任务，是当前公安机关面临的重要问题。其中，提高日常警务训练的成效是提高公安警务人员执勤效果的有效途径之一。传统的警务及射击训练模式存在训练场景单一、安全性差、耗时长、成果反馈不及时等缺点，并且难以复现公共突发事件的复杂警情。亟需引进新的科学技术以改进现有的训练体系，从而适应当前警务需求，提高应对公共突发事件的作业能力。使用VR仿真训练仪（平台）的融合多源传感数据进行动作姿态识别与动作实时捕捉，使参训人员能够“身临其境”的在虚拟场景中实现高沉浸度模拟实战演练，满足当前智慧警务训练的需求，提高应对公共突发事件的作业能力。

一、日常警务训练待解决的问题及解决办法

（一）日常警务训练中待解决的问题

我国大部分公安民警日常工作繁重，很难在工作中抽出固定时间进行实战化训练。基层公安民警往往一年只有一到两次参与的机会，这对长期处在预防犯罪一线的公安民警是完全不够的。因而保障日常警训顺利开展至关重要。

1. 受训人员全身动作的实时精准捕捉

当警员进行演练及考核时，课程中动作的标准程度是一个重要的考核指标。动作捕捉系统应当精确的采集受训警员的操作动作，映射进演练系统，才能对警员战术动作进行评分及纠正。因此，动作捕捉数据的全面性及精确性对于演练效果至关重要。如何实现受训人员在演练过程中全身运动数据的实时精准捕捉，是拟解决的关键技术问题之一。

2. 低延时数据传输系统的开发及应用

为实现受训人与虚拟演练环境之间的交互，受训人的实时动态数据需及时传输至上位机中，再通过系统处理并映射到虚拟环境。若数据传输的延时大于30ms，人类的眼睛就会感觉到看到的动作与实际动作有“慢一拍”的差距，在VR头戴设备中会产生晕眩的感觉。因此为避免受训人产生晕动症，同时提高虚拟演练系统的沉浸感，研发低延时数据传输系统，是拟解决的关键科学问题之一。

3. 超高演练坪效的实现

现有的警务虚拟现实训练系统均存在移动空间受场地限制的不足，若要进行大场地虚拟空间的警务训练，则需要在真实环境中按1:1的比例配备响应的训练场地。然而基层警务机构往往存在训练场地缺乏的情况，这使得现有警务虚拟现实训练系统难以在警务系统中进行广泛的推广应用。因此，如何减小虚拟现实训练系统的占地面积并实现超高演练坪效，是拟解决的关键技术问题之一。

4. 结合地域特色及实战警情的演练场景搭建

警务虚拟演练系统的目的是提高受训人面对突发警情时的应急处置能力，让受训人在应对实际突发公共事件时，可以正确合理地使用战术技能，从而安全有效地完成出警任务。因此用于演练的虚拟环境需严格反映真实突发警情，才能达到期望的训练效果。现有的警务虚拟现实训练系统往往采用平面街区式的应用场景，然而重庆地区由于地理环境特殊，城市街道呈三维立体分布，与现有虚拟现实训练系统中的应用场景差别较大。因此为提高演练真实性，搭建具有地域特色并贴近实战警情的演练场景，也是拟解决的关键问题之一。

（二）解决方案

针对目前存在的问题，如果能够进行警务培训人员动作姿态识别与动作实时捕捉，满足全沉浸式的需求，并能有面向大型城市随机犯罪事件和公共突发事件演练场景的定制演练，就能改善受环境和场景所影响的警务训练。VR仿真训练仪（平台）能够有效的解决上述问题。

在VR仿真训练仪（平台）自主研发的万向行动平台中，用于动作捕捉的惯性测量单元姿态测量范围实现三轴360°，加速度量程±8g，角速度量程±2000dps，静态精度达到翻滚角小于1°、俯仰角小于1°、偏航角小于2°，从而实现了用户在保障安全的情况下任意行走奔跑；动态捕捉数据输出速率不小于80Hz，数据传输延时小超过30ms，满足了通过传感器实现用户在虚拟环境中的实时定位。

针对实际警务演练要求，结合地域特色，降低演练系统占地面积，VR仿真训练仪（平台）能保证单人虚拟演练系统占地不超过3m2，并完成2到5个典型虚拟演练场景的搭建。该项技术目前已获得国家级技术创新重点项目鉴定证书，并入选2020年度公安部科技成果推广目录。

二、技术路径与功能特点

（一）融合多源传感数据的警务培训人员动作姿态识别与动作实时捕捉

因为随机犯罪事件和公共突发事件演练系统的3D虚拟现实场景中，往往需要多人协同配合完成任务，所以构造全沉浸式共享空间的虚拟现实环境非常重要。在真实场景中警务培训人员经由动捕传感器识别其动作姿态，并将对应人员的动作姿态渲染到虚拟场景中去，完成人物虚拟空间的映射。

1. 惯性测量单元传感器数据融合算法

由于单独使用一个传感器的数据会造成惯性测量单元的测量出现误差，这种误差反应在动作映射上，会造成人体动作映射的变形和走样，同时单一传感器也很难完成捕捉全身动作姿态的任务，因此必须采用多传感器融合感知的方法，才能够扩展人体感知覆盖率，增强数据的可信度，提高精度。VR仿真训练仪（平台）采用的是惯性动捕，在人体的重要节点都佩戴惯性测量单元，惯性测量单元捕捉目标物体的运动数据，包括身体部位的姿态、方位等信息，然而多个惯性测量单元信息之间可能存在冗余和矛盾，需要对多传感器数据进行融合，获得被测对象的一致性解释与描述。

VR仿真训练仪（平台）采用的惯性测量单元核心器件为MEMS九轴传感器，在芯片上集成有一个三轴加速度计、一个三轴陀螺仪和一个三轴磁力计。为了获得更精准的姿态，需要将加速度计和磁力计的数据与陀螺仪输出的角速度数据融合。而最常用的非线性姿态估计方法所使用的技术就是互补滤波和扩展卡尔曼滤波。互补滤波方法中的互补滤波系数在动态系统中需要实时修正，但是如何修正并没有具体的模型方程，常使用的方法是采用自适应调参，但是不同的传感器的使用会导致自适应调参的方法不同，参数值的不稳定会在实际过程中造成很大的麻烦，甚至导致姿态估计不精确。因此采用一种基于四元数的扩展卡尔曼滤波算法完成人体重要关节上九轴传感惯性测量单元的数据融合。采用卡尔曼滤波器算法对加速度计、陀螺仪和磁力计的输出信号进行融合，具体融合方法如图1所示。

融合步骤具体如下：（1）搭建姿态估计系统，获取载体固定参考系坐标系下多轴传感器数据，陀螺仪采集的三轴角速度数据，加速度计采集的三轴加速度数据，磁力计采集的三轴磁感应强度数据；（2）由于MEMS器件制造的特性，在芯片工作时会引入噪声，对数据的测量造成影响，根据MEMS噪声白噪声呈现高斯分布的特性。VR仿真训练仪（平台）拟采用互补滤波算法对传感器的原始数据进行滤波，并对这两个传感器采集的数据做归一化处理；（3）根据四元数微分方程和姿态矩阵构建载体系统的状态方程，并得到系统的过程噪声方差矩阵；（4）利用快速高斯-牛顿法构建系统的观测模型，并得到系统的测量噪声方差矩阵；（5）根据建立的系统状态方程和观测模型建立扩展卡尔曼滤波递推方程；（6）利用每次递推得到的最佳四元数解算载体的三个姿态角：航向角、俯仰角、横滚角，最终得到数据融合后各个关节位置惯性测量单元所测量的姿态。

2. 警务培训人员虚拟空间动作姿态三维映射

基于惯性传感器数据融合的人体运动姿态获取方法就是利用惯性传感器采集到的人体动作数据驱动已经构建好的人体骨模型，重构人体动作中的各个姿态。所以构建符合人体基本运动特征的人体骨模型是进行人体运动姿态三维重构的首要前提。

根据设计的人体骨骼组成的人体骨骼树形结构，在全身各个肢体部位绑定多个惯性传感器，分别采集人体的头部、大臂、小臂、腰、胸、大腿和小腿的运动姿态数据。

（二）面向大型城市随机犯罪事件和公共突发事件演练场景的感知交互设备开发

大型城市随机犯罪事件和公共突发事件演练场景需要让警务培训人员具有在大型虚拟场景中通过行走和奔跑的方式实现场景漫游，在执行出警任务时，需要通过全身反馈，将警务人员在虚拟世界中遭遇的碰撞、爆炸、冲击、中弹等感觉进行模拟，从而进一步还原培训人员的现实感觉。为此，VR仿真训练仪（平台）拟开发面向大型城市随机犯罪事件和公共突发事件演练场景的感知交互系统，实现培训人员具有全身模拟触感的同时，能够进行大场景的无限运动。

1. 万向行动平台

万向行动平台通过中心轴连接在下支架上方的上支架以及背部方柱支架，所述背部支架底部朝向中心轴侧弯折且可围绕中心轴转动的连接在中心轴上，从而实现培训人员在一定范围内的行走、跑动、起跳、弯腰、下蹲以及左右横移等动作；万向行动平台将采用新型设计，结构简单，基础用料少，成本低；中心轴背部支架转动形式，转动灵敏，使用过程中转动流畅，大幅度提升了培训人员体验；POM刹车柱设计，结合弧面行走底盘及橡胶止滑结构，能够有效提供安全保护。

2. 智能穿戴背心

智能穿戴背心是能够搭载全身动作捕捉系统的穿戴背心，能够结合惯性动作捕捉系统及模拟反馈系统，使警务培训人员的运动姿态同步映射到虚拟世界，达到深度沉浸的大型城市随机犯罪事件和公共突发事件演练体验。穿戴背心通过万向行动平台上的背部支架进行固定，对培训人员提供背心式的保护，能够在培训人员在有摔倒倾向时提供及时有效的保护，安全性高。背包式的骨架设计，能够单人独立完成穿戴，方便快捷。

力反馈系统设备主体由背心和与背心相连的反馈单元构成，如图4所示，在人体躯干的正面分布有6个反馈单元，依次分布在腰部、肋骨以及胸部（每个部位对称分布两个单元），背部分布2个单元，后腰部分布有2个单元，四肢分布8个单元，头部分布2个单元。通过混合输入不同的脉冲信号，可以实现复杂的振动表现。

利用多个力反馈点之间的组合震动，模拟反馈点以外的身体力反馈，从而模拟覆盖躯干85%以上的感受面积。例如当培训人员在虚拟场景中被子弹击中的位置不在反馈点上时，系统会通过中枪位置周围的几个反馈点的震动来虚拟实际中枪位置的震动，从而大大增强培训人员的沉浸感。

（三）多感觉反馈的沉浸式公共突发事件演练系统研究

1. 动捕传感器多频点多终端跳频无线传输技术

为将分布于全身的动作捕捉传感器的数据上传到上位机，开发了一套多频点多终端跳频无线传输技术，频道数达125个，系统工作在2.4GHz全球免申请ISM工作频段，能够自动调频、自动应答及自动重发，内置地址及CRC数据校验模功能，可以将每一个传感器采集到的数据快速准确的传输到上位机。

2. 动捕传感器及力反馈单元无损数据编码压缩技术

数据压缩是指在不丢失有用信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率，或按照一定的算法对数据进行重新组织，这是减少数据冗余和存储空间的一种技术方法。动作捕捉系统分布于全身的传感器多达数十个，力反馈单元多达近二十个，每个传感器和单元的数据量随时间会变得非常庞大，需要开发无损数据编码压缩技术，在不影响数据准确度的情况下，将需要传输的数据进行编码和重构，压缩40%的字节数，使通讯的效率大幅提升，并降低数据传输的延时。

3. 融合视-听-触多感觉反馈的沉浸式随机犯罪事件和公共突发事件演练系统平台搭建及应用

现有的虚拟现实交互系统通常使用显示器、头盔、立体声耳机等设备来实现逼真的视觉和听觉体验，但用户在交互过程中能够获得的触觉体验极为贫乏。而针对公共突发事件演练的虚拟现实系统，如果只能通过自身的想象力在脑海中构造相应的碰撞、枪击、中弹等交互场景，将会极大地降低交互的真实感和培训人员的沉浸感，影响培训效果。

研究通过将多元触觉和沉浸式视觉以及听觉相融合的方式，能够显著增强用户的交互沉浸感。融合视-听-触多感觉反馈的沉浸式平台，如图5所示，实现虚拟场景中，由人体骨架模型建立的人物虚拟化身与场景中的虚拟物体进行交互，实现视觉、听觉和触觉的实时反馈，可用于进行随机犯罪事件和公共突发事件演练场景的培训。

融合视-听-触多感觉反馈的沉浸式随机犯罪事件和公共突发事件演练系统是一个多平台集成的复杂系统，需要兼顾各个子系统的接口兼容性问题，还需考虑整个系统的公共突发事件演练应用场景以及培训人员的需求。

支持视-听-触多感觉反馈的虚拟现实交互系统需要通过安装在关键部位的动作捕捉传感器和无限运动平台，采集用户的空间位置和各关节姿态，将原始数据进行压缩编码后通过多频多终端跳频无限传输技术传输给数据采集上位机。上位机将数据传入三维引擎，三维引擎主要用于虚拟模型的构建，模型的贴图渲染，整个场景的光照烘焙，从而将虚拟场景的整个视觉渲染输出给用户。上位机的输入数据用于驱动用户骨架模型运动，定位用户在整个场景中的空间位置，从而实现用户动作和操作在虚拟空间的映射，配合三维引擎中对各个虚拟模型的规则定义，碰撞检测，力/触觉计算和声音模拟，实现用户动作行为所对应的触觉反馈数据和声音反馈数据。最终通过触觉反馈设备、便携式听觉设备和虚拟现实显示设备，将触觉、听觉和视觉信息反馈给用户，实现高沉浸感的虚拟现实交互。

（四）创新点

1. 数据融合算法

惯性测量单元测得的数据容易受到高频噪声和时变的偏置的影响，所以传感器数据融合算法中需要进行平滑处理以及无偏置估计。为了获得精准的姿态，需要将加速度计和磁力计的数据与陀螺仪输出的角速度数据进行融合，但采用传统欧拉角作为系统状态变量的姿态解算模型中，在关节运动到奇点的时刻，姿态角将无法正确计算。因此提出一种基于四元数的扩展卡尔曼滤波算法的姿态解算方法，采用四元数来代替欧拉角（俯仰角、翻滚角、偏航角）作为系统状态量，从而避免奇点的姿态角计算问题。

2. 模拟力反馈

相较于传统力反馈通过在身体多个点上安装反馈装置，在碰撞、爆照、中弹等虚拟场景交互时只能在孤立的几个点上进行力反馈，不能给培训人员逼真的感受。采用多点模拟力反馈的方式，对即使在没有反馈装置的部位发生碰撞、中弹等虚拟交互，也通过调整多点震动频率，模拟该点的震动，从而提高场景的沉浸感。

其中所采用的反馈单元构成，在人体躯干的正面分布有6个反馈单元，依次分布在腰部、肋骨以及胸部（每个部位对称分布两个单元），背部分布2个单元，后腰部分布有2个单元，四肢分布8个单元，头部分布2个单元。反馈单元由世界领先的HAPTICTMReactor Hybrid Tough Type振动器构成，此振动器启动和停止迅速，可以实现高频率振动，以及多种频率振动合成的效果，通过混合输入不同的脉冲信号，就可以实现全覆盖的复杂振动表现。

3. 融合视-听-触多感觉反馈的虚拟现实系统

虚拟现实技术的飞速发展促进了虚拟现实应用对沉浸式技术的需求，具体体现在对多元触觉、沉浸式视觉、听觉以及视-听-触觉融合反馈的时空一致性匹配的迫切需求。

相较于传统单一视觉反馈的虚拟现实系统，在融合视-听-触多感觉反馈的虚拟现实交互系统中，多元传感装置实时获取用户位置、姿势等信息为计算机提供输入信号，三维引擎软件对从传感装置获取的输入信号进行解析，随后对虚拟环境作相应的更新，三维可视化及其他反馈（如声音和反馈力等）信息通过相应的输出设备反馈给用户，使其获得多种感官上的体验效果。多元反馈能够为警务培训人员提供大型公共安全演练虚拟场景观感、射击碰撞、中弹的震动、模拟环境及自我动作发出的声音等多种类型的感受体验，听觉、多元触觉与沉浸式视觉的融合反馈需要实现三者在时间与空间上的同步，以提升交互体验。

三、应用场景

公安民警VR仿真训练仪（平台）与其他类似装备在技术和功能上具有一定的差异性，主要体现在动态捕捉技术、运动空间的实现、应用场景的搭建等方面。这使得VR仿真训练仪（平台）具有一定的独特性，间接地提高了竞争优势。同时，在应用过程中，可针对不同用户需求，提供不同的应用方案。例如，针对辖区派出所，以推广单一训练设备为主，而针对市区直属公安机关，则以推广建设多人协同训练的VR警务实战训练中心为主（如图6所示）。同时针对不同辖区的实际需求，调整虚拟现实训练场景的建设以及虚拟设备的搭建。

以某公安战训基地实施方案为例，VR警务实战训练系统可以分为：VR训练模块、指挥中心系统、APP管理平台、Web端管理系统、指挥官系统。从警务训练到日常学习，都可以使用整套系统。

场景1：训练者借助VR训练设备完成两种练习。

（1）VR虚拟打靶训练

受各种条件制约，对于基层民警来说，每年实弹训练次数有限。而靶场的训练又比较特殊，有的民警常常会忘记靶场训练的流程和规范，部分民警还对持枪有心理抗拒，这使得靶场训练的效率和效果极低。VR虚拟打靶训练的建立本身就是依托于虚拟现实基础打造完整的靶场训练流程，让基层民警可以在任何时间、任何地点进行靶场的训练。

利用VR警务实战训练系统能够自由行走的特性，结合VR视觉技术，使整个射击流程重现，巩固民警对训练流程的认知，解放训练时教官的人力，降低民警持枪的心理障碍，是高效、安全、低成本的训练方式。

（2）VR街道巡逻紧急事件处理训练

实景训练在目前的训练体系中是几乎没有的，实景巡逻训练社会影响大，配合单位多，而往往基层民警无法参与，这就导致了基层民警在巡逻时，如果遇到了一些训练中没有的突发情况，往往无法即时、正确的应对事件。VR街道巡逻紧急事件处理训练，本身就是依托于现实场景打造虚拟环境，让民警可以在不需要其他部门支持的情况下，还原实景巡逻的感觉，并且遭遇各种突发的治安事件，根据规范流程进行事件处理。

利用VR警务实战训练系统能够自由行走的特性，结合VR视觉技术，使街景数字化重现，让使用民警身临其境般的进行巡逻演练，既简单，又方便，还能弥补当前训练没有的实战训练环节。

场景2：通过训练系统平台实现与现有VR训练系统之间的信息互通，为警员、智能训练的业务、VR训练的业务和训练数据管理提供准确的信息资源，帮助警员训练优化流程、实现闭环管理，提高训练质量和训练管理效率。将传统的训练系统管理和现有的智能训练管理整合到新型的移动互联网系统中。

场景3：指挥官系统的应用。首创VR+AR模式指挥官系统，指挥官可以随时随地使用AR系统对VR训练者进行指令，减少延误时间，增加作战效率。同时增加自定义模块化训练系统充分发挥训练者的应变能力，自由组合训练场景，突破传统的日常警务训练依托于场地、器材、教授人员水平等的限制，难以实现训练标准统一化。

四、实战应用成效

训练系统创新了一种警务训练应用。得益于不断累积的训练数据，可以优化训练流程，提升训练效果。通过在实际应用中优化升级，满足更加复杂的针对性训练需求。这套系统现成功应用于重庆市公安局江北区分局，在一年的使用过程中，江北分局先后有500余名民警使用了此套系统，充分利用民警的碎片化时间，取得了良好的训练成果。后台数据显示，规范执法流程的错误率从原来的10%降低至3%。同时通过系统采集到的训练数据，教官可以更好的分析每个训练者的情况进行针对性的训练。这套系统的应用显著减少了训练成本，提高了训练效率，起到了良好的示范效应。

新技术的应用让受训者在训练时更有代入感、沉浸感；定制的训练内容帮助基层民警提高对枪械的敏感性和熟悉程度，缓解实际使用中因紧张产生的压力，采取正确的执法流程。VR仿真训练仪（平台）荣获了2019年重庆市公安改革创新大赛一等奖，并已入选公安部科技成果推广目录。