基于灾害空间信息的MR安全救援路线指引系统

陈 超，姚 凡，谢泽浩，薛 娜

（1. 华北科技学院计算机学院，廊坊 065201；2. 华北科技学院矿山安全学院，廊坊 065201）

0 引言

近年来，国家为了进一步推动数字化、智能化的发展，提出了新的要求。国家“十四五”计划在完善国家应急管理体系叙述中提出了对应急管理体系和灾害救援能力优化提升的需求，使用计算机技术对灾害救援能力进行建设和改革已经成为了未来发展的必然趋势。

灾害发生之后，灾害现场大多伴随着有害气体和温度等灾害空间信息，在灾害救援过程中，救援人员对以上灾害空间信息的缺乏和不可见，影响了救援人员的救援判断。在传统的救援过程中，救援人员使用肉眼获取灾害环境信息，结合经验知识设计救援路线。传统方法的设计，受救援人员的素质及主观能动性的影响较大，在复杂的救援环境中，容易对救援人员和受害者造成二次伤害，从而威胁人的生命安全。因此，对灾害现场环境的掌握和灾害救援路线的指引，是救援人员救援过程中重要的一环。越来越多的学者对灾害救援中的物理信息空间分布和路线指引展开了研究。文献［1-6］使用仿真软件进行灾害仿真和分析，从而得到针对该类型事件的模拟训练以及应急预案。还有一些学者利用虚拟现实技术对应急逃生等问题进行了研究，可以使用虚拟现实技术来沉浸式地了解和学习灾害发生之后的场景，并进行学习和训练［7-10］。蒙盾等［11］、梁江涛等［12］、王鹏等［13］对逃生路线指引进行了研究，设计了不同灾害环境下的逃生和避灾路径规划方案，有效地帮助受困人员进行疏散和逃生。

以上对灾害场景的可视化和路线指引的研究中，主要针对灾害发生之后的模拟仿真以及演练等，而针对救灾过程中救援人员对灾害空间信息可视化和路线指引的需求研究较少。因此，本文设计了一种基于灾害空间信息的MR安全救援路线指引系统，能够实现救援人员在救援过程中对物理场环境的可视化和安全救援路线指引。

1 系统整体设计

1.1 功能概述

本文应用物联网技术与混合现实（mixed reality,MR）技术，实现了灾害空间信息多姿态采集功能、救援路线指引功能和灾害空间信息可视化功能。系统首先通过移动端App 控制数据采集机器人移动，并采集灾害空间信息，包括温度、有害气体浓度和救援路线、出口位置等。然后，通过边缘终端将数据传输到Hololens 2 服务器端。在Hololens 2 中，利用空间映射获取的灾害现场地形信息和灾害空间信息，使用救援路线生成算法生成救援路线，实现救援路线指引功能。同时，利用三维可视化方法完成灾害空间信息的可视化展示。系统还通过与Hololens 2服务器实时通信的体感警示手环，根据Hololens 2 所在位置的灾害空间信息浓度获取温度目标值，并使用温度控制算法改变手环温度，实现体感温度警示功能。详见图1。

图1 功能概述

系统的工作过程如下：救援人员使用移动端App 控制数据采集机器人移动，并根据空间位置采集灾害现场的温度、有害气体浓度等信息。然后将这些信息传输到Hololens 2 服务器端。服务器端对获取的数据进行计算处理，完成灾害空间信息的可视化展示和安全救援路线的指引。同时，服务器还与体感警示手环进行实时通信，控制手环的温度变化。

1.2 技术概述

灾害数据采集机器人采用STM32 作为核心控制板，通过控制直流驱动电机实现移动底座的移动，并搭载传感器和机械臂作为灾害信息采集设备。该机器人还配备Wi-Fi模块，用于接收移动APP 端下达的移动控制信息、机械臂姿态信息以及救援路线终止点的位置信息。采集到的信息通过串流传输到边缘主机Jetson，而Jetson则利用网络模块将数据传输到Hololens 2服务器端，并将数据存储在数据库中。Hololens 2利用空间映射功能获取灾害现场的地形数据，并与数据库中的灾害空间信息进行坐标对齐。在Unity 引擎中，借助MRTK 混合现实开发工具包，搭建三维空间信息，利用救援路线生成算法生成最佳的救援路线，并通过可视化方法完成对灾害空间信息的可视化展示。

图2 技术概述

作为温度手环的整体控制中心，STM32 控制板与Hololens 2 服务器端通过Wi-Fi 通信，获取当前位置的目标温度值。通过PID 算法控制继电器，调节陶瓷加热片和散热器，实现体感温度警示功能。

2 基于STM32的灾害信息采集机器人设计

根据对灾害空间信息数据采集的需求和分析，应用物联网技术设计和实现了遥操作机器人，机器人由移动底座、灾害空间信息采集设备以及存储、传输设备组成，如图3所示。灾害信息采集机器人用于采集和传输室内环境的灾害空间信息，操作人员使用移动端APP 控制机器人完成移动和数据采集功能，最终通过边缘终端回传数据至混合现实服务器端。

图3 灾害信息采集机器人设计

2.1 机器人的硬件组成

灾害信息采集机器人以STM32 开发板为核心，并由移动底座、搭载传感器的机械臂以及边缘终端Jetson数据存储传输设备组成。在机器人中，STM32 核心板位于移动底座上，连接Wi-Fi 模块以接收移动端APP 传递的信息。移动底座由自制的外壳和四个车轮构成，通过电机驱动，STM32 根据APP 指令控制移动底座的移动。机械臂作为采集设备，使用小白象机械臂搭载有害气体和温度传感器，STM32 核心板通过串流连接，传递机械臂驱动信号，从而完成多姿态的灾害数据采集工作。边缘主机Jetson与STM32 核心板进行串流连接，利用Wi-Fi 通信将采集到的灾害数据以及空间信息传输至Hololens 2 服务器端。

图4 灾害信息采集机器人硬件组成

2.2 遥操作、多姿态采集以及移动

为了获取灾害场景中的温度和有害气体数据，采用遥操作控制机器人进行数据采集。首先，在移动端APP 上通过滑轮产生移动方向指令，实时控制机器人的移动。STM32 接收移动指令后，通过电机驱动板控制直流驱动电机，改变四个车轮的方向，从而实现机器人的移动功能。当机器人移动到数据采集点时，APP 端停止滑轮操作，并下达数据采集指令。STM32核心板控制机械臂进行多姿态采集，并同时接收传感器采集的灾害数据信息。如果机器人当前位置是安全救援路线的出口位置，则APP 下达出口位置信息指令，STM32 将该位置标记为救援路线的终点位置。

为了采集灾害场景中的三维灾害信息，即灾害空间信息，灾害信息采集机器人需要在不同高度上获取温度和有害气体浓度数据。因此，本文使用机械臂进行多姿态采集。在采集过程中，从几何角度考虑，对垂直方向的数据进行采集更有利于灾害数据处理。然而，由于灾害救援需要考虑时效性，因此定义了以下五个动作姿态，分别以机器人向前和向上作为直角坐标系的横向和纵向，以采集不同位置的灾害信息。后续可以通过插值方法获取三维灾害空间信息。

图5 机械臂多姿态采集

2.3 数据的收集与传输

采集到的数据信息格式见表1，其中包含机器人数据采集的位置信息，在该位置机械臂采集的5 个位置的温度信息和有害气体浓度信息，以及当前位置是否为救援路线出口信息。

表1 机器人采集数据信息

3 安全救援路线指引功能实现

3.1 算法设计

安全救援路线指引功能的主要目的是帮助救援人员根据灾害空间信息和灾害现场的地形情况规划到达出口的最佳路线，同时尽量减少周围环境对其产生的影响。为了实现这一功能，需要综合考虑灾害空间信息和地形情况。具体流程处理如图6所示。

首先，Hololens 2 利用空间映射功能获取灾害现场的地形网格信息。然后将这些地形网格信息传输到Unity 中，在此基础上进行处理。根据地形网格的高度信息，将高于地面50 cm的区域设定为不可达区域。

接着，将地面划分为50 cm×50 cm 的栅格，生成栅格地图。利用插值方法计算灾害场景中的灾害空间信息，并根据地形栅格的尺寸计算每个栅格内的空间信息。最终得到包含灾害空间信息的栅格地图。

然后，利用改进的A*算法在栅格地图上寻找安全救援路线。该算法考虑了灾害空间信息和地形情况，并根据预先定义的规则和约束来评估每个可能的路径。通过启发式搜索和评估函数，A*算法能够找到一条最优的、避开灾害区域且经过相对安全地形的救援路线。

以上方法的整合使得救援人员能够根据综合因素规划出到达出口的最佳路线，既考虑了灾害空间信息，又考虑了地形情况的影响。

图6 路线指引数据处理流程

3.2 基于A*的寻路算法

国内外的路线规划算法主要有A*算法、蚁群算法、遗传算法等，其中A*算法结合了广度优先算法和贪婪搜索的思想，可以在较少的搜索情况下找到最优路径。

图7 救援路线示意图

A*算法是一种启发式算法，通过启发函数对搜索方向进行指引，可以实现高效的路径规划。A*算法的核心为代价函数，代价函数公式为

式中：G(n)是实际代价函数，为救援起点到救援终点的实际代价，使用欧氏距离进行计算，H(n)为估计代价函数，表示救援起点到救援终点的估计代价；f(n)为估价函数，表示救援起点到救援终点的估价值，其中H(n)称为启发函数。

本文在路径选择中，考虑到灾害空间信息影响灾害路径的选择，所以在A*算法启发函数的设计中加入灾害空间信息作为权重进行路线规划。

温度权值系数公式为

有害气体权重系数公式为

改进后的估价函数如下：

其中：R为该网格位置内的温度数据值，Pr为该网格内正常的温度数据值；M为该网格位置内的有害气体数据值，pm为该网格内正常的有害气体数据值。

使用设计的启发函数以及A*算法对灾害场景中各网格信息进行启发式搜索，生成最佳的安全救援路线。

图8 救援路线生成示意图

4 基于物联网技术的体感温度手环开发

在灾害救援过程中，救援人员通常会采取一定的防护措施，以降低受外部灾害环境影响的风险。然而，被困人员在离开灾害场景时往往没有相应的防护措施，因此容易受到二次伤害。为了解决这个问题，本文设计了一种基于STM32 的体感温度手环，旨在帮助救援人员感知周围真实的环境危险。

图9 体感温度手环使用示意图

4.1 体感温度手环组成与设计

体感温度手环具有两个主要功能：与Hololens 2进行数据通信，以获取当前位置的温度目标值，并通过PID 算法控制温度变化，从而实现体感警示功能。这一过程主要依靠STM32 核心板与Wi-Fi 模块进行数据通信，并通过陶瓷加热片和散热器来调节温度。

主要组成部分包括使用STM32 开发板进行控制，搭载Wi-Fi模块来进行数据通信、通过散热器和陶瓷发热片实现体感温度调节，通过OLED屏显示实时温度信息。

图10 自制温度手环模块图

4.2 体感温度手环实现原理

体感温度手环采用STM32f103c8t6 最小系统板作为核心控制板，结合ESP8266-01s Wi-Fi 模块与Hololens 2 进行数据通信。Hololens 2 根据当前位置的灾害空间信息，向手环发送温度信息目标值，确保准确获取当前位置的温度目标值。

为了实现温度控制功能，手环采用了5 V陶瓷MCH 发热片作为发热模块，并借助SHT30 温湿度传感器模块对发热模块的温度进行检测。通过在STM32f103c8t6 系统板中应用PID 算法进行温度计算，手环能够精确控制温度。此外，手环还采用了5 V的双路继电器来交替控制散热器和发热器的功能，以实现对温度的精确控制。设计原理如图11所示。

图11 温度手环设计原理

通过以上的设计，体感温度手环能够在与Hololens 2 的数据通信下获取准确的温度目标值，并通过PID 算法和发热模块的控制，实现对温度的精确调节。这样，手环能够提供准确的体感温度警示，帮助救援人员及时感知周围环境的温度变化。

5 系统运行效果

本文采用Unity 三维引擎和MRTK 混合现实开发包设计系统的用户界面和功能。通过与灾害数据采集机器人采集的灾害空间信息结合，利用粒子系统对灾害信息进行可视化展示。根据不同灾害信息和浓度，设定不同的粒子颜色，以直观的方式呈现灾害情况。此外，使用不同颜色的块来提示安全救援路线，引导救援人员穿越灾害现场。

为了测试系统的运行效果，本文设计了模拟环境，在该模拟灾害环境中，首先使用移动端APP 对灾害信息采集机器人进行控制，实现对灾害场景中的灾害数据采集。在采集的过程中，同时记录采集机器人的位置信息，以获取相应空间位置的灾害空间信息。

图12 集成采集设备进行数据采集

灾害信息采集机器人负责将灾害场景中的灾害信息传输至Hololens 2 服务器端，以便救援人员获取实时的灾害数据。救援人员佩戴Hololens 2 混合现实头盔和体感温度手环，深入灾害现场展开救援工作。

图13 救援人员穿戴示意图

一旦进入灾害现场，救援人员会打开混合现实APP，该应用程序中嵌入了灾害空间信息的可视化模块，使得救援人员能够直观地观察到平时无法察觉的灾害空间信息。通过这个模块，救援人员可以快速了解灾害现场的情况，包括温度、有害气体浓度等重要数据。

此外，混合现实APP还提供最佳的救援路线指引，帮助救援人员在灾害现场内迅速而安全地穿行。通过虚拟显示在Hololens 2 头盔上的导航指示，救援人员可以准确知道如何绕过危险区域，选择最佳路径前进。这种实时的导航功能极大地提高了救援人员的行动效率和安全性。

同时，温度手环发挥着关键的作用，通过实时的温度警示提供给救援人员所处位置的灾害空间信息。温度手环不仅能感知周围环境的温度变化，还可以根据事先设定的阈值向救援人员发出警示。这为救援人员提供了关键的环境信息，帮助他们更好地掌握周围的灾害情况，并采取适当的行动来保证自己和被救援对象的安全。

图14 系统运行效果

经过系统的模拟运行实验验证，本系统成功地实现了可视化灾害现场的灾害空间信息，并通过综合考虑地形信息和灾害空间信息，指引救援人员选择最佳的通过路线。这一系统的引入使得救援人员能够迅速而安全地进入和离开灾害现场，在救援过程中显著提升了对灾害现场空间信息的掌握能力，有效辅助救援人员确定最优的救援路线。

6 结语

运用物联网、混合现实等技术，设计了基于灾害空间信息的MR安全救援路线指示系统。分别对灾害空间信息的采集，安全救援路线混合现实指引以及体感警示手环进行了研究和设计。

可视化灾害空间信息的呈现为救援人员提供了直观的数据展示，使他们能够更加清楚地理解灾害现场的情况。其次，通过综合考虑地形信息和灾害空间信息，我们能够为救援人员提供最佳的通过路线指引，帮助他们快速而安全地穿越灾害现场。最后，该系统的引入提高了救援人员对灾害现场空间信息的掌握能力，使他们能够更加有效地执行救援任务。