基于数字孪生的物资装卸智能管理系统

廉佳 方政澎

（1.海军装备部 四川成都 610073；2.航空工业一飞院 陕西西安 710089）

军事航空货运是实施航空战略投送的核心力量，对装卸高效性和飞行安全性都有着极高的要求。不同于普通航空货运，军事航空运载具有强异类型物资多、物资属性复杂、物资归属复杂、物资安全保证困难的特点，对安全性稳定性具有更高要求，对于物资摆放方法与特殊隔离都有更多限制，因此更加难以规划与管理［1］。此外，由于军事货运执行的作战任务的特殊性，使得物资类型、飞机型号与飞行路径无法固定，因此还需要考虑是否能够使用集装器与转场物资的问题［2］。上述问题对于保障人员的规划装卸方案、实施装卸过程在精力与体力上都是一种挑战，极大地制约了执行作战任务的效率。

对于航空货运规划问题，现在有很多研究通过将其抽象为一维、二维、三维装箱问题［3］，利用启发式算法，如模拟退火［4］、蚁群算法［5］、遗传算法［6］、粒子群算法［7］、禁忌搜索算法［8］，及其组合［3，9］来解决航空装载优化问题，取得了较好的效果。然而这些研究生成的装载方案，主要考虑优化装载方案，生成以纸质、电子的装载舱单为主［3，10-11］。由于军事货运的特殊性，执行组板、装载与拆卸时，主要仍然依靠保障人员执行装卸任务，保障人员在装卸空运转场对照装载舱单进行装载作业时易发生错漏与混淆，装载效率较低，装卸过程难以管理。

针对这一问题，有些研究聚焦于装载过程的可视化与管理。张长勇［12］等人通过可视化装载来直观显示物资码放位置与方式，然而此结果只作为方案评审使用，没有考虑对现场保障人员拆卸过程的引导。史永胜［13］等人针对物资可装载性问题，通过对DELMIA软件二次开发，实现装载可视化仿真，然而对于保障人员可视化方式不够直观。王策［14-15］建立了货机物资装载进程可视化系统，实现了保障人员模拟装载培训与远程装载进程可视化显示，提高了货机装载管理效率，但是此系统主要用于管理半自动装卸过程，不适用于人工装配的情况，且忽略了对物资信息的采集与智能规划。

数字孪生技术［16］与物联网［17］可以实现物理世界和信息世界的交互、融合、智能化，已被广泛应用于智能制造［18］及物流管理［19］等。混合现实（Mixed Reality，MR）技术［20］则可以将真实世界与虚拟世界无缝交融，实现过程信息与真实物理环境的匹配，已广泛应用于工业［21］、医疗［22］的过程引导。目前，还没有基于数字孪生与物联网技术构建的航空货运装载管理系统，以及基于MR的可视化装卸引导的相关研究。本文设计了一套基于MR 的军事航空物资装载智能管理系统，通过引入物联网与数字孪生技术，根据军事航空物资装载特点，建立基于MR 的军事航空物资装载智能管理系统框架，在此基础上设计了物资实体数据的实时获取、装载方案智能规划、军事航空物资装载作业中组板、装载与拆卸等进程的MR引导方案，实现对军事航空物资装卸过程的管理，提高军事航空装载过程的效率与安全性。

1 基于数字孪生的军事航空物资装卸智能管理系统框架

本文提出的基于MR的军事航空物资装卸智能管理系统框架如图1所示，参考陶飞［18，23］等数字管理系统的理论构架，系统由四大层级构成，分为物理世界层、孪生模型层、数据管理层、功能应用层组成。

图1 基于数字孪生的军事航空物资装卸智能管理系统框架

1.1 物理世界层

物理世界是装卸过程发生的物理主体，是装卸现场需要管理的各种客观实体的集合，具体包括，航空货仓、待运物资、各种航空集装器（Unit Loading，ULD）、动力驱动单元PDU（Power Control Unit）、装卸设备如物资装载车或升降平台车等。除此之外，还有构建物联网的相关感知设备如射频识别（Radio Frequency Identification，RFID）读写器、RGBD 深度相机、ULD 位置检测传感器、PDU 热传感器、接近传感器等，这些实体有机结合，承担了它们本身的功能及数据收集的管理活动。

1.2 孪生模型层

孪生模型层是物理世界层的虚拟映射，具有所有需要管理的各种客观实体的数字对应，管理对象的物理实体正在进行的各种行为，及其位置、状态、属性都可以通过整个孪生模型层中的数字模型相互关联、协作来实时反映。而装载过程主要关注物资、ULD、航空货仓的实时状态，因此这部分实体的数字映射是系统主要聚焦的部分。

1.3 数据管理层

数据管理层是航空装载管理数据存储、交互、传输的中心。一方面，面向实时采集数据，针对物资、ULD、航空货仓建立实时数据库，对采集物资属性与实时的位置与状态进行存储。另一方面，包含物资装卸管理所需的非实时数据，如数字模型库、机舱型号库、ULD型号库等，装载优化算法库、物资单等。信息管理层管理的装载过程实时数据具有多源异构、多样、大量的特点，依靠数据管理层的分析与处理，数据会转化为有意义的数据，完成孪生模拟层的数字模型状态实时更新，并提供管理装载过程的决策依据。

1.4 功能应用层

功能应用层主要实现航空装载所需要的管理功能。保障人员通过观察孪生模型的实时状态，即可实现对军事航空物资装卸过程的监控。通过数据管理层可对实时数据的采集与分析，实现ULD、货仓实时状态信息集中可视化展示。结合待装载物资数据，通过人机交互方式设置保证人员与货运载物特殊需求［1］（物资安全需求、优先卸载需求、建制完整性需求）、通常约束［12］（体积约束、质量约束、稳定性约束、方向约束、重心约束、不重叠约束、承重约束）与优化目标［24］（如载重利用率、容积利用率、利润最大化、装卸效率等）、航空装载优化算法（遗传算法［6，12］、蚁群算法［5］、模拟退火［4］、粒子群算法［7］、禁忌搜索算法［8］，及混合算法［3，9］）的完成组板、ULD装载方案智能生成与优化等，提高军事航空物资装载过程的智能化决策与管理水平。

上述基于数字孪生的军事航空物资装卸智能管理系统框架，可以实现对军事航空物资装卸过程中物资、ULD、货仓环境实现虚拟化与互联化的数字孪生集成，这种新的军事航空物资装卸过程管理模式为保障人员提供了高效的监督、决策、交互途径。

2 装卸现场物理实体实时数据获取

2.1 多源异构数据采集网络

装卸现场数据采集传感器种类繁多，数据类型各不相同，接口协议也不尽相同。为解决多源异构的数据采集带来的数据融合困难，系统采用OPCUA Server作为基于数字孪生的军事航空物资装卸智能管理系统的数据通信网络的框架。OPCUA Server是一种支持跨平台的，具有的统一地址空间和服务的数据采集结构，被广泛应用于数字孪生相关的系统设计中［25-26］。对于装卸现场接入的各类传感器，如ULD位置检测传感器、PDU 热传感器、接近传感器，通过飞机货仓总线汇总，再通过TCP/IP 协议以无线网络传递至服务器。对于射频识别（Radio Frequency Identification，RFID）读写器、RGBD 深度相机等，则直接通过TCP/IP 协议，以无线网络传递至服务器。

2.2 实体实时数据采集

管理航空物资装卸的目标对象主要是物资、ULD、航空货仓，因此系统主要针对这些实体进行采集。

2.2.1 物资信息采集

军用物资具有种类繁多、数量大、属性复杂、专用性强等特点，渗透进军事战斗、工作生活的方方面面。由于大部分物资是不规则形态，因此确定其属性信息，如尺寸、重量、重心等数据，对于实现拆卸过程管理与装卸方案规划都有重要意义。

物资属性信息来源主要分为两部分，一部分物资具有标准的参数信息，如标准的零部件、弹药箱、军用车辆等，这些物资的属性信息可以通过电子物资属性清单（包含物资尺寸、重量、重心等）上传至系统；另一部分物资不具有标准的参数信息，如紧急需要运送的特殊物品，则这些货物的参数则需要通过测量获取其几何尺寸与质量，并估算其重心。多视角3D 重建技术［27-28］是解决物资几何尺寸检测与估计的一个解决方案，通过多RGBD 相机同时在多个观察视角采集待测物资点云，重建物资3D模型，并求取其包围盒，完成对其几何尺寸的估算，具有重建精度高、速度快、操作简单的特点。

对于物资实时状态信息，主要包括其所在的ULD及其在ULD 内的位置。对于普通物资，张贴二维码标签，在每件物资组板前通过扫描标签，确定物资所在ULD 即可。对于具有特殊要求的物资，如危险物资与重要物资，为保证安全与装卸效率的需要，不但物资需要确认所在的ULD，还需要确认其在ULD 中的位置。目前物联网领域常用的定位方法有两种，基于射频识别RFID（Radio Frequency Identification，RFID）的方法与基于超宽带（Ultra Wide Band，UWB）的方法。基于UWB 的定位方法通过精确测量无线脉冲在空间中的传播时间，测量UWB 标签与UWB 基站之间的绝对距离来实现定位，精度较高，可达0.1m 级，但是UWB 标签目前造价较高。而RFID 定位技术［29］通过计算信号源到监测器的时间差或信号强度来完成定位，精度虽然只能达到1m级，但是能够基本满足飞机货运装载过程中的定位需求，并且具有定位范围广，造价低廉的特点，因此被广泛地应用在物联网与数字孪生应用中。本文系统同样选用RFID 定位器实现对物资相对于ULD 位姿估计。对于重要物资，需在张贴二维码标签的同时，同时张贴RFID 标签，通过在航空货仓上安装的多个RFID 检测器，完成对RFID 标签的定位，结合ULD定位位置，即可确定重要物资在ULD中的位置。

2.2.2 ULD信息采集

ULD 属性信息由所在军用机场数据库中获取，主要包括其型号、形状、尺寸等信息。ULD实时定位信息则根据精度需求不同，选用RFID定位技术（低精度，低成本）或者UWB［30］定位技术（高精度，高成本）实现。其他状态如是否到位、温度、相对距离，则由ULD位置检测传感器、PDU热传感器、接近传感器获取。

2.2.3 航空货仓信息采集

航空货舱属性信息由军用货机数据库中获取，主要包括飞机型号、货舱门尺寸、货舱横截面尺寸与长度、飞机最大载重能力等。

综上所述，本文通过OPCUA Server 创建多源异构数据采集网络，并从物资信息采集采集、ULD信息采集采集、航空货舱信息采集3 个部分实现了基于数字孪生的军事航空物资装卸智能管理系统框架的相关数据的实时获取。

3 装载方案智能规划

军事航空运载由于其面向的作战任务的特殊性，使得运载任务具有较大的不确定性。如完成运载任务的货运飞机型号不定，物资种类繁多且具有特殊需求，ULD 形式不确定。并且针对作战任务的不同目标，装卸任务也具有不同的优化目标与相应的优先级。然而现有的优化算法往往建立在规则长方体、无特殊要求、任意放置的条件下，约束条件只有往往只有体积、尺寸、质量、重心因素，优化目标常见为载重利用率、空间利用率，没有考虑根据不同作战任务而改变，因此无法适用于军事航空运载的所有情况［3-4，6-7，9-10，12，24］。

军事航空运载任务装载优化相关因素的总结如表1所示，在不同的物资、货运飞机、ULD的运载条件下，针对不同的优化目标与约束，使用不同的优化算法可以得到不同需求的运载、装卸方案。因此，本文系统支持保障人员针对当前的军事作战任务、运载条件、优化目标与约束限制，通过人机交互选择合适的优化算法生成装卸方案。

表1 军事航空运载任务装载优化相关因素

4 基于MR的军事航空货物装卸引导

在生成了航空运载装卸方案之后，需要保障人员按照装卸方案执行物资的装卸过程，由于军事货运的特殊性，执行组板、装载与拆卸过程仍然离不开保障人员。现有研究生成的装载方案，以纸质或电子的装载舱单与可视化的配载图表为主，保障人员在装卸空运转场对照装载舱单与配载图表进行装载时，一方面，形式不够直观自然直观，给保障人员带来较大的体力与精力负荷；另一方面，保障人员需要频繁在装载舱单与配载图表与物资实物上转移注意力，因此易发生错漏与混淆，装卸效率较低。

为解决这一问题，本文系统引入MR技术，通过将物资虚拟、ULD虚拟模型叠加于真实世界上，实现对装卸过程的MR 引导。保障人员通过佩戴MR 头戴式显示装置（Helmet Mounted Display，HMD），实现虚实融合。而实现将虚拟资产准确地叠加于真实场景之上，最重要的是完成虚拟场景与真实场景的坐标系统一。二维码作为一种人工标记，具有大量稳定的视觉特征，是一种良好的定位基准，并且二维码标记物可以在不破坏货仓机构的基础上，随意安装或取下，具有使用灵活的特点，因此本文选用二维码标记作为虚实融合的定位基准。通过使用MR HMD 上的相机扫描二维码，可以获得MR HMD 与人工标记的相对位姿，即实现初始定位，然后再通过其他MR HMD 的连续空间定位功能，即可实现虚拟场景与现实场景的连续注册。在组板过程中，保障人员首先使用MR HMD 上的摄像机扫描ULD 上的二维码标记完成初始定位，统一虚实坐标系，使虚拟货物模型按照装载方案叠加于真实ULD上实现虚实注册，并显示货物ID 与属性信息，然后保障人员按照叠加的虚拟模型，一步一步完成组板；在ULD装载过程中，保障人员通过MR HMD 上的摄像机扫描机舱上的二维码标记完成初始定位，统一虚实坐标系，实现虚拟ULD与航空货仓的虚拟注册，并显示ULD ID与属性信息，引导保证人员完成对ULD 的装载；在物资拆卸过程中，在完成初始定位之后，对于需要优先拆卸或者查找的物资，保证人员通过交互的方式输入查找的对象的ID，对象虚拟模型即显示在航空货舱与ULD 的相应空间位置中，引导保障人员完成物资的拆卸。如图2所示为基于MR 的军事航空货物装卸引导示意图。

图2 基于MR 的军事航空货物装卸引导示意图

5 结语

本文设计了基于数字孪生的军事航空物资装卸智能管理系统框架，并制定了装卸现场物理实体实时数据获取、装载方案优化与制定、基于MR的军事航空货物装卸引导等三部分具体方案，实现了军事航空物资装卸过程的数据获取、装载方案智能规划、MR 可视化装卸引导等目标，为数字孪生技术、物联网及MR技术在军事航空物资装卸领域的应用提供了思路，对提高军事航空物资装卸过程的高效性和安全性具有一定的参考意义与工程应用价值。