融合数字孪生与混合现实技术的机电设备辅助维修方法

张旭辉，张雨萌，王 岩+，杜昱阳，王妙云，谢 楠，鞠佳杉

(1.西安科技大学 机械工程学院，陕西 西安 710054；2.陕西省矿山机电装备智能监测重点实验室，陕西 西安 710054)

0 引言

传统的机电设备维修指导方法存在专业维修人员知识储备不足、专家现场指导周期长等问题，尤其在军事、航空航天和煤矿等特种领域更难满足设备维修指导的需求[1-2]。目前煤矿机电装备的维修指导多采用传统维修技术手册指导和专家现场指导方式，由于煤矿生产环境的特殊性，这种维修方式使维修周期增加，甚至导致工作停滞。近年来，虚拟现实(Virtual Reality, VR)、增强现实(Augment Reality, AR)和混合现实(Mixed Reality,MR)技术的发展为特种环境下设备故障维修指导提出了新的解决思路[3-4]。其中MR技术具有良好的便携性，结合语音、手势和视线的交互方式使其具备了虚实场景中实时交互与指导的潜力，能够更好地指导机电设备维修过程[5-6]。

以数据为核心的数字孪生(Digital Twin, DT)技术是构建MR辅助维修解决方案的核心驱动力，是连接真实维修物理环境和虚拟维修场景的纽带。数字孪生技术最初由美国的Grieves教授提出[7]，同时定义了由物理实体、数字实体及两者之间的连接组成的三维模型，该技术最早被应用于航空航天领域的全生命周期管理[8]。在虚拟制造方面，西门子提出基于整合制造流程的生产系统模型的虚拟企业概念，并对Nanobox PC的生产流程进行验证[9]；陶飞团队提出的数字孪生五维模型[10]，在三维模型基础上增加了服务系统和孪生数据，并结合企业实际应用对数字孪生车间制造等展开研究[11]，为数字孪生生产制造应用提供了理论基础和技术支撑。在虚拟维护方面，AIVALIOTIS等[12]通过创建物理设备的数字孪生体，结合设备可靠性参数和实时状态监测数据实现设备的预测性维护；刘魁等[13]构建了航空发动机运维数字孪生体，实现了对物理发动机的精准检测和故障预测，为数字孪生技术在航空发动机的全生命周期应用提供参考。在煤矿领域，张旭辉等[14-16]提出的“虚实同步、数据驱动、远程干预、人机协作”煤矿机电设备远程操控策略，实现了监测数据驱动虚拟交互设备的远程操控，并针对常见的矿用机电设备虚拟远程操控技术展开研究。结果表明，数字孪生技术的引入有效提升了设备运行状态数据和维修过程数据在MR辅助维修指导决策的价值，提高了设备维修指导过程的可靠性。

因此，本文借助DT技术建立煤矿机电设备维修数字孪生体，充分利用设备故障数据和维修过程数据驱动维修指导过程，研究物理维修与真实维修环境之间的数据交互方法，构建适用于煤矿机电设备的MR辅助维修指导总体模型，并以采煤机摇臂传动系统故障维修为例，开发数字孪生驱动的MR辅助维修系统。

1 面向数字孪生的复杂机电设备故障维修MR指导系统

数字孪生机电设备故障维修MR指导系统总体模型如图1所示。该模型由故障维修MR指导服务系统、物理维修环境和虚拟维修环境组成。借助数字孪生技术，故障维修MR指导服务系统获得物理维修环境中的设备状态数据，融合维修过程数据后驱动MR指导服务系统，在物理维修环境与虚拟维修环境之间建立映射联系。

该系统借助孪生数据融合来自物理维修环境的传感器数据，将故障类别数据、维修场景数据、三维注册数据、交互指令数据输入虚拟维修环境，实现服务系统对虚拟维修环境的数据驱动，使物理维修环境与虚拟维修环境进行虚实融合、双向映射和仿真预警，为维修人员提供有价值的维修数据信息，实现人—物理—信息系统之间的数据交互。具体功能要求如下：

(1)虚实融合 在复杂的维修过程中，需要将虚拟维修解决方案叠加在现实场景中的设备关键零部件上，并与其保持高度的几何一致性、光照一致性和时间一致性。系统需要实时跟踪目标对象和用户的观察方位，实现高精度的虚拟空间三维注册。

(2)双向映射 系统实时监测设备的机械、电气、液压数据，将采集的故障信号发送到维修指导服务系统进行故障分类，然后匹配维修指导解决方案，调用存储在故障维修指导流程库中对应的解决方案。维修人员通过HoloLens上的摄像头可对现场维修环境进行采集并反馈到服务系统，以实时修正维修指导流程。若遇到难以判断的故障点时，可以启用远程专家在线指导对现场维修环境进行干预，实现故障维修数据在虚拟维修环境和物理维修环境之间的双向映射。

(3)仿真预警 系统借助Unity3D中的虚拟仿真技术，采用三维建模技术、机械设备动作编程技术和传感器数据传输与存储技术，对其设备维修过程进行仿真预测和设备维修状态数据监测。系统实时跟踪维修场景，采集维修场景图像特征，并判断维修操作的准确性，避免错误维修操作对设备造成二次损伤，保证维修过程的可靠性。

本文以煤矿机电设备维修过程为对象，构建煤矿机电设备故障维修MR辅助维修系统。通过多种检测手段获得煤矿机电设备的运行状态，并对其关键零部件位姿进行标定和故障信息提取，形成物理维修环境；通过搭建混合现实开发环境，设计虚拟维修指导系统，构建煤矿机电设备虚拟模型，设计故障ID和指导流程片段，形成虚拟维修环境；然后对不同的故障进行识别与匹配，处理维修对象的状态数据，利用自然交互方法对虚拟环境进行注册融合，完成虚实维修环境映射，达到指导故障维修的目的。

2 面向数字孪生的故障维修MR指导系统实施方法

2.1 系统技术框架

数字孪生机电设备故障维修MR指导系统技术框架如图2所示，主要包括故障识别与匹配模块、故障维修指导模块、维修环境感知模块、虚实环境注册融合模块和人机交互模块。故障识别与匹配模块负责采集真实设备上的传感器故障信号，并对其故障信号进行识别和分类，建立设备关键部位的故障树模型，形成故障ID识别号，然后存入故障采集库，与故障维修指导模块中形成的维修指导解决方案进行匹配；故障维修指导模块根据不同型号的矿用机电设备维修技术手册整合出科学的维修指导方法存入故障维修数据库，然后在虚拟交互界面进行维修指导流程虚拟仿真，并采用维修历史视频、MR维修指导流程片段、远程专家指导等多种方法呈现维修指导方案；维修环境感知模块进行真实维修场景的三维数据特征点采集、维修目标跟踪和相机的位姿解算；虚实环境注册融合模块还原三维场景坐标点，匹配HoloLens眼镜中的MR空间坐标系，采用基于自然特征点的匹配方式将维修指导解决方案与真实维修场景进行注册融合，得到虚实融合注册的视觉体验效果；人机交互模块具有基于HoloLens眼镜的视线跟踪、手势识别、语音交互等功能，能够结合图像用户界面(Graphical User Interface, GUI)操作面板对整个系统进行交互操作。

2.2 系统开发流程

为实时监控设备维修指导过程，提出基于BIM-Unity3D-MR的复杂机电设备故障维修指导技术新理念，采用建筑信息模型(Building Information Modeling, BIM)技术搭建维修过程数字三维模型[17-18]，借助第三方虚拟现实平台Unity3D，结合MR技术将故障维修指导数据信息呈现在便于佩戴的HoloLens眼镜中，并通过数据库技术实现辅助维修过程的信息管理和跨平台数据交互。

基于BIM-Unity3D-HoloLens平台的系统开发流程如图3所示，模块功能及工作原理如下：

(1)BIM开发模块 采集传感器数据，将故障数据分类后存入数据库，通过数据库将故障数据导入Revit中来设置设备参数，并在Revit中建立BIM数字模型，生成Unity3D可识别格式的文件。

(2)Unity3D开发模块 将BIM开发模块中生成的.FBX模型文件导入Unity3D中搭建MR开发环境，并设置相机参数，然后对设备数字模型进行动作编程，形成维修指导流程片段。通过编写数据库接口，将BIM中分类后的故障ID与维修指导流程片段相匹配形成真实故障指导方案，借助世界坐标系与相机坐标系之间的变换关系匹配虚实环境坐标系，为准确高效地指导维修提供支撑。

(3)HoloLens开发模块 将匹配后的坐标关系显示在HoloLens中，达到虚实环境的三维注册融合视觉体验效果，并利用MR自然交互技术实现人机虚拟交互。维修人员根据系统呈现的维修指导方案进行维修方案可行性验证，如果存在难以判别的故障点，则启用远程专家在线指导。

2.3 系统关键技术

2.3.1 维修环境感知

HoloLens眼镜集成了1个惯性传感器、4个环境感知摄像头、1个深度摄像头(RGB-D)，虚拟应用中惯性传感器用来感知设备方向，环境感知摄像头进行三维场景重建，深度摄像头用于感知物体的相对位移。通过环境感知摄像头实时捕捉场景并进行画面分析，深度摄像头拍摄多张深度图并进行处理和匹配，可以感知维修空间物体的几何信息。

本文采用RGB-D SLAM方法获得RGB图像和场景深度图[19]。因为基于面元(surf)的模型表达方法具有模型准确、几何变换灵活、数据量小和易于可视化等优势，所以选择基于面表示的不规则三角网格模型对物理环境进行扫描。在进行模型融合时，先将每帧的输入转换为定点、颜色和法向图，再转换为面元，然后将模型中的面元投影到当前深度图，建立面元之间的匹配关系。采用上述方法，可以对维修目标对象所在的三维场景进行重建。

2.3.2 数据信息交互

数字孪生机电设备故障维修指导系统的数据信息交互主要包括故障数据交互和人机交互，其中故障数据交互完成设备传感器数据与虚拟维修环境的交互，人机交互完成虚拟维修环境和真实维修环境中维修操作的交互。通过数据交互和人机交互，在故障MR维修指导系统平台上实现了传感器数据在人—机—环之间的数据信息交互。

(1)故障数据交互 机械故障、液压故障和电气故障是矿用机电设备的主要故障类型，以采煤机摇臂传动系统故障为例。据矿区数据显示，摇臂传动系统故障区可分为高速区直齿齿轮系、低速区行星齿轮系和浮动密封3大类[20]，其中高速区故障和低速区故障占总体故障比例的72%[21]。因此，本文主要研究机械故障的维修指导方法。将采煤机摇臂传动系统高速区和低速区常见的故障类型进行编号，如表1所示。系统对故障采集库中的故障信号进行分类，使其与故障ID对应，以便故障维修过程中关联故障ID号，获得MR维修指导系统中的不同维修对策。

表1 采煤机摇臂传动系统的常见故障类型编号表

(2)人机交互 系统采用触控用户界面、视线跟踪、语音交互和手势识别等交互形式，在Unity3D中绘制相应的GUI界面，并添加碰撞触发组件，使其具有交互功能。用Main Camera表示用户佩戴HoloLens眼镜的头部位置和朝向，系统获取头部位置和头部朝向状态，触发射线碰撞检测实现视线跟踪功能；定义手势识别器获取手势姿态，开启手势捕捉功能。同时为场景添加音频监听器实现语音输入功能。

2.3.3 故障维修指导

故障维修指导模块包括建立采煤机数字模型、设计MR维修指导流程、维修历史视频指导和远程专家在线指导。

(1)采煤机维修知识 构建不同电牵引采煤机维修数据库，替代传统纸质版维修说明书难以现场使用、维修知识固化等的不足。以MG730型电牵引采煤机的5:1实验模型为典型维修对象，在Revit中建立采煤机BIM模型，为其添加对应的采煤机设备类型参数；将生成的采煤机数字模型导入3ds Max中进行渲染，并转换为Unity3D支持的.FBX模型文件；在Unity3D中完成虚拟场景搭建和采煤机动作编程等，最终发布为HoloLens支持的采煤机MR数字模型。将采煤机机械结构、电液控制，以及常见故障类型与物理部位关联，在MR环境即可查看相关的维修知识。采煤机维修数字模型建立流程如图4所示。

(2)设计MR维修指导流程 在Unity3D中结合机械设备的动作编程和动画编辑形成关键部位的MR维修指导片段，系统中存储的部分MR虚拟零部件编号如表2所示。根据不同关键部位制定相应的维修指导方案，形成与关键部位故障点相匹配的虚拟零部件序列编号，然后与2.3.2节的故障ID识别号进行匹配，完成设备关键部位故障数据驱动MR维修指导流程。以采煤机摇臂传动系统齿轮磨损(A)故障为例，该维修指导操作包括打开端盖、拆除六角螺栓、拔出滚筒轴和更换磨损齿轮等关键步骤，每个阶段需要触发的MR虚拟零部件编号序列如表3所示。

表2 采煤机摇臂传动系统MR虚拟零部件编号表

表3 采煤机摇臂传动系统齿轮磨损(A)MR虚拟零部件编号序列表

(3)维修历史视频指导 录制规范的设备关键部位维修操作视频，存入维修历史数据库。操作人员可以通过视线跟踪、手势和语音输入等功能播放和关闭维修历史视频。

(4)远程专家在线指导 在物理维修场景中部署HoloLens集成设备，HoloLens上的摄像头可采集维修场景视频并传输到远程专家PC端，远程专家通过音视频会话的方式获取物理维修环境概况，然后结合虚拟标注和音视频会话与现场物理维修环境进行交互。同时，HoloLens集成设备中的传感器将采集到的远程专家交互信息传输到人机交互服务器，人机交互服务器接收信息后生成相应的交互指令并集成到HoloLens全息投影屏上，由设备中安装的系统APP对交互指令进行响应。MySQL数据库可同时为远程专家提供维修环境数据、设备参数数据、维修人员历史维修数据、设备三维模型数据等多种数据信息，最终通过态势同步服务器完成远程多人协同维修作业。

2.3.4 虚实注册融合

常用的虚实注册融合算法有基于人工标识和基于自然特征点两种，两种算法均可解决虚拟世界和现实世界融合中的空间几何一致性问题。基于人工标识的注册算法精度高、鲁棒性强，具有定位效果稳定的优点，但因实际维修环境恶劣而容易损毁人工标识；相比而言，基于自然特征点的注册算法能更好地满足维修过程的无标识注册，但也由于维修物理环境复杂多变、关键帧存在累积误差等，易导致跟踪目标丢失。根据系统开发特点，本文研究了基于视频序列自然特征点的注册算法，该算法更符合维修人员的交互心理。算法流程如图5所示。算法主要步骤包括提取场景特征点、匹配特征点、估计相机姿态、修正姿态和确认相机姿态等，系统将数据库中的基准帧图像与HoloLens摄像头采集到的当前帧图像进行对比，匹配其图像特征点，通过对虚拟场景进行叠加，实现了虚拟维修指导方案在真实维修场景中的虚实融合显示。

3 采煤机摇臂传动系统齿轮故障维修指导

3.1 维修目标

以MG730型电牵引采煤机摇臂传动系统的齿轮故障为维修对象，对采煤机摇臂传动系统结构进行分析，摇臂传动系统示意图如图6所示。采煤机摇臂采用4级减速，截割电动机的输出扭矩通过Z1，Z2，Z3，Z4，Z5，Z6等多型号齿轮的多级减速传到行星减速器，行星轮中的行星架带动滚筒旋转完成割煤动作。为监测传动部的工作状态并预测故障，在采煤机摇臂关键部位安装振动传感器。为便于描述MR辅助维修过程，假设通过振动信号特征获取齿轮Z8发生异常，则对应的故障ID编号为A，服务系统触发MR虚拟零部件的编号序列如表3所示。

3.2 系统功能验证

本文实验主要针对MR煤矿机电设备故障维修指导系统的维修环境感知、数据信息交互、虚实注册融合和故障维修指导4方面进行系统功能验证，其实验效果如图7所示。

(1)维修环境感知 维修人员佩戴HoloLens眼镜，打开系统APP进入实时维修模式。系统对物理维修场景进行初始化扫描，建立与真实物理维修空间对应的三维感知模型，并扫描需维修的设备，建立基于三角面片的目标设备三维模型，可知当前的目标设备为MG730型采煤机设备。

(2)数据信息交互 系统通过振动传感器采集当前摇臂传动系统的运行振动数据，识别设备故障后，匹配对应的故障ID识别号为A，然后从数据库调用该故障类别下的MR维修指导流程。维修人员可观察系统GUI操作面板，通过视线跟踪和点击手势进入故障维修指导模块，根据需要选择触发相应的功能按钮。

(3)虚实注册融合 HoloLens摄像头扫描目标物体后，触发虚实融合注册，将预设虚拟螺栓定位至物理维修场景中的端盖螺栓孔处，证明该系统具有将虚拟维修工具准确注册至物理空间的能力。

(4)故障维修指导 采煤机摇臂传动系统齿轮故障MR维修指导的关键步骤包括打开端盖、拆除六角螺栓、拔出滚筒轴和更换磨损齿轮等，维修人员可根据该流程更换故障齿轮，并结合语音、文字、虚拟维修工具和零部件模型提示，进行虚拟维修环境与物理维修环境之间的数据交互;其次，当系统现有的故障维修指导解决方案不能正确指导维修当前环境中的故障时，启用维修历史视频或远程专家在线指导功能，可以进行多人协同下的辅助维修指导。

3.3 实验效果评价

本文针对MR矿用故障维修指导服务系统的实时维修效果进行验证。实验表明，维修人员不但能够根据系统给出的维修指导解决方案完成维修操作，而且能够在观看维修历史视频和远程专家在线指导下快速完成整个维修过程，其不需具备专业的维修知识和查看维修技术手册，只需佩戴一台HoloLens眼镜便可独自完成维修操作，解决了现场维修专家指导困难、维修人员知识储备不足的技术难题。

4 结束语

针对煤矿机电设备故障维修指导知识获取过程不直观、专业维修不及时的问题，本文提出借助DT和MR技术将数字信息与煤矿机电设备辅助维修过程相融合，研发了基于BIM-Unity3D-HoloLens的机电设备故障维修MR指导系统，充分利用设备故障数据和维修过程数据驱动维修指导过程，实现物理维修环境与真实维修环境之间的数据交互，构建了适用于煤矿机电设备的MR辅助维修指导总体模型，搭建采煤机摇臂传动系统故障维修指导系统实验平台并进行了相关测试。

最后，本文以电牵引采煤机摇臂传动系统故障维修为例，对MR辅助维修指导系统样机进行验证，结果表明了维修环境感知、数据信息交互、虚实注册融合和故障维修指导等关键技术的可行性和合理性，初步解决了物理维修空间与虚拟维修空间的虚实融合、双向映射和仿真预警，所提出的BIM-Unity3D-MR技术理念为MR故障维修指导系统提供了创新性的数据交互方法，促进了人—信息—物理系统的数据交互，对该领域发展具有积极的借鉴作用。

目前系统还存在一些不足，例如无标识虚实注册融合方法存在累积误差，导致维修目标丢失，需要维修人员重新启动系统来清除累计误差。因此，下一步将对虚实注册融合算法和误差补偿方法进行研究，完善系统在煤矿采掘工作面等特殊领域的应用。