基于混合现实的地下矿山设备巡检系统研究

马新博 荆洪迪 柳小波 于健洋 孙效玉

(1.东北大学智慧矿山研究中心,辽宁 沈阳 110819;2.中国科学院沈阳自动化研究所,辽宁 沈阳 110169)

近年来,国家明确要求加快建设数字化、智能化、信息化、自动化矿山,国家“十四五”规划纲要中指出“推动互联网、大数据、人工智能同各产业深度融合,推动传统产业高端化、智能化、绿色化”,不断加快对矿业领域的改革,智慧矿山建设已经成为传统矿山未来发展的必然趋势,传统的生产模式也亟待优化。

成套化、自动化、大型化是矿山设备的未来发展趋势,而矿山设备保持稳定运行对于维持矿山经济发展起着重要的作用,因而有必要进一步重视井下设备巡检工作并提出更高的要求。井下作业需要配备大批巡检人员对故障设备进行及时有效地维护,因此,地下矿用设备巡检成为维持矿山系统正常工作必不可少的一环[1]。在传统矿山生产过程中,设备维修环境恶劣、维修耗时问题显著、检修不到位、维修不及时、维修人员专业知识储备不足等情况经常出现,并且一线熟练工程师培养周期较长,人工成本较高且容易流失,现场处置受人为经验主导,在一定程度上影响了作业效率,进而影响了矿山效益。

目前,增强现实(Augmented Reality,AR)、虚拟现实(Virtual Reality,VR)和混合现实(Mixed Reality,MR)技术已逐渐成熟并在医疗、军事、教育和建筑等领域得到了广泛应用[2-6]。其中MR技术将计算机产生的模拟信息带入用户的感受范围内,并以真实场景为主体,以计算机搭建的信息平台以及虚拟物体为客体,让用户沉浸在真实与虚拟的交互过程中[2]。LINDGREN等[7]通过研究中学生在混合现实系统中学习重力以及行星运动,研究得出,在该系统中可以带来显著的学习收获、更高的参与度以及对科学更积极的态度;JUAN等[8]研究表明MR技术将是对矿业与冶金工程专业人才教育的新方法。在国内,混合现实技术主要在模拟现场教学和设备的维修辅助等方面得到应用。贺凯等[9]将MR技术应用于矿用电气设备防爆教学实操演练;李喆等[10]利用混合现实技术实现了核电设备的维修辅助;在电网应急作业过程中,刘建明等[11]将混合现实技术与电网抢修的关键流程实现了融合,使得电网抢修作业效率得到了改善。MR设备可以辅助工程师完成检修工作,但未进行巡检路径规划和检修记录更新等,只完成巡检流程的一部分工作,因而其实用性有待提高。目前,国内外基于混合现实的巡检设备、系统研发正处于初步探索阶段,尤其在矿山领域的研究仍较少且缺少相对成熟的案例。

混合现实技术具有的各种特点和巨大的应用潜力,使得它能够有效提高地下矿用设备的巡检效率,巡检人员通过MR眼镜可以直观地获取设备模型以及相关信息,便于做出相应的检修指导,非专业人员也能够独自完成设备巡检工作。本研究结合传统矿用设备维修辅助方法和巡检工作流程,将混合现实技术应用于移动端设备,设计了基于混合现实的地下矿用设备巡检系统。该系统利用头戴式混合现实设备实现了巡检工作中的设备信息化管理和可视化操作,有助于解决巡检周期长、巡检人员业务能力有限、工作流程繁琐及信息交接不充分等问题,从而可以显著提高巡检工作效率。

1 系统框架设计

本研究设计的地下矿用设备巡检系统的总体框架分为数据层、开发层及应用层,如图1所示。

图1 地下矿用设备巡检系统框架Fig.1 Framework of the inspection system of underground mine equipment

(1)数据层。利用SQL Server将地下矿山井巷路径节点、硐室信息等录入基础数据库,以实现路径导航最优化计算及设备信息可视化管理的调用和更新;将检修指导流程、检修说明、专家意见指导等录入检修意见指导库,有效辅助检修工作。

(2)开发层。系统开发内容主要包括MR场景搭建和系统功能模块开发。MR场景搭建包括在Unity3D中完成模型建立和环境建立,并实现虚拟信息与使用者的交互;根据巡检工作实际需求设计开发五大功能模块,通过构建操作界面将数据库信息传递给使用者,同时建立一套完整的系统以增强使用者在混合现实终端设备上的交互体验。

(3)应用层。将开发的系统模块通过C#语言进行二次开发实现有逻辑、有层次的控制,并将各功能模块整合为系统应用程序,通过Visual Studio将解决方案部署至混合现实终端设备进行真机测验和系统优化。

2 MR场景搭建

2.1 混合现实设备选择

为实现该系统的功能开发目标,本研究通过对几大主流混合现实设备进行对比并选取HoloLens为该系统的终端设备。微软推出的HoloLens眼镜是MR的代表设备之一,可以使用户通过镜片,采用语音、手势和视线这种全新的交互方式进行虚拟和现实之间的沉浸式交互体验[12]。混合现实设备参数对比见表1。

表1 混合现实设备参数对比Table 1 Comparison of the parameters of MR device

2.2 模型建立

该系统的模型构建基于3ds Max-Unity3D-Holo-Lens平台实现,使用3ds Max软件搭建井巷、矿用设备及标志物三维模型,借助第三方虚拟现实平台Unity3D进行数字孪生模型构建,并结合MR技术将数字孪生模型以HoloLens眼镜为载体进行数字信息呈现,以全息视觉体验数字信息模型的方式为巡检人员提供维修指导服务。创建设备3D模型时,设备的拆装过程要进行过程建模,采用层次/关系模型方法使得创建的设备部件结构层次清晰、父子等级关系明确,来避免逻辑不清等人为不必要的麻烦[13]。标志物模型的建立选取箭头、警示等醒目易于察觉的符号,以简单化、透明化的风格使用户方便接受。将传统的二维矿山数据信息存储在数据库中,将CAD设计图以1∶1的比例在3DMine软件中进行三维重建,并在Unity3D软件中进行透明化处理,以便各功能模块方便获取其位置及形状信息,且不影响用户在实际应用中的视觉体验。

2.3 环境搭建

在Unity3D软件中使用MRTK(混合现实工具包),使摄像机能够将虚拟场景投影到镜片上,Holo-Lens设备通过全息投影方式让用户能够体验虚实融合的混合现实视觉效果。用户头部所戴眼镜位置即为Unity3D中摄像头的位置。HoloLens眼镜通过惯性传感器、环境感知摄像头和深度摄像头来跟踪用户头部的方向和位移。为使两眼的屏幕上各自渲染适合的画面,使用户看到非常真实的全息景象,工程设置对话框中需勾选“VR Support”,摄像头需设置“ClearType为Solid Color”,设置颜色为纯黑(RGB:0,0,0)。

2.4 人机交互设计

HoloLens眼镜是MR的代表设备之一,使用者可以通过镜片,采用视线跟踪、手势识别、语音交互这种全新的交互方式进行虚拟和现实之间的沉浸式交互体验。

(1)视线跟踪(Gaze)。即凝视点为全息透镜的中心点,用户的视线被全息透镜中心的光标检测跟踪。内置红外摄像头根据用户的视线判断用户的头部位置及朝向并发射射线,此时,在光标处可同时获得碰撞点的3D位置参数和碰撞对象。

(2)手势识别(Gesture)。以点击手势和绽放手势为例,点击手势分为准备和点击两个步骤,用来进行虚拟对象选取操作。可以采用Air Tap点击手势来触发图形用户界面中的功能按钮或进行当前界面的拖拽;绽放手势分为准备和返回两个步骤。

(3)语音交互(Voice)。主要采用两种交互方式,第1种是用来进行语音提示的不具备真正交互意义的语音交互技术;第2种则是具有真正交互意义的语音输入与识别处理式交互,可以通过关键字特定语音输入的方式触发相应功能,实现语音交互。

3 系统功能模块及关键技术

地下矿用设备巡检系统功能主要有巡检路径导航、设备标识牌识别、设备信息管理、检修意见指导和需检部件空间标记五大功能模块,如图2所示。该系统以HoloLens为载体,通过视觉SLAM算法[6]得到大面积的空间信息完成自定位,选择目标点进行巡检路径导航;再通过扫描识别标识牌,获取当前设备管理信息进行查看和更新;通过 GGV(Gesture、Gaze、Voice)人机交互,调取三维模型和动画,实现对设备的旋转、放大、拆解、装配等虚拟操作;调用检修意见指导库提供相应的检修意见;移动预设指示物对需检部件进行空间标记。

图2 系统功能流程示意Fig.2 Schematic of system function flow

3.1 巡检路径最优化导航

巡检路径的最优化导航是该系统巡检工作的第一步,巡检人员在该功能界面手动选择需要前往检修的硐室或设备,系统自动规划出本次巡检的最优化路径,同时路线指引箭头在地面亮起闪烁提供可视化导航。井巷之间相互连通,形成了一个具有网络特征的三维空间。利用Unity3D编辑器对井下各巷道两端的节点进行编号,并将编号通过插值方法将其对应的位置坐标进行存储,考虑到地下矿山操作人员位置的变动性,采用Floyd动态规划算法寻找给定的加权图中多源点之间的最短路径[14-17]。地下矿山可视化路线导航功能如图3、图4所示。

图3 巷道三维可视化模型Fig.3 3D visualization model of roadway

图4 可视化路线导航功能模块Fig.4 Visual route navigation function module

3.2 设备检测及ID识别

该模块使巡检人员可以通过查看标识牌直接获得该设备的3D虚拟模型及数据库中存储的信息面板,使其可以快速、直观地查看和了解检修记录及设备状态,便于从整体上把握该设备的状况,有效提高巡检工作效率。

使用Vuforia数据库录入矿用设备标识牌的三维空间特征点并获得指定的ID,在Unity3D软件搭建的场景中嵌入Vuforia模块,利用HoloLens摄像机检测和跟踪标识物特征点,并根据标识牌的位置,调用并显示数据库中的信息。此处采用图纸打印后近90°竖直放置来模拟工程实际情况,标识牌模型空间信息采集情况如图5所示,图中采集点为Vuforia扫描标识牌后采集的空间特征点。

图5 标识牌模型空间信息采集Fig.5 Collection of the spatial information of the identification card model

3.3 检修意见指导

检修意见指导系统的知识库来源于传感器采集故障类别数据、设备检修技术手册等,主要包括工作原理、各零部件名称及故障类型、易损部件维护及更换等设备信息,结合专业检修人员工作经验给出相应的检修指导方案,生成检修指导流程动画。利用SQL Server数据库完成数据的存储、更新以及Unity3D之间的数据交互[18-19],通过C#脚本调用数据库信息完成在HoloLens设备上的信息展示。

3.4 需检部件指示物标记

设备易损、易坏部件和本次工作中因工具、零件不足等问题未能完全完成检修的部件,需要进行指示物的标记,以便下次开展巡检工作时能及时注意到并处理。在该系统中,虚拟3D模型能够对现实空间中的设备进行精确标记而不会对其进行任何物理上的破坏,有效满足了需检部件标记需求。

目标指示物以红色箭头为例,通过C#脚本控制,使其可以由用户手势或语音指令控制进行放大、旋转、移动等操作。当指示物对准需检部位,利用空间锚技术[20-21]使其与真实空间坐标系统融合,进行锁定。虽然实际上空间锚物体对于Unity空间来说坐标一直在变动,但是空间锚在真实世界中的位置是稳定的,以它为基准点的坐标系也随即稳定下来。空间锚的核心作用在于提供一个相对于真实世界足够稳定的坐标系,这就保证了指示物不会因巡检人员移动或系统重启等原因导致HoloLens视角下的偏移错位。

4 应用案例

本研究以眼前山铁矿破碎机为例进行地下矿用设备巡检工作,具体操作流程分析如下。

(1)由导航模块规划出本次巡检的最优化路径,根据亮起的路线指示灯与指示标牌巡检至待检修破碎机处,如图6所示。

图6 混合现实导航模块现场应用Fig.6 Field application of mixed reality navigation modules

(2)对设备标识牌进行识别,载入设备信息管理面板,查验是否有需检部件指示物标记,有则优先检修,无则常规检修,如图7所示。

图7 设备信息管理面板Fig.7 Device information management panel

(3)巡检人员根据检修意见指导库中生成的指导动画进行检修,并在系统内详细记录本次巡检信息,如图8所示。

图8 设备拆装指导动画Fig.8 Guide animation of equipment disassembly and assembly

5 结 论

(1)地下矿山混合现实设备巡检系统主要通过3ds Max建立模型、Unity3D搭建环境和调用数据,最终搭载于HoloLens混合现实穿戴设备。该系统具有语音交互、手势识别和视线跟踪等良好的人机交互方式,巡检路径导航能够指引巡检人员简便有序地完成任务,实现了待检部件主动提示与故障信息随检更新等功能;自动识别设备实现了现场信息化管理和无纸化办公,避免发生因巡修人员遗忘或巡检人员更替导致信息交接不充分等问题,改变了传统的巡检工作模式,使巡检工作变得精准、高效、便捷,可在国内其他环境复杂的地下矿山中进行推广应用。

(2)随着5G技术的飞速发展以及在矿山领域的积极推广,未来可以将该系统接入互联网。结合云平台和5G高速传输技术将设备传感器数据实时传入该系统,地下矿用设备巡检系统的应用将会变得更加高效和便捷。