履带式液压支架机器人数字孪生教学实验平台

2023-02-20王学文王禧龙沈卫东刘曙光谢嘉成

实验室研究与探索 2023年11期

王学文，王禧龙，沈卫东，刘曙光，谢嘉成

（1.太原理工大学机械与运载工程学院，太原 030024；2.煤矿综采装备山西省重点实验室，太原 030024）

0 引言

随着“工业4.0”和“中国制造2025”的提出与推进［1］，煤炭行业也结合大数据、云计算［2］、物联网、第五代移动通信技术（5G）、虚拟现实（VR）等［3］，探寻智慧矿山运行新模式。中国煤炭学会将“煤矿智能化机器人［4］”列为“十四五”期间煤炭十大重点领域之一［5］，鼓励大力研发应用煤矿机器人，为煤炭生产注入新动能。对于未来从事以煤矿为背景的机器人相关工作学生的培养，实习实践不可或缺，但是由于煤矿井下生产环境的特殊性，学生难以获得足够的机会到生产现场对煤机设备进行相应的学习，而数字孪生［6］技术提供了一种良好的解决方案。

对于机器人数字孪生系统的研究，董靖川等［7］建立了一套并联机器人数字孪生实验系统，用于各类机器人控制教学实验。陈成军等［8］设计了面向遥操作机器人在线示教的数字孪生系统，结合增强现实（AR）技术，完成机器人的控制。王亮亮等［9］开发了工业机器人数字孪生教学系统，包括离线仿真与机电一体化两大模式。陈良［10］采用Simpro 仿真软件，基于数字孪生技术辅助工业机器人实训教学，培养学生针对工业机器人的操作技能。当前数字孪生教学系统与VR和AR结合较浅，难以将机器人动态特性更加全面、清晰地展示在教学过程中。

针对履带式液压机器人数字孪生教学系统［11］的开发，结合VR和AR技术，设计了虚拟监控系统。学生可以通过穿戴式设备更加直观地了解液压支架煤矿机器人的机械结构、工作原理和控制原理，将井下复杂环境以及工况更加清晰地呈现在教学任务中。

1 总体框架

履带式液压支架机器人数字孪生监控系统设计总体框架如图1 所示，包括物理系统设计、虚拟监控系统设计、数字孪生AR监控系统设计三部分。

图1 总体框架设计

（1）履带式液压支架机器人物理系统设计。对履带式液压机器人物理实体的设计及制作，以满足机器人实体基于履带轮系统的灵活行走、基于多传感器的巷道地形感知与自适应支护为目的。

（2）履带式液压支架机器人虚拟监控系统设计。完成虚拟场景搭建，实现虚拟环境下数字孪生体的仿真动作，开发适用于PC 端及AR 设备的人机交互界面，并搭建虚实交互通道，为完成基于数字孪生理论的三维可视化虚拟监控创造条件。

（3）履带式液压支架机器人数字孪生AR监控系统设计。完成网络框架的搭建，制定物理系统与虚拟监控系统之间的通信策略，选择合理的数据处理与传输方法，实现远程虚实融合同步监测与AR 多模态交互机器人远程控制。

2 履带式液压支架机器人物理系统设计

2.1 样机结构设计

ZY4000／18／38 型液压支架各部分设计较为复杂。在实验模型的构建上，为方便后续实验，利用SolidWorks软件对履带式液压支架机器人实体零件进行等比例建模，并且完成装配体的装配（见图2）。

图2 支架机器人三维建模

2.2 物理样机选材及制作

选用亚克力板作为主体材料；顶梁、后连杆监测选用ADXL345 倾角传感器，底座角度通过JY901 姿态角度传感器获得；支护高度由HC-SR04 超声波测距模块测量；顶板压力监测选用薄膜压力传感器；选用MQ型气体检测模块监测巷道里瓦斯的浓度；选用Arduino Uno开发板为感知元件供电并收集传感信息，然后将传感数据通过WI-FI传输至上位机。履带式液压支架机器人物理系统如图3 所示。

图3 履带式液压支架机器人物理系统

3 履带式液压支架机器人虚拟监控系统设计

3.1 虚拟监控系统总体方案设计

虚拟监控系统由巷道支护的虚拟监测、超前支架的虚拟控制、人机交互界面和虚实交互通道等组成，如图4 所示［12］。虚拟监控系统的基础是构建真实巷道和巷道支护设备的数字孪生体，搭建虚实交互通道。

图4 履带式液压支架机器人虚拟监控系统

虚拟监测是基于实时传感数据，驱动虚拟设备运行，实现对真实工况的直观再现和装备运行参数的可视化，即实控虚；虚拟控制是通过虚拟场景控制脚本和虚实交互通道，实现对虚拟设备和物理设备的同步控制，虚实设备分别对虚实巷道煤层顶底板进行自适应支护，即虚控实；人机交互界面对虚实设备的控制提供接口，并对虚拟设备的运行参数进行可视化展示。

3.2 虚拟场景构建

选用Unity3D软件构建虚拟监控场景。在ug 中对煤层装备进行三维建模，通过3DMAX 转换文件格式，再将FBX 文件导入Unity3D 软件的虚拟场景中，完成虚拟模型的构建。在Unity3D 软件中，基于各零部件的父子关系，对机构进行运动解析，编写控制脚本，实现虚拟支架推进支护等功能。建立可视化以及按键控制的图形用户界面（GUI），实现人与系统的双向交流与互动。配置多串口通信进行虚实信息交互。虚拟模型效果如图5 所示。

图5 履带式液压支架机器人样机虚拟模型

3.3 虚拟监测与控制子系统设计

虚拟监控场景是以支架运行仿真为基础，由传感数据、传感数据处理脚本以及虚拟监测与控制脚本集成实现。

传感监测数据包括支架实时坐标、支架高度、后连杆倾角、护帮板角度、顶梁俯仰角以及底座的俯仰角、横滚角和偏航角，通过脚本将传感信息处理后数据赋值给虚拟样机的驱动变量，实现虚拟样机的实时数据驱动。

虚拟监测通过Serial.Controller.cs、data.cs 和ZhiJia＿Monitor.cs 3 个脚本实现。Serial.Controller.cs负责与下位机建立串口通信通道，data.cs负责传感数据的分析和处理，ZhiJia＿Monitor.cs负责虚拟样机的数据驱动。虚拟控制的实现主要通过ZhiJia＿Control.cs和Serial.Control.cs脚本实现。脚本Serial.Controller.cs负责与下位机通信，将控制指令传达到物理系统；点击控制“模式按钮”，ZhiJia＿Control.cs 脚本启用，ZhiJia＿Monitor.cs 脚本禁用，支架进入控制模式。

通过虚拟监测与控制面板对应操作界面，可控制虚拟样机实现对应操作，并通过虚拟控制串口通信通道向下位机发送控制指令，控制对应支架物理样机执行对应操作。实现过程如图6 所示。

4 履带式液压支架机器人数字孪生AR 监控系统设计

4.1 AR监控系统总体方案设计

构建了AR监控系统逻辑模型，由数据采集层、数据传输层、数据中心层和应用系统层组成，如图7 所示。数据采集层为本系统的监控终端，即履带式液压机器人物理系统；应用系统层的用户为AR 监控客户端，即AR设备；数据中心层实现数据采集终端和监控系统的信息交互。

图7 数字孪生AR 监控系统逻辑模型

虚拟监控系统需要对多个远程终端设备进行监控，为了减少线程阻塞，提高通信服务的输入／输出（I／O）性能。无线远程监控系统的通信服务器采用异步编程模型AMP，利用.NET 提供的SocketAsyncEventArgs类异步接收客户端数据，使用缓冲池和连接池提高系统效率。采用esp8266 WI-FI 模块实现Arduino 与AR 设备的无线通信，集成Uduino插件并发布至AR设备的Unity3D监控程序。通过IP地址（互联网协议地址）及端口访问esp8266 WI-FI 模块，构建虚实双向交互通道，为AR 监控的实现提供基础。

4.2 基于AR技术的虚实融合和监控系统实机开发

采用基于自然特征检测的目标识别跟踪方法实现AR设备对履带式液压支架机器人的识别和跟踪。在实时交互方面，开发了多模态交互方法，集成手势操作与语音命令2 种交互通道。

（1）手势操作。HoloLens2 提供了底层应用程序编程接口（API）和高层API，可通过这些API满足不同的手势定制需求。底层API能够获取手的位置和速度信息，高层API则借助手势识别器识别预设的手势，如图8 左图所示。

图8 手势与语音交互开发

（2）语音命令。由UnityEngine.Windows.Speech命名空间设定语音命令关键词，并设定Action 为Trigger，将关键词与机器人的相关动作行为相对应，如图8 右图所示。当用户说出关键词时，预设的动作就会被触发。

将开发完毕的系统打包为通用Windows 平台（UWP）应用程序以兼容HoloLens2，并通过Visual Studio编译将程序部署至HoloLens2 真机以供测试。HoloLens2 可准确识别真实场景中的履带式液压支架机器人，并将数字孪生体叠加到物理系统上。通过手势操作或语音指令，操作者可与AR 场景中的全息用户界面（UI）进行交互，实现对履带式液压支架机器人的非交互式监控，如图9 所示。

图9 HoloLens2下的数字孪生AR监控系统画面

5 履带式液压支架机器人数字孪生监控系统集成与测试

5.1 子系统功能测试

布置煤层模型和支架机器人，确保机器人供电和接线正常；布置超带宽（UWB）定位基站并进行定位初始化；在控制器上安装无线通信模块，建立与计算机的无线通信；通过上位机发送控制指令至支架机器人，依次控制履带轮前进、后退、转弯以及支架升降柱和顶梁自适应顶板的功能。机器人在上位机发送指令后可实时执行控制指令，而且上位机可实时接收传感系统的机器人位姿数据，如图10（a）所示。结果显示，无线通信流畅稳定，机器人执行机构运行正常，传感系统可正常工作，满足系统设计要求。

图10 分系统功能测试

虚拟机器人和物理机器人动作同步，两者均行走至虚实煤层的相同位置，并且姿态一致，如图10（b）所示。虚拟监测面板实时显示支架位姿信息。测试结果表明，虚拟监控系统满足虚实同步性要求。传感器能够准确地记录实时位置与倾角变化，系统的位姿参数准确性满足系统监测需求。

操作人员头戴AR 交互设备，通过手势交互点击控制按钮并拖动slider 滑条，控制物理机器人的行走以及支护动作。AR监控第一人称视角如图10（c）所示。虚拟煤层装备和物理煤层装备同时空间叠加，物理样机跟随交互手势完成指定动作，数字孪生体基于实时传感数据完成AR 监测任务，同时AR 监测面板实时刷新并显示物理机器人的实时位姿信息。测试结果显示，数字孪生AR监控系统虚实叠加效果清晰，虚实设备运行实时同步，手势交互方式可靠，满足数字孪生AR监控系统的预期设计要求。

5.2 整体运行测试

操作人员通过数字孪生AR 监控系统对物理系统进行手势控制，通过虚拟监控系统对物理系统进行监测。测试结果如图11 所示。物理机器人按照指令完成行走和支护，并且虚拟监控场景与真实支架实时同步运行，虚拟监测面板可实时展示物理机器人位姿信息。结果表明，虚拟场景运行帧率流畅，各子系统间通信流畅且具有较好的实时性和同步性，达到系统的预期设计目标。