煤矿巷道支护钢带锚孔智能识别与定位

2022-11-09张夫净王宏伟王浩然李正龙王宇衡

工矿自动化 2022年10期

张夫净，王宏伟，王浩然，李正龙，王宇衡

（1.太原理工大学矿业工程学院，山西太原 030024；2.太原理工大学山西省煤矿智能装备工程研究中心，山西太原 030024；3.太原理工大学机械与运载工程学院，山西太原 030024；4.山西焦煤集团有限责任公司博士后工作站，山西太原 030024；5.太原理工大学安全与应急管理工程学院，山西晋中 030600）

0 引言

目前我国煤矿大多采用井工开采[1]，需要挖掘大量巷道，为了保持巷道围岩的稳定性，防止冒顶和片帮事故的发生，需要对这些巷道进行支护[2]。现有掘进巷道支护包括锚杆支护、锚索支护、锚喷支护等，其中，锚杆支护的支护效果较好[3]。煤矿井下常用锚杆钻机进行锚杆支护作业，但随着井下掘进工作面“少人则安，无人更安”[4-5]概念的提出，普通的锚杆钻机已不能满足锚护智能化需求，因此，对锚杆钻机进行智能化改造研究迫在眉睫。

许多学者对锚杆钻机机械结构[6-9]和锚杆钻机自动化控制[10-11]进行了研究，虽然优化机械结构、对锚杆钻机进行远程控制改造可提高工作效率、实现工作面少人化，但只实现了锚杆钻机初步智能化，钻锚位置的确定仍需人工完成，无法实现钻锚作业全自动化。钻锚位置（即利用钻杆打孔并拧入锚杆的位置）的自动识别与定位是提高锚杆钻机智能化程度的关键技术。顶板条件不同时，钻锚位置有所不同，在顶板条件较差的巷道需要使用钢带辅助锚杆进行支护，此时钻锚位置的确定就是对支护钢带上锚孔的准确识别与定位，若定位不准，钻头打在钢带或锚网上容易造成设备损坏，严重时会造成安全事故，所以对支护钢带上锚孔的精准识别与定位非常重要。

针对上述问题，本文提出了一种基于改进YOLOv5s 模型的煤矿巷道支护钢带锚孔智能识别与定位方法，采用改进YOLOv5s 模型的目标检测方法识别煤矿井下锚孔，结合双目摄像头获得锚孔相对于相机的三维坐标。首先通过超分辨率重构（Super Resolution，SR）技术对锚孔图像进行重构，提升图像分辨率。然后，在YOLOv5s 的Backbone 区域嵌入坐标注意力（Coordinate Attention，CA）模块，再利用嵌入CA 模块的YOLOv5s 网络训练重构后的锚孔数据集，得到改进后的YOLOv5s 模型，将改进后的模型应用于支护钢带锚孔识别。最后，利用改进后的YOLOv5s 模型结合双目摄像头对锚孔进行实时识别与定位。

1 基于机器视觉的锚孔定位方法

1.1 锚孔智能识别与定位流程

锚孔智能识别与定位流程如图1 所示。首先，通过网络公开的DIV2K 数据集训练用于图像SR 的生成对抗网络（Super Resolution Generative Adversarial Network，SRGAN）[12]，得到SRGAN 模型，将原始锚孔数据集输入SRGAN 模型对锚孔图像进行SR。然后，在YOLOv5s 模型的Backbone 区域中加入CA 模块，得到CA-YOLOv5s 模型，利用重构后的锚孔数据集训练CA-YOLOv5s 模型得到SR-CA-YOLOv5s 模型。最后，在实验室模拟巷道中，利用SR-CA-YOLOv5s模型对钢带锚孔图像进行识别，利用双目摄像头获取锚孔中心到摄像头的深度值，通过坐标转换公式得到锚孔相对于摄像头的三维坐标。

图1 锚孔智能识别与定位流程Fig.1 Process of intelligent identification and positioning of anchor hole

1.2 SR-CA-YOLOv5s 模型构建

1.2.1 SR 模型融入设计

图像SR 是将低分辨率（Low-Resolution，LR）图像恢复成高分辨率（High-Resolution，HR）图像的过程[13]。

由于井下掘进巷道中有粉尘和水雾等，会造成锚孔图像质量、分辨率不高，因此引入SR 技术提升锚孔图像清晰度，防止因图像模糊而丢失图像中锚孔边缘高频信息。SRGAN 模型由生成器模型和判别器模型组成。生成器模型主要用来进行特征提取，并将输入的LR 图像输出为HR 图像；判别器模型用来判断高清图像是不是生成器创造出来的[14]。

利用峰值信噪比（Peak Signal to Noise Ratio，PSNR）、结构相似性（Structural Similarity Index，SSIM）和单张图像重构时间评价SRGAN 模型重构效果，测试结果见表1，当30＜RNSR＜40 时，说明图像质量较好，SSIM 的取值为[0,1]，值越大说明图像失真程度越小。从表1 可看出，SRGAN 模型有很好的重构效果，能够有效提高锚孔图像分辨率且避免锚孔图像因SR 而失真。

表1 测试结果Table 1 Test results

1.2.2 CA 模块融合设计

由于锚孔较小且摄像头距锚孔有一定距离，导致锚孔在图像中所占像素少，且锚孔图像易受复杂环境等因素影响，在卷积神经网络中易出现较小锚孔的特征信息丢失现象，影响锚孔检测效果。CA 模块是将目标位置信息加入通道注意力中使卷积神经网络可以在更大区域上关注目标特征。CA 模块在全局池化时分别沿水平方向和竖直方向的坐标对每个通道进行特征编码操作，这有助于网络更加准确定位被检测目标。为此引入CA 模块，将其加入YOLOv5s 模型Backbone 区域的CSP 模块的后面，增加YOLOv5s 网络中特征提取网络的网络层数，将目标物体的坐标信息融入到卷积网络中，可有效提取锚孔小目标特征信息，从而提高锚孔检测成功率。

2 锚孔识别实验与结果分析

2.1 数据集构建

本文实验训练模型使用的硬件环境为Intel（R）Xeon（R）Silver 4210R CPU@2.04GHz 处理器，显卡为Tesla v100-PCIE。软件环境为Ubuntu 18.04LTS操作系统下Pytorch1.8.0 深度学习框架和CUDA10.2并行计算架构。采用随机梯度下降（Stochastic Gradient Descent，SGD）作为优化器来优化网络参数，设SGD 值为0.01，动量因子为0.937，优化器权重衰减为0.000 5，批尺寸为32，迭代次数为300。

为增加实验结论的可靠性，搭建模拟巷道，模仿煤矿井下复杂、照度低的环境，选用白色环形光源进行实验环境的光照补充。为提高模型泛化能力，避免网络过拟合，通过旋转、随机裁剪、阈值化等图像处理方法对在模拟巷道中采集的1 600 张锚孔图像进行数据增强，扩充数据集，扩充后数据集图像共3 200 张。采用SRGAN 模型对自制的锚孔数据集进行SR，使用labelImg 对重构后的数据集进行标注，按8∶2 划分训练集和测试集。

2.2 模型评价

采用精确率、召回率和平均精度均值（mean Average Precision，mAP）作为模型精度的评价指标，衡量模型的检测能力和实际应用能力，YOLOv5s 模型与本文提出的模型对比见表2。其中精确率是用来反映模型分类能力的指标，召回率是用来反映模型对目标的检测能力，mAP 是评价网络检测精度的常用指标，能更准确反映网络的检测效果。

表2 YOLOv5s 模型与SR-CA-YOLOv5s 模型对比结果Table 2 Comparison results of the YOLOv5s model and the SR-CA-YOLOv5s model %

式中：P为精确率；NTp为正确识别到锚孔的数量；NFp为将其他物体识别为锚孔的数量；R为召回率；NFN为未成功识别到锚孔的数量；M为平均精度均值；Q为各分类的平均精度；n为目标分类数。

由表2 可看出，SR-CA-YOLOv5s 模型的精确率、召回率、mAP 分别为96.6%，97.0%，96.8%，与YOLOv5s 模型相比，精确率、召回率、mAP 分别提高了2.7%，4.2%，3.1%。

2.3 消融实验

为验证本文改进YOLOv5s 模型的检测效果，在YOLOv5s 模型基础上进行不同改进来进行消融实验，结果见表3，其中FPS 为每秒填充图像的帧数。可看出SR-YOLOv5s 模型的mAP 较YOLOv5s 模型提高了0.8%，但是FPS 降低了66.2 帧/s，说明锚孔图像经过SR 之后能变得清晰，使锚孔特征明显，且锚孔在图像中的像素占比变大，模型训练时能提取到更多的锚孔特征，从而提高检测精度，但是检测速度有轻微下降；CA-YOLOv5s 模型的mAP 较YOLOv5s模型提高了1.8%，但是FPS 降低了15.7 帧/s，说明在YOLOv5s 的Backbone 区域添加CA 机制后，模型训练时更加关注目标特征，减少了特征提取网络卷积操作时目标特征的丢失，从而提升了模型训练效果；SR-CA-YOLOv5s 模型的mAP 较YOLOv5s 模型提高了3.1%，尽管FPS 降低了18.5 帧/s，但是FPS 依然达166.7 帧/s，说明利用添加CA 模块的YOLOv5s 网络训练经过SR 后的数据集能在不影响检测实时性前提下进一步提升了检测精度。

2.4 SR-CA-YOLOv5s 模型检测效果验证

为验证SR-CA-YOLOv5s 模型的检测效果，利用YOLOv5s 和SR-CA-YOLOv5s 模型对部分锚孔图像进行对比检测实验，结果如图2 所示。可看出YOLOv5s 模型没有成功检测出锚孔，而SR-CAYOLOv5s 模型能成功检测出锚孔，这是因为在YOLOv5s 网络中融入SR 和CA 模块增强了目标物体在图像中所占的像素比，提高了图像清晰度，且增大了模型训练时对锚孔特征的关注度，在一定程度上可避免由于图像模糊而出现漏检的问题。

图2 各模型检测结果对比Fig.2 Comparison of test results of each model

3 SR-CA-YOLOv5s 模型应用效果验证

为验证SR-CA-YOLOv5s 模型的实际应用效果，将其部署到NVIDIA Jetson Xavier NX 边缘计算设备上进行验证。将训练的SR-CA-YOLOv5s 模型部署到平台后，将其放入锚杆钻机控制箱，结合双目摄像头对钢带锚孔进行识别与定位。由于锚孔处于巷道顶端的钢带上，锚孔目标较小且位置特殊，另外由于锚杆钻机机械臂运动时锚杆钻机机身固定不动，采用Eye-in-Hand 的手眼构型方式将摄像头和光源固定在锚杆钻机机械臂上。为了模仿煤矿井下真实环境，在模拟巷道中喷洒水雾，测试在不同光照条件下利用双目摄像头检测锚孔的实际情况，实验硬件部署如图3 所示。

图3 实验装配Fig.3 Experimental assembly

首先利用C#在WPF 框架下制作锚杆钻机远程控制界面，利用界面远程控制锚杆钻机机械臂运动到锚孔附近，即对机械臂进行粗定位。当支护钢带上的锚孔出现在摄像头视场内时，利用SR-CAYOLOv5s 模型对锚孔进行智能识别，当成功检测出锚孔后，利用双目摄像头获取锚孔中心到摄像头的深度值，然后通过坐标转换得出锚孔相对摄像头的三维坐标，测试结果见表4。可看出SR-CA-YOLOv5s模型能够在不同光照条件下准确检测出锚孔并获得锚孔相对于摄像头的三维坐标，坐标误差在6 mm 以内，且检测FPS 满足实时性要求。