改进YOLOv5s 的采煤机滚筒与支架护帮板干涉状态智能识别

毛清华 ，胡 鑫 ，王孟寒 ，张旭辉 ，薛旭升

（1.西安科技大学 机械工程学院, 陕西 西安 710054；2.陕西省矿山机电装备智能检测与控制重点实验室, 陕西 西安 710054）

0 引 言

2020 年，国家八部委联合颁发了《关于加快煤矿智能化发展的指导意见》，指出煤矿智能化是煤炭工业高质量发展的核心技术支撑，研究工作面智能化开采技术是实现煤矿智能化的关键。液压支架作为综采成套装备的重要组成部分，是实现煤矿井下安全生产的关键设备之一[1-2]。在综采工作面协同采煤过程中，采煤机、液压支架和刮板输送机自动协同工作是自动开采技术的核心。在采煤机割煤时，若在采煤机到达前液压支架护帮板没有收回时，将会出现护帮板与采煤机滚筒干涉[3-4]，导致截齿损坏甚至人员伤亡事故。因此，研究液压支架护帮板异常状态智能识别方法，对煤矿安全、高效、智能开采具有重要意义。

目前，在智能开采背景下，采煤机滚筒与液压支架护帮板干涉识别成为研究热点[5]。王妙云等[6]针对煤矿综采工作面设备间碰撞检测手段匮乏、预警困难等问题，运用虚拟现实技术、包围盒碰撞检测技术，仿真实现了采煤机滚筒与液压支架护帮板之间的碰撞检测功能。王渊等[7]利用雾尘图像清晰化算法与机器视觉测量方法对液压支架护帮板的收回状态进行非接触监测。满溢桥[8]建立了基于图像特征的护帮板位姿解算模型，设计了护帮板图像位姿特征提取算法对护帮板与滚筒截割干涉进行识别。综上所述，目前主要采用机器视觉检测液压支架护帮板的姿态来识别采煤机滚筒与护帮板干涉状态，但在煤矿综采工作面实际工况中存在设备遮挡、雾尘干扰等导致护帮板与采煤机滚筒边缘难以准确提取，因此直接通过视频图像识别护帮板位姿难以实现采煤机滚筒与护帮板干涉准确识别。

机器视觉技术广泛应用于模式识别中，但传统的图像识别方法通过提取图像特征进行分类识别，在实际工况中存在特征自适应提取难导致识别准确率不高的问题。深度学习可以直接对原始图像进行自适应特征提取，能够有效解决人为选取图像特征导致识别准确率不高的难题[9-10]。深度学习的目标检测算法有多种，而 Faster R-CNN、YOLO 和SSD是应用最为广泛的3 种[11-14]，其中Faster R-CNN 准确率比较高，但是识别速度不高；SSD 识别速度快，但是识别准确率不高；YOLO 系列算法识别准确率和速度都较高[15-17]。因此，YOLO 系列算法在煤矿井下应用比较广泛。魏强等[18]为了低性能设备上能满足实时检测，提出了一种融合图像去雾与Tiny-YOLOv3 的目标检测方法，该方法能实时检测护帮板状态。张旭辉等[19]提出了一种基于改进YOLOv5s的护帮板识别方法，该方法能实时检测护帮板状态。但是，以上研究重点研究护帮板识别，而缺乏护帮板与采煤机滚筒干涉识别研究。

为此，提出一种改进YOLOv5s 的采煤机滚筒与护帮板干涉状态智能识别方法。针对综采工作面环境恶劣，采集的视频图像受采煤时产生的尘雾干扰影响识别问题，运用前期课题组提出的去雾去尘方法[20]对采煤机滚筒与液压支架护帮板图像进行清晰化处理，为后续采煤机滚筒与液压支架护帮板干涉状态识别提供高质量的原始图像; 针对标准YOLOv5s参数量、运算量较大问题，使用Ghost 卷积减少模型参数，提高模型识别速度；针对综采工作面干扰物体和特征较多问题，引入CA 注意力机制，提高模型对护帮板和滚筒特征提取能力，从而提高模型识别精确率；针对因护帮板重叠而发生漏检问题，运用Soft-NMS 锚框筛选方法替换原有模型中NMS 锚框筛选方法；最终根据护帮板与滚筒的检测锚框重叠程度判定二者干涉状态。从而实现液压支架护帮板与采煤机滚筒干涉状态的智能精确识识别，对煤矿安全、高效、智能开采具有重要意义。

1 干涉状态识别系统总体设计

1.1 摄像头布置

首先布置视频传感器，每间隔3～4 台液压支架布置一个防爆云台摄像机，负责对应区域护帮板的图像采集，如图1 所示。

图1 视觉传感器布置示意Fig.1 Arrangement method of camera

1.2 滚筒与护帮板干涉状态

根据煤矿综采工作面液压支架护帮板的支护要求，护帮板须与采煤机协同运行。干涉状态护帮板图像如图2 所示，当采煤机滚筒抵达时，红框中的两个护帮板未及时收回，即认为此处护帮板与滚筒发生干涉。每台矿用本安防爆摄像仪分别负责拍摄3到5 个液压支架护帮板图像，当采煤机滚筒行进到对应位置矿用本安防爆摄像仪的视野内时，开始对该台摄像仪拍摄到的所有护帮板和滚筒进行识别。根据采煤工艺需求，在采煤机前进方向上，距离滚筒最近的护帮板应当及时收回，若未收回则认为这些护帮板将与滚筒发生干涉，这些护帮板将会被识别和发出报警信号。

图2 存在异常状态的护帮板图像Fig.2 Image of guard plate with abnormal state

1.3 数据集构建

试验所用的采煤机滚筒与护帮板数据集来源于黄陵2 号矿，录制了30 d 的该煤矿生产中与未生产时根据需求安装的58 台防爆云台摄像头煤矿监控视频，并通过云台控制旋转摄像头拍摄煤壁上各个角度的液压支架护帮板各种状态图像。避免综采工作面推进中导致摄像头拍摄角度变化，增加识别模型的鲁棒性。采用opencv-python 调取护帮板和采煤机工作视频，视频流每隔25 帧保存1 张图片，共得到15 000 张煤矿井下真实图像。采煤机截割头标注为shearer，护帮板标注为warning。煤矿综采工作面存在大量粉尘和设备产生的水雾，导致采集到的图片质量差、煤矿井下目标模糊、细节丢失、能见度低、难以识别，无法为异常识别提供高质量图像。因此，首先运用我们前期提出的基于边界约束和非线性上下文正则化的去雾去尘方法对视频图像进行清晰化处理，处理结果如图3 所示，实现了良好的去雾去尘处理。

图3 综采工作面雾尘图像清晰化处理Fig.3 Clear processing of fog and dust image in fully mechanized mining face

采用LabelImg 软件在图像上以最小外接矩形框标注训练数据集的采煤机滚筒与液压支架护帮板。如图4 所示，制作成采煤机滚筒与护帮板数据集，然后以8∶1∶1 的比例形成为训练集、验证集和测试集。

图4 护帮板与滚筒的标注示例Fig.4 Example of labeling of side guard and shearer

1.4 干涉状态检测系统

采煤机滚筒与液压支架护帮板的干涉状态检测系统如图5 所示。首先，在AI 训练平台上训练基于改进YOLOv5s 的目标检测模型，将异常状态检测模型部署到集控中心；其次，在进行采煤作业时，当采煤机滚筒进入对应位置的视频传感器视角内时，集控中心的推理服务器通过获取摄像头的视频流地址，采用OpenCV 直接解码摄像头实时监控画面并识别，然后通过识别结果判断采煤机接近时护帮板是否未收回；最后，若检测结果为异常，监控系统进行异常报警和控制采煤机停机，防止与采煤机滚筒发生碰撞，同时保存识别结果。

图5 护帮板干涉状态识别系统Fig.5 Interference status identification system for guard plate

2 干涉状态识别方法

2.1 改进YOLOv5s 的干涉状态识别方法

在综采工作面协同采煤过程中，若在采煤机抵达前液压支架护帮板没有收回时，将会出现运动干涉情况，因此需要实时监测并处理。

基于改进YOLOv5s 的采煤机滚筒与液压支架护帮板干涉状态识别方法如图6 所示。首先，输入未收回的护帮板和采煤机滚筒图像样本对模型进行训练，得到识别模型。然后在进行采煤作业时，当采煤机滚筒进入对应位置的视觉传感器视角内时，开始对该区域的视频监控图像进行去雾处理，接着将去雾图像输入到改进YOLOv5s 模型完成护帮板与采煤机滚筒识别，得到的护帮板和滚筒锚框，然后通过计算两者锚框重合度Z，即可完成采煤机滚筒与液压支架护帮板的干涉识别。根据工况需求和大量实际视频分析，设定当重合度Z大于50%时报警，避免由于视角问题可能导致滚筒和护帮板目标框相交导致的误判现象。

图6 基于改进YOLOv5s 的干涉状态识别方法Fig.6 An improved interference state recognition method based on YOLOv5s

1）当重合度小于50%时，即采煤机滚筒到达时护帮板为收回状态，监控视频显示绿色的“正常”。

2）当重合度大于50%时，则认为护帮板与采煤机滚筒距离过近，判定为已经发生干涉，则在监控视频对其识别框标红并显示红色的“警告”，表示为异常工作状态，提醒集控中心人员进行处理和控制采煤机停机，防止与采煤机滚筒发生碰撞。

2.2 锚框重合度Z 计算

给定两个矩形A和B，矩形A的左上角坐标为（Xa1,Ya1），右下角坐标为（Xa2,Ya2），矩形B的左上角坐标为（Xb1,Yb1），右下角坐标为（Xb2,Yb2）如图7 所示。

图7 矩形A 和BFig.7 Rectangle A and B

判断2 个矩形的中心坐标的水平和垂直距离，只要这2 个值满足一下条件就可以相交。

矩形A的面积:

这样就求出了矩形的重合度Z:

2.3 改进的YOLOv5 网络结构

将YOLOv5 主干网络中的普通卷积Conv 替换为分类效果更佳的Ghost 卷积，并在Backbone 部分引入CA，改进的主干网络结构及识别过程如图8所示。

图8 改进的YOLOv5s 网络结构Fig.8 Improved YOLOv5s network

2.3.1 Ghost 卷积提升识别效率

为了将多个模型并行部署到显存和内存较小的设备上，且实现对多个摄像头的实时识别的要求，通过GhostConv 提高护帮板识别效率。

在YOLOv5 深度学习网络中存在着大量冗余，如对模型的精度至关重要的特征图是由卷积操作得到，又输入到下一个卷积层进行运算，这个过程包含大量的网络参数，消耗了大量的计算资源。造成护帮板速度低，因此引入GhostConv 代替Backbone 主干特征提取网络中的普通卷积，可在提高模型检测速度的同时，仅损失较少的精度。

Ghost 卷积[21]部分将传统卷积操作分为3 部分：

1）如图9 所示。首先将输入的特征图进行卷积，但是与常规卷积中输出的通道数为N不同，其首先得到红色框中的特征图，其输出的通道数为

图9 传统卷积与Ghost 卷积模块Fig.9 Convolutional layer and GhostConv module

2）随后将红色框中的特征图的每个通道单独进行某种“线性变换”；

3）最后将以上2 步操作所得到的特征图进行拼接来生成最终的特征图，得到与普通卷积相当的特征图，能够在不影响网络提取特征性能的同时减少参数量。

基于此，以Ghost 模块为基础构建了Ghost 卷积如图10 所示。

图10 Ghost 卷积Fig.10 GhostConv

2.3.2 引入CA 提升识别准确率

由于煤矿井下环境复杂，井下目标尺度多样，影响YOLOv5s 模型对图像中滚筒与护帮板特征信息的提取，造成识别准确率不高。引入了CA 注意机制，帮助网络更准确地定位护帮板和滚筒，提高模型识别准确率。坐标注意力机制[22]（Coordinate Attention，CA）它不仅捕获跨通道信息，而且捕获方向感知和位置敏感信息，这有助于模型更准确地定位和识别护帮板。CA 利用两个一维全局池化操作分别沿着X横轴方向和Y 竖轴方向使用了不同大小的池化核如式（15）及式（16）所示。

将CA 注意力机制添加至CSP 模块中以及SPPF 模块前，增强模型的特征提取能力，从而提高模型识别精确率。

2.3.3 Soft-NMS 锚框筛选方法降低漏检率

原始YOLOv5s 中采用非极大值抑制算法(NMS)进行锚框筛选。但是，当一个物体B 的边界框与置信度最高的边界框A 相交，并且两边框的处于预设的重叠阈值之内，则会将物体B 的边界框强制删除，这样可能会导致检测不到物体B，从而造成漏检，即液压支架护帮板存在重叠时会导致漏检。

因此文中在 YOLOv5s 中引入 Soft-NMS 算法来代替原始的NMS 算法，Soft-NMS 算法会对物体B的检测框的检测分数进行衰减而非彻底移除。根据高斯分布重置函数来解决漏检，对传统的 NMS 分数重置函数做改进如下：

其中，D为所有保留的有效框集合；Bi为待过滤的第i个预测框；si为第i个预测框对应的分类score；iou为交互比。当两个框重合度越高时，Si的取值会越小，即降低相应框的得分，避免了因强制删除相应框而造成漏检的情况，从而提高目标检测精度。

2.4 评价指标

采用平均精度AP(Average Precision，AP) ，AP平均值(Mean Average Precision，mAP) 作为目标检测的评价指标来评估训练出的模型。

其中，P为精确率；R为召回率；TP为预测值与真实值均为正；FP为预测值为负、真实值为正；FN为预测值为正、真实值为负。

3 试验结果及分析

3.1 试验设备

试验中所使用设备参数如下：

3.2 消融试验结果

通过消融试验验证图像去雾、CA 和Ghost-Conv 对整体模型的影响，试验采用相同的液压支架护帮板数据集和软硬件设备，所得护帮板识别精确率和耗时见表1。

从表2 中可以看出，进行图像去雾处理后，识别精确率提高了2.7% ；在YOLOv5s 模型中融入CA后（图11），增强了模型提取护帮板关键特征的能力和抗干扰能力，识别精确率相比于YOLOv5s 提升了3.2%；当引入GhostConv 后，识别精确率相比于YOLOv5s 提高了2.5%，识别速度相比提高了5.1%；通过结合图像去雾、CA 和GhostConv，改进YOLOv5s的识别精确率比YOLOv5s 提升了8.1%，且识别速度提高了3.3%，GFLOPs 降低1.86 倍，说明改进后的网络在识别耗时减小的情况下有效提高了液压支架护帮板异常状态识别的准确率。运用本文改进YOLOv5s 模型对护帮板识别结果如图12 所示，结果表明本文改进YOLOv5s 网络模型实现了护帮板准确识别。

表2 YOLOv5s、YOLOv3-tiny 方法与本文方法识别结果对比Table 2 Comparison of recognition results of YOLOv5s,YOLOv3-tiny and proposed method

图11 CA 注意力机制Fig.11 Coordinate Attention mechanism

图12 改进YOLOv5s 网络的护帮板识别结果Fig.12 Identification results of guard plate based on improved YOLOv5s network

3.3 Soft-NMS 锚框筛选方法试验验证

为验证Soft-NMS 锚框筛选方法，采用Soft-NMS 锚框筛选方法和NMS 锚框筛选方法对护帮板图像进行识别对比分析，结果如图13 所示。

图13 NMS 与soft-NMS 的护帮板识别结果对比Fig.13 Comparison of recognition results between NMS and soft-NMS for guard plates

由于视频传感器布置角度的限制，图13 中有2个护帮板发生重叠，并且重叠区域较大。在图13a中，没有将互相重叠部分的左边护帮板识别出来，而采用Soft-NMS 代替NMS 后，能够将左侧的护帮板正确识别，避免因护帮板重叠而发生漏检。

3.4 不同深度学习算法对比分析

针对检测目标，选择目前使用广泛的单阶段目标检测算法YOLOv5s、YOLOv3-tiny 算法对护帮板状态图像进行识别对比分析，识别结果如图14 所示，其中图14a 是文中方法的识别结果，图14b 是YOLOv5 的识别结果，图14c 是YOLOv3-tiny 方法识别结果。

图14 3 种深度学习方法识别结果对比Fig.14 Comparison of recognition results of three deep learning methods

YOLOv5s、YOLOv3-tiny 方法与文中方法的平均精度和检测时间对比见表2。

从图14 中可以得出， YOLOv5s 和YOLOv3-tiny 方法出现了误检结果，图14b 中将轨道、采煤机机体误识别为护帮板，图14c 中同样将采煤机机体误识别为护帮板，并且从表2 中可得出，YOLOv5s和YOLOv3-tiny 两种方法对护帮板图像的识别精度较低，而文中方法识别平均精度均值最高，mAP@.5达到97.2%。文中方法对每幅图像的平均检测时间为5.9 ms，能够满足实际工况中的检测速度需求。因此，综合3 种方法识别结果对比分析，结果表明提出的方法识别效果最好。

3.5 改进YOLOv5s 对现场不同环境影响识别验证

运用文中方法在黄陵二号矿实际现场视频进行识别。在有雾尘、有遮挡、光照不均匀、环境良好等不同环境下采用YOLOv5s 和改进YOLOv5s 进行护帮板与滚筒识别，结果如图15 所示。由表3 可知，改进YOLOv5s 方法在现场不同识别环境下对护帮板和滚筒的识别精确度都较高，具有较好的识别能力。为后续干涉状态判断奠定良好基础。

表3 YOLOv5s 与改进YOLOv5s 不同环境下识别结果对比Table 3 Comparison of recognition results of YOLOv5s and improved YOLOv5s in different environments

3.6 滚筒与护帮板干涉状态识别验证

为验证采煤机滚筒与护帮板干涉状态识别方法有效性，运用文中方法对黄陵二号矿综采工作面实际现场视频分别截取采煤机滚筒与护帮板正常状态和干涉状态各100 张图片进行试验测试，识别结果见表4。试验结果表明：文中方法对采煤机滚筒与液压支架护帮板干涉状态识别准确率为96%，得到部分识别结果如图16 所示。对试验过程及结果进行分析，发现主要误识别原因：采煤机在截割过程中出现煤尘较大的工况时，采用改进YOLOv5s 的液压支架护帮板干涉状态智能识别方法会出现采煤机滚筒被漏检的情况，影响干涉状态识别结果。

表4 采煤机滚筒与护帮板干涉状态识别结果Table 4 Shearer drum and guard plate interference state identification results

图16 采煤机滚筒与护帮板干涉状态识别结果Fig.16 Shearer drum and guard plate interference state identification results

从图16 中可以得出，当采煤机向前割煤时，文中方法能够将采煤机前进方向上未收回护帮板与滚筒识别并进行框选，根据识别的滚筒与最邻近液压支架护帮板之间的锚框重合程度，可以直观显示当前的识别结果。图16a 为正常状态，即护帮板不会与滚筒发生碰撞，显示绿色的“正常”，识别正确；图16b 为正常状态，该情况由视角问题导致锚框重叠，显示绿色的“正常”，识别正确；图16c 为报警状态，即护帮板与滚筒发生碰撞，显示红色的“警告！”，识别正确。

4 结 论

1）运用课题组前期提出的基于边界约束和非线性上下文正则化的去雾去尘方法对视频图像进行清晰化处理，提高了综采工作面监控视频图像质量；提出的改进YOLOv5s 模型在主干特征提取网络中采用轻量化Ghost 卷积，平均检测速度提高了3.3%，加入CA 注意力机制，增强了模型提取护帮板关键特征的能力和抗干扰能力，识别精确率相比于YOLOv5s提升了3.2%。运用的Soft-NMS 锚框筛选方法解决了NMS 锚框筛选方法存在因护帮板重叠而发生漏检的问题。

2）通过对文中方法与YOLOv5s、YOLOv3-tiny方法进行对比分析，结果表明：本文方法的识别时间和精度均更优，平均识别准确率为97.2%，平均识别速度为169 帧/s，能够满足实际工况需求。

3）运用该方法对黄陵二号煤矿综采工作面现场视频中液压支架护帮板与采煤机滚筒进行了识别试验验证，结果表明：文中方法能够将采煤机前进方向上未收回护帮板与滚筒准确识别，且根据识别结果计算识别的滚筒与最邻近液压支架护帮板之间的锚框重合度实现了护帮板与滚筒的干涉状态准确识别，识别准确率为96%。