基于改进Faster R-CNN的综放煤矸混合放出状态识别方法

单鹏飞，孙浩强，来兴平，朱兴攀,3，杨建辉，高健铭

(1. 西安科技大学 能源学院,陕西 西安 710054; 2. 西安科技大学 教育部西部矿井开采及灾害防治重点实验室,陕西 西安 710054; 3. 陕西陕煤榆北煤业有限公司,陕西 榆林 719000; 4. 陕西陕煤曹家滩矿业有限公司,陕西 榆林 719000)

煤炭依旧是我国能源安全的压舱石，并在未来很长一段时间内发挥巨大的作用，2050年前以煤炭为主导的能源结构难以改变。实现煤炭行业的高质量发展成为了必须实现的任务，而智能化发展是核心方向之一。我国厚煤层储量丰富，煤炭资源已探明储量中厚煤层储量约占44%，智能化综放开采方法是我国厚煤层未来实现高效高产的主要技术途径，但综采放顶煤开采过程中顶煤与矸石混合流动放出是无法避免的，亟需实现放煤过程智能监测，提高综放采出率、提升放出煤质。因此，综放煤矸混合放出状态分析识别方法已成为智能化综放开采领域研究热点之一。

近年来，国内外学者在煤矸混合状态分析识别方法方面取得了较多的研究进展。王家臣等针对精准快速识别混矸率与适应恶劣环境方面存在的技术难题，建立了轻量级的放顶煤工作面矸石识别及边界测量模型，提出了快速写意重建和精准重建等2种煤矸块体三维重建方法，并结合Retinex等去粉尘算法最终形成了“三位一体”夹矸智能识别技术，对放煤过程存在的夹矸实现了精准识别；伍云霞等基于曲线变换提取煤矸石图像的边缘特征，并训练基于支持向量机的分类器来识别煤与矸石；孙继平等提出了一种基于二元交叉对角线纹理矩阵的煤矸石图像特征提取和识别方法，以此来分类煤与矸石；XUE等通过分析煤矸图像的灰度直方图的差异性来分类煤与矸石；张强等通过主动激励红外热成像技术来开展煤岩界面的研究。以上研究对于煤矸石识别过程均采用偏向理想化试验环境，对放顶煤的煤矸识别现场应用指导仍存不足。袁源等在综采工作面设计感应尾梁来收集放顶煤信号数据集，建立放顶煤声信号分类样本库，利用机器学习分类方法进行煤矸石下落信号特征提取与分类；宋庆军等提出了一种基于一维卷积的顶煤矸下落声音特征融合分类方法来进行煤矸声音分类，以此来进行煤矸下落分类。以上研究对放顶煤开采下落过程不仅含有煤矸石声音，还夹杂着机器轰鸣等额外条件，从而引起分类误差等问题；于腾飞等利用差分盒维法通过对煤矸石的分形维数进行比较甄别，其开采现场震荡灰尘较大，分辨成功率偏低；秦小卫等基于相位一致性的边缘检测法，采用基于梯度边缘提取算子进行特征提取，其受煤泥覆盖污染严重影响，煤矸边缘差异不清晰，分辨成功率较低；徐志强等基于ResNet等经典网络与SqueezeNet等先进轻量级网络建立了煤矸图像识别模型，分析了各模型的训练收敛情况，同时准确捕捉煤与矸石由于硬度不同所产生的轮廓、纹理、表面平整度等差异；华同兴等采用了一种基于机器深度学习Faster R-CNN的煤岩识别方法，实现了煤岩图像中煤层和岩层的识别和定位，为采煤机滚筒在空间位置上的自动调整提供依据；综上所述，图像识别方法在煤矸智能识别方面具有较大前景，应重点研究工作面粉尘浓度等因素对识别精度以及效果的影响。

笔者提出了一种改进实时区域卷积神经网络的煤矸混合放出状态分析识别方法，构建了粉尘环境下综放开采煤矸混合放出状态模拟试验平台，模拟综采工作面粉尘环境，采集煤矸运动图像数据；引入预处理方法研究粉尘环境处理前后对于识别效果的影响；采用CBAM对经典模型网络中的权重关注点进行优化处理，定量研究了权重优化以及粉尘环境处理对煤矸下落识别的影响，揭示了“预处理+CBAM Faster R-CNN”识别方法对煤矸混合放出状态识别的分类依据，为实现综放开采放煤量的智能监测提供了可靠理论支撑。

1 改进实时区域卷积神经网络的检测算法

1.1 Faster R-CNN算法

目标检测是图像视觉领域的基本任务之一。近年来，随着深度学习技术的快速发展，目标检测算法也从传统的人工特征提取算法发展到基于深度卷积神经网络的检测技术。随着该技术的快速发展，从最初的深度卷积神经网络、R-CNN、Fast R-CNN、RFCN、Mask R-CNN、YOLO、SSD到Faster R-CNN，这些算法在目标检测数据集上的检测效果和性能都很出色。其中，Faster R-CNN是由何凯明等在R-CNN基础上提出的Two-stage目标检测算法。与传统CNN算法相比，该算法提出了RPN候选框生成算法，使得目标检测的速度得到了很大提高。

图1为Faster R-CNN算法以煤矸混合介质为分类目标的检测流程示意，为Two-stage检测框架，具体流程包括：

(1)输入图像，进行主干网络特征提取，经过Extract Features得到共享特征层Feature Maps；

(2)将共享特征层分为2部分，一部分作为RPN网络的输入用来在特征图上产生候选框预测区域，另一部分用来产生感兴趣框RoI Pooling层；

(3)利用多重分类回归和边框回归得到Classification。

图1 Faster R-CNN检测框架Fig.1 Faster R-CNN detection framework

1.2 图像特征提取原理

卷积神经网络由堆积的卷积层、池化层、全连接层以及激活函数组成。首先，在卷积层中图像与卷积核反复作用并自动调节卷积核的权值，经反复测试及验证，最终得到该图像特征的卷积核权值；其次，由于卷积层在图像特征提取过程中不仅只有1个，故多个卷积核造成的多重参数冗余现象将采用池化层减少。池化操作如图2所示，示意窗口大小为2×2，步长为2。池化窗口从特征图中获取最大/平均元素，利用降低维度的方式不仅解决了卷积核参数过多的情况，而且保留了重要信息。最后利用全连接层将局部特征全连接以构建分类器，具体如图3所示。

图2 池化操作过程Fig.2 Pooling operation process

图3 基于煤矸图像分类的卷积特征求解Fig.3 Solving convolution features based on coal-gangue mass image classification

笔者以后续模拟试验所得图像为例，其中三角形代表矸石，矩形代表煤，将2类目标中卷积核计算所得全部特征权值连接作为分类器，连接S4：Feature maps中的所有卷积核特征至C5中，共连接120个卷积核，以三角形、矩形构成2个分类器，最终根据构建分类器可以实现在图像中识别出2类目标。

1.3 注意力机制

注意力机制(Convolutional Block Attention Module,CBAM)包含通道注意力模块和空间注意力模块2部分(图4)，即输入的特征图∈××，通过一维通道注意力矩阵C××和二维空间注意力矩阵∈××串行计算，得到输出特征″，即

′=()⊗

(1)

″=(′)⊗′

(2)

式中，为特征输入；′为特征输入经过通道注意模块输出的特征；″为经过注意力机制最终输出的特征；()，()分别为通道注意力模块和空间注意力模块的权重系数矩阵。

图4 卷积特征提取网络的注意力机制框架Fig.4 Attention mechanism framework of convolutional feature extraction network

图4中包含通道注意力模块子图和空间注意力模块子图。其作用流程为：① 将输入煤矸特征经过Global Max Pooling和Global Average Pooling，再输入共享全连接层，最后基于element-wise加和操作后生成Channel Attention Feature maps作为空间注意力模块的输入；② 利用通道注意力模块输出的特征图作为空间注意力模块的输入，通过基于通道注意模块的Global Max Pooling和Global Average Pooling，随后通过卷积操作降维，最后通过加和操作得到特征权值。

将注意力机制加入主干特征提取网络，主要利用注意力模块专注于被检测目标的真实内容信息，对主干特征提取网络输出结果起很有效作用。在通道注意力模块中，权重系数矩阵()的计算公式为

()=((()+()))

(3)

式中，为Relu激活函数；为平均池化；为最大池化；为多层感知器网络。

空间注意力模块作用于网络中，使得网络更加关注被检测目标的位置信息，增强了网络检测关注度，并解决了检测目标中应该关注的问题。同样，首先空间注意模块通过输入特征′进行如图2所示的2种池化操作，然后将各通道合并卷积运算，最终得到空间注意力模块的权重系数矩阵公式为

(′)={[(′),(′)]}

(4)

其中，为单核卷积核的7×7卷积操作。将式(4)得到的(′)代入式(2)，可获得输出特征″。

2.4 CBAM Faster R-CNN算法

经典Faster R-CNN网络中，多数将VGG，ResNet等作为主干特征提取网络，该网络模型学习不同检测区域特征权重，但在特征提取过程中，对于权重注意力大小很难有效确定。为此笔者基于此经典网络，将CBAM机制加入主干特征提取网络ResNet50中，构建CBAM Faster R-CNN检测算法，从而利用注意力机制帮助卷积特征网络模型更加有效的学习不同区域的特征权重，使得被检测目标区域的特征权重增大，无检测目标区域特征权重将减小。在综放开采煤矸石放出识别过程中，识别网络模型的关注点应在煤与矸石所在区域，故引入CBAM，有效提高了Resnet50模型中煤矸石所在区域特征权重，进而提升了检测效果。CBAM Faster R-CNN识别模型框架如图5所示。

CBAM Faster R-CNN主要由预处理算法模块、主干特征提取网络、注意力机制模块、建议框部分和感兴趣框部分等构成的RPN网络模块组成。前期预处理算法模块包含模拟粉尘环境工况放出过程中出现的浓雾、下落模糊等外在条件的处理；在特征提取过程中，采用ResNet50作为特征提取网络，将CBAM作用于ResNet50特征提取网络的所有卷积残差块，得到新的特征提取网络为CResNet50网络，该网络对有效和无效区域特征权重进行调节，有效解决了识别精度的问题。

图5 CBAM Faster R-CNN网络框架Fig.5 CBAM Faster R-CNN network framework

但将CBAM模块加入模型的Backbone层有2种方式：第1种，包含不改变ResNet50网络结构，即加在网络的第1层卷积层和最后1层卷积层，但由于不改变其网络结构，在测试阶段还使用了预训练参数，所以不采用该方式；第2种，根据图6发现，ResNet50由Conv Block和Identity Block组成，但2种模块的作用不同，Conv Block用来改变网络维度，所以输入与输出维度不同，故不能连续串联；Identity Block用来提取特征信息，增加网络深度，因此最终构成了由Conv Block和Identity Block并串联协同的ResNet50网络。根据此特点结合ResNet50结构，笔者发现，随着提取深度的不断加深，将注意力机制融入不同Identity Block连续串联的Conv Block具有很好的优化效果，提取特征信息也在不断丰富，但在初始提取过程中，卷积提取到的一般为通用特征，这种使用模型在预训练煤矸数据集上的参数即可获得很好的效果，所以在Conv Block-1后加入CBAM不仅不能达到很明显的效果，而且还增加了计算量。

主干特征提取过程目标即是可提取到后部分更加重要的语义信息，故综合以上情况以及ResNet50特点，笔者融合注意力机制的过程(图6)，在Conv Block-2，Conv Block-3，Conv Block-4后添加注意力机制模块。对煤矸石放出图像的检测过程包含：① 根据2.5节对煤矸放出图像进行数据增强预处理；② 将处理后煤矸数据输入CResNet50网络进行训练；③ 输出特征成为Feature Maps，一部分映射到ROI，另一部分输入进RPN网络中，首先采用如图5所示的3×3卷积遍历进行特征整合生成先验框，再经过9×1通道和9×4两种1×1卷积通道进行卷积操作，以此来判断先验框内部是否包含煤矸石以及先验框的调整参数；④ 使用边界回归损函数调整煤矸石位置；⑤ 获取检测位置框和识别概率。

图6 融合注意力机制的ResNet50网络Fig.6 ResNet50 network integrated with attention mechanism

1.5 煤矸图像预处理

综放工作面环境下识别影响因素多，试验聚焦粉尘影响，利用风机加煤粉等来制造工作面粉尘环境，但在此环境下收集到的煤矸石放出状态，由于粉尘引起浓雾影响造成的模糊将会影响网络训练，故利用暗通道去雾处理算法解决由于粉尘引起浓雾的拍摄模糊影响；由于拍摄的煤矸石放出状态引起的运动模糊影响也会造成网络训练的差异，导致识别精度不理想，故采用模糊集图像增强预处理来减弱运动模糊现象。

(1)暗通道去雾处理。

原始有雾图像表达式为

()=()()+[1-()]

(5)

其中，为有雾图像；为清晰图像；为光强；为大气透射率。故由式(5)得到清晰图像的计算公式为

(6)

由式(6)可得，当()→0时，式(6)无效，故()应有下界，即

(7)

其中，为初始透射率。()过小会导致目标区域的亮区域过亮、暗区域过暗，故为了保证式(7)有效，取0.07。

由式(7)可知，煤矸放落过程中，去除粉尘影响产生的浓雾现象，具体思路包括计算光强和大气透射率。式(5)两边同时取暗通道计算得到大气折射率为

(8)

其中，为R，G，B中的某一通道；为某一通道的大气光值；()为像素点周围的小区域；()为某一通道处滤波窗口去雾图；为去雾程度。对于去雾程度的取值，先验条件下一般取0.95；但对粉尘环境下的煤矸石下落图像的预处理，本试验的粉尘影响远大于现实空气中的雾霾效果，且与一般环境中的确定性雾霾有很大区别；不同放煤量的粉尘浓度不同，所以先验条件下的单一指标无法满足更复杂多变的放煤工作面环境，因此结合先验条件，本文将设置为[0.8 0.9]区间，以应对复杂多变的粉尘浓度环境下落煤矸石图像预处理。的估计选择在暗通道图像中前0.1%的像素，然后在原中找到该0.1%像素每个通道的最亮点，将其作为外界光照强度的估计值。

该试验所需训练集仅包含煤矸部分数据，利用上述流程经过编译处理后的煤矸混合放出状态图像数据，如图7所示。由图7可以看出，利用暗通道去雾处理算法使得由于浓雾引起的模糊现象减少，使识别精度更加精确。

图7 暗通道去雾处理方法Fig.7 Dark channel defogging processing method

(2)运动模糊处理。

煤矸混合放出状态中利用相机拍摄运动状态时会出现运动模糊现象，这种现象会对煤矸识别精度造成很大影响，所以降低其造成的精度损失。对上述暗通道去雾处理后的煤矸图片，采用基于模糊集的图像增强方法来减弱运动模糊现象。

基于模糊集图像增强方法具体步骤：

(1)设置隶属度函数，将图像变换到模糊集区域中；

(2)设置模糊增强算子，在模糊集区域中进行图像处理；

(3)利用第1步设置的隶属度函数将处于模糊集区域的图像重新变回。

基于模糊集图像增强算法内容本文将不多赘述，只展示其处理步骤及结果，以便后续制作数据集所用。具体处理结果对比如图8所示。

图8 模糊集图像增强方法Fig.8 Fuzzy set image enhancement method

2 粉尘环境下煤矸混合放出状态模拟试验

2.1 试验方案设计

试验装置主要由图像识别系统、采集设备和模拟粉尘环境放顶煤装置组成，其中采集设备、放煤装置及识别系统如图9所示。

图9 综放开采煤矸混合放出状态模拟试验平台Fig.9 Testing platform for mixed and release state of coal-gangue masses in fully mechanized caving

模拟综采粉尘环境煤矸混合介质下落状态作为静态识别的首要任务，其数据的真实性表征识别的有效性。采用200 W金贝灯作为主光源，10根8 W的LED光源作为下落过程辅助光源，并结合风机和灰尘等模拟开采工作面的粉尘等外在条件；放煤装置中采用一侧多组放煤口进行组合放煤。采集设备决定采集图像的图像质量、分辨率等，关系到最终的识别效果，故选用型号为5F04的千眼狼高速摄像机，全副分辨率为2 320×1 720@500 fps。

以粒径约为100 mm的块体煤和矸石作为分类对象，选取原煤和矸石各150 kg作为下落分类对象。

2.2 试验数据采集

采用单侧放煤口，分别按照单论间隔、多轮间隔进行放煤，分为全煤、全矸、煤矸混合3组实验进行不同组别放煤。所得试验煤矸下落图像数据近82 GB视频资料，最终从中得到静态下落图像数量为：全煤6 323张，全矸2 954张，煤矸混合6 621张，不同组别下落状态静态样本集如图10所示。

图10 静态样本集Fig.10 Static sample set

2.3 数据集制作

针对外界粉尘环境的影响进行数据预处理后，使用LabelImg进行标记样本，增强后的数据集转换成PascalVOC格式。PascalVOC格式的数据集包含煤矸下落状态中原煤和矸石的图像名称，并记录每个图像中对应的目标对象的标签内容和位置信息等，以.xml文件形式保存。

由于在数据预处理上利用不同方法处理试验中的复杂工况，因此建立数据集时建立3种数据包，其中按照数据划分，包含3 000张训练集、1 500 张验证集以及1 500张测试集，以便检测时，从不同角度分析网络训练及预处理效果，具体关系见表1。将3种数据集进行网络训练，以此分析煤矸石在模拟粉尘环境下煤矸石下落过程中的识别效果。

表1 不同数据集关系Table 1 Relational table of different data sets

2.4 评价指标

-score值是统计学中用来衡量多任务分类模型精确度的指标，尤其是对于二分类问题，它同时兼顾了分类模型的查准率(precision)和召回率(recall)，可看成是和的一种加权平均。被检测样本集与真实标签同为煤时，定义为TP(True Positive)；被检样本集为煤，但标签为矸石时，定义为FP(False Positive)；被检测样本集和真实标签同为矸石时，定义为TN(True Negative)；被检测样本集为矸石，但真实标签为煤时，定义为FN(False Negative)。查准率和召回率分别为

(9)

(10)

故在利用-score值评价模型指标时，用查准率和召回率的加权平均来评价模型训练效果指标，计算公式为

(11)

3 结果与分析

3.1 测试平台及流程

图像识别系统为图像处理和识别的核心部分。训练识别所用服务器为DESK TOP ERA5N0V，CPU为Intel(R) Core(TM) i5-10600KF CPU@4.10GHz和相关驱动器组成。通过基于经典模型的理论分析以及数据量验证，将基于CBAM Faster R-CNN网络模型的初始化参数设置见表2，流程如图11所示。

表2 网络训练参数初始设定Table 2 Initial setting of network training parameters

3.2 测试结果

将训练完成后的模型参数载入经典网络和基于CBAM改进的网络中，对含有1 500张煤矸下落图像的3种数据集进行预测。原始图片、暗通道去雾处理以及模糊集数据增强减弱运动模糊处理的3种数据集对比训练结果如图12所示。由图12可以看出，经处理后的图片在网络测试结果中的准确率更高，召回率增加。由图12(c)可知，在改进的网络中对3种数据集进行训练后，对于煤矸石放出时的检测更为准确。

3.3 结果分析

..本文模型性能对比

基于2.1，2.4节2种网络框架的复杂工况煤矸石放出状态静态识别模型，3种数据集训练得到的训练准确率折线如图13所示。

图11 煤矸混合放出状态识别流程Fig.11 Mixed and release state of coal-gangue masses status recognition process

图12 不同模型预测结果对比Fig.12 Comparison of prediction results of different models

图13 模型训练效果对比Fig.13 Model training effect comparison

从图13(a)可看出，经典Faster R-CNN网络的3种数据集训练曲线均在10个训练轮次内的准确率提升到95%以上，且随着训练轮次的增加，模型训练平均准确率不断增加，达到45次附近时，模型准确率趋于收敛，3种数据集训练准确率分别稳定收敛在97.4%，97.9%和98.6%左右。由图13(b)可得,基于CBAM改进的Faster R-CNN网络在20个训练轮次内的准确率提升到95%以上，达到55次附近时，模型准确率趋于收敛，且随着训练轮次的增加，模型准确率增加，3种数据集训练准确率分别稳定在98.8%，99.1%，99.5%左右。

经过2轮50轮次的训练后，3种数据集在2种网络中收敛准确率都呈递增趋势，经模糊集和暗通道去雾处理后的数据集在模型训练过程中明显比原始拍摄图像效果好。

基于2.2节的CBAM注意力机制，在加入原始Faster R-CNN网络后，3种不同数据集对比训练得到的训练准确率曲线如图14所示。

图14 基于3种数据集的2种模型训练曲线Fig.14 Two model training curves based on three data sets

由图14可知：训练数据在初始迭代时，经典网络的平均准确率分别约为77.65%，77.92%，81.54%；改进后网络的平均准确率分别约为82.11%，82.83%，84.67%。前6次左右，经典网络的训练准确率明显高于改进网络，但在6～25次，改进网络的训练准确率明显高于经典网络。随着训练轮次的增加，2种网络模型基本趋于拟合，改进后网络的拟合曲线均高于经典网络。

综上，煤矸石放出状态识别过程中，经典网络的深度以及复杂度均小于改进网络，因此经典网络的前期训练准确率增长更占优；随着训练轮次的增加，CBAM在主干特征提取过程中对权重分配的调节，使得改进后的网络训练准确率明显增高。在迭代100次后，2种模型的训练平均准确率分别97.98%，99.23%。综合考虑模型的训练轮次、深度以及训练数据，基于CBAM改进后的网络模型性能更佳。

为了验证本文模型的优化性对比效果，选取预处理后的DS3数据集进行不同模型的数据训练，选取Yolov3，Yolov5，SSD，R-FCN，Faster R-CNN五种深度学习模型与本文模型进行对比分析，具体结果件表3。从表3可以发现：在查准率方面，基于ResNet101网络的R-FCN模型最高，达91.23%，本文模型为90.44%，且召回率在各模型最高，为92.58%；Yolov5模型大小为14.8 MB，较Faster R-CNN以及其他模型优势明显，对比Faster R-CNN和CBAM Faster R-CNN两种模型大小可发现，虽然融入注意力机制的模型大小稍有增加，但准确率方面比Faster R-CNN提高很多，且检测速度加快。

同一数据集在不同模型下的对比说明本文模型在传统意义上的改进优化效果，但无法说明该模型的泛化性能，为此笔者选取文献[16]的ResNet等经典网络与SqueezeNet等先进轻量级网络建立煤矸图像识别模型进行纵向对比，选取综合评价指标作为对比依据，发现基于轻量级网络的SqueezeNet 煤矸识别模型=0.857，MobileNet系列模型在不同权重下的也均未超过0.8；基于LeNt_5的煤矸识别模型=0.365，本文CResNet50模型=0.915。

综合分析，煤矸识别模型下的SqueezeNet，MobileNet系列以及同数据集下的经典ResNet50，CSPDarkNet53等均有很好的优化效果，因此在煤矸石下落过程中由于额外环境的影响，效果更好的识别准确率对于识别本身具有更重要作用，且综合对比检测速度以及识别效果，融合注意力机制的Faster R-CNN模型能够提取更深层次的重要语义信息，对煤矸放落过程的静态识别具有更优效果。

..融合注意力机制的效果对比

为了研究2.4节的融合注意力机制方式，选取经2种预处理后的数据集DS3进行训练，结果见表4。由表4可以发现，3种融入主干特征提取网络对比原始ResNet50训练结果，其Precision、召回率、查准率均提高；但将模块融入Conv Block-3中发现，其Precision、召回率、查准率分别为83.71%，92.58%和90.44%，高于Conv Block-2和Conv Block-4，这说明初始前期对于重要特征信息的提取仍不全面，但在最后模块的提取出现下降情况，这与煤矸特征提取过程中复杂的额外目标有关，提取到了更深层次的环境目标信息，因此综合对比融合注意力机制的模块在Conv Block-3，经CBAM模块后，模型增强了煤矸区域的特征显著性，从而提升了检测效率。

表3 DS3数据集下的不同模型效果对比Table 3 Comparison of the effects of different models under the DS3 data set

表4 融合注意力机制的位置效果对比Table 4 Comparison of the position effect of the integrated attention mechanism

..CBAM Faster RCNN测试效果分析

为了测试本文模型以及预处理方法对煤矸石放出状态识别的实际测试效果，基于DS2，DS3数据集中的1 500张测试集进行测试，测试结果见表5。为了验证粉尘环境的影响以及预处理方法的效果，利用基于DS2，DS3各1 500张原始煤矸混合图像进行测试，再利用试验收集的放出状态视频资料中截取全煤、全矸放出阶段相同数量测试样本集对上述模型进行测试，测试结果见表6。利用3.4节的评价指标计算表5，6中2种模型的-score，如图15所示。

表5 预处理煤矸图像测试结果Table 5 Pretreatment coal-gangue mass image test results

表6 原始煤矸图像测试结果Table 6 Original coal-gangue mass image test results

图15 2种模型F1-score值情况Fig.15 Two models F1-score situation

由表6可知，3种测试样本集的-score分别为0.854，0.840，0.837，均高于同时期基于3种经典网络的-score。与Faster R-CNN模型检测结果对比发现，CBAM Faster R-CNN模型的平均查准率提升7.7%，平均召回率增加6.6%。对比表5，6发现，DS2，DS3的查准率分别为86.31%，90.44%，召回率为89.25%，92.58%，均高于原始图像的81.6%和85.9%，说明试验模拟的粉尘环境影响了顶煤的放出过程识别，也表明本文建立的粉尘环境下落图像预处理方法在识别优化提升显著。

此外，在基于CBAM改进的网络中，利用DS3数据集，每训练一轮次，使用煤矸混合检测样本集测试一次，计算一次-score，结果如图16所示。从图16可以看出，在随着训练轮次增加，-score随着训练准确率的提升而不断增大，在训练轮次达50次时，训练准确率趋于拟合，-score也随之稳定在0.84左右，且在利用训练平均准确率拟合前的45次左右训练过程中，得到关于训练平均准确率()和-score()的关系式为

=2 982.5+21 510-103 939+ 154 259-97 597+22 787

(12)

其中，=0.963 6，趋于1，说明模型稳定性很高。总体改进网络模型的评价指标-score能随着训练平均准确率的提高而稳定增大。

图16 训练平均准确率与F1-score关系Fig.16 Relationship between average training accuracy and F1-score

综上，可得出基于本文方法建立并优化后的粉尘环境下煤矸石放出状态识别方法，可很准确捕获煤与矸石，且预处理后的拍摄下落图像状态识别效果明显比原始数据好。

4 结 论

(1)提出了一种综采工作面粉尘因素影响下煤矸放落瞬态煤矸目标检测方法，研发了综放恶劣环境煤矸放落模拟与放落瞬态采集系统。

(2)构建了基于经典Faster R-CNN网络模型改进的CBAM Faster R-CNN网络模型，确定了融合注意力机制的最佳检测效果位置。迭代训练100次后，与经典网络相比，平均查准率提升7.7%，平均召回率提升6.6%，-score远高于经典模型，表明改进模型的检测效率更好，有效提高模型准确性。

(3)针对综放工作面高浓度粉尘环境特征，提出了融合暗通道去雾处理和模糊集增强的图像预处理方法，图像预处理操作后识别精确率和召回率分别达90.44%，92.58%，可靠性大幅增加。