煤矿副井矿车装载物智能识别方法

靳舒凯，魏冠楠，王春明，王统海，吴忠伦，杨克虎,4

（1.中国矿业大学（北京）机电与信息工程学院，北京 100083；2.临沂矿业集团菏泽煤电有限公司，山东 菏泽 274700；3.临沂矿业集团菏泽煤电有限公司 郭屯煤矿，山东 菏泽 274700；4.中国矿业大学（北京）煤矿智能化与机器人创新应用应急管理部重点实验室，北京 100083）

0 引言

煤矿智能化是我国煤炭工业高质量发展的必由之路[1-2]，而副井轨道运输智能化是其中重要环节。煤矿副井主要用来提升人员、设备和生产原材料，部分煤矿副井也用于提升巷道掘进过程中产生的煤和矸石。装有生产物料、煤或矸石的矿车提升至地面后，再由轨道运输系统实现矿车分运。目前副井轨道运输系统主要采用人工操作方式，通过肉眼识别当前矿车的装载物，然后控制司控道岔改变矿车的前进方向来实现矿车正确归库。该工作枯燥重复，容易使工人产生视疲劳或注意力不集中，加上副井口光线变化等环境因素的影响，易导致工人判断错误或未能及时切换道岔，增加后续煤炭洗选成本，或造成矿车堆积，影响生产效率。

为实现副井矿车自动分运，文献[3]提出采用RFID（Radio Frequency Identification，射频识别）信标方式实现电机车定位，根据运输物料不同，操作人员远程控制道岔，实现电机车牵引矿车归库。该方法需对现场进行整体布设，且归库的多辆矿车需装载相同类别的物料，对现场装车要求较高。随着计算机视觉技术的发展，基于图像的矿车装载物识别方法以其低成本、方便部署等特点逐渐应用于副井矿车自动分运系统中，如文献[4]提出了一种矿车运输智能煤矸识别及分运装置，以工业相机和计算机为核心，基于传统计算机视觉技术实现自动化矿车运输。近年来，卷积神经网络[5-7]在图像识别与分类领域取得了极大成功，文献[8]提出了基于卷积神经网络的煤矿副井矿车装载物自动分类系统，验证了卷积神经网络在矿车装载物分类中的可行性，且SqueezeNet 在验证集上的准确率达98.4%。但该系统在实际应用中存在以下问题：①系统触发条件简易，矿车经过时存在误判与漏判情况；② 副井现场除矿车外存在多类物体，当其他物体经过检测区域时会引起司控道岔误动作，产生安全隐患。

本文针对现有副井矿车装载物识别方法存在的不足，提出了基于目标检测模型的矿车装载物智能识别方法。在现场采集矿车装载物图像数据，构建矿车识别数据集，对Faster R-CNN[9]，YOLOv4[10]，SSD[11]等主流目标检测模型的矿车分类识别效果进行综合评估；考虑到副井矿车目标检测种类较少，为了降低检测模型大小，采用轻量级网络MobileNet[12-14]代替YOLOv4 模型的主干特征提取网络CSPDarknet53；将检测模型部署在嵌入式平台Jetson TX2，为满足现场实时检测需求，采用层间融合[15]和模型量化[16]技术对模型进行了优化。

1 矿车装载物检测模型训练与评估

1.1 训练数据集构建

矿车装载物图像数据来源于某煤矿副井现场。采用安装在副井井口的海康威视DS-2CD3T27DWDL 型全彩摄像机采集图像。该摄像机摄像头分辨率为200 万像素，主码流帧速率达25 帧/s，支持RTSP（Real Time Streaming Protocol，实时流传输协议），采用DC12 V 供电，不间断采集矿车装载物图像数据。共获得10 万余张处于不同光照条件下的矿车装载物（包括煤、矸石、物料3 种类别）图像，部分如图1 所示。

图1 部分矿车装载物采集图像Fig.1 Part of collected mine car load images

从采集的矿车装载物图像中筛选装有煤、矸石、物料的各4 000 张图像进行人工标注，得到VOC（Visual Object Classes，视觉目标分类）数据集。将VOC 数据集按9∶1 分为训练集与验证集，分别包含3 600，400 张图像。

1.2 检测模型训练与对比

在实验室环境下设置对比实验。服务器配置：Ubuntu18.04 系统，32 GB 内存，512 GB 固态硬盘，NVIDIA GTX1080Ti 显卡，python_3.7.0，keras_2.2.4深度学习框架。选用常用的Faster R-CNN，YOLOv4，SSD 目标检测模型进行训练，最大epoch 设置为100。keras_2.2.4 框架中earlystopping 参数可使模型训练过程中损失函数值不再下降时停止训练。3 种目标检测模型训练结果对比见表1。

表1 3 种目标检测模型训练结果对比Table 1 Comparison of training results of three target detection models

从表1 可看出：Faster R-CNN 模型具有最低的损失函数值，且epoch 为100 时仍未达到最优，训练周期较长；SSD 模型的epoch 仅为49，具有最短的训练周期，但损失函数值较高；YOLOv4 模型的epoch为97，具有合理的训练周期及损失函数值。

为更好地选择矿车装载物检测模型，选用现场视频图像对3 种目标检测模型进行评估，结果见表2。可看出针对矿车装载物识别任务，Faster R-CNN 模型（大小为108.62 MB）具有最高的mAP（Mean Average Precision，平均精度均值），但识别速度较慢，难以实现实时检测；SSD 模型（大小为91.74 MB）具有较快的识别速度，但mAP 较低，可行性较差；YOLOv4 模型（大小为244.99 MB）的mAP 为94.26%，具有较高的矿车装载物识别准确率，识别速度为17 帧/s。综合比较识别速度与mAP 可知，YOLOv4 模型更适用于矿车装载物识别任务。

表2 3 种目标检测模型检测性能对比Table 2 Comparison of detection performance of three target detection models

2 矿车装载物检测模型优化

Faster R-CNN，YOLOv4，SSD 等主流目标检测模型的主特征提取网络大多采用体量大的卷积神经网络。由于副井现场检测目标种类较少，为了降低模型大小，以YOLOv4 模型为例，采用轻量级网络MobileNet 替换原有主干特征提取网络CSPDarknet53，实现模型优化。MobileNet 最鲜明的特点为采用深度可分离卷积核代替普通卷积核，计算量约为普通卷积核的1/3，运行速度得到了极大提升。

YOLOv4 模型优化过程：①主干特征提取网络CSPDarknet53 替换为MobileNet，得到3 个初步的有效特征层；② 对初步的有效特征层进行特征融合，获得3 个更有效的有效特征层；③将原有普通卷积核替换为MobileNet 中的深度可分离卷积核。模型优化过程及结果如图2 所示。

图2 YOLOv4 模型优化Fig.2 Optimization of YOLOv4 model

分别选用MobileNetv1，MobileNetv2，MobileNetv3对YOLOv4 模型进行优化，得到MobileNetv1-YOLOv4，MobileNetv2-YOLOv4，MobileNetv3-YOLOv4 模型，大小分别为47.6，40.6，44.8 MB，较优化前分别减小了197.39，204.39，200.19 MB。

采用相同的训练集训练模型，基于现场视频图像对训练后的模型进行评估，结果见表3。可看出：MobileNetv1-YOLOv4，MobileNetv2-YOLOv4，Mobile-Netv3-YOLOv4 模型的识别速度较YOLOv4 模型分别提高了22，30，27 帧/s，证明MobileNet 中的深度可分离卷积核可有效提升模型运行速度；MobileNetv3-YOLOv4 模型的mAP 达95.03%，识别速度为44 帧/s。综合考虑识别速度与mAP，认为MobileNetv3-YOLOv4模型具有最优识别效果，更适用于现场矿车装载物识别任务。

表3 YOLOv4 模型优化前后检测性能对比Table 3 Comparison of detection performance of YOLOv4 model before and after optimization

考虑到煤矿现场部署空间限制和成本，传统基于高性能工作站的部署方式不太适合煤矿现场应用。因此，将矿车装载物检测模型部署至嵌入式智能计算平台Jetson TX2。为满足实时检测要求，需对模型进行压缩和加速。

3 矿车装载物检测模型加速

矿车装载物检测模型加速表现在2 个方面：①层间融合，即通过融合内核中的节点，优化GPU（Graphics Processing Unit，图形处理器）显存和带宽，以提高运行速度；② 模型量化，即通过调节推理参数精度来提高检测速度。

3.1 层间融合

在部署神经网络模型推理时，每一层运算操作需由 GPU 启动 CUDA（Compute Unified Device Architecture，统一计算设备架构）核心完成。运算过程包括CUDA 核心计算张量、启动CUDA 核心、读输入张量及写输出张量操作。其中CUDA 核心计算张量耗时极短，而启动CUDA 核心、读输入张量及写输出张量操作会产生不必要的时间及资源浪费。通过层间的横向或纵向融合能够减少层数，从而提高模型推理速度。

横向融合可将卷积层、偏置层、激活函数层合并为一个CBR（Convolution+Bias+ReLU）结构，融合过程如图3 所示。纵向融合可将结构相同但权值不同的层合并，合并后的层只占用1 个CUDA 核心，使得整个模型结构更简洁、更高效。

图3 神经网络模型层间横向融合过程Fig.3 Horizontal interlamination fusion process of neural network model

推理加速主要表现在3 个方面：①整理零碎数据，减少传输次数；② 优化横向计算图，减少数据访问次数；③通过非拷贝方式将层输出定向到正确的最终地址，以减少横向时间。

YOLOv4 模型主干特征提取网络CSPDarknet53具有5 种残差块，以第1 种残差块为例，其层间融合过程如图4 所示。

图4 CSPDarknet53 第1 种残差块层间融合过程Fig.4 Interlamination fusion process of the first residual block in CSPDarknet53

3.2 模型量化

大多数基于深度学习的神经网络模型在训练时，张量精度均采用32 位浮点数。模型训练结束后，由于在部署推理的过程中不需要反向传播，所以可适当降低推理参数精度（如将张量精度降为16 位浮点数或8 位整型数），从而提高运行速度。

推理加速表现在部署推理过程中降低模型张量精度，进而减少数据转换时间，提高数据吞吐量，减少内存占用，同时可保持高识别准确度。

3.3 模型加速前后对比

基于实验室服务器，采用模型加速方法对Faster R-CNN，YOLOv4，SSD，MobileNetv3-YOLOv4 模型进行加速优化，结果见表4。可看出模型加速方法对多种目标检测模型均有较好的加速效果，具备泛用性；加速后各模型mAP 略有减小，但仍在可接受范围内。

表4 目标检测模型加速前后对比Table 4 Comparison of target detection models before and after acceleration

4 现场试验

将矿车装载物智能识别方法在某煤矿副井进行现场试验。以海康威视DS-2CD3T27DWD-L 网络摄像头为图像采集设备，选用Jetson TX2 嵌入式平台部署矿车装载物检测模型，运行环境为Ubuntu18.04系统，深度学习框架采用keras_2.2.4。试验平台如图5 所示。

图5 矿车装载物智能识别现场试验平台Fig.5 Field test platform for intelligent identification of mine car load

综合考虑识别速度与mAP，选择MobileNetv3-YOLOv4 为矿车装载物检测模型。将模型移植到Jetson TX2 嵌入式平台后试验结果见表5。

表5 Jetson TX2 上MobileNetv3-YOLOv4 模型检测性能Table 5 Detection performance of MobileNetv3-YOLOv4 model on Jetson TX2

从表5 可看出：受Jetson TX2 计算能力限制，MobileNetv3-YOLOv4 模型识别速度慢，仅为18.3 帧/s；采用模型加速方法对MobileNetv3-YOLOv4 模型加速后，识别速度提升至35.42 帧/s，mAP 为94.68%，满足现场实时、精确检测需求。

矿车装载物智能识别方法在副井现场检测结果如图6 所示。其中蓝色框代表矿车内装载物为煤，绿色框代表矿车内装载物为矸石，红色框代表矿车内装载物为物料；框上方显示装载物类别名称及目标物为该类装载物的概率，且当行人等非矿车类物体经过检测区域时不启动检测任务。可看出本文方法能够实时、精准地识别矿车装载物，且仅在矿车经过检测区域时启动检测任务。

图6 矿车装载物智能识别现场试验结果Fig.6 Field test results of intelligent identification of mine car load

5 结论

（1）评估了Faster R-CNN，YOLOv4，SSD 这3 种常用目标检测模型用于矿车装载物识别的可行性。经VOC 数据集训练、现场视频图像检测，Faster R-CNN 模型的mAP 为96.61%，识别速度为6 帧/s，模型大小为108.62 MB；YOLOv4 模型的mAP 为94.26%，识别速度为17 帧/s，模型大小为244.99 MB；SSD 模型的mAP 为81.92%，识别速度为24 帧/s，模型大小为91.74 MB。YOLOv4，Faster R-CNN 模型能满足mAP 要求，但运行在常用GPU 上均难以满足实时检测要求。

（2）采用MobileNet 优化YOLOv4 可有效降低模型大小，提高识别速度。MobileNetv1-YOLOv4，MobileNetv2-YOLOv4，MobileNetv3-YOLOv4 模型大小分别为47.6，40.6，44.8 MB，识别速度分别为39，47，44 帧/s。MobileNetv3-YOLOv4 模型的mAP 为95.03%，较优化前提升了0.77%。

（3）采用基于层间融合和模型量化的模型加速方法对Faster R-CNN，YOLOv4，SSD，MobileNetv3-YOLOv4 模型进行加速优化，加速后4 种模型的识别速度分别提升至14，43，51，76 帧/s。

（4）以MobileNetv3-YOLOv4 为矿车装载物检测模型，移植到Jetson TX2 嵌入式平台进行矿车装载物识别现场试验，结果表明：加速后MobileNetv3-YOLOv4 模型的识别速度为35.42 帧/s，mAP 为94.68%；本文方法能够实时、精准地识别出矿车装载物类别，且仅在矿车经过检测区域时启动检测任务，避免了非矿车物体进入检测区域引起的司控道岔误动作情况。