基于机器视觉的矿井提升机首绳抖动监测系统设计与应用

郑伟卫 王 奕

（1.河南龙宇能源股份有限公司车集煤矿；2.中国矿业大学信息与控制工程学院）

提升机是地下矿山开采过程中的核心运输系统，不仅可以高效地运输矿岩，还可以运输人员、物资及设备。由于井下的运输任务极其繁重，因此使用提升机的频率较高，在使用过程中难免出现故障。一旦发生故障，轻则导致煤矿停产，重则会造成人员伤亡。在提升机中，关键的承载构件便是钢丝绳首绳。由于钢丝绳运行的环境相当复杂，在日常维修中相当困难，一直以来，是通过人工定时检查的方法对首绳进行维护修理，工人主要依赖的是目视、手摸、卡尺量，但是这种方法可靠性差，效率低下，需要花费大量人力，还会占用运行时间。

为了解决提升机首绳自动化监测问题，本研究建立基于YOLOv5算法的视频智能分析监测系统，基于机器视觉原理，实现提升机首绳异常监测及预警功能。

1 系统总体框架

本系统包含了图像处理工作站、提升机监测系统以及补光灯，利用以太网进行设备间的数据传输，提升机的监控模型如图1所示。

系统软件的运行流程可分为预处理阶段、监测阶段、集成阶段，如图2所示。

2 图像预处理系统

首绳监测系统的原理是利用算法统计像素分布进行异常的识别，因此在白天的环境状态下，系统可以直接利用YOLOv5算法进行智能识别，但在夜晚环境下，由于光线较暗，无法精确统计像素的分布，因此对于夜间较低像素值利用双线性差值法将像素值进行放大，从而提高识别率。监测系统所使用的摄像机是型号为MV-CA050-10GM的海康威视工业相机。海康威视工业相机需要官方提供相应的软件开发包，按照相应的流程进行操作。视频提取流程如图3所示。

首绳图像属于灰度图，系统进行预处理时，首先对视频进行提取，白天状态下，直接使用YOLOv5算法对提取的视频流进行异常检测；当光线逐渐变暗，达到一定的值时，系统会自动加入双线性插值的算法进行像素值的放大处理。

假设给定图像大小为m×n，目标图像为x×y，那么给定图像与目标图像的边长比分别为m/x和n/y（比例一般不是整数，编程存储的时候要用浮点型），则目标图像的第（i，j）个像素点对应回给定图像的对应坐标为（i×m/x，j×n/y）。

显然，这个对应坐标通常不是整数，而非整数的坐标是没法在图像这种离散数据上使用。双线性插值法通过经过寻找距离这个对应坐标最近的四个像素点，来计算该点的值（灰度值或者RGB值），从而应用到目标图像。

若图像为灰度图像，那么（i，j）点的灰度值能够经过以下公式计算：

式中，pi为最近的4个像素点；wi为各点相应权值。

3 监测系统

本文针对矿井提升机的首绳钢丝绳运动状态，结合矿井现场样本分析后发现，当首绳出现过抖与脱离正常槽位、跳槽等现象时，视觉上就与其正常运行时的图像会有显著的差异。因此，本文将提升机首绳抖动的监测视为目标监测任务。在此基础上，本文将首绳运行状态分为正常状态、过抖动、脱槽跳槽3种，并将每一种状态视为一个目标，再人工标注矿方提供的样本去训练模型。当检测到首绳图像存在过抖动、脱槽跳槽等目标时，系统将自动截图报警，传输报警信号到上级服务器，发出警报，通报矿井附近的工作人员。因检测对于实时性有一定要求，为避免检测结果出现延迟，系统选用YOLOv5算法框架，该模型在速度和灵活性上表现优秀，可用于矿井提升机首绳的监测。

3.1 YOLO v5简介

YOLO是一种快速紧凑的开源对象检测模型，是一种可以预测对象的类别和边界框的端对端神经网络［1］。Ultralytics发布的YOLO v5官方代码中，给出了4个不同规模的网络模型，分别是yolo v5s、yolo v5m、yolo v5l、yolo v5x。4种模型并无明显区别，可以认为后3种模型是在yolo v5s基础上将其网络的深度加深和加宽的结果。

网络除输入端外，主要由3个组件组成：Backbone，Neck，Head。Backbone指主干的卷积神经网络，目的是从输入图像中提取丰富的特征信息。Neck指融合图像特征的网络层，并将图像特征传递到预测层。Head指预测输出层，将图像特征进行预测，并输出边界框与检测类别。各组件的具体结构因YOLOv5源码版本不同而略有差别，本文不详细探究，抽象化的通用架构如图4所示。

YOLOv5的基本思想是将输入图像分成n×n的网格，对于网格内的每个格子都进行检测，检测输出3个指标值：矩形框（x，y，w，h）、置信度confidence、分类概率c。矩形框表征了检测到的目标大小以及精确的位置；x，y是指当前检测框的中心位置坐标；w，h是检测框的宽度和高度。置信度confidence表示所预测的矩形框的可信度，取值［0，1］，值越大说明该区域越可能存在目标。分类概率c表示预测目标的类别。实际检测中，YOLO算法首先划分n×n网格，再判断每个检测框的置信度confidence是否超过阈值，超过阈值认为当前检测框存在目标，并得到检测框中目标的大致坐标信息x，y，w，h。然后根据非极大值抑制算法［2］对存在目标的检测框进行筛选，筛除检测到同一目标的重复检测框。最后根据得到的检测框的分类概率c，可得到目标的类别。处理流程见图5。

损失函数的目的是通过网络训练、机器学习去缩小网络模型预测信息与期望信息的距离。在YOLOv5的模型训练中，主要包含3个方面的损失：矩形框损失（Lrect）、置信度损失（Lobj）、分类损失（Lclc）。总损失的计算公式：

式中，γ、μ、δ为网络的超参数，在YOLOv5-5.0v源码中Lrect使用了CIOULoss作为损失函数，Lobj与Lclc则都使用了BCEWithLogitsLoss作为损失函数［3］。

3.2 模型训练

对于选择YOLOv5算法的模型，在运用前需要进行相关的模型训练。模型训练是数据进行泛化，用来解释之前从未“见过”的数据。

选择在yolo v5l的模型上进行进一步的训练，生成新的系统权重检测网络。为了达到预期的检测效果，系统收集了大量的正、负样本对网络进行训练，共标记为3类标签，分别是首绳正常标签、首绳过摆动标签及首绳脱槽标签。

训练集的图像尺度过大会对训练速度和显存空间造成负面影响，因此在将样本输入网络训练之前，系统先通过以线性插值为原理的程序将首绳的输入图像进行预处理转换为600×400×3的图像尺度，再对网络进行学习训练。

对于学习网络，样本对模型检测起着至关重要的影响，在矿井提升机首绳运行状态下收集总样本9 000个，并对收集样本进行标签分类后，将8 000个样本划分为训练集，剩下1 000个样本划分为测试集，并在图像处理工作站上进行90个epoch（迭代次数）训练测试后，得到高精度的检测模型［4］。

3.3 报警信息输出

用训练好的模型对提升机首绳进行实时检测，为了保证矿井数据的实时性与信息一体化，系统会将检测到的信息通过OPCUA进行客户端与服务端的信息交互，完成矿井智能化的统一管理。

OPCUA是OPC基金会提供的新一代技术，其目的是为了提供规范的、安全可靠的、可实现数据或信息由低级工作层到高级决策层的双向传输。本系统通过OPCUA对客户端和服务端进行通信，对首绳正常、首绳过摆动、首绳脱槽以及辅助数据（提升机启动信号、首绳运作信号、提升机到位信号）进行信息交互，使客户端与服务端信息同步。

在矿井提升机首绳检测时，当检测到首绳异常时，会立即进行报警，然后将检测的异常图片储存到本地的图像工作站，并且将其传输到总控制台的信息系统。系统通过超文本传输协议（Hyper Text Transfer Protocol，HTTP）进行通信。HTTP运行在TCP之上，它决定了客户端与服务器之间的信息类型。本系统模拟实现了HTTP的客户端通信，并与服务端对接给定的接口参数，完成了针对各类报警图片的上传，该方式高效地实现了报警图片信息的输出［5］。

4 实际应用成果

系统使用基于Python的编程语言、Pycharm的开发环境、YOLOv5检测模型以及PyQt界面控件完成集成系统的设计，对提升机首绳进行实时监控并在钢丝绳首绳抖动出现异常时输出报警信息，系统主界面如图6所示。

本提升机首绳监测系统已经正式应用在杨柳矿的提升机实时检测中，分别以首绳偏离5 cm和10 cm抖动区分正负样本，首绳抖动检测结果的精度分别达到85%以上和95%以上，取得了较为理想的检测效果。

5 结语

本系统采用基于YOLOv5算法的视频智能分析监测系统，该系统首先获取视频流，将视频流的图像取出输入到YOLOv5模型中，进行提升机首绳的异常识别。然后使用PyQt控件设计图形化界面，在实现提升机首绳异常监测的基础上，系统增加了视频储存、视频回放以及输出报警信号等功能。并且通过OPCUA进行客服端与服务端的交互通信。经实际应用，首绳抖动检测精度能达到95%以上，取得了较为理想的检测效果。