基于视频智能识别的主井扇形门与堵煤监测系统

游吉 尤杨杨 叶含梅 洪勇 潘本华

摘要：针对目前主井深指系统无法监测扇形门的开闭状态以及篦子堵煤现象，且紧急情况仅能通过人工报警的问题，提出一种基于视频智能识别的主井扇形门堵煤监测系统。首先提取视频帧并且划定 ROI区域并作了相关的图像预处理工作，然后针对扇形门监测、篦子堵煤两个问题利用图像处理方法分别予以解决。为了解决扇形门开闭监测问题，采用混合高斯背景模型识别箕斗扇形门;使用基于标准相关性系数的相似度函数来进行模板匹配。为了解决篦子堵煤监测问题，使用帧差法以及背景差分法，从而确定堵煤占比。最后采用 MFC以及 OpencV软件库设计了一个实际软件系统界面，在解决上述两个问题的同时，抓拍照片或录制异常视频，从而输出报警信号。设计的主井扇形门与堵煤监测系统是监测主井系统的必要手段，对提升主井运输效率以及安全具有重要意义。

关键词：主井;扇形门;智能识别

中图分类号：TP277             文献标志码：A        文章编号：1009-9492（2021）12-0147-04

Monitoring System of Main-shaft Fan Door and Coal Blocking Based on Video Recognition

You Ji1，You Yangyang2，Ye Hanmei1，Hong Yong1， Pan Benhua1

（1. Xintian Coal Mine， Yonggui Energy Development Co.， Ltd.， Bijie， Guizhou 551700， China;2. China University of Mining and Technology， Xuzhou， Jiangsu 221000， China）

Abstract： Aiming at the problem that the deep finger system of the main shaft cannot monitor the opening and closing state of the fan-shaped door and the phenomenon of grate blocking coal， and the emergency can only be alarm by manual， a fan-shaped door blocking coal monitoring system based on video intelligent recognition was proposed. The system firstly extracted video frame and delimited ROI area and did related image preprocessing work， and then used image processing method to solve the two problems of sector door monitoring and grate blocking coal. In order to solve the problem of monitoring the opening and closing of the fan door， the system adopted the mixed Gaussian background model to identify the skip fan door. A similarity function based on standard correlation coefficients was used for template matching. In order to solve the monitoring problem of grate blocking coal， frame difference method and background difference method was used to determine the proportion of blocking coal. Finally， MFC and OpencV software library were used to design a practical software system interface， which could capture photos or record abnormal videos while solving the above two problems， so as to output alarm signals. The main shaft fan-shaped door and coal blocking monitoring system designed is a necessary means to monitor the main shaft system， which has far-reaching and long-term significance to improve the transport efficiency and safety of the main shaft.

Key words： main shaft; fan door; intelligent recognition

0 引言

扇形門是箕斗上控制煤炭下放的刚性物体。在实际应用中，有时候会出现箕斗到达井口，扇形门未开启或者开启不及时的现象，而在关闭时，有时候会出现扇形门关闭异常或者关闭不及时的情况。并且主井下方的篦子上常因为大块存在而出现篦子堵塞现象。扇形门的开闭异常以及堵煤现象轻则会使箕斗反复运作，造成煤炭能源的浪费，重则会威胁到在矿井中工作、维护和检查的一线工作人员。因此亟需一种安全方式对主井扇形门及堵煤进行有效监测。

针对类似问题，许多观点尝试从各种角度切入进行解决。有研究者分析了主井提升系统的自动装载的效率与安全性等各个方面，尝试从提升系统本身入手解决问题[1-5]。也有研究者主要著眼于液压系统，从卸载液压制动系统方面着手解决问题[6-10]。但是上述的解决方法始终逃不过对主井系统本身进行改造，大大增加了解决成本与风险性。

本文从解决监测扇形门开闭状态、堵煤监测两个方面建立基于视频智能识别的主井扇形门与堵煤监测系统。使用高斯背景建模及模板匹配有效识别扇形门并监测其开闭状态;使用帧差法与背景差分法监测篦子堵煤;最后设计了实际软件系统界面，将解决上述两个问题的方法融入系统中，并且输出报警信号。系统依托于现有的主井监控设备，在不增加其他硬件成本的情况下，使用先进的视频处理技术、目标检测技术，减少了硬件成本，大大提高了主井运输效率以及安全性。

1 总体框架

该系统以主井监控设备以及矿下有线网络为硬件基础，确保系统运行有效性以及实时性的基础上，大幅降低硬件成本，监控设备安装图如图1所示。软件部分可以分为预处理阶段、监测阶段、集成阶段3部分组成，系统框架如图2所示。

2 预处理阶段

系统首先使用 OpencV软件库提取视频帧，对于摄像机拍摄的每一帧图像，为了避免在直接进行处理时增加无用处理时间，系统对需要作监测的区域作了划分提取。本系统提取了范围覆盖落煤口与篦子的一个矩形区域并将此区域作为检测区域，示意图如图3所示。

该系统将图像预处理分为灰度化以及滤波两个步骤进行。监测区域的图像为三通道 RGB 彩色图像，首先要对其进行灰度化，将其从彩色图转换成灰度图。对于任一像素点 I ，其转换公式为：

得到灰度图后，为了有效去除图像中的噪声或者与监测内容无关的一些线条干扰，本系统采用均匀滤波方法。在图像上目标像素规定一个固定邻域的模板，由其近邻的若干像素组成。首先去求在当前像素邻域中包括本身的所有像素的像素均值，再将此像素均值传递给当前像素点 I（x，y） ，作为其灰度值 g（x，y） ，即：

式中：M 为该邻域中所有像素的个数;S 为模板区域; I（m，n）为点（m， n）处的灰度值。

3 监测阶段

3.1 扇形门监测

扇形门的监测主要通过两个步骤实现，分别为背景建模与模板匹配。在井口出煤口，只有箕斗在卸煤时有上升和下方的动作，所以背景建模可以很好的在图像中识别出箕斗。所谓模板就是一幅已知的正常扇形门开闭。模板匹配就是待检测目标与模版通过一定的算法将目标进行比对，确定该目标同模板是否有相同的尺寸、方向，从而来判断斗扇形门动作情况是否正常。

3.1.1 背景建模

背景建模，通过“学习”背景的方式来区分前景目标和背景模型，将学习到的背景模型与下一帧作对比，其中不变或者变化范围较小的作为背景，变化较大的作为前景。在井口出煤口，只有箕斗在卸煤时有上升和下放的动作，所以背景建模可以很好地在图像中识别出箕斗。而高斯模型可以很好地解决主井工况下光线昏暗等问题，所以本系统采用高斯模型进行背景建模。下面将介绍高斯背景建模的理论依据，数学模型和实现步骤。

（1） 单高斯模型

单高斯模型将随机过程应用到图像中每一个像素点的颜色值，并认为该点的像素值属于高斯分布。单高斯模型的基本原理就是针对每一个像素所在位置的求其方

差和均值，并在该位置上设置一个高斯模型。如，可设（x， y）处像素的均值为 u（x， y），方差为σ2（x，y），标准差为σ（x，y）。伴随着视频图像序列的不断输入，与此同时，模型参数也在进行更新，所以在不同时刻模型参数也是不一样的，故不妨将模型参数表示为3个变量 x、y、t 的函数：均值 u（x， y， t）、方差σ2（x，y，t）、标准差σ（x， y， t）。使用单高斯模型进行运动检测有如下两个步骤：第一步是对整体模型的初始化，第二步即更新每一个位置的参数并且重新记录。

（2） 混合高斯模型

混合高斯模型每个像素由多个单模型描述： P（p）={[wi （x，y，t），ui （x，y，t），σi （x，y，t）2]}，i =1，2， … ，K ，一般在3～5之间选择K 的值，其表示此混合高斯模型中所加权的单模型的个数， wi （x， y， t）表示每个模型的权重，满足：

单高斯模型仅仅只能描述背景单一的模式，并且在树叶晃动、水面波动等多模态形式时极易检查出错，而混合高斯模型在图像中心点发生移动时，采取多个单高斯模型来模拟移动前和移动后的像素分布情况，防止模型将移动的物体作为运动目标，而专注于远动前后的像素表示，从而增强了模型的鲁棒性。从理论上来说，混合高斯模型是一种比较实用的背景建模方式。传统背景建模的阈值无论是固定的还是自适应的，都属于有缺陷的分割，这种缺陷是无论怎样调节参数都无法完善的。而混合高斯模型采用局部分割的方式，可以更好的刻画出局部之间的细节差别，在统计学的理论基础上，更好的区分细节联系整体。

3.1.2 模板匹配

模板匹配是一种最原始，最基本的模式识别方法，也是图像处理中最基本，最常用的匹配方法。将打开正常和关闭正常的扇形门图片作为模板。当扇形门到位时，将模板与区域内的扇形门进行比对，从而识别出当前扇形门开闭是否正常。如果异常，触发异常警报，通知工作人员及时进行维护修理。对于模板匹配算法来说比较重要的一个环节是选择合适的相似度函数来度量信息。

本系统模板匹配采用的相似函数为标准相关性系数匹配。在主井工况条件下，标准相关性系数具有简单准确，计算速度快以及抗噪声效果好的特点。所谓标准相关性系数匹配，实际上是先求匹配模板均值的相对值以及与当前图像均值的相对值，然后将两者进行匹配，其中1表示效果最好，-1表示效果最差，0 表示没有相关。以8位灰度图像为例，模板 T（m， n）叠放在被搜索图 S（W， H）上不断移动，而在模板移动到某一位置时会覆盖一部分搜索图区域，而那块区域叫子图 Sij ，i、j 为子图左下角在被搜索图 S 上的坐标，搜索范围是：1≤i ≤ W - n ，1≤j ≤H - m 。可以用下式衡量 T 和 Sij 的相似性：

D（i，j）= [Sij（m， n）- T（m， n）]2

将其归一化，得模板匹配的相关系数：

当模板和子图一样时，相关系数 R（i，j）=1，在被搜索圖 S 中完成全部搜索后，找出 R 的最大值 Rmax （im ，jm），其对应的子图Simjm 即为匹配目标。

3.2 堵煤监测

落煤口大煤块或大石块可能造成篦子或其他位置堵塞，因此本节提出了一种改进的监测方法。该方法采用帧差法和背景差分法两种算法分别对运动煤块进行监测，然后对帧差法和背景差分法的监测结果进行加权结合，提高检测结果的准确性。

运煤过程中，由于堵煤相比较于正常的煤沫拥有更高的反射率，所以在图像中可以观察到，堆煤存在的区域总处于灰度值较高的位置。因此是否存在堆煤分布可以对划定的 ROI 矩形区域进行运动目标检测，并对所得到的灰度图进行阈值分割也就是所谓的二值化来获取。最终得到的结果是一个二值图像，由此本系统提出了一个相对面积的概念λs ，λs 计算的是图像中煤颗粒像素数 nc 和 ROI 区域总像素数 n 的比值，当λs 大于阈值 Ts 1 时，判断当前图像中存在大煤块，当λs 大于阈值 Ts2（0< Ts 1< Ts2<1）时，判断可能造成堆煤情况发生。

3.2.1 分别用帧差法和背景差分法计算当前帧的煤颗粒像素数

（1） 帧差法

首先将视频流中前后相连的两帧图像或相隔几帧的两帧图像作差，然后对差值图像作二值化分割从而获取运动区域。设差值图像的帧数分别是第 k 帧、第 k+1帧，其帧图像分别为 fk （x， y），fk +1（x， y），设差值图像的二值化分割阈值为 T ，差分图像用 DI （x， y）表示，则此算法可被

遍历 DI （x，y）内的所有像素，计算在此区域内所有可以作为煤沫的像素数 ncI：

（2） 背景差分法

首先不妨设 fk （x， y）、B（x， y）是监测区域的当前一帧图像和作为背景的一帧图像，同样的设置图像二值化分割阈值为 T ，差分图像用 B（x， y）表示，则背景差分法可被

遍历 DB （x，y）内的所有像素，计算在此区域内所有可以作为煤沫的像素数 ncB ：

3.2.2 求相对面积并判断

由3.2.1节的结果可得利用帧差法得到的煤沫像素数ncI 和利用背景差分法得到的煤沫像素数 ncB ，下面进行加权求相对面积。设置面积系数α（0<α<1） ，则相对面积计算方法为：

由于帧差法的空洞概率受煤流速度以及大块存在的影响，此时使用背景差分法可以有效监测运动目标。而背景差分法存在背景选择适宜性的问题，当选择的背景帧不存在煤沫或具有大块，此时背景帧亮度比较高，会出现监测失误，此时给予帧差法更大的权重可以有效补足不足之处。所以，对上述两种算法进行加权处理，可以各自补足对方的不足之处，有效分担检测过程中的误差。最后，将求得的相对面积λs  与阈值 Ts 1， Ts2（0< Ts 1< Ts2<1）相比较，输出判断结果：

4 集成系统与界面

根据实际的功能需求，本系统使用 C++编程语言、 OpencV3以及 MFC 界面控件完成设计。可以根据需求，对扇形门状态以及堵煤进行实时监测并在异常时输出报警信息。同时也可对监控内容进行抓拍或录制。与此同时，为了实现在系统内对现有抓拍或录制的样本进行分析，本系统借助于 OpencV3以及 MFC设计了一个子界面专门实现上述功能。用户可在系统内主动读取存储的抓拍或录制样本，并在子界面内观察当前样本的监测情况。若分析样本为录制视频，则可以通过上方进度条控制视频进度，并且可以暂停或倍速播放，大大提高了系统与用户之间的人机接口的人性化程度。系统主界面如图4所示。

5 结束语

本文首先提取摄像头拍摄的视频帧后，划定 ROI区域，也即落煤口区域;之后经过图像预处理，压低噪声，获得较高质量图像;通过背景建模识别出箕斗形状并通过模板匹配判断扇形门开闭状态;通过帧差法与背景差分法监测主井篦子上是否存在堵煤;最后设计了一个软件界面，实现上述功能的同时输出报警信息。利用先进视频处理技术，保证了系统的有效性、实时性，在大幅节省硬件成本的同时确保其高可靠性，为主井安全生产保驾护航。

参考文献：

[1]赵志武，王忠民，王超越.主井自动卸载扇形门箕斗改造经验[J].煤矿机械，2010，31（7）：158-160.

[2]蒋玉松，许培宽.箕斗扇形门固定轴的改进[J].煤炭科学技术， 1993（10）：18-19.

[3]王飞.西门子自动化与驱动产品在主井提升机中的应用[J].机械管理开发，2019，34（6）：229-230.

[4]王新星.城镇燃气管网优化设计[J].住宅与房地产，2019（6）：222.

[5]金楠，李曼.箕斗定重装载称重方法研究[J].煤矿机械，2017，38（10）：38-40.

[6]王希泽， 梁福平，王迪，等.箕斗挂钩闭锁到位检测装置技改及其应用[J].电工技术，2019（14）：142-143.

[7]黄化柏.矿井提升机更新改造的技术经济分析[J].矿山机械， 1988（4）：60-64.

[8]王宪朋，王立杰，涂光富，等.某铁矿主井提升箕斗卸载液压系统技术改造实践[J].现代矿业，2019，35（9）：182-184.

[9]王文哲， 刘辉，王彬，等.基于背景建模与特征匹配的工业烟尘图像分割方法[J].传感器与微系统，2018，37（8）：37-39.

[10]魏旭宾，王向军.基于累积差分图像和高斯背景统计模型的烟尘目标检测[J].宇航计测技术，2007（2）：58-61.

[11]李吉太.蒋庄矿主井箕斗改造简介[J].煤矿设计，1994（2）：16-18.

[12]孙玉昌.主井井底箕斗减蹾装置[J].煤矿设计，1978（2）：21.

第一作者简介：游吉（1994-），男，贵州人，助理工程师，研究领域为煤矿机电。

（编辑：王智圣）