基于机器视觉的矿井输煤系统优化节能控制

郭伟东， 李明， 亢俊明， 雷萌， 朱美强

(1.中国矿业大学 信息与控制工程学院， 江苏 徐州 221116； 2.上海大屯能源股份有限公司 姚桥煤矿， 江苏 徐州 221116)

0 引言

带式输送机作为矿井输煤系统的运输主设备，确保其安全、可靠、节能运行对整个矿井生产至关重要。带式输送机设计过程中需要考虑过载情况，因此选择驱动电动机时通常会保留足够的功率裕量。然而在实际生产中，大多数情况下带式输送机很难达到满载状态，容易出现“以大拉小”现象[1]。在轻载或空载状态下带式输送机仍维持较高运行速度，不但加剧了转动部件和胶带的机械磨损，降低了工作寿命，而且显著增加了运行能耗，极大影响矿井输煤系统的经济运行[2]。目前，多数矿井带式输送机采用变频驱动方式，但变频器主要用于驱动电动机的启动阶段，在稳定运行阶段并不进行调速，一直保持在工频电源频率下运行[3]，该运行模式下显然不能实现输煤系统的优化节能。因此，依据煤流量自动调节带式输送机运行速度，对减少设备磨损和降低能耗具有重要意义，是矿井输煤系统高效、经济运行的迫切需求。

矿井输煤系统要实现优化节能控制，关键是带式输送机煤流量的实时检测和基于煤流量的变频调速控制。煤流量实时检测是系统整体优化节能控制的前提和基础[4]。传统的煤流量检测主要采用电子胶带秤、核子胶带秤等[5-7]对胶带上的煤炭进行称重，需要较大的安装空间，设备维护复杂，安全可靠性低。本文提出了一种基于机器视觉的矿井输煤系统优化节能控制方法。利用激光发射器辅助现场数字摄像头获取带式输送机实时煤流图像，结合图像处理技术计算带式输送机上瞬时煤流量；根据煤流量的变化状态，由PLC模糊控制器通过控制变频器调整电动机转速，使带式输送机运行速度能够依据煤流量自动调节，从而实现矿井输煤系统优化节能控制。

1 矿井输煤系统优化节能控制原理

矿井输煤系统优化节能控制原理如图1所示。激光发射器将激光投射在煤流表面，形成高亮的激光条纹，数字摄像头作为现场监控设备实时采集包含激光条纹的煤流图像，通过以太网光缆将图像数据上传至地面控制中心信息处理平台进行煤流量计算和显示。PLC模糊控制器根据实时煤流量及其变化状况，计算变频器输出频率，进而控制电动机转速来实现带式输送机运行速度自动调节。通过地面控制中心信息处理平台实现信息采集、处理及管理等工作，对井下带式输送机运行状态和主要参数进行分析和呈现，为矿井输煤系统的安全运行和科学管理与决策提供可靠依据。

图1 矿井输煤系统优化节能控制原理Fig.1 Optimal energy saving control principle of mine coal transportation system

2 基于机器视觉的带式输送机煤流量检测

2.1 煤流量检测流程

基于机器视觉的带式输送机煤流量检测布置如图2所示。在带式输送机正上方相隔一定距离安装激光发射器和数字摄像头。激光发射器发射的激光投射在煤流表面形成的激光条纹与胶带水平轴线垂直，数字摄像头倾斜一定角度以采集设定区域内包含激光条纹的煤流图像，并通过以太网光缆经网络交换机将图像数据上传至地面控制中心信息处理平台。

图2 基于机器视觉的煤流量检测布置Fig.2 Coal flow detection arrangement based on machine vision

煤流量检测流程如图3所示。地面控制中心信息处理平台分别对带式输送机空载和有载情况下的煤流图像进行预处理，提取图像中激光条纹中心线并补全残缺的线条。将带式输送机空载状态下胶带激光基线中心线和带式输送机有载状态下煤流激光轮廓中心线进行叠加，形成封闭的包络曲线，计算该曲线所围成截面内瞬时煤流量。

图3 煤流量检测流程Fig.3 Flow of coal flow detection

2.2 图像预处理

由于激光条纹具有高亮度的特点，预处理时先将图像转换为灰度图像，能够较好地保留激光条纹；提取图像的感兴趣区域(Region of Interest，ROI)(图4(a))，并在ROI内利用中值滤波器去除图像中部分孤立的噪声点，平滑图像；采用大津法对图像进行阈值分割[8](图4(b))。

由于煤炭在环境光的照射下会产生局部反光的现象，在胶带运动状态下煤炭反光部分多呈点状或竖直条状高亮光斑，所以阈值分割后保留了绝大部分水平分布的激光条纹图案和较少部分的高亮光斑噪声。利用OpenCV计算机视觉库中的FindContours函数对阈值分割后的二值图像查找所有轮廓并绘制轮廓外接矩形[9]；根据光斑噪声的特点，采用基于轮廓外接矩形的长宽比、面积、位置的多特征联合去除异常高亮光斑噪声(图4(c))，较好地保留了激光条纹图案。

(a) ROI提取

(b) 阈值分割

(c) 异常噪声去除

通过实验发现，设定轮廓外接矩形的长宽比≥1.1，轮廓外接矩形的像素点个数≤10，可达到较好的噪声去除效果。由于噪声出现位置具有随机性，个别面积较大的光斑噪声与ROI的边界框相交并被截断，不符合上述提出的轮廓外接矩形长宽比或面积特征，针对该种类型的噪声，基于轮廓外接矩形的中心位置特征去除噪声，规定轮廓外接矩形中心位置距离ROI图像四周边缘低于50个像素为异常光斑噪声。

2.3 激光条纹中心线提取及断线修补

为提高煤流量检测精度，需要准确提取激光条纹中心线并对断线进行修补。常见的激光条纹中心线提取方法及主要特点见表1。

几何中心法通过计算条纹上下边缘的几何中心点来提取激光条纹中心线，实现简单，处理速度较快，但检测精度较低，对图像的质量要求较高[10]；阈值法及灰度重心法根据激光条纹的灰度值分布来计算条纹中心线，缺乏对激光条纹方向性的考虑，激光条纹方向变化较大时容易出现误判[11]；方向模板法由灰度重心法发展而来，采用几种固定方向的模板与激光条纹图像进行卷积操作来提取激光条纹中心线，由于采用模板卷积，所以该方法具有一定的抗白噪声能力，并能在一定程度上进行断线修补[12]；Hessian矩阵法利用矩阵公式计算激光条纹法线方向，并求取法线方向上的极大值点，具有精度高、鲁棒性好等优点，但运算量大，难以实现激光条纹中心线的快速提取[13]。考虑到带式输送机煤流量检测应具有精度高、速度快等特点，结合预处理后图像的特点，本文选用方向模板法提取激光条纹中心线，满足普适性、准确性、实时性的要求。

表1 常见的激光条纹中心线提取方法及主要特点Table 1 Common extraction methods of laser stripe center line and its main features

激光条纹的形状随着物体表面的变化而不同，在较小范围内，可认为激光条纹只有4种模式，即垂直方向、水平方向、左斜45°方向、右斜45°方向，对应这4种模式分别设计4种方向模板K0—K3，方向模板大小为M×N，模板的元素ks t(s=0，1，…，M-1；t=0，1，…，N-1)通常取为正数。

设激光条纹图像大小为r行、c列，C(i，j)(i=0，1，…，r-1；j=0，1，…，c-1)为图像在(i,j)点的像素灰度值。方向模板在图像的第i行进行滑动时，对应第j列的模板卷积值为

(1)

分别求取4种方向模板K0—K3在图像第i行上的最大模板卷积值，记为Hp0—Hp3，令Hp=max{Hp0，Hp1，Hp2，Hp3}，则第i行上激光条纹的中心为Hp所在处。在提取激光条纹中心线过程中，如果条纹缺口尺寸小于方向模板尺寸或存在小规模的白噪声，方向模板法可自动将缺口补全并进一步抑制白噪声对提取结果的影响[14]。

方向模板尺寸的设计对处理精度和速度非常重要，通过实验发现，选用有效尺寸为5×3的模板来匹配4种方向模式效果最优。模板K0—K3内的元素沿4个方向均符合高斯分布，建立的4种方向模板为

(2)

(3)

(4)

(5)

采用方向模板法对煤流图像进行激光条纹中心线提取，效果如图5所示。

图5 方向模板法提取激光条纹中心线效果Fig.5 Effect of direction template method to extract center line of laser stripe

摄像头在倾斜姿态下受煤流遮挡导致采集的煤流图像中部分激光条纹缺失，利用方向模板法提取激光条纹中心线时会对距离较近的断线进行修补，但仍有部分断线存在于激光条纹图像中。常见的断线修补方法有线性插值法和三次B样条差值法等，为进一步提升煤流量检测速度，本文选用线性插值法进行激光条纹中心线的断线修补，即利用相邻的2个断点(x0,y0)和(x1,y1)之间的直线L(x)来近似拟合丢失的激光条纹中心线[15]：

(6)

经过线性插值后的断线修补效果如图6所示。

图6 基于线性插值法的断线修补效果Fig.6 Repair effect of broken line based on linear interpolation method

2.4 煤流量计算

计算某时刻带式输送机空载状态下胶带激光基线中心线和带式输送机有载状态下煤流激光轮廓中心线叠加形成的封闭包络曲线内像素点个数与带式输送机空载状态下胶带激光基线中心线和带式输送机额定载荷状态下煤流激光轮廓中心线叠加形成的封闭包络曲线内像素点个数的比值，得到煤流百分比P，则该时刻下瞬时煤流量为

QS=QP

(7)

式中Q为带式输送机额定运输量。

已知某带式输送机额定运输量为500 t/h，在额定载荷状态下封闭包络曲线内像素点个数为80 000，某时刻下封闭包络曲线内像素点个数为41 610，煤流量计算结果如图7所示。

图7 煤流量计算结果Fig.7 Calculation result of coal flow

3 带式输送机变频调速控制

3.1 带式输送机变频调速控制原理

为实现带式输送机节能运行，需要根据煤流量实时调节带式输送机运行速度。带式输送机变频调速控制原理如图8所示。通过地面控制中心信息处理平台对现场煤流图像进行处理获得带式输送机当前煤流量[16]，根据煤流量计算期望带速V1。PLC模糊控制器根据期望带速V1和速度传感器采集的当前带速V0控制变频器输出频率，从而调节电动机转速，实现带式输送机运行速度自动调节。

3.2 PLC模糊控制器

模糊控制通过启发性知识和语言决策规则来模拟人的大脑完成控制，适用于非线性、时变系统，将模糊控制应用于带式输送机变频调速控制装置，可增强其鲁棒性和抗干扰能力[17]。根据由当前煤流量确定的期望带速V1和速度传感器采集的当前带速V0，将两者的偏差e和偏差变化率ec作为模糊控制器的输入变量，变频器输出频率f作为模糊控制器的输出变量，模糊控制器输入变量e和ec及输出变量f对应的模糊语言分别为E，Ec和F。

图8 带式输送机变频调速控制原理Fig.8 Control principle of frequency-conversion speed- regulation of belt conveyor

模糊控制器各变量对应的模糊子集均为[NB，NM，NS，Z，PS，PM，PB]，并选用三角形函数作为隶属度函数。从带式输送机节能运行的角度出发，本着尽量减小误差和避免超调的原则，根据被控对象的变动情况及现有的先验知识与经验制定合理的模糊控制规则(表2)，将模糊控制规则表离线存储在PLC模糊控制器的存储卡中，在获取带式输送机运行速度偏差e和偏差变化率ec后，通过模糊推理计算变频器输出频率f，通过调节变频器输出频率调节电动机转速，从而实现带式输送机运行速度调节，提高了带式输送机变频调速控制的稳定性和准确性。

表2 模糊控制规则Table 2 Fuzzy control rule

模糊控制的目标是根据煤流量计算出匹配的带式输送机运行速度，带式输送机运行速度调节流程如图9所示(Vmax为带式输送机最大运行速度)。

4 地面控制中心信息处理平台

为实现带式输送机煤流量检测及调速控制过程的可视化，利用Visual Studio 2019开发平台，基于C#.Net语言开发地面控制中心信息处理平台。该平台主要由实时预览模块、系统设置模块、用户管理模块、设备管理模块和数据查询模块组成：实时预览模块用于查看现场实时画面，并显示煤流量及带速等信息；系统设置模块主要用于设置及修改用户密码等；用户管理模块负责用户的增删改查及不同级别操作权限下放；设备管理模块用于设备信息维护和管理；数据查询模块主要用于查询历史煤流量及设备用电量。

图9 带式输送机运行速度调节流程Fig.9 Flow of speed regulation of belt conveyor

地面控制中心信息处理平台实时预览界面如图10所示，可看出带式输送机不同载荷状态下运行速度与煤流量相匹配。

(a) 接近半载状态，带速适中

(b) 接近满载状态，带速较高

利用数据库将带式输送机煤流量及用电量等数据按照用户需要进行分类和归档。同时为方便用户查看，将归档数据以报表和趋势曲线的形式进行展示(图11)，可直观反映带式输送机相关数据随时间变化规律，有利于用户制定科学的生产计划。

图11 历史数据查询界面Fig.11 Historical data query interface

5 结语

基于机器视觉的矿井输煤系统优化节能控制方法将带式输送机煤流量检测与变频调速控制相结合。利用激光发射器辅助数字摄像头分别采集带式输送机空载和有载情况下包含激光条纹的煤流图像，对图像进行预处理去除异常噪声干扰，利用方向模板法提取图像中激光条纹中心线并采用线性插值法进行中心线断线修补，获得带式输送机空载状态下胶带激光基线中心线和带式输送机有载状态下煤流激光轮廓中心线叠加形成的封闭包络曲线，计算该曲线所围成截面内瞬时煤流量；根据煤流量检测结果，PLC模糊控制器通过调整变频器输出频率，实现带式输送机运行速度自动调节；地面控制中心信息处理平台负责数据收集、处理及显示，实现矿井输煤系统的可视化监控和智能管理。该方法可快速、有效检测煤流量，根据煤流量实时调整带式输送机运行速度，降低设备磨损和能耗，实现矿井输煤系统优化节能控制。

参考文献(References)：

[1] 牛祯祖.矿井带式输送机节能优化与智能控制系统研究[D].徐州:中国矿业大学,2017.

NIU Zhenzu.Study on energy saving optimization and intelligent control system of mine belt conveyor[D].Xuzhou:China University of Mining and Technology,2017.

[2] 代伟,赵杰,杨春雨,等.基于双目视觉深度感知的带式输送机煤量检测方法[J].煤炭学报,2017,42(增刊2):547-555.

DAI Wei,ZHAO Jie,YANG Chunyu,et al.Detection method of coal quantity in belt conveyor based on binocular vision depth perception[J].Journal of China Coal Society,2017,42(S2):547-555.

[3] 程军,李愈清,陆文涛.基于变频调速的煤矿带式输送机节能控制方法[J].电气传动,2013,43(11):61-64.

CHENG Jun,LI Yuqing,LU Wentao.Energy saving control method based on frequency control of coal mine belt conveyor[J].Electric Drive,2013,43(11):61-64.

[4] 肖鸿亮.带式输送机的输送量检测与节能控制系统的研究[D].沈阳:东北大学,2014.

XIAO Hongliang.The research of the material transportation detection system and the energy-saving control system on belt conveyor[D].Shenyang:Northeastern University,2014.

[5] 樊利军,田柏林.矿用电子胶带秤信号采集系统设计[J].工矿自动化,2015,41(8):25-28.

FAN Lijun,TIAN Bailin.Design of signal acquisition system of mine-used electronic belt scale[J].Industry and Mine Automation,2015,41(8):25-28.

[6] 任凤国,刘学红,任安祥,等.提高矿用X射线核子秤计量稳定性的研究[J].工矿自动化,2018,44(8):24-27.

REN Fengguo,LIU Xuehong,REN Anxiang,et al.Research on improving measurement stability of mine-used X-ray nuclear scale[J].Industry and Mine Automation,2018,44(8):24-27.

[7] 陈湘源.基于超声波的带式输送机多点煤流量监测系统设计[J].工矿自动化,2017,43(2):75-78.

CHEN Xiangyuan.Design of multipoint coal flow monitoring system of belt conveyor based on ultrasonic[J].Industry and Mine Automation,2017,43(2):75-78.

[8] IGATHINATHANE C,ULUSOY U.Machine vision methods based particle size distribution of ball- and gyro-milled lignite and hard coal[J].Powder Technology,2016,297:71-80.

[9] ZHAO Minghui,MA Sai,ZHAO Dongxin.Image processing based on gray information in sorting system of coal gangue[C]//10th International Conference on Intelligent Human-Machine Systems and Cybernetics,Hangzhou,2018:81-83.

[10] 杨尉.结构光光条中心提取方法研究[D].哈尔滨:哈尔滨工业大学,2009.

YANG Wei.Research on method for extracting center of structured light stripe[D].Harbin:Harbin Institute of Technology,2009.

[11] 史燕.线结构光视觉测量光条中心提取及评价方法研究[D].唐山:华北理工大学,2017.

SHI Yan.Research on evaluation method for extracting center of structured light stripe[D].Tangshan:North China University of Science and Technology,2017.

[12] LU Xueqin,GU Dongxia,WANG Yudong,et al.Feature extraction of welding seam image based on laser vision[J].IEEE Sensors Journal,2018,18(11):4715-4724.

[13] LI Chuanlong,YE Xiufen,GONG Yin,et al.A center-line extraction algorithm of laser stripes based on multi-Gaussian signals fitting[C]//IEEE International Conference on Information and Automation,Ningbo,2016:189-194.

[14] 胡斌,李德华,金刚,等.基于方向模板的结构光条纹中心检测方法[J].计算机工程与应用,2002(11):59-60.

HU Bin,LI Dehua,JIN Gang,et al.New method for obtaining the center of structured light stripe by direction template[J].Computer Engineering and Applications,2002(11):59-60.

[15] 李萍,任安祥.基于机器视觉的带送煤炭体积测量方法研究[J].工矿自动化,2018,44(4):24-29.

LI Ping,REN Anxiang.Research on volume measurement method of coal on belt conveying based on machine vision[J].Industry and Mine Automation,2018,44(4):24-29.

[16] 陈广立.超声波煤流传感器在胶带变频调速系统中的应用[J].陕西煤炭,2016,35(6):83-86.

CHEN Guangli.Application of ultrasonic coal flow sensor in variable frequency speed regulation system[J].Shaanxi Coal,2016,35(6):83-86.

[17] 赵建军.变频跟踪调速带式输送机PLC模糊控制系统设计[J].中国矿业,2020,29(3):100-104.

ZHAO Jianjun.Design of PLC fuzzy control system for frequency tracking speed regulating belt conveyor[J].China Mining Magazine,2020,29(3):100-104.