基于机器视觉的矿用输送带纵向撕裂检测研究

石耀慧，史华伟，王永振，和佳聪，倪 冬

（1. 山西焦煤（集团）霍州煤电集团店坪煤矿，山西 吕梁 277102；2. 鄂托克前旗长城煤矿有限责任公司，内蒙古 鄂尔多斯 016200；3. 中国矿业大学机电工程学院，江苏 徐州 221116）

0 引言

在煤矿运输系统中，矿用输送带需要长时间、高负荷运输物料。物料中存在的矸石、锚杆等锋利的杂质，可能会造成输送带纵向撕裂。一旦发生纵向撕裂，如果巡检或者附近值班人员无法及时发现并进行停机，输送带会在短时间内发生贯穿性整体损毁[1-2]。输送带纵向撕裂事故发生会造成物料倾洒，托辊、减速器和电动机等设备损毁，造成巨大经济损失甚至是人员伤亡，更严重时可能引起输送带局部温度升高，引发矿井火灾[3-4]。

输送带纵向撕裂检测大致可分为接触式和非接触式两种检测方式。接触式检测技术常见的有棒形检测器、线形检测器、摆动托辊检测器等[5]。接触式检测法的结构较为简单、使用方便，但是其可靠性较差、使用寿命较短，容易误报和漏报，因此，目前多采用非接触式检测技术。非接触式检测技术主要有超声波检测法[6]、电磁传感法[7]、X射线检测法[8]、视觉检测法[9]等。超声波检测法不易在井下安装，且后期维护费用高昂，不适合大规模推广；电磁检测法工艺复杂、成本高，同时降低皮带强度，稳定性较差；X射线检测法检测速度慢，且有辐射，会造成身体上的损伤。

视觉检测作为一种非接触式无损检测技术发展迅速，在各领域都有广泛的应用并且日趋成熟[10]。基于图像分割技术、边缘检测技术等，有研究人员直接采集输送带图像进行纵向撕裂判别[11-14]。上述方法在应用于井下工况时，因输送带表面污渍较多，环境光照变化较大，会导致采集的图像清晰度较低甚至模糊，难以取得较好的检测效果。

为了降低周围环境对纵向撕裂检测的影响，游磊等[15]利用改进最大值法提取单条激光中心线，提出了一种基于U-net网络的输送带纵向撕裂检测方法，有效解决了光照条件差的问题，但是该算法存在撕裂样本不充分的问题；曾飞等[16]设计了便携式高精度输送带纵向撕裂检测系统，解决了远距离监测输送带纵向撕裂的问题，但是图像采集端只能采集输送带上表面激光图像，无法检测正在输送货物的输送带；熊辉等[17]采用网格状激光图像，利用图像的网格特征进行皮带撕裂识别，该算法识别率高，但是该系统安装复杂，容易受到振动干扰；徐辉等[18]同时采集3条线激光图像，通过光条畸变特征检测输送带纵撕裂，该方法简单、检测准确度高，但是并没有对尘雾环境下的撕裂图像进行分析，泛化能力差；LI等[19]提出了一种基于多组激光器的计算机视觉检测算法，扩大了探测面积，但是提取多激光线条所使用的消线方法仍需要良好的光照条件。

针对以上问题，本文提出了一种基于多条线激光的输送带纵向撕裂检测系统，分析了线激光发射器、工业摄像仪数量对图像采集质量的影响，设计了双目激光器、三线激光器的图像采集方案。针对煤矿井下煤灰和水雾等因素导致采集图像较差的问题，采用图像ROI提取、图像模型转换、图像增强、图像拼接等算法，获得了完整、高质量的线激光图像。针对光照不均、煤渣等降低纵向撕裂识别率的问题，本文通过线激光图像中连通域的数量判断是否发生纵向撕裂，提高了检测的准确率。实验结果表明，基于多线激光的纵向撕裂检测方法相比于常用线激光的纵向撕裂检测方法，具有更高的准确率和更好的环境适应性。

1 图像采集

1.1 设备选型

纵向撕裂检测硬件设备是采集输送带下表面图像的关键设备，主要包括线激光发射器、工业摄像仪及镜头。选择线激光发射器时，主要考虑其光功率、发散角度、波长等参数；选择工业摄像仪时，主要考虑其像元尺寸、帧率和分辨率等参数；选择镜头时，需考虑上下输送带间距、输送带宽度和工业摄像机的参数。综合考虑，定制线激光发射器，工业摄像仪选择海康机器人MV-CA032-10GC型面阵工业摄像仪，镜头选择海康机器人MVL-MF0828M-8MP型镜头，设备参数见表1。

1.2 布置方案

由于输送带上表面存在煤炭的遮挡，工业摄像仪不易采集到输送带上表面的纵向撕裂线性特征。因此，本文将纵向撕裂检测设备安装在输送带的下方，对输送带下表面的纵向撕裂线性特征进行采集。线激光发射器和工业摄像仪在上下输送带之间的布置示意图，如图1所示。为了突出纵向撕裂特征，需要分析线激光发射器与工业摄像仪的数量。

1.3 线激光发射器的数量分析

矿用带式输送机运转时，单线激光和多线激光分别照射到完好输送带的下表面，激光线条会呈现一定的弧度并具有连续性，如图2（a）和图2（c）所示。单线激光和多线激光分别照射到纵向撕裂输送带的下表面，激光线条在纵向撕裂位置会产生断裂或跳跃，如图2（b）和图2（d）所示。

图2 不同情况下的线激光图像Fig. 2 Line laser images under different conditions

当输送带下表面沾染煤渣时，可能会导致线激光发生间断。单线激光进行检测时，会将其判断为纵向撕裂，从而导致误判，如图2（e）所示。多线激光照射沾染煤渣的输送带下表面，只有中间一条线激光发生了间断，如图2（f）所示。利用多线激光检测时，只有多线激光同时间断，才能判断输送带发生纵向撕裂，因此，多线激光检测能够降低煤渣沾染导致的误报率。随着线激光数量增加，图像处理时间也会相应提高，因此，选取线激光发射器数目时，要根据硬件设备和现场实际情况，选取合理的线激光发射器数目。经过综合考虑，选用3个线激光发射器进行输送带纵向撕裂检测。

1.4 工业摄像仪的数量分析

由于煤矿井下上下输送带空间狭小、煤灰、水雾等因素的影响，单个工业摄像仪无法直接获得高质量且完整的输送带下表面线激光图像。因此，采用两个工业摄像仪组成双目视觉系统，对输送带下表面线激光图像进行采集，然后对采集的同帧图像拼接，从而获得高质量且完整的输送带下表面线激光图像。

2 图像预处理

煤矿井下环境恶劣，输送带周围存在大量的煤灰和水雾，光在传播的过程中会被煤灰和水雾吸收和散射，导致光照强度降低。工业摄像仪只能采集到衰减后的激光线条，导致采集图像质量较差，影响输送带纵向撕裂检测的准确率。因此，首先要对采集图像进行预处理，提高图像的质量和缩短后续图像处理的时间，预处理流程包含图像ROI提取、图像模型转换、图像增强及图像拼接。

2.1 图像ROI提取

图像ROI提取是利用图像剪切手段裁剪出感兴趣区域（ROI），降低后续图像处理算法的难度和时间。本文中的工业摄像仪直接采集的RGB图像像素尺寸为2048×1536，如图3（a）所示；从图像中裁剪出一个800×400像素区域作为ROI图像，如图3（b）所示。

图3 图像ROI提取Fig. 3 Image ROI extraction

2.2 图像模型转换

工业摄像仪采集的图像是由R通道、G通道、B通道组成，为了缩短后续图像处理的时间，将采集到的RGB图像转换为单一颜色通道图像。分别对ROI提取后的图像进行R通道、G通道、B通道提取和图像灰度化，获得的图像如图4所示，相对应的图像灰度二维分布如图5所示。由图4和图5可知，提取R通道的图像激光线条和背景对比特征最为显著，在保证准确提取激光线条中心线的前提下，将三通道彩色图像降低为R通道图像，能够降低图像处理的数据量。

图4 不同颜色通道和灰度化图像对比Fig. 4 Comparison of different color channels and gray-scale images

图5 不同图像的灰度二维分布Fig. 5 Grayscale two-dimensional distribution of different images

2.3 图像增强

为了使采集的线激光图像接近煤矿井下真实线激光图像，在实验室模拟煤矿井下尘雾环境进行线激光图像采集，采集的含尘雾线激光图像。含尘雾线激光图像质量较差，能够影响后续输送带纵向撕裂检测的准确率。本文提出了一种分段线性变换与CLAHE结合的图像增强算法，对线激光图像进行增强。算法实现过程如下所述。

1）利用分段线性灰度变换，对图像中低灰度值噪声进行抑制，对感兴趣灰度值区域进行增强，获得分段线性灰度变换增强后图像。

2）将增强后图像分割成尺寸相同的子块图像，图像之间互不重叠，但要相互邻接。

3）统计每个子块图像的灰度直方图h（i），i代表图像中的灰度级。

4）保证子块中每个灰度级的像素个数相等，像素个数平均值NAver的数学表达式见式（1）。

式中：LGray为子块中含有的灰度级数目；ux为x轴的像素数量；uy为y轴的像素数量。

5）确定剪切限制系数β，β∈[0,1]。β值越大，图像对比度越高。剪切限制阈值NCL表达式见式（2）。

式中，β为剪切限制系数。

6）将子块灰度直方图中超出剪切限制阈值NCL的像素剪切出来，平均分配给各个灰度级，如图6所示。

图6 剪切像素分配Fig. 6 Shear pixel allocation

设超出限制阈值NCL的像素总数为NClip，则子块图像中的灰度级获得的像素数NACP的表达式见式（3）和式（4）。

式中，NGray为图像总灰度像素总数。

获得新局部直方图H（i）的表达式见式（5）。

如果超出限制阈值NCL像素没有完全分配，则需要对剩下的像素进行再次分配。经过多次均匀分配后，超出限制阈值NCL的像素数被平均分配到像素数小于限制阈值的灰度级中。

7）分别对剪切处理后的子块图像直方图H（i）进行均衡化。

8）通过双线性插值算法将子块图像进行组合，能够有效去除子块的边界。

含尘雾线激光图像原图，如图7（a）所示。分段线性灰度变换增强后的图像，如图7（b）所示。CLAHE算法增强后的图像，如图7（c）所示。基于分段线性变换与CLAHE结合算法增强后的图像，如图7（d）所示。由图7可知，基于分段线性变换与CLAHE结合算法增强后的图像中低灰度值噪声被抑制，并且图像右上角的激光线条对比度和亮度均得到了提高。因此，基于分段线性变换与CLAHE结合的图像增强算法对含尘雾线激光图像具有较好的图像增强效果，能够适应煤矿井下环境。

图7 线激光图像增强对比Fig. 7 Line laser image enhancement contrast

2.4 图像拼接

为了降低图像拼接计算量、提高配准率，本文采用基于改进SIFT特征提取的图像拼接算法[20]，对线激光图像进行拼接。算法主要分为特征点提取与匹配、图像配准和图像合成三个部分，算法流程图如图8所示。

图8 基于SIFT特征提取的图像拼接算法Fig. 8 Image mosaic algorithm based on SIFT feature extraction

在图像拼接过程中，首先，对左右线激光图像进行ROI提取、图像模型转换、图像增强，如图9（a）和图9（b）所示；其次，提取图像特征点，并实现图像特征点匹配，如图9（c）所示；最后，在图像拼接融合部分利用帽子函数加权平均融合算法消除图像拼接后的亮度差异，拼接后的线激光图像如图9（d）所示。

图9 线激光图像拼接Fig. 9 Line laser image stitching

3 纵向撕裂特征提取与检测

3.1 多条线激光中心线提取

对输送带线激光图像其提取中心线后，能够去除边缘的杂波干扰，更准确地表示激光线条的位置，增大激光线条断裂处的距离，从而提高检测的精度和准确率。常见的线激光中心线提取算法有极值法、灰度重心法、高斯曲线拟合法、Steger算法。极值法提取单线激光中心线速度较快，但是容易被噪声干扰，导致提取精度较差；灰度重心法提取斜率较大的线激光中心线时，误差会显著上升，容易出现断线现象；高斯曲线拟合法提取线激光中心线时，由于不存在完全对称的灰度值分布，提取的线激光中心线会存在较大误差；Steger算法对单线激光中心线提取精度较高、鲁棒性好，但是计算复杂、处理效率较低。综上所述，常用的线激光提取算法并不适合对多线激光中心线进行提取。本文提出基于改进Otsu阈值分割算法的多线激光中心线提取算法，该算法实现流程如图10所示。

图10 基于改进Otsu阈值分割算法的多线激光中心线提取算法Fig. 10 Multiple line laser center line extraction algorithm based on improved Otsu threshold segmentation algorithm

3.1.1 图像二值化

为了降低多条线激光中心线提取时间、排除图像中的干扰信息，需要对图像进行分割。由于煤矿井下恶劣的环境，固定阈值提取的线激光存在区域过多或过少的问题。本文采用改进Otsu阈值分割算法，根据单张线激光图像中存在的灰度信息，按照灰度级划分为线激光和输送带两个部分，算法的计算步骤如下所述。

设采集到的线激光图像中灰度值是i的像素点总量是mi，i的取值范围为[0，K-1]，像素点总量M的数学表达式见式（7）。

式中，K为线激光图像最大灰度值。

在单张线激光图像的所有像素点中，随机选取一个像素点，灰度值是i的概率Pi的数学表达式见式（8）。

Pi必须要符合数学表达式（9）。

根据实际情况设定一个阈值T，将线激光和输送带两部分进行初次分离。将初次分离的线激光和输送带部分分别命名为B1和B0。输送带部分的灰度值范围设为[0，T-1]，线激光部分的灰度值设为[T，K-1]。B0和B1的概率x0和x1的数学表达式见式（10）和式（11）。

B0和B1的灰度均值A0和A1的数学表达式见式（12）和式（13）。

经过R通道提取的线激光图像的灰度值均值的数学表达式见式（14）。

B0和B1的类间方差σ2的数学表达式见式（15）。

阈值T的数学表达式见式（16）。

由于线激光图像中线激光部分占图像比重较小，输送带部分的像素点经过分割后可能归类到线激光部分，使得线激光图像过分割。对线激光图像的过分割问题，使用线激光部分像素点占图像像素点的比重S进行改进，并且通过缩小灰度值t的取值范围，提升算法的分割速度。改进Otsu阈值分割算法的最佳阈值计算公式见式（17）。

式中：S为线激光部分所占图像的比重，用于改变变量t所占的权重；t为灰度阈值，其中，x0（t）灰度阈值为t时，线激光部分的概率；x1（t）灰度阈值为t时，输送带部分的概率；A0（t）灰度阈值为t时，线激光部分的平均灰度值；A1（t）灰度阈值为t时，输送带部分的平均灰度值；σ0（t）灰度阈值为t时，线激光部分灰度值的方差；σ1（t）灰度阈值为t时，输送带部分灰度值的方差；A为线激光图像的平均灰度值；D为线激光图像的最大灰度值。

通过改进Otsu阈值分割算法，动态选择阈值T的大小。设未经二值化处理的线激光图像函数f（i，j），二值化处理后的线激光图像函数F（i，j），二值化的数学表达式见式（18）。

式中：（i，j）为线激光图像中各个像素点坐标；f（i，j）为未经二值化处理过的线激光图像在像素点（i，j）处的灰度值；F（i，j）为二值化处理后的线激光图像在像素点（i，j）处的灰度值。

3.1.2 分组提取多线激光中心线

对多线激光图像函数F（i，j）进行逐列搜索，当像素点灰度值从0变成255时，此像素点为上边界点；当像素点灰度值从255变成0时，此像素点为下边界点。计算上下边界像素点坐标均值，获得线激光中心点坐标，重复计算获得该列三条线激光中心点坐标。

通过对图像进行逐列搜索，获得多线激光所有中心像素点坐标。根据聚类算法将线激光中心像素点坐标分类到相应的坐标数组。最后将所有像素点坐标按照分组连线，获得多线激光中心线。

3.1.3 形态学优化

形态学优化主要分为开运算和闭运算。开运算将线激光区域中相邻近但不相接的像素点去除，导致线激光的缝隙增大。闭运算能够将邻近的孤立像素点合并起来填补线激光的缝隙，同时不会导致线激光的边缘部分加粗。因此，本文选择闭运算对线激光图像进行形态学优化。

选取一条能量不均的线激光，如图11（a）所示。因其斜率较大、能量分布不均等原因，提取的中心线被分割成几部分，如图11（b）所示。不连续的激光线条会影响后续纵向撕裂特征提取与检测的准确率，因此，需要对提取的线激光中心线进行形态学优化。采用闭运算对微小间断点进行填充，填充后的线激光中心线如图11（c）所示。

图11 形态学优化Fig. 11 Morphological optimization

3.2 纵向撕裂特征提取与检测

常用的纵向撕裂检测算法主要有角点检测和直线检测。SUSAN角点检测算法容易受到图像中噪声的影响，FAST角点检测算法易产生角点聚簇现象，对于噪声点容易误判为角点。HOUGH变换直线检测算法对曲率较大的激光线条检测效果不佳，因此该方法不适合本系统。通过分析多线激光在纵向撕裂时的线性特征，本文提出了一种基于形态学的特征提取与检测算法。该算法利用多条线激光图像中存在的连通域数目，判断输送带是否发生了纵向撕裂。

对含纵向撕裂的线激光图像进行中心线提取，提取后的图像是二值化图像，将图中的三条线激光中心线作为一个区域进行连通域划分。由于图中的线激光中心线存在曲率，因此，只能通过8-邻域原则（灰度值为255像素点的8邻域中存在灰度值为255的像素点，则两个像素点在相同的连通域中）判断线激光中心线区域是否连通。图12为发生纵向撕裂时的线激光图像，3条线激光共有5个间断点。顶部的激光线有2个间断点，整条激光线被分为3部分，也就是3个连通域。类似的，中间的激光线被分为3个连通域，底部的激光线被分为2个连通域。因此，图12所示的激光图像共存在8个连通域。相反的，不发生纵向撕裂时，线激光不存在间断点，仅存在3个连通域。

图12 连通域判定Fig. 12 Judgement of connected domain

由于噪声干扰，线激光图像可能会形成多个较小的连通域，导致连通域划分不准确。通过设置连通域像素点数目阈值去除干扰连通域。去除干扰连通域后，如果区域内存在3个连通域，则认为输送带未发生纵向撕裂，运行状况良好；如果区域内存在6个及以上连通域，则认为输送带可能存在纵向撕裂。当连续四帧线激光图像中均检测到6个及以上连通域，输送带纵向撕裂检测系统判定输送带发生了纵向撕裂，需要立即停止带式输送机。

4 实验结果与分析

4.1 实验设备

在实验室搭建实验平台，验证本文提出的基于多线激光的输送带纵向撕裂检测方法的优越性。实验台由输送带、机架、工业摄像仪、线激光、安装支架、台式计算机、电动滚筒等组成。采用气压喷壶和一级粉煤灰模拟煤矿井下尘雾环境。实验使用的输送带厚度为11.5 mm，宽度为680 mm，总长为6600 mm，输送带的最大运转速度能够达到2 m/s。搭建完成后的实验台，如图13所示。

图13 输送带纵向撕裂检测实验台Fig. 13 Test bench of conveyor belt longitudinal tear detection

4.2 中心线提取

为了验证提取算法的优越性，对同一位置连续多次拍摄，选取含有纵向撕裂的单条线激光图像30张，选择Steger算法[21]、极值法[22]、灰度重心法[23]与本文算法进行对比。Steger算法是提取单条线激光中心线最准确的方法之一，因此，将Steger算法提取的线激光中心线作为衡量标准，与基于改进Otsu阈值分割算法的多线激光中心线提取算法（本节改进算法）、灰度重心法和极值法提取的中心线进行对比分析。本节改进算法、极值法、灰度重心法和Steger法提取的局部线激光中心线坐标，如图14所示。

图14 多种算法提取结果中局部线激光中心线对比Fig. 14 Comparison of local line laser centerlines in the extraction results of multiple algorithms

由图14可知，本节改进算法和Steger算法提取的中心线非常接近，而灰度重心法和Steger算法提取的中心线偏差较小。为了量化不同算法提取线激光中心线的精度，采用偏差均值表示精度，处理时间表示算法速度。将Steger算法提取的坐标值作为标准值Z，计算偏差均值S，计算见式（19）～式（21）。

式中：Zi为测试方法计算得到的点坐标；N为一幅线激光图像中心线坐标点数目；M为提取的图像数目。不同算法的均值偏差和处理时间见表2。

表2 中心线提取算法对比Table 2 Comparison of center line extraction algorithms

由表2可知，在提取准确率方面，本文改进算法与Steger算法的偏差均值S最小；在处理速度方面，本文算法处理速度接近极值法，大大高于Steger算法。因此，本文改进算法能快速提取中心线且能够准确的反映激光线条线性特征。

4.3 纵向撕裂检测

对输送带纵向撕裂检测时，检测结果异常的情况有两种。一种情况是输送带完好，但由于输送带下表面沾染煤渣等因素导致检测结果为纵向撕裂，此种结果出现的次数记为M1。另一种情况是输送带纵向撕裂，但由于纵向撕裂特征不显著等因素导致检测结果为完好，记为M2。检测结果正确的也有两种情况，一种情况是输送带完好，此种结果出现的次数记为M3。另一种情况是输送带纵向撕裂，此种结果出现的次数记为M4。据此，输送带纵向撕裂检测准确率计算公式见式（22）。

将工业摄像仪和线激光发射器分别安装到实验台上，向试验台喷洒水雾和粉煤灰模拟煤矿井下尘雾环境。在无尘雾和模拟尘雾两种实验环境下，工业摄像仪分别采集5组多线激光和单线激光输送带下表面图像，每组含有200张图像。为了验证本文纵向撕裂检测方法的优越性，分别与文献[16]、文献[24]报道的单条线激光方法、与文献[18]报道的多条线激光方法进行对比实验，分别记录每组实验中M1、M2、M3和M4的值，见表3。对5组实验结果的准确率求平均值，不同检测方法的对比实验结果见表4。

表3 不同检测方法对比Table 3 Comparison of different detection methods

表4 不同检测方法准确率Table 4 Accuracy of different detection methods单位：%

文献[16]、文献[24]提出的为单条线激光检测方法，文献[18]与本文提出的为多条线激光检测方法。由表4可知，在无尘雾实验室环境下，单条线激光检测方法准确率低于多条线激光检测方法，本文提出的方法准确率最高，达到了98.6%。在模拟煤矿井下尘雾环境时，单条线激光检测方法准确率迅速下降，分别为82.1%、78.9%，说明单条线激光在尘雾环境下纵向撕裂检测容易受到干扰；文献[18]的准确率为90.5%，本文的准确率为97.9%，说明本文提出的算法更适合于煤矿尘雾环境。

5 结语

为解决目前煤矿井下输送带纵向撕裂检测存在的采集图像质量较差、误判率较高、智能化程度较低等问题，本文提出了一种基于多线激光的矿用输送带纵向撕裂检测方法。算法采用多条线激光辅助纵向撕裂检测方法，将输送带纵向撕裂的形态学特征转换为激光线条的线性特征，提高检测的速度和准确率。通过对多线激光的特点进行分析，提出了基于改进Otsu阈值分割算法的多条线激光中心线提取方法，去除了激光线边缘的杂波干扰，更准确地表示激光线条的位置，增大激光线条断裂处的距离，更准确反映激光线条的线性特征。通过分析多线激光在纵向撕裂时的线性特征，提出一种基于形态学的特征提取与检测算法对输送带进行纵向撕裂检测，利用多线激光图像中存在的连通域数目，判断输送带是否发生了纵向撕裂。通过实验室试验，验证了本文输送带纵向撕裂检测方法的优越性。

本文只是在实验室模拟煤矿尘雾环境下进行实验，但煤矿井下环境更为复杂，特别是存在大量的煤灰和水雾，会导致设备污染，进而造成激光图像模糊，甚至损毁设备。因此，下一步需要研制自动除尘保护装置，以解决线激光发射器、工业摄像仪等设备的污损问题。此外，本文的检测方法只能对已经发生纵向撕裂的输送带进行检测，无法对即将发生的纵向撕裂进行提前预警，比如尖锐物未穿透输送带、大块物料卡压输送带等。未来可以使用红外热像仪等穿透性设备对纵向撕裂征兆进行监测，实现提前预警。