基于边界跟踪和神经网络的煤岩界面识别方法研究

2021-06-21吴德忠刘泉声

煤炭工程 2021年6期

吴德忠，刘泉声，黄兴，高峰，殷欣

(1.武汉大学土木建筑工程学院岩土与结构工程安全湖北省重点实验室，湖北武汉 430072；2.西安科技大学西部煤炭绿色开发国家重点实验室，陕西西安 710054；3.国科学院武汉岩土力学研究所岩土力学与工程国家重点实验室，湖北武汉 430071)

煤炭一直是我国国民经济赖以生存的主要能源，根据国家能源局印发的《2020年能源工作指导意见》，2020年全国煤炭消费比重占全国能源消费总量的57.5%。但总体上我国巷道掘进的智能化程度低，掘进效率低，难以实现掘锚平行作业[1]。我国煤炭智能化开采研究同样处于初级阶段，严重依赖人工干预，精准度不高，采煤机容易出现割顶的情况[2]。

煤岩识别技术是实现煤矿巷道自动化掘进和煤炭自动化开采的关键技术之一[3]。以跟顶掘进为例，如果截割滚筒位置过低，将造成欠截割，巷道上部留有大量顶煤，影响巷道成形质量。如果滚筒位置过高，即过截割状态，则会切割到顶板岩层，使滚筒损耗严重，影响设备使用寿命；产生大量粉尘，威胁现场工作人员的生命健康；滚筒温度过高，可能产生火花引发瓦斯爆炸；大量岩石落入煤炭中，造成采煤质量下降[4]。因此，迫切需要一种煤岩界面精准识别技术指导掘进机和采煤机截割滚筒的高度调整。

针对煤岩识别问题，国内外学者展开了大量研究，总体上可分为接触式和非接触式两大类。接触式的煤岩识别方法是根据截割滚筒在截割煤岩的过程中，机械的振动、电流、扭矩、声发射等信号会随着截煤比的变化而变化，这些变化可用于煤岩界面识别。基于多传感器数据融合的煤岩识别方法主要是对上述信息进行融合并提高了识别精度。这些方法需要对机械安装复杂的传感器系统，改造成本高；滚筒在截割过程中振动剧烈，容易造成传感器损毁。

非接触式的煤岩识别方法包括伽马射线探测法、放射性同位素法、雷达探测法、基于高光谱的识别方法、基于图像的识别方法等等。上述方法均存在一定的局限性，例如以天然射线(NGR)探测仪为代表的煤厚测量法，要求顶底板中含放射性元素，适用于美国大部分煤矿，而在我国仅适用于约五分之一的煤矿[5]，因此该方法的推广使用受到了限制。

近年来，基于图像的煤岩识别方法成为研究的热点。孙继平等[6]采用Daubechies小波分解技术对煤岩图像进行分解，构造纹理导向度，提取特征值，根据Minkowski距离计算公式计算待测物质与煤岩样品的距离，通过判断距离的大小进行煤岩的分类。章华等[7]设计了一个结构较为简单的卷积神经网络进行分类，识别准确率较高。以上研究主要是对煤岩图像进行分类，并不涉及煤岩的具体位置。基于数字图像处理技术的煤岩界面识别研究比较少。Dong等[8]提出了一种改进的Canny边缘检测算法，采用自适应中值滤波算法根据灰度均值和方差均值来计算Canny算法的阈值。该方法提高了边缘的提取效果，但同时也提取到了很多煤岩内部的边缘。

智能化巷道掘进和开采过程中的煤岩识别重点在于识别煤岩交界位置。针对现有煤岩识别技术存在的问题，本文提出一种基于边界跟踪算法和人工神经网络的煤岩界面识别方法，可有效地识别出煤岩界面，从而指导掘进机或者采煤机截割滚筒的高度调整，对实现国家安全监管总局“机械化换人、自动化减人”的战略发展目标，实现煤矿巷道智能掘进和采煤机智能开采具有重要意义。

1 边界跟踪算法

1.1 图像预处理

实验采用高感光度防爆相机采集鄂尔多斯李家壕煤矿矿区巷道掘进面原始图像，可清晰地看到截割滚筒切割煤岩体之后留下的痕迹，如图1(a)所示。为排除图像中其他无关信息对煤岩界面提取的干扰，舍弃图像中顶板铺网、左侧面以及掘进机机身部分，仅选取掘进面与顶板相交部分作为感兴趣区域(Region of interest，ROI)，如图1(b)所示。

图1 原始图像及感兴趣区域

线性拉伸可以剔除异常值，提高图像质量，改善显示效果[9]；同时也是对数据的一种标准化处理，这对下文机器学习分类算法具有积极意义。取直方图累积在前n%和后n%处对应的像素值为最小值和最大值，将位于前n%和后n%之间的像素值按照式(1)映射到0～255范围内，小于最小值的赋值为0，大于最大值的赋值为255，经过实验，选择n=2效果最好，如图2所示。

图2 2%截断线性拉伸

式中，x、y表示输入、输出图像的像素值；smax、smin表示输入图像像素值的最大和最小值；dmax、dmin表示输出图像像素值的最大和最小值。

1.2 边界跟踪算法原理

1.2.1 彩色图像二值化

边界跟踪算法建立在以下基础之上：①输入图像为二值图像；②图像包含的区域与图像边框相连接时，图像边框填充单像素宽度背景(0)值[10]。因此需先对彩色图像进行二值化处理。二值图像中的每一个像素其灰度值只有0或者1两个取值，通常情况下1表示白色(前景)，0表示黑色(背景)。

灰度图只有一个通道，其值称为灰度值。本文采用加权平均法按式(2)对彩色图像R、G、B三个分量加权平均从而实现图像灰度化。

Gray=0.299R+0.578G+0.114B

(2)

采用阈值法实现灰度图像二值化，根据最大类间方差法(大津法)确定阈值为T，灰度值大于T的像素赋值为1，灰度值小于T的像素赋值为0，按照式(3)得到输出图像，如图3所示。

图3 二值图像

其中，f(x，y)、g(x，y)分别表示输入图像和输出图像在坐标(x，y)处像素值。

1.2.2 二值图像边界跟踪

边界一般指前景区域的边界，分为内边界和外边界。跟顶掘进中为避免过截割应使截割滚筒尽量偏低，因此本文选择提取外边界。图4中标出值为1的像素点，省略值为0的像素点，算法实现过程如下：

图4 边界跟踪示意图

1)按照从左至右，从上到下的顺序扫描图像，找到最左上方值为1的前景点并标记为p0，p0上方的相邻点标记为q0。显然q0一定是值为0的背景点。

2)以p0为中心，q0为起点展开八邻域逆时针搜索，记搜索到的第一个前景点为p1，紧邻且先于p1出现的背景点为q1，存储p0的位置。

3)令p=p1，q=q1。

4)记以p为中心，q为起点的逆时针方向8个相邻点为x0，x1，…，x7。

5)令xk表示第一个出现的前景点。

6)令p=xk，q=xk-1。

7)重复步骤5)和6)，当p=p0时停止计算，此时得到的序列p就是前景区域内边界点的集合。

8)标记序列p所有点的八邻域点中所有的背景点r，得到前景区域外边界点的集合。

输出图像中仅边界部分像素值为1，其余部分像素值均为0。将图3作为上述算法的输入，输出如图5所示。可以看出，算法不仅识别出煤岩边界，煤岩内部边缘也一并识别出来，无法指导掘进机滚筒调高。这是因为图像二值化处理本身可以看作一种基于阈值的分类方法，而从图3中可明显地看出大量像素点被错分，此时边界跟踪算法无法提取煤岩边界。因此需先对分界线两侧煤岩进行分类，进而对分类之后的图像提取边界。

图5 边缘跟踪效果图

2 煤岩图像分类算法及精度评价

2.1 建立分类模型

最大似然法(Maximum Likelihood Estimate，MLE)常用于测绘遥感领域的地物分类，研究表明在各种监督分类方法中，该方法在岩性识别方面具有较好的性能[11]。K均值聚类算法(k-means clustering algorithm)是一种非监督学习方法，具有容易实现、简单高效的优点，广泛应用于图像分割领域[12]。大量研究表明支持向量机(Support Vector Machines，SVM)和人工神经网络(Artificial Neural Network，ANN)都是功能强大的分类模型。支持向量机是建立在统计学习理论的VC维理论和结构风险最小原理基础上的一种机器学习算法，具有论证严密、适应性强、全局优化、训练效率高和泛化性能好等优点[13]。BP(Back Propagation)神经网络是一种按照误差反向传播训练的多层前馈神经网络，是目前应用最广泛的神经网络模型之一[14]。

本文采用最大似然法、K均值聚类算法、支持向量机和BP神经网络对线性拉伸之后的图像进行分类，以消除非边界信息对边界跟踪算法的影响，比较四种算法的分类精度，选择最佳分类模型。对图像包含的所有像素逐一分类，分类结果中用红色表示顶板岩层，蓝色表示煤。选取1632个属于煤的样本点和1578个属于岩的样本点作为训练样本。四种算法的分类结果如图6所示，神经网络训练误差曲线如图7所示。

图6 四种模型分类结果

图7 神经网络训练误差曲线

2.2 精度评价

混淆矩阵常用于评价分类模型的分类性能，矩阵的行表示样本真实的类别，列表示分类模型预测的类别[15]。矩阵中对角线上的数字pii表示被正确分类的样本数；pij表示验证样本第j类目标被识别为第i类目标的个数；pi+和p+i分别表示第i行和第i列样本数量之和。四种算法的混淆矩阵见表1-4。

表1 K-means分类混淆矩阵

表2 MLE分类混淆矩阵

表3 SVM分类混淆矩阵

表4 ANN分类混淆矩阵

总体分类精度(Overall Accuracy)表示混淆矩阵对角线上样本数量之和与验证样本总数的比值，按照式(4)计算。Kappa系数不仅考虑了被正确分类的样本，还考虑了错分漏分的样本，其值在-1～1之间。Kappa系数越大表示一致性越高，按照式(5)计算。四种算法的总体分类精度和Kappa系数见表5。

式中，N表示样本总数；m表示目标类型数量，本文为2。

分类结果表明，K-means聚类算法虽然可以取得高达98.3650%的总体分类精度和0.9672的Kappa系数，但是从图7a中可以看出明显的错分情况。最大似然法的分类效果最差，总体分类精度和Kappa系数在四种分类模型中均是最低的。SVM和ANN分类效果相当，总体分类精度和Kappa系数均接近理想值，本文采用总体分类精度和Kappa系数略高的ANN进行分类，将ANN的输出作为边界跟踪算法的输入，提取到的煤岩边界如图8所示。

图8 提取的边界及局部放大图

对比图5可以发现，经过ANN分类之后的图像，可大致提取出连续单像素宽度的煤岩边界，而煤岩内部没有检测到边缘，但是存在许多孤立“孔洞”分布在边界附近。这是因为四种分类模型都是对像素点逐一分类，在边界附近煤和岩两类目标相互渗透，在对方区域内形成许多孤立的细小区域，边界跟踪算法将这些区域的边界也提取出来，对后续的研究会造成一定的干扰。因此需采取一种有效的方法，对ANN分类之后的图像进一步处理，以消除这些细小区域对边界提取的不良影响。

3 形态学处理

数学形态学是一门建立在集合论基础上的学科，广泛应用于提取对表达和描绘图像中区域形状有用的图像分量，图像预处理和后处理等。其基本运算包括膨胀、腐蚀、闭运算和开运算[16]，这些运算通过结构元素(SE)实现。结构元素是由值为0或1组成的矩阵，在二值图像中平移，每次平移1个步长，在平移过程中的每个位置均与相应位置的二值图像进行特定的逻辑运算。

腐蚀运算可以使前景区域从外向内缩小，其基本原理是：在图9(a)中，定义一个3行3列的正方形结构元素B(其值为1)，其原点位于中心像素，前景区域A用1值表示，前景区域A和背景区域构成图像I。①生成一幅图像I1，其尺寸与I相同，其值均为0；②在图像I上平移结构元素B，使B扫描整个图像；③对于B在I的每一个位置，若B完全包含于A，则标记B的原点为新图像I1的前景像素，否则将其标记为I1的背景像素。如图9(b)所示。

图9 膨胀腐蚀原理

膨胀运算与腐蚀运算原理相似：将腐蚀运算第(3)步改为“对于B在I的每一个位置，若B与A的交集非空，则标记B的原点为新图像I1的前景像素，否则将其标记为I1的背景像素”，即为一次膨胀运算，如图9(c)所示。

使用同一结构元素，对图像先进行膨胀处理，再进行腐蚀处理，称为闭运算；对图像先进行腐蚀处理，再进行膨胀处理，称为开运算。将闭运算和开运算组合，以消除边界附近的“孔洞”，实现过程及原理如下[17]：

1)闭运算。①膨胀：前景区域内的细小背景区域由于前景区域的扩张而消失，煤岩总体分界线下移；②腐蚀：已经消失的细小背景区域不再出现，煤岩总体分界线由于前景区域的收缩上移到初始位置。

2)开运算。①腐蚀：背景区域内的细小前景区域由于前景区域的收缩而消失，煤岩总体分界线上移；②膨胀：已经消失的细小前景区域不再出现，煤岩总体分界线由于前景区域的扩张下移到初始位置。

上述过程虽然改变了图像的微观形态，但是煤岩总体分界线的趋势和位置不变，不影响指导截割滚筒高度调节。由于ANN分类效果良好，没有出现大面积错分的情况，因此不需要设置过大尺寸的结构元素。本文选择半径为2的圆形结构元素，对分类后的图像先进行闭运算，再进行开运算，输出图像煤岩边界趋于平滑，边界附近渗透到对方区域的细小区域全部消失，如图10所示。

图10 形态学处理前后对比(局部)

将形态学处理之后的图像作为边界跟踪算法的输入，提取到的边界如图11所示，此时提取到连续单像素宽度边界，与真实边界基本吻合。此外，形态学处理使分类模型具有一定的容错性，即使在分类过程中出现少量的错分(图11方框部分)，在形态学处理这一步中也可以得到弥补和纠正。统计边界上所有像素的纵坐标，取平均值，转换为井下测量坐标，从而为掘进机和采煤机滚筒高度调节提供依据。

图11 提取的边界及局部放大图

4 基于边界跟踪和神经网络的煤岩界面识别方法

根据上文分析，本文提出一种基于边界跟踪算法和人工神经网络的煤岩界面识别方法，具体过程如下：①采集掘进面与顶板交界处的原始图像，尽量保证光照充足且均匀，选取ROI；②对图像进行2%线性拉伸处理；③选择一定数量的训练样本，煤和岩两类样本的数量应接近，训练BP神经网络；④将待检测的图像作为BP神经网络的输入；⑤将分类后的图像进行闭运算和开运算处理；⑥将处理之后的图像作为边界跟踪算法的输入。

技术路线如图12所示。