图像识别智能放煤技术原理与应用
2022-02-25王家臣潘卫东张国英杨胜利杨克虎李良晖
王家臣，潘卫东，张国英，杨胜利，杨克虎，李良晖
(1.中国矿业大学(北京) 能源与矿业学院，北京 100083； 2.放顶煤开采煤炭行业工程研究中心，北京 100083； 3.中国矿业大学(北京) 机电与信息工程学院，北京 100083)
放顶煤开采技术是开采厚及特厚煤层的有效方法，放煤是放顶煤开采独有的工序，近20 a来，国内外一直致力于智能放煤技术开发，但至今仍无实质性进展，也没有国内外成熟技术可以借鉴，与综采工作面智能化相比，智能放煤的进展较小。
综采工作面和放顶煤工作面的区别主要在于放煤。煤炭开采过程中主要涉及到2类煤矸识别问题，一是综采工作面采煤机割煤过程中的煤岩界面识别，二是综放工作面放煤过程中的煤矸识别。前者已经在智能综采工作面初步实现，而后者要对后部刮板输送机上快速运动的、呈堆积状态的煤矸进行识别，目前仍然存在许多技术难题。目前，放顶煤工作面仍普遍采用人工放煤方式，放煤工人从液压支架间隙观察后部刮板输送机上煤流，观察矸石是否被放出或者放出的量，进而决定是否停止放煤。这种方法劳动强度大、生产效率低，且容易出现由于工人主观原因发生误操作的情况。
智能化放顶煤开采是以智能化综采技术为基础，通过实现智能放煤最终达到放顶煤工作面的智能化控制。在智能化放顶煤开采相关技术领域，近年来国内进行了初步的探索试验，如：兖矿集团兴隆庄煤矿试验程序控制与人工补放结合的放煤方式，潞安集团王庄煤矿试验研究了声音频谱煤矸识别技术，中国矿业大学进行了基于声波、近红外光谱、自然射线等的放煤过程自动控制系统试验研究，利用高性能多次回波信号反射激光雷达扫描技术对后部刮板输送机上运煤量进行了监测，刘闯提出了微波加热-红外探测的主动式煤矸识别方法，杨扬通过分析尾梁振动信号进行放顶煤工作面的煤矸识别，张守祥等提出综合运用多种监测手段实现精准放煤控制的思路，北京天地玛珂电液控制系统有限公司试验了记忆放顶煤方式，晋能集团同忻煤矿采用煤矸冲击振动传感器识别矸石到达放煤口时间，笔者团队利用顶煤运移跟踪仪(发明专利号：ZL200910080005.9)，开展了自动化放煤技术的尝试，构建了基于该技术的自动化放煤控制系统，提出自动化放煤条件下应优选多轮顺序放煤方式，实现了放顶煤工作面放煤口自动开闭决策、顶煤安全高效回收，目前已在朱仙庄矿8105工作面进行了初步应用。最近几年，深度学习发展迅猛，已广泛渗透于各个行业、各个领域，用于解决复杂环境下的场景理解问题，为图像识别智能放煤技术提供了技术保障，通过语义分割可以对放顶煤工作面后部刮板输送机上煤流中煤矸边界进行提取，进而获得混矸率，指导智能放煤。
国外放顶煤开采技术仅在土耳其、孟加拉、澳大利亚等少数几个国家有相关应用且大多为国内放顶煤技术的输出应用，如兖矿集团有限公司将放顶煤开采技术应用到澳大利亚澳思达矿，并探索了基于时间控制的自动化放煤方式。2018年，卡特彼勒公司提出了基于支架位态的智能放煤技术。此外，以惯性导航技术，超声波、热红外、太赫兹光谱等煤岩识别技术、虚拟现实技术、多传感器技术为代表的综采工作面自动化技术使综采工作面的智能化成为可能，这也为智能化放顶煤开采技术的研究提供了一定的技术参考。
综上，目前放顶煤工作面主要采用人工控制放煤，同时也在记忆放煤、支架位态、红外、声波、振动、高光谱、伽马射线智能放煤技术等方面进行了探索。记忆放煤比较容易实现，但是难以对放煤状态做出实时反馈，当煤层赋存条件发生变化时，可能会产生误差；支架位态智能放煤技术环境适应性强，不受粉尘、水雾等因素的影响，红外智能放煤技术也可以适应低照度，强噪声环境，声波、振动智能放煤技术则可以克服高粉尘问题，但是在煤矸物理力学性质相差不大时，易产生较大的识别误差；高光谱、伽马射线等智能放煤技术，具有灵敏度高的特点，但是设备成本高，有些体积较大的设备也会受限于放顶煤工作面支架后部的狭小空间。上述这几种方法都无法获得混矸率数据，而混矸率又是影响顶煤回收率的关键因素。
实现智能化的核心问题是正确把握放煤口开启和关闭的时机，但目前为止尚未取得关键突破。笔者所在课题组经过10余年的联合科技攻关，通过对图像、声音、振动等多种煤矸识别技术的不断探索和研究，最终聚焦到图像识别技术，创新了放顶煤工作面后部刮板输送机上煤矸堆积体灰度差异特征的图像快速识别方法，发明了适用于放顶煤工作面高粉尘条件的煤矸图像采集系统，实现了放顶煤工作面的智能放煤，攻克了放顶煤工作面智能开采的关键技术难题，配合顶煤运移跟踪仪，在淮北矿区和开滦矿区进行了现场应用，提高了顶煤回收率，对于提升我国厚煤层智能开采科技水平与效益具有重大意义和实用价值。
1 煤矸图像特征的照度因素影响机制与煤矸识别特征选取
目前，在放顶煤工作面，通常是放煤工人通过观察放煤口附近后部刮板输送机上煤流的颜色(或灰度)来判断矸石是否已经被放出，或者估计放出的量，进而决定是否需要关闭放煤口。近40a的放顶煤生产经验也表明，在大多数煤层赋存条件和生产环境下，通过人工肉眼辨识煤矸、进而控制放煤口的开关是可行的、有效的。
因此，完全可以使用成熟的图像识别算法代替人工来识别煤和矸石，达到减人增效的目的。关于图像识别，主要有2条思路，第1种研究思路是利用经典的图像处理算法计算混矸率。灰度和纹理是图像识别最常用的2个特征指标，分形维数可以用于反映煤矸表面纹理的复杂程度，见表1，其中，() 为灰度级出现的概率；为灰度级为的像素点个数；为总像素点数；(,,,)为像素点(,)的所有方向、相邻间隔为的像素对中一个取值，另一个取值的相邻像素对出现的次数；为覆盖图像需要使用边长为的小立方体的数量。该方法原理简单，在图像识别煤矸分选领域得到了广泛应用，其可靠性得到了验证。
表1 图像特征[33]
大同矿区煤和矸石样本的部分灰度特征如图1所示。同一照度下，煤和矸石的特征值存在差异，随着照度的变化，煤和矸石的特征值也发生变化，且表现出不同的变化规律。因此，煤和矸石特征值的差异程度受照度影响，比如煤和矸石的特征在低照度下差异较小，而在高照度下差异较大。
图1 不同照度下的煤矸灰度特征[34]Fig.1 Gray features of coal and gangue under multiple illuminance[34]
第2种研究思路是利用深度学习算法对煤矸图像进行语义分割，进而计算混矸率。不论是经典的图像处理算法，还是基于深度学习的语义分割算法，分析的对象都是图像，而图像又是目标物体、光源、环境以及图像采集系统等多种因素共同作用的结果，同一物体，放置在不同的光照环境下，或者使用不同的传感器进行采集，得到的图像也是不同的，进一步通过算法得到识别的结果，可能也是不同的，特别是对于煤和矸石的识别，这类问题更加显著。因此，将照度概念引入到图像识别智能放煤技术的研究中，为煤矸图像识别提供最优照度或最优特征，这也是煤矸图像识别有别于其他领域进行图像识别的地方。
2 煤矸图像精准分割与混矸率计算
相比于其他识别技术或手段，图像识别智能放煤技术的一大优势是可以实现混矸率的识别。混矸率(Rock Mixed Ratio,)是指从放煤口放出并落在后部刮板输送机上快速移动煤流中的矸石的体积(矸石表面积或二维图像中的投影面积)与煤矸总体积(总表面积或二维图像中的总投影面积)的比值，取值范围[0,100%]，如式(1)所示。
(1)
式中，，分别为煤或矸石的投影面积、表面积或体积。
目前，常用的一些智能放煤技术，比如基于声音或者振动信号的技术，仅能对“放煤”、“放矸”2种放煤阶段进行区分，而无法对混矸率进行判别，这是典型的“见矸关门”原则。最近的研究发现，当混矸率为10%～15%时，才可使顶煤采出率达到最大化，这就要求在煤矸识别时，要对混矸率给出定量精准判断，否则会造成较大的顶煤损失。
对混矸率的精准判断离不开高精度的图像分割结果，放顶煤领域的图像分割不同于其他领域。比如在煤矸分选过程中，待分选的煤和矸石被平铺在带式输送机上通过传感器，而放顶煤工作面，后部刮板输送机带动煤流快速移动，煤和矸石相互堆积叠压(图2)，不利于边界识别与混矸率计算。
图2 不同研究领域的煤矸识别Fig.2 Coal rock recognition in different research fields
为了实现图像的精准分割，从经典算法与深度学习算法2个思路开展了研究。在经典算法方面，提出了一种适用于煤矸图像分割的基于多尺度重建及标记控制分水岭算法，实现了煤矸混合图像的分割(图3)，但是对图像中阴影区域的辨识能力较差。
图3 经典算法分割结果[35] Fig.3 Image segmentation based on classical algorithm[35]
将深度学习方法引入到混矸率识别研究中，提出了一种轻量级的放顶煤工作面矸石识别及边界测量模型(图4，其中，为空洞率)。图像低级特征由深度可分离的轻量级卷积结构提取，提高特征提取速度。高层图像信息由多尺度模块提取。低级和高级多尺度信息融合后，获得了图像中矸石目标的完整边界。通过标注煤矸图像数据集训练，快速获得放顶煤图像中的矸石准确边界(图5)。
混矸率是一个广义的概念，不仅可以用投影面积比表示，还可以用表面积比或者体积比表示。通过统计二维图像中像素点个数，可以得到用投影面积表示的混矸率。实际上，放顶煤工作面后部刮板输送机上煤流中的煤和矸石是三维块体，且相互叠压堆积，所以，通过煤矸二维图像反演煤矸块体三维堆积形态，获得煤流表面的体积混矸率，并且对叠压在煤流内部的体积混矸率进行预测(图6)，这是一种提升混矸率测量精度的方法，也是图像识别智能放煤技术有别于且领先于其他监测手段或方法的地方，这将在后面几节展开介绍。
3 基于立体视觉的照度智能监测与自适应调节
照度是图像识别智能放煤技术中需要考虑的重要因素，照度的准确测量和控制是获得高质量图像和实现高精度识别的前提。在放顶煤工作面放煤过程中，被放出的煤和矸石在后刮板输送机上快速移动，照度测量困难。为此，提出了一种利用立体视觉深度测量技术来监测照度的新方法。
图4 放顶煤工作面矸石识别及边界测量模型Fig.4 Rock recognition and boundary measuring model used for LTCC working
图5 图像采集与分割Fig.5 Image collection and segmentation
图6 图像识别智能放煤技术涉及到的几种混矸率Fig.6 Several rock mixed ratios involved in IB-LTCC
放出的煤矸表面的照度值与光源功率有关，也与光源和煤矸表面的距离(光照距离)有关。光源功率可以用功率计来测量。在图像识别智能放煤技术中，基于立体视觉的深度测量技术可以在不增加设备和工作量的前提下完成图像采集工作，在获得距离数据的同时，还可以提取物体的灰度、颜色或纹理特征，实现语义分割。
因此，笔者提出了一种基于立体视觉的照度智能监测与自适应调节方法，为图像识别智能放煤技术提供最优照度。在放顶煤工作面，利用图像深度信息确定光照距离，配合功率监测确定实时照度，进而通过调节功率获得最佳照度，然后在最佳照度下对图像进行采集和识别(图7)，实现了图像识别智能放煤过程中的照度自适应调节。实际上，如果相机和光源并列放置，那么可以直接用图像深度近似代替光照距离。而如果分散布置，则也可以通过几何关系换算确定光照距离。
图7 基于立体视觉的照度智能监测与自适应调节原理Fig.7 Principle of stereo vision based illuminance measurement and adaptive adjustment
研究表明，采用本方法可以对LED(单、组合)光源以及卤素(单、组合)光源进行精准的照度智能监测与自适应调节。照度、光照距离以及光源功率表现出了良好的相关性(图8)，可以通过光照距离测量，实现照度的间接求解；亦可以通过功率调节，实现照度的精准控制。
图8 照度、光照距离以及光源功率关系[39] Fig.8 Relationship between illuminance,lighting distance and power[39]
4 顶煤放出规律与放出煤矸块体堆积特征
BBR是综合研究煤岩分界面(Boundary)、顶煤放出体(Body)、顶煤采出率与混矸率(Ratio)及其相互关系的理论，对于图像识别智能放煤技术十分重要，它可以指导图像采集的时机。图像识别智能放煤技术是通过分析支架放煤口和后部刮板输送机上煤流混矸率来决定是否需要关闭放煤口。实际上，在矸石被放出之前，有较长的一段时间是纯放煤阶段，如果没有出现卡煤、成拱等异常放煤状况，则无需过多干预。上一轮放煤结束后产生大量的细微煤矸粉末，会在本轮放煤初期，也即纯放煤阶段，随着顶煤一起被集中放出，造成短时间内粉尘体积分数骤升。因此，通过分析顶煤放出规律，确定煤岩分界面与顶煤放出体形态，计算顶煤的放出量，可以预估每个支架纯放煤的持续时间，在纯放煤阶段，图像采集系统仅间隔时间采集图像，当接近矸石被放出时，增大图像采集频率。镜头的积尘量直接影响到图像质量，而积尘量与环境中的粉尘体积分数、镜头在粉尘环境中的暴露时间、除(降)尘装置的性能等有关。粉尘体积分数越低、镜头暴露时间越短、除(降)尘装置的性能越好，积尘量越少，采集图像的清晰度越好。所以，通过预判放煤持续时间来确定图像采集时机，一方面，可以降低对除(降)尘设备与算法的需求与依赖，对于纯放煤阶段可能存在的高体积分数粉尘环境，不必实时采集图像，也不必实时分析图像。另一方面，可以减少镜头在粉尘环境中的暴露时间以减少积尘，保证镜头长时间清洁，为图像识别持续提供高质量图像。
基于BBR研究体系，研究顶煤采出率与混矸率的关系，还可以为确定合理的放煤口关闭时间提供依据。适当地放出部分矸石，可以提高顶煤采出率，而混矸率识别正是图像识别智能放煤技术可以实现的、有别于且领先于其他识别手段的一项工作。因此，通过顶煤放出规律研究，可以为图像识别智能放煤技术确定一个合理的混矸率阈值区间，当混矸率处于这个区间时，可以有效提高顶煤采出率且不会大幅增加矸石运输与分选成本。以BBR理论研究成果为基础，可以有效提高图像识别智能放煤技术的识别精度(图9)。
图9 BBR研究体系与图像识别智能放煤技术Fig.9 BBR research system and image recognition intelligent coal caving technology
顶煤和矸石从放煤口被放出后，会堆积在后部刮板输送机上，并被运出工作面。通过分析它们的堆积特征，可以提升混矸率识别精度。图像识别是以分析二维图像为基础的，图像采集到的信息也仅仅是煤流表面的信息，因此，直接通过图像获得的混矸率是煤流表面矸石的投影面积与表面煤矸总投影面积的比值。而实际上，放出的煤和矸石并不是以二维形态存在的，也不是彼此独立平铺在后部刮板输送机上的。它们不仅是三维块体，而且相互堆积叠压。因此，制定了“由表及里”(Surface to Inside,S2I)混矸率高精度预测2步走策略。首先，通过分析煤矸块体三维形态特征与二维形态特征关系，实现投影面积混矸率向表面体积混矸率的过渡(第7节)；其次，通过对煤矸块体堆积特征的分析，获得煤流表面体积混矸率与内部体积混矸率的关系，完成由表面体积混矸率向内部体积混矸率的跨越(图10)，达到利用二维图像预测三维混矸率的目的，最终实现透明化煤流，实现混矸率的高精度测量。
图10 S2I混矸率高精度预测2步走策略Fig.10 S2I protocol to measure RMR with high accuracy
5 基于二维图像的煤矸块体形状表征模型与三维快速写意重建
煤矸块体的形状影响着顶煤的放出规律和堆积特征，进而影响到图像识别智能放煤技术对后部刮板输送机煤流混矸率的辨识精度，常用的形状表征参数见表2。目前在进行放顶煤相关数值模拟研究时，不规则的煤块通常被简化为二维圆盘或三维球体，这与实际情况存在差异。围绕利用图像识别解决智能放煤问题的基本思路，提出了一种基于二维图像的煤矸块体形状表征模型以及一种块体三维快速写意重建方法。
表2 基于二维图像获得的形状特征[40]
上述这些特征参数(Feature Index,)可以定量描述块体在二维图像中投影的形状，笔者分析了煤矸块体多视角下的投影图像，对采集到的多个视角下的煤矸块体图像分别提取形状特征参数，再计算这些形状特征参数的加权平均值和标准差，并将其作为新的用于描述块体形状特征的指标。
(2)
(3)
式中，oV，oV分别为多视角下煤矸形状特征参数的加权平均值(Mean ofunder multiple viewing,oV)和标准差(Standard deviation ofunder multiple viewing,oV)；I为第个视角下的形状特征参数；为视角总数；为第个视角下煤矸块体的面积或者周长。
为了区别于精准重建方法，将这种方法称为写意重建，写意重建又有别于完全随机的重建，因为它是在形状特征参数的主动干预下完成的重建，所以具有一定可重复性和科学性。重建后的块体是由若干pebble组成的体素化刚性簇，体素化刚性簇的分辨率(或体素尺寸)影响到块体细节表征效果，分辨率越高(即体素尺寸越小)，细节表征越好，但用到的pebble数量也越多，会在一定程度上影响运算效率；反之分辨率越低，牺牲了部分细节特征，但有利于提高运算效率。因此如何在保证重建精度的前提下，有效减少pebble数量，是提高运算效率的关键。
为此，提出了一种有效的方法来优化完善上述重建过程，即气泡破裂法(Bubble burst method,BBM)，主要包括吹气泡和戳气泡2个过程。将刚性簇中的pebble视为具有不同尺寸的气泡，而用气泡的破裂来表示pebble被简化。首先在块体的所有骨架点生成与该处最大内切球相同尺寸的pebble，完成吹气泡过程，得到了由若干pebble组成的骨架化刚性簇，此时，相比于体素化刚性簇，已经得到了初步简化，可以用该刚性簇进行数值模拟。但是此时该刚性簇中包含有大量重叠的pebble，可以进行BBM法的第2步操作——戳气泡进行简化。随机戳破一个pebble，检测刚性簇中是否会因为该pebble缺失而产生新的空腔。如果由于该pebble的破裂使得刚性簇中出现空腔，则认为该pebble不能被简化，否则可以被简化。在对每一个pebble完成戳气泡操作之后，即实现了利用BBM法在保证刚性簇外观形状特征的情况下，对其内部pebble进行了深度简化(图11)。
图11 BBM法示意Fig.11 Diagram of BBM method
实际上，在BBM第2步戳气泡操作中，pebble的破裂顺序也会影响到简化效果。pebble的破裂顺序主要有随机破裂，按坐标顺序破裂，按pebble尺寸升序破裂，按pebble尺寸降序破裂等。研究表明，按pebble尺寸升序破裂的方法简化效果更好，原因是升序破裂可以让尺寸更大的pebble占据更多的空间，覆盖住更多的空腔或孔洞，从而使更多的尺寸较小的pebble被先行解放出来，达到最大程度降低pebble数的目的。通过BBM法2步简化，可以简化去刚性簇中70.1%～81.9%的pebble，有效提升数值模拟的运算速度。
在形状特征参数主动干预下完成刚性簇的生成与内部pebble的简化，实现了基于二维图像的块体三维写意重建，这种方法操作简单快速，可一次性完成多个块体的批量重建(图12,其中为多视角下煤矸特征的加权平均值；为多视角下煤矸特征的标准差)，同时对硬件要求低，使用普通消费级相机即可实现，具有一定推广应用价值。
图12 三维写意批量重建Fig.12 3D freehand batch reconstruction
6 基于多视图像序列的煤矸块体三维精准重建与体积测量
图像识别智能放煤技术的最终目的是计算出后部刮板输送机上的煤流中矸石块体的体积占比。这涉及到2个关键问题：其一，二维图像中煤矸块体投影面积与三维现实中块体体积的映射关系；其二，煤流中煤矸块体堆积特征，即表面体积混矸率与内部体积混矸率的映射关系。这2个问题中，都涉及到对煤矸块体体积的测量，在第5节中提到，可以通过三维快速写意重建的方法便捷、粗略地生成指定形状的块体模型，进而获得体积数据。实际上，它与煤矸块体样本的形状仍然存在差异，并不是对煤矸块体的完全复刻。所以，如果需要准确获得煤矸块体样本的体积或其他形状特征参数，则需要一种更为精准的三维重建方法。
三维信息的准确测量是实现煤矸块体三维重建的关键。基于图像识别的思路，提供了一种基于多视图像序列的煤矸块体三维精准重建方法。采用普通消费级相机对煤矸块体完成一组多视图像序列的采集，利用不同视角下煤矸块体在二维图像中的侧影轮廓线构建煤矸块体的可视化外壳(Visual hull)，实现对煤矸块体真实形状的合理逼近。进一步将图像中煤矸块体的纹理信息映射到可视化外壳上，完成三维精准重建(图13)。
图13 基于多视图像序列的煤矸块体三维精准重建示意Fig.13 3D accurate reconstruction of coal and rock blocks based on multi-view image sequence
对所获得煤矸块体数字化模型进行体积、表面积测量，通过分析二维图像中煤矸块体投影面积与三维现实中块体体积的映射关系、表面体积混矸率与内部体积混矸率的映射关系等，为S2I混矸率高精度预测2步走策略研究提供便利。由于这种方法获得的模型仿真度高，也可以将其导入数值模拟软件，基于rblock单元，实现放煤过程高仿真模拟，同时也可以用于二维或三维形状特征参数的测量，将在第7节具体介绍。
7 煤矸块体三维形态特征与二维形态特征关系
二维和三维形态特征是表征不规则煤矸块体形状的重要指标。二维形态特征很容易从二维图像中获得，但它不能全面反映块体的形状。三维形态特征包含许多指标，对块体的描述更全面，但三维形态特征很难测量，尤其是在放顶煤工作面要求对后部刮板输送机上的煤流进行实时监测的环境下。因此，从二维图像中快速、直接、准确地估计三维形态特征是一个重要的课题。在实验室试验和数值模拟的基础上，揭示了煤矸块体的三维形态特征与二维形态特征之间的关系。
二维形态特征见表2，三维形态特征主要包括体积、凸包体积、表面积、伸长度、平面度、体凸度和球度等，见表3。
表3 煤矸块体三维形状特征[41]
二维形态特征与图像采集的视角有关，即不同视角下的煤矸块体的二维形态特征不同，所以，在分析煤矸块体二维特征的时候，需要首先确定观察视角。在放顶煤工作面，从放煤口放出煤矸块体在经过放落、碰撞后，会倾向于以优势方位(Preferred orientation)堆积在后部刮板输送机上。因此，有必要确定对后部刮板输送机上的煤矸块体的观察视角，而不是随意观察，在优势方位下提取的形状特征才有意义。基于这一假设，利用多视图像序列精准重建了煤矸块体模型，用离散元法进行了自由落体数值计算，确定了具有不同形状特征参数块体的优势方位(图14)。
图14 优势方位确定过程Fig.14 Determination process of preferred orientation
在此基础上，分别计算煤矸块体在优选方位下的二维形态特征和三维形态特征，对2者进行相关分析，揭示二维与三维形态特征之间的关系。结果表明，二维与三维形态特征具有较高的相关性(图15)。因此，可以通过对二维图像的分析，估计煤矸块体的三维形态特征，进而修正混矸率数据，作为S2I混矸率高精度预测2步走策略的第1步，实现投影面积混矸率向表面体积混矸率的过渡。
图15 煤矸块体投影面积与体积的关系Fig.15 Relationship between projection area and volume of coal and rock blocks
8 夹矸识别与异常放煤状态甄别
煤层的赋存条件复杂，不是以理想的、均质的状态存在，所以，图像识别智能放煤技术要具备适应复杂地质或生产环境的能力，比如对夹矸的识别，以及卡矸、堵矸等异常放煤状态的甄别。
夹矸的精准识别对于智能放煤技术很关键。煤层中可能会存在夹矸，有些夹矸的厚度还会很大，甚至会存在多层夹矸的情况。当夹矸的岩性与直接顶相近时，如果将夹矸错误识别为直接顶而停止放煤，会使夹矸上方的煤炭无法放出而造成大量的煤炭损失。提出“三位一体”夹矸智能识别技术，从判别准则层面、软件算法层面以及硬件设备层面，实现对放煤过程中夹矸的精准识别，有效保证采出率、减少煤炭损失。
通常，在没有夹矸的放顶煤工作面，可以通过图像识别获得后部刮板输送机上煤流在某一时刻的瞬时混矸率，用于控制放煤口的动作，而这种判别方法则不适用于含有夹矸的放顶煤工作面。因为如果将瞬时混矸率作为关闭放煤口的指标，则当夹矸被放出时，可能会被误认为是直接顶，此时瞬时混矸率增大甚至超过阈值，进而发出错误的指令。为此，笔者提出了“区间混矸率”的概念来代替瞬时混矸率，作为控制放煤口动作的指标。区间混矸率，即一段时间内混矸率的平均值。通过分析一段时间内的混矸率的平均值，而不是某一时刻的混矸率，并结合顶煤放出规律确定合理阈值，可以有效避免因夹矸放出而导致的放煤口过早关闭问题。
在此基础上，可以通过优化算法来提升对夹矸的识别精度，从算法层面区分出顶煤、夹矸和直接顶，从而降低矸石误识别的可能性。当然这有一定适用条件，当它们外观接近，甚至用肉眼都很难区分时，仅仅通过算法优化很难大幅提升识别精度。在生产一线，放煤工人们还会通过感受煤矸撞击掩护梁、尾梁和后部刮板输送机的声音来进行区分。因此，笔者同步开发了声振信号高精度采集装置(图16)，采样频率为48 kHz，将语音识别、振动识别等其他识别手段或方法与图像识别技术相融合，通过模拟人眼看、耳听与手触等判断过程，更准确地识别夹矸。此外，通过预埋顶煤运移跟踪仪监测顶煤放出情况，也可以降低夹矸在放煤过程中的干扰。
图16 声振信号高精度采集装置Fig.16 High precision acoustic and vibration signal collection device
在放煤过程中可能会出现成拱的情况，也有可能因为煤矸块度过大而出现卡矸、堵矸等异常放煤状况，如果不及时干预，会影响工作面正常生产。通过图像识别可以实时确定煤矸放出量，以及放出煤矸的块度。将放煤过程中出现的煤矸放出量监测数据骤降并在较长时间内持续的现象认为是异常放煤的一个重要特征。此外，当煤矸块度监测数据持续过大时，也应当给予重视，防止出现卡矸状况。利用自主研制的图像识别智能放煤试验平台(图17)，开展了智能放煤室内试验，测试图像识别智能放煤技术甄别异常放煤状态的效果。试验平台尺寸为3 m×2 m×0.5 m(宽×高×厚)，主要包括以下几个部分：主体框架，放顶煤液压支架，刮板输送机，图像采集装置，数据处理系统，操控面板，人工辅助操控台等。液压支架为高仿真模型，包括立柱、顶梁、前梁、掩护梁、底座、尾梁、插板等。通过伸缩插板以及摆动尾梁，模拟放煤口的打开与关闭，刮板输送机用于将放出的煤矸运出实验平台。
整个放煤实验过程经历了初始放煤、初次见矸、煤矸混流、大量见矸等阶段，出现了不同程度的放煤成拱问题。放煤成拱时，放煤口放出的煤量或矸石量骤减，并持续处于较低水平甚至为0。图像识别系统也对该异常状况进行了甄别，并通过尾梁摆动进行处理(图18)。在现场应用时，利用图像识别技术，解决成拱、卡煤、卡矸等异常放煤状态也是非常关键的。
图17 智能放煤综合试验平台Fig.17 Intelligent coal caving experimental platform
图18 放煤成拱的识别与处理Fig.18 Recognition and treatment of top coal arching
9 基于边缘AI的图像识别智能放煤关键设备开发
用于分析的图像，是多种因素共同作用下的结果，包括光源、目标物体、环境以及图像采集系统等。高体积分数粉尘环境是制约图像识别智能放煤技术发展的主要因素，如何在恶劣条件下获得高质量的图像是实现图像识别智能放煤技术的前提。
在放煤过程中，会产生大量粉尘(煤尘与岩尘)或水雾，它们会不同程度的散射和吸收光线，使得图像中的目标物体(即煤和岩石)在对比度、清晰度等方面受到影响(图19)，不利于图像识别。将放顶煤工作面的粉尘(或水雾)划分为3种状态：悬浮在空中的游离尘，吸附在镜头上的吸附尘以及沉降在煤矸表面的固定尘。分别针对这3种状态的粉尘(或水雾)开展科研攻关，从软件算法以及硬件设备出发，提出了一种适用于放顶煤工作面的联合去粉尘方法。
图19 粉尘影响图像质量示意Fig.19 Diagram of dust affecting image quality
悬浮在空气中的游离尘，包括游离煤尘和游离岩尘，它们会影响图像的亮度、对比度和清晰度，从而影响图像识别的准确性。笔者提出了一种新的基于频域先验的单通道Retinex去粉尘算法，解决了Retinex算法在保留图像细节的同时，不能有效地同时去雾和去噪的问题。通过在YIQ空间引入单通道多尺度Retinex颜色恢复算法来恢复小波域的雾状近似分量，采用多尺度卷积增强和快速非局部均值滤波，在保持足够细节的同时，降低细节分量的噪声，最后将无粉尘图像重建到空间域，通过白平衡恢复图像色彩(图20)。
图20 朱仙庄矿图像去粉尘操作Fig.20 Dust removal of image obtained from Zhuxianzhuang coal mine
此外，还提出了一种空频域联合强化去粉尘算法，并在朱仙庄矿进行了测试。与其他算法相比，所提算法具有更好的去粉尘能力，可以保留更多的细节，同时抑制噪声和光干扰的能力也更强(图21)。近年来，一些更智能的算法也被提出并实现了更好的粉尘(或水雾)去除性能。
图21 图像去粉尘效果Fig.21 Comparison of image dust removal effect
基于光学的去雾技术需要对光学成像系统进行改造，然后利用算法对采集到的图像进行恢复。可见光-近红外融合去雾和偏振去雾是去除粉尘(或水雾)的2种经典方法。其中，偏振去雾法具有适应性强、成本低、处理速度快等明显优势。目前，该技术与图像识别智能放煤技术的融合工作正处于实验室测试阶段。
吸附在相机镜头上的吸附尘，主要包括吸附煤尘和吸附岩尘。对于这类粉尘的处理，围绕井下恶劣环境开展技术攻关，并与安徽中科光电色选机械有限公司合作，于2020年研制出能够适应井下高体积分数粉尘、水雾环境、具有数据独立处理功能的图像采集系统第1代原理样机——“慧眼一号(Insight-I)”(图22)。基于人体仿生学以及边缘AI技术，分别模仿眨眼、揉眼、吹灰等动作，通过高阻隔气动封堵罩、高性能粉尘清扫器、高压吹尘风刀，实现图像采集系统粉尘自主感知与清除功能，并实现了在图像采集端完成数据处理工作，降低了数据传输压力，提升了系统可靠性和响应速度。
对于沉降在煤矸表面的粉尘(或水雾)的固定尘，进一步将其划分为煤基固定煤(岩、混合)尘或者岩基固定煤(岩、混合)尘。通过分析顶煤和矸石在不同类型固定尘覆盖条件下图像特征的变化规律，提出了煤矸图像的自适应优化模式，对于采集到的含有固定尘的煤矸图像进行自主修正，提高图像识别智能放煤技术的精度。
基于上述图像识别智能放煤技术基本原理，进一步研发了图像识别智能放煤在线监测软件，图像处理速度25帧/s，实时计算混矸率数据(图23)，当混矸率超过预定的区间混矸率阈值时，通过通信模块自动发送中止放煤或者关闭当前放煤口、开启下一放煤口的指令给控制系统。
图22 慧眼一号原理样机Fig.22 Principle prototype of Insight-I
图23 软件界面Fig.23 Graphical user interface software
图像识别智能放煤技术相关成果在淮北矿业股份有限公司朱仙庄矿8105放顶煤工作面、袁店一矿824放顶煤工作面以及开滦集团唐山矿0291放顶煤工作面进行了试验，取得了良好的效果，配合使用顶煤运移跟踪仪，放煤工艺由“人工干预放煤”升级为“智能放煤”，大幅度减少了开采作业人员，顶煤采出率预计可以提高5%以上。
2021年6月，在宁夏煤业枣泉矿、陕煤集团曹家滩煤矿、国神集团黄玉川煤矿、国网能源新疆准东二矿等矿井开展了技术交流，图像识别智能放煤技术将深度结合矿井地质与实际生产条件，制定个性化技术解决方案，在应用过程中不断迭代完善，为实现煤炭行业智能化放顶煤开采持续赋能。
10 结 论
(1)实现煤炭智能开采是煤炭行业发展必由之路，经过10余年科研攻关，图像识别智能放煤的相关理念和技术有了突破性进展。图像识别智能放煤技术的研究成果，可以提高放煤工序的智能化水平，提高资源回收率、降低含矸率，保证矿井安全生产，研究成果的科学应用将有助于高质量实现智能化放顶煤开采。
(2)混矸率识别是放顶煤开采领域特有的，也是图像识别智能放煤技术可以实现的、有别于且领先于其他识别手段的地方。将混矸率划分为投影面积混矸率、表面体积混矸率、内部体积混矸率。利用轻量级的放顶煤工作面矸石识别及边界测量模型获得投影面积混矸率，基于BBR理论，通过S2I混矸率高精度预测两步走策略，实现投影面积混矸率向表面体积混矸率的过渡，并进一步完成向内部体积混矸率的跨越，最终实现透明化煤流。
(3)低照度、高粉尘、煤矸叠压、夹矸干扰等是影响图像识别智能放煤技术的主要难题。通过立体视觉技术实现照度的智能监测与自适应调节，为图像采集提供最优照度。通过算法优化、关键设备开发，降低高体积分数游离尘、吸附尘以及固定尘等对图像识别效果的影响。提出了2种煤矸块体重建方法，基于BBM法的煤矸块体三维快速写意重建，以及基于多视图像序列的煤矸块体进行三维精准重建，为S2I混矸率高精度计算提供便利。利用“三位一体”夹矸智能识别技术对放煤过程中可能出现的夹矸进行精准识别，保证采出率，减少煤炭损失。
(4)图像识别智能放煤技术是一项复杂的系统工程，需要多学科、多领域的交叉渗透，也需要理论与实践的互动结合，开展更广泛、更扎实的基础研究，完善图像识别智能放煤技术理论体系，更好地服务于煤炭行业，助力智能化放顶煤开采健康、稳步推进。
[1] 王家臣,黄国君,杨胜利,等. 煤矸识别与自动化放煤控制系统[P]. 中国专利,ZL200910152006. X，2011-05-25.
[2] 王家臣. 我国放顶煤开采的工程实践与理论进展[J]. 煤炭学报,2018,43(1):43-51.
WANG Jiachen. Engineering practice and theoretical progress of top-coal caving mining technology in China[J]. Journal of China Coal Society,2018,43(1):43-51.
[3] 王家臣,张锦旺,王兆会. 放顶煤开采基础理论与应用[M]. 北京:科学出版社,2018,6-10.
[4] 王国法,刘峰,孟祥军,等. 煤矿智能化(初级阶段)研究与实践[J]. 煤炭科学技术,2019,47(8):1-36.
WANG Guofa,LIU Feng,MENG Xiangjun,et al. Research and practice of coal mine intelligence(primary stage)[J]. Coal Science and Technology,2019,47(8):1-36.
[5] 王国法,徐亚军,张金虎,等. 煤矿智能化开采新进展[J]. 煤炭科学技术,2021,49(1):1-10.
WANG Guofa,XU Yajun,ZHANG Jinhu,et al. New development of intelligent mining in coal mines[J]. Coal Science and Technology,2021,49(1):1-10.
[6] 葛世荣,张帆,王世博,等. 数字孪生智采工作面技术架构研究[J]. 煤炭学报,2020,45(6):1925-1936.
GE Shirong,ZHNAG Fan,WANG Shibo,et al. Digital twin for smart coal mining workface:Technological frame and construction[J]. Journal of China Coal Society,2020,45(6):1925-1936.
[7] 王国法,徐亚军,孟祥军,等. 智能化采煤工作面分类、分级评价指标体系[J]. 煤炭学报,2020,45(9):3033-3044.
WANG Guofa,XU Yajun,MENG Xiangjun,et al. Pecification,classification and grading evaluation index for smart longwall mining face[J]. Journal of China Coal Society,2020,45(9):3033-3044.
[8] 王国法,庞义辉,任怀伟. 煤矿智能化开采模式与技术路径[J]. 采矿与岩层控制工程学报,2020,2(1):013501.
WANG Guofa,PANG Yihui,REN Huaiwei. Intelligent coal mining pattern and technological path[J]. Journal of Mining and Strata Control Engineering,2020,2(1):013501.
[9] 葛世荣,胡而已,裴文良. 煤矿机器人体系及关键技术[J]. 煤炭学报,2020,45(1):455-463.
GE Shirong,HU Eryi,PEI Wenliang. Classification system and key technology of coal mine robot[J]. Journal of China Coal Society,2020,45(1):455-463.
[10] 赵明鑫. 综放煤矸放落的环境特征及自动识别的影响因素研究[D]. 徐州：中国矿业大学,2020.
ZHAO Mingxin. Study on drawing environmental characteristics and influence factors of coal-gangue automatic identification in fully mechanized top coal caving mining[D]. Xuzhou:China University of Mining and Technology,2020.
[11] 宋庆军. 综放工作面放煤自动化技术的研究与应用[D]. 徐州：中国矿业大学,2015.
SONG Qingjun. Study and application on the caving automation in fully mechanized top coal caving face[D]. Xuzhou:China University of Mining and Technology,2015.
[12] 向阳. 近红外光谱煤岩识别环境适应性研究[D]. 徐州:中国矿业大学,2020.
XIANG Yang. Study on environmental adaptability of near infrared spectroscopy for coal and rock identification[D]. Xuzhou:China University of Mining and Technology,2020.
[13] 张宁波,刘长友,陈现辉,等. 综放煤矸低水平自然射线的涨落规律及测量识别分析[J]. 煤炭学报,2015,40(5):988-993.
ZHANG Ningbo,LIU Changyou,CHEN Xianhui,et al. Measurement analysis on the fluctuation characteristics of low level natural radiation from gangue[J]. Journal of China Coal Society,2015,40(5):988-993.
[14] 张宁波,鲁岩,刘长友,等. 综放开采煤矸自动识别基础研究[J]. 采矿与安全工程学报,2014,31(4):532-536.
ZHANG Ningbo,LU Yan,LIU Changyou,et al. Basic study on automatic detection of coal and gangue in the fully mechanized top coal caving mining[J]. Journal of Mining and Safety Engineering,2014,31(4):532-536.
[15] ZHANG Ningbo,LIU Changyou. Radiation characteristics of natural gamma ray from coal and gangue for recognition in top coal caving[J]. Scientific Reports,2018,8:190.
[16] 张宁波. 综放开采煤矸自然射线辐射规律及识别研究[D]. 徐州:中国矿业大学,2015.
ZHANG Ningbo. Detection and radiation law of natural gamma ray from coal and roof-rock in the fully mechanized top coal caving mining[D]. Xuzhou:China University of Mining and Technology,2015.
[17] 胡而已. 基于激光扫描的综放工作面放煤量智能监测技术[J/OL]. 煤炭科学技术:1-8[2021-09-01]. http://kns. cnki. net/kcms/detail/11. 2402. TD. 20210812. 1322. 002. html.
[18] 刘闯. 综放工作面多放煤口协同放煤方法及煤岩识别机理研究[D]. 焦作:河南理工大学,2018.
LIU Chuang. Research on the method of synergetic multi-windows top coal caving and the mechanism of coal-gangue identification in longwall top coal caving working face[D]. Jiaozuo:Henan Polytechnic University,2018.
[19] 杨扬. 基于动态冲击滑移接触特性的煤矸识别与试验研究[D]. 青岛:山东科技大学,2020.
YANG Yang. Coal gangue recognition and experimental study based on dynamic impact-slip contact characteristics[D]. Qingdao:Shandong University of Science and Technology,2020.
[20] 张守祥,张学亮,刘帅,等. 智能化放顶煤开采的精确放煤控制技术[J]. 煤炭学报,2020,45(6):2008-2020.
ZHANG Shouxiang,ZHANG Xueliang,LIU Shuai,et al. Intelligent precise control technology of fully mechanized top coal caving-face[J]. Journal of China Coal Society,2020,45(6):2008-2020.
[21] 王家臣,杨胜利,黄国君,等. 综放开采顶煤运移跟踪仪研制与顶煤回收率测定[J]. 煤炭科学技术,2013,41(1):36-39.
WANG Jiachen,YANG Shengli,HUANG Guojun,et al. Research on top coal tracker of fully mechanized top coal caving mining and measurement of top coal recovery rate[J]. Coal Science and Technology,2013,41(1):36-39.
[22] 潘卫东,李新源,员明涛,等. 基于顶煤运移跟踪仪的自动化放煤技术原理及应用[J]. 煤炭学报,2020,45(S1):23-30.
PAN Weidong,LI Xinyuan,YUAN Mingtao,et al. Technology principle and field application of automatic coal drawing based on the top coal tracker[J]. Journal of China Coal Society,2020,45(S1):23-30.
[23] LU Fengli,FU Chengcai,ZHANG Guoying,et al. Convolution neural network based on fusion parallel multiscale features for segmenting fractures in coal-rock images[J]. Journal of Electronic Imaging. 2020,29(2):023008.
[24] YUAN Yuhui,CHEN Xilin,WANG Jingdong. Object-contextual rep-resentations for semantic segmentation[A]. 16th European Conference on Computer Vision[C]. London:Springer Science and Business Media Deutschland GmbH,2020，9，173-190.
[25] LI Xiangtai,LI Xia,ZHANG Li,et al. Improving semantic segmentation via decoupled body and edge supervision[A]. 16th European Conference on Computer Vision[C]. London:Springer Science and Business Media Deutschland GmbH,2020：9,435-452.
[26] WAN Miao,WANG Zhongbin,SI Lei,et al. An initial alignment te-chnology of shearer inertial navigation positioning based on a fruit fly-optimized kalman filter algorithm[J]. Computational Intelligence and Neuroscience,2020：8876918.
[27] LI Menggang,ZHU Hua,YOU Shaoze,et al. UWB-based localization system aided with inertial sensor for underground coal mine applications[J]. IEEE Sensors Journal,2020,20(12):6652-6669.
[28] WEI Wei,LI Li,SHI Wanfa,et al. Ultrasonic imaging recognition of coal-rock interface based on the improved variational mode decomposition[J]. Measurement,2020,170：108728.
[29] WANG Haijian,HUANG Xiaoxuan,ZHAO Xuemei,et al. Dynamic coal-rock interface identification based on infrared thermal image characteristics[A]. IEEE 3rd Information Technology,Networking,Electronic and Automation Control Conference (ITNEC)[C]. USA,IEEE,2019:589-596.
[30] WANG Xin,HU Kexiang,ZHANG Lei,et al. Characterization and classification of coals and rocks using terahertz time-domain spectroscopy[J]. Journal of Infrared,Millimeter,and Terahertz Waves,2017,38(2):248-260.
[31] PEDRAM Shiva,OGIE Robert,PALMISANO Stephen,et al. Cost-benefit analysis of virtual reality-based training for emergency rescue workers:A socio-technical systems approach[J]. Virtual Reality,2021,https://doi. org/10. 1007/s10055-021-00514-5.
[32] WANG Haijian,ZHANG Qiang. Dynamic identification of coal-rock interface based on adaptive weight optimization and multi-sensor information fusion[J]. Information Fusion,2019,51:114-128.
[33] WANG Jiachen,LI Lianghui,YANG Shengli,et al. Image-based rock mixing ratio estimation by using illuminance analysis in underground mining[J]. International Journal of Coal Preparation and Utilization,2021,https://doi. org/10. 1080/19392699. 2021. 1995375.
[34] 王家臣,李良晖,杨胜利. 不同照度下煤矸图像灰度及纹理特征提取的实验研究[J]. 煤炭学报,2018,43(11):3051-3061.
WANG Jiachen,LI Lianghui,YANG Shengli. Experimental study on gray and texture features extraction of coal and gangue image under different illuminance[J]. Journal of China Coal Society,2018,43(11):3051-3061.
[35] 李良晖. 基于差异照度图像的综放开采煤矸混合度识别研究[D]. 北京:中国矿业大学(北京),2019.
LI Lianghui. Research on different illuminant image recognition of coal and gangue minxing ratio in longwall top-coal caving face[D]. Beijing:China University of Mining and Technology-Beijing,2019.
[36] 王家臣,张锦旺. 综放开采顶煤放出规律的BBR研究[J]. 煤炭学报,2015,40(3):487-493.
WANG Jiachen,ZHANG Jinwang. BBR study of top-coal drawing law in longwall top-coal caving mining[J]. Journal of China Coal Society,2015,40(3):487-493.
[37] 王家臣,杨胜利,李良晖,等. 一种井下环境的照度监控方法及系统[P]. 中国专利,ZL202010993437. 5，2021-06-25.
[38] LI Lianghui,WANG Jiachen,YANG Shengli,et al. Binocular stereo vision based illuminance measurement used for intelligent lighting with LED[J]. Optik,2021,237:166651.
[39] LI Lianghui,WANG Jiachen,YANG Shengli,et al. Smart control methodology for light sources based on halogen lamp a solution for eco and user-friendly lighting in underground mining[J]. Optik,2021,242:167085.
[40] HENTSCHEL L Mark,PAGE W Neil. Selection of descriptors for particle shape characterization[J]. Particle & Particle Systems Characterization,2003,20(1):25-38.
[41] XIE Weiqiang,ZHANG Xiaoping,YANG Xinmei,et al. 3D size and shape characterization of natural sand particles using 2D image analysis[J]. Engineering Geology,2020,279:105915.
[42] 蒋磊,马六章,杨克虎,等. 基于 MFCC 和 FD-CNN 卷积神经网络的综放工作面煤矸智能识别[J]. 煤炭学报,2020,45(S2):1109-1117.
JIANG Lei,MA Liuzhang,YANG Kehu,et al. Coal and gangue intelligent separation based on MFCC and FD-CNN convolutional neural network for top coal caving mining[J]. Journal of China Coal Society,2020,45(S2):1109-1117.
[43] 王家臣,杨胜利,李良晖,等. 一种基于多源信息融合的放煤设备与控制方法[P]. 中国专利,ZL202011007647，2021-10-29.
[44] WANG Jiachen,YANG Shengli,WEI Weijie，et al. Large-size intelligent coal drawing experimental platform and test method[P]. Austrialian Patent，2019229395，2021-02-25.
[45] FU Chengcai, LU Fengli, ZHANG Xiaoxiao, et al. Jointdedusting and enhancement of top-coal caving face via single-channel retinex-based method with frequency domain prior information [J]. Symmetry,2021,13(11)：2097.
[46] 王家臣,杨胜利,李良晖,等. 一种相机镜头[P]. 中国专利,ZL202011056093. 1，2021-05-28.
