采煤机作业区域人员精确检测方法研究

2022-03-04魏东王忠宾司垒谭超路绪良

工矿自动化 2022年2期

魏东，王忠宾,2，司垒，谭超，路绪良

(1.中国矿业大学机电工程学院，江苏徐州 221116； 2.中国矿业大学江苏省矿山机电装备高校重点实验室，江苏徐州 221116)

0 引言

随着智能化技术的发展，如何推动综采自动化向综采智能化转变，是当前煤炭行业亟需解决的核心问题之一[1]。在智能化综采工作面中，采煤机操控模式由本地向远程转变。本地操控模式下，可以通过跟机工作人员的观察和提醒避免人员误入作业区域。远程操控模式下，如何保障采煤机作业区域内的人员安全是关键问题[2]。当前采煤机已具有三维定位、记忆截割和远程监控等功能，但缺少采煤机作业区域误入人员的检测和预警保护功能，一旦有井下人员误入采煤机作业区域，可能发生严重的安全事故。因此，有必要研究采煤机作业区域人员检测技术，实现煤矿安全高效生产。

现阶段煤矿机电装备主动防撞预警技术通过激光、射频、超声波等传感器对前方区域进行监控，并对采集信息进行处理、识别、判断与决策，出现障碍物时报警或提示装备操作人员，实现预警防撞功能[3-6]。然而，综采工作面环境复杂、干扰因素众多，限制了上述传感器的应用，难以满足综采工作面机电装备防撞系统对可靠性的需求。

随着计算机视觉技术的发展，基于图像的煤矿机电装备防撞技术逐渐引起众多学者的关注[7-9]。王壬[10]将机器视觉引入井下机车防撞系统，采用视觉传感器对机车前方危险区域进行障碍物检测，实现预警防撞功能。杨娟[11]针对煤矿井下电机车运行的复杂环境，提出了基于机器视觉技术的图像处理方法进行障碍物识别与报警。杨鑫[12]设计了一种煤矿井下电机车防撞预警系统，利用单目摄像机采集电机车前方路况，选择适用于煤矿巷道环境的机器视觉算法，实现电机车前方障碍物的识别和距离测量，并设定防撞措施，以达到预警目的。然而，由于综采工作面照度低、环境恶劣，上述基于可见光传感器的防撞系统存在较大的局限性，难以满足煤矿井下机电装备防撞系统对准确性和稳定性的需求。

针对上述问题，本文搭建了采煤机作业区域人员精确检测系统架构，采用红外热成像技术代替可见光成像技术，实现采煤机作业区域人员检测，进而设计了人员精确检测方法，包括综采工作面红外图像去噪、基于光流法[13]的人员运动信息提取、红外图像信息分割及基于形态学加权投票法的双通道信息融合，提高了采煤机作业区域人员检测的精确性、稳定性和适用性，为煤矿井下机电装备防撞系统的建立提供了技术支撑。

1 采煤机作业区域人员精确检测系统

采煤机作业区域人员精确检测系统架构如图1所示。

在采煤机机身护板下部加装在线式红外热像仪对采空区方向进行红外图像采集。红外热像仪型号为MAG32，其采用非制冷焦平面结构，分辨率为384×288，采样频率为50 Hz，工作温度为-30～60 ℃。采煤机内部电源通过电源转换模块为红外热像仪和矿用光纤交换机供电，电源转换模块安装于采煤机弱电箱中，固定于安装导轨上。红外热像仪采用矿用阻燃网线与矿用光纤交换机连接，实现红外图像信号传输。矿用阻燃网线外部装备有电气屏蔽层。

图1 采煤机作业区域人员精确检测系统架构Fig.1 Framework of personnel precise detection system in shearer operation area

矿用光纤交换机安装于弱电箱内的安装导轨上，输出光纤熔接至铠装电缆中的光纤内芯，将红外图像信号传输至井下集控中心的信号处理装置。红外图像信号在信号处理装置中进行人员精确检测，检测结果可用于对采煤机作业区域人员危险情况进行评估，并将评估结果解释为采煤机控制信号，通过光纤、矿用光纤交换机及矿用阻燃网线反馈给采煤机控制器，根据需求控制采煤机执行减速制动等动作，或通过综采工作面沿线安全报警系统对现场工作人员进行及时预警。同时，井下集控中心将相关信号及处理结果上传至地面调度室的远程监控中心进行数据备案。

采煤机作业区域人员精确检测系统主要具备4种功能：① 综采工作面红外图像去噪增强；② 红外图像域人员运动信息提取；③ 红外图像信息分割；④ 双通道信息融合。系统功能实现流程如图2所示。

图2 系统功能实现流程Fig.2 System function realization process

首先，通过红外热像仪采集采煤机作业区域的红外图像序列，采用红外图像去噪算法滤除噪声；然后，采用基于光流法的人员运动信息提取算法和基于模糊理论的红外图像分割算法分别实现采煤机作业区域人员运动信息提取和红外图像信息分割，这2项功能采用双通道并行解算，提高功能实现效率；最后，采用形态学加权投票法对双通道信息进行融合，实现采煤机作业区域人员精确检测。

2 红外图像去噪

有效滤除红外图像中的噪声是实现基于红外热成像技术的采煤机作业区域人员精确检测的前提。由于红外图像自身性质与综采工作面环境限制，采煤机作业区域红外图像所含噪声具有高强度、不均匀特点，现有图像去噪技术难以实现有效稳定的噪声滤除。为了更好地实现综采工作面红外图像去噪，同时有效保留红外图像中的关键信息，结合红外图像所含噪声的特点，在标准导向滤波模型[14]基础上，引入高斯掩码对其改进，增强了模型对高强度红外噪声的滤除能力；进一步提出多级导向滤波模型，在有效保护红外图像梯度信息的同时，实现了噪声充分滤除，增强了采煤机作业区域人员精确检测系统对噪声的适应性和鲁棒性。

2.1 导向滤波模型改进

在实际工程应用中，标准导向滤波通常采用输入图像作为引导图像，以解决场景不断变化或引导图像难以选择的问题，由此形成的基于惩罚因子的平滑模型称为导向滤波一般模型。根据采煤机作业区域人员精确检测需求，本文在导向滤波一般模型基础上，提出以下2种改进模型。

2.1.1 基于高斯掩码改进的导向滤波模型

基于高斯掩码改进的导向滤波模型将经高斯滤波器处理后的输入图像作为引导图像，大大降低了高强度红外噪声对导向滤波一般模型的影响，其中高斯掩码的窗口尺寸可根据实际需求调整，从而降低小于所选高斯掩码窗口尺寸的图像细节对输出图像的影响，并有效保留尺寸大于高斯掩码窗口尺寸的图像特征，确保该特征通过引导图像作用于导向滤波一般模型，引导输入图像中的对应特征被有效保留。基于高斯掩码改进的导向滤波模型代价函数为

(1)

(2)

bp′=μ2-ap′μ1

(3)

(4)

通过将不同窗口尺寸高斯掩码处理过的输入图像作为引导图像，在导向滤波一般模型中抑制了红外图像中的高强度噪声，降低了其对采煤机作业区域人员精确检测的影响。

2.1.2 多级导向滤波模型

在基于高斯掩码改进的导向滤波模型中，随着高斯掩码窗口尺寸增大，由平滑作用造成的红外图像梯度信息损失增大，难以在有效保护图像梯度信息的同时，充分滤除细节噪声。因此，在该模型基础上，进一步提出多级导向滤波模型，采用具有较小高斯掩码窗口尺寸的多级复合导向滤波结构(图3)，实现对输入图像中红外噪声的充分滤除。

图3 多级导向滤波模型结构Fig.3 Structure of multi-layer guided filter model

在多级导向滤波模型中，将经小窗口尺寸高斯掩码平滑后的原始图像作为第1级导向滤波的引导图像，经导向滤波处理后得到第1级结果图像，然后将其作为第2级导向滤波的引导图像，对输入的原始图像进行同窗口尺寸导向滤波处理。重复以上过程，直至达到预设的处理层级n。

与基于高斯掩码改进的导向滤波模型相比，多级导向滤波模型采用多级复合导向滤波结构，对生成的引导图像进行同窗口尺寸多级噪声滤除，同时将处理后的结果作为后一级引导图像。其优点在于：① 采用小窗口尺寸高斯掩码能有效避免基于高斯掩码改进的导向滤波模型的边缘信息损失问题；② 通过多级导向滤波处理，可充分滤除给定窗口尺寸以下的噪声成分及不重要细节信息。

2.2 仿真评价

为了直观地对提出的2种导向滤波模型性能进行评价，采用煤矿井下采煤机图像进行仿真测试。

2.2.1 基于高斯掩码改进的导向滤波模型仿真评价

与导向滤波一般模型相比，基于高斯掩码改进的导向滤波模型在理论上更适合处理含有较强噪声的图像，而强噪声滤除为基于红外热成像技术的采煤机作业区域人员检测中的首要问题。另外，在基于高斯掩码改进的导向滤波模型中，高斯掩码作用于引导图像而不直接作用于输入图像，可有效避免重要的边缘信息被严重破坏。基于高斯掩码改进的导向滤波模型对原始图像的滤波结果如图4所示，其中w为高斯掩码窗口尺寸。

(a) 原始图像

(b) w=3像素模型滤波结果

(d) w=7像素模型滤波结果

(e) w=9像素模型滤波结果

(f) w=11像素模型滤波结果

分析图4可知：① 经不同高斯掩码窗口尺寸的改进导向滤波模型处理的输出图像表现出较明显差异，随着高斯掩码窗口尺寸增大，具有更大尺寸的图像信息被平滑。出现该结果的原因是对于基于高斯掩码改进的导向滤波模型，随着高斯掩码窗口尺寸变化，引导图像中不同尺寸的信息受到不同程度的平滑，由于该模型为近似线性滤波模型，经不同程度平滑后的引导图像间接作用于输出图像，使得输出图像表现出不同的平滑程度。② 当高斯掩码窗口尺寸达到9像素时，输出图像中煤壁纹理等不重要的细节信息被有效模糊，但采煤机摇臂及机身轮廓等重要的边缘特征得到了有效保留，未出现过度模糊的现象；当高斯掩码窗口尺寸达到11像素时，输出图像中采煤机摇臂边缘处出现小程度模糊现象，但主要摇臂轮廓及大尺寸边缘仍得到了有效保留。因此根据不同需求，可选择不同高斯掩码窗口尺寸的改进导向滤波模型，如：若需要提取图像中采煤机摇臂及机身信息，则选择高斯掩码窗口尺寸为9像素的改进导向滤波模型较合适，因为在保证采煤机摇臂及机身边缘信息基本稳定的同时，有效滤除周围环境(如煤壁)中的不重要细节信息，可避免由于不重要细节信息的引入造成识别结果错误或提取结果不稳定；若需要提取煤壁纹理信息，可采用高斯掩码窗口尺寸为9像素或11像素的改进导向滤波模型对原始图像进行处理，并对输出图像与原始图像进行差分，保留差分结果并进一步处理，以提取煤壁纹理信息。③ 尽管改进的导向滤波模型能在一定程度上滤除细节信息，但经处理后的图像仍保留少量难以滤除的噪声，同时较大窗口尺寸的高斯掩码会造成图像边缘信息受到一定程度的破坏。

2.2.2 多级导向滤波模型仿真评价

采用窗口尺寸为5像素的高斯掩码对原始图像进行5级导向滤波处理，各层级输出图像如图5所示。

(a) 原始图像

(b) 1级滤波结果

(d) 3级滤波结果

(e) 4级滤波结果

(f) 5级滤波结果

从图5可看出，随着多级导向滤波模型层级增加，其输出图像中的细节信息逐渐模糊，但采煤机摇臂、采煤机机身、刮板输送机边缘等重要结构的信息均被有效保留。这是因为随着多级导向滤波模型层级增加，窗口尺寸小于5像素的细节信息在引导图像中被逐渐滤除，引导图像通过代价函数作用于输出图像，使得输出图像中窗口尺寸小于5像素的细节信息被逐渐滤除，而窗口尺寸大于5像素的边缘信息在各层级中均得到有效保留。

3 基于光流法的人员运动信息提取

在采煤机作业区域人员精确检测系统中，红外热像仪随采煤机做同步运动，采集的红外图像信息不断改变，产生动态场景问题。为实现动态场景下采煤机作业区域人员精确检测，采用Lucas-Kanade光流法[15]提取红外场景中各移动部分的光流场信息，并基于对极几何理论，采用随机采样一致性(Random Sample Consensus，RANSAC)算法[16]对光流场信息进行判别提取，确定移动人员前景运动信息。

红外热像仪采样频率最高为50 Hz，因采样间隔短，可假设采集的红外图像序列中空间定点在相邻帧图像中的射影点近似满足对极几何关系。在采煤机作业区域人员检测中，实际空间中固定不动而在红外图像序列中表现为运动的背景点被认为满足对极几何理论，而与之存在相对运动的前景点(采煤机作业区域移动人员)不满足该理论。因此，可通过对极几何对运动背景下的移动前景进行提取，具体实现步骤如下。

(1) 通过由相邻帧图像求得的光流场建立2个图像中对应点对集合，记为Ω。

(2) 从Ω中随机抽取8个点对，采用八点法[17]解算基础矩阵，确定对极线。

(3) 根据其余点对与对极线之间的距离和判定阈值，将其余点对划分为局内点与局外点(距离小于阈值的为局内点，否则为局外点)，并生成局内点集和局外点集。

(4) 随机抽取局内点集中的8个点对，再次采用八点法解算基础矩阵，确定对极线。

(5) 重复步骤(3)、步骤(4)，直至满足局内点数大于总点数90%的终止条件。

(6) 以迭代终止后的基础矩阵为最终基础矩阵，所对应的对极线为最终对极线，依据最终基础矩阵和最终对极线划分局内点集和局外点集，所得结果分别为背景图像点集和前景图像点集。

RANSAC算法中选取的初始局内点集是随机的，可通过多次执行以上步骤，选取全部局内点与对极线的距离和最小值对应的局内点集作为最终结果。

基于对极几何理论，在具有动态背景下移动前景目标的运动信息提取结果基础上，通过形态学处理，进一步弥合前景点集中的孔洞，消除孤立点，实现采煤机作业区域人员运动信息的完整提取。

4 红外图像信息分割

采煤机作业区域中的配套设备及人员装备不尽相同，且综采工作面不断向前推进，因此采煤机作业区域的红外成像环境不断变化。若采用有监督方法对红外图像信息分割模型进行训练，则样本集适用性与容量之间的矛盾难以调和，即较小的样本集难以满足不同环境下基于先验信息的图像分割需求，模型适应性差，而较大的样本集一致性差，噪声与干扰问题突出，消耗的时间和人力成本与样本集应用价值不呈正比，构建的样本集性价比极低。因此，采用基于无监督学习的图像分割方法对采煤机作业区域红外图像信息进行分割更合适。本文采用基于图像局部信息权重的直觉模糊C均值聚类(Local-information Weighted Intuitionistic Fuzzy C-means，LWIFCM) 算法[18]对采煤机作业区域红外图像信息进行分割，可在有效滤除图像噪声基础上，进一步降低可能存在的少量噪声残留对人员检测精度的影响。该算法通过引入自适应的局部信息权重，平衡局部信息对模糊划分的影响：局部信息在高噪声区域具有更大的影响作用，削弱噪声对聚类结果准确性的影响；局部信息在低噪声区域的影响力减弱，使得通过聚类算法求得的隶属关系对聚类结果具有更强的决定作用。

在LWIFCM算法中，第i个聚类集中以像素j为中心的窗口局部信息gij的权重为

(5)

待优化的目标函数为

(6)

gij对聚类结果的影响程度根据κij自适应调节。在图像中具有较强噪声的区域，κij随噪声强度增大而增大，加强了gij对式(6)中目标函数的影响，像素j周围的像素将对隶属度结果发挥更大的作用，从而避免因像素j受噪声影响而对聚类结果产生影响；在相对平坦的区域，κij随噪声强度减小而减小，使得当前像素j在聚类结果中发挥更关键的作用。因此，通过引入κij，LWIFCM算法具有更好的非均匀噪声适应性，根据输入图像的性质及噪声分布，通过调节gij在目标函数中的作用强度，产生更加稳健的聚类结果。为进一步提高图像分割结果的稳定性，利用淘金算法(Gold-panning Algorithm，GPA)对LWIFCM算法中不确定度参数α和模糊常数m进行优化，并通过迭代运算选择最优的初始聚类中心，如图6所示。

图6 基于GPA的LWIFCM算法优化流程Fig.6 Flow of LWIFCM algorithm optimized by GPA

5 基于形态学加权投票法的双通道信息融合

为了将基于光流法的人员运动信息提取结果和基于LWIFCM算法的红外图像信息分割结果进行有效融合，提出基于形态学加权投票法的双通道信息融合算法。

机器学习投票理论[19]是政治学向机器学习的延伸，是集体决策理论的一种。采用投票理论进行集体决策具有2个优点：① 可做出最优决策；② 可提高决策准确度。基于投票理论的机器学习算法主要包括硬投票和软投票。若参与投票的个体在决策中具有同样的影响效力，则称该决策为硬投票；若在一次决策中，不同决策者根据其对决策结果的影响效力不同而具有不同的影响权重，则称该决策为软投票。

形态学骨架理论是图像形态学中的重要概念。本文结合图7，直观地对集合A骨架的推导过程进行简述[20]。图7中从左到右分别为集合A、中心在A骨架S(A)上的最大圆盘、位于A骨架不同线段上的另一个最大圆盘、完整骨架。

图7 骨架理论Fig.7 Frame theory

最大圆盘定义：① 若z为S(A)内的点，(D)z为A内以z为中心的最大圆形区域，且在A内部不存在更大的圆形区域，则称(D)z为最大圆盘；② (D)z在2个以上位置与A的边缘相切。

集合A的骨架S(A)可通过腐蚀和开运算实现：

(7)

Sk(A)=(A-kB)-(A-kB)∘B

(8)

式中：K为腐蚀总次数；Sk(A)为对集合A连续进行k次腐蚀后的骨架；B为结构掩码；∘为开运算符号。

受光流法实现原理及红外图像影响，基于光流法提取运动特征得到的运动目标位置检测结果在非人员区域同样存在大量光流。若直接采用硬投票方法对图像分割得到的不同区域进行决策，会产生较大的决策失误，而软投票方法则需要对不同的权重分布进行解释。因此，本文引入图像形态学骨架理论，对软投票方法中的权重分布进行规划，具体实现步骤如下。

(1) 将光流法得到的结果优先进行闭运算，修补前景图像中的孔洞区域，得到较完整的光流前景区域。

(2) 对步骤(1)中得到的光流前景区域进行形态学骨架提取，得到光流区域骨架点集。

(3) 计算不同光流矢量对应的像素点距离光流区域骨架点集的最小距离，记为距离矩阵D。

(4) 采用min-max标准化方法对D进行归一化运算，得到归一化矩阵W，W即所求的加权矩阵。

(5) 定义目标矩阵为T，在T中令所有光流矢量对应的像素点值为双精度类型1，将加权矩阵W与目标矩阵T做点积运算，得到不同像素点的投票值。

(6) 统计落在图像分割结果中不同区域(属于相同分割类别的非连接区域应视为不同区域)的总投票值。

(7) 将不同区域的总投票值与区域面积的比值定义为投票权值v，若v大于所设阈值，则该分割区域保留为前景区域，即移动目标区域。

6 仿真实验

搭建采煤机作业区域人员精确检测实验平台(图8)，获取红外图像数据集进行仿真实验。仿真分析程序采用基于C++的OpenCV4.1.0开发，实现平台为Visual Studio(Community 2019)。

图8 采煤机作业区域人员精确检测实验平台Fig.8 Experimental platform for personnel precise detection in shearer operation area

通过实验平台采集红外图像序列，从中随机抽取200对连续帧红外图像(分辨率为384×288)，建立仿真实验数据集。从数据集中随机选择1对连续帧红外图像进行仿真实验，如图9所示。

在仿真实验中，图像分割类别设定为10，将所得的10个不同类别分割层图像中的非连接区域进行拆分，得到若干个不同区域，则总区域数为

(9)

式中Mq为第q层中存在的不同区域数。

采煤机作业区域人员图像分割中灰度平均值最小的第10层图像如图10所示，可看出其中存在11个不同区域。

图10 第10层图像中的不同区域Fig.10 Different areas in the tenth layer

人员检测结果如图11所示。可看出基于形态学加权投票法的双通道信息融合结果避免了基于光流法的运动信息提取在完整性和基于LWIFCM算法的红外图像信息分割在移动目标提取上的不足，能够有效且完整地提取红外图像中移动前景目标，且提取结果与移动人员目标基本吻合。

(a) 原始图像

(b)图像信息分割结果

(d) 双通道信息融合结果

7 工业性试验

为了验证采煤机作业区域人员精确检测系统的工业适用性，在河南大有能源有限公司义煤集团耿村矿21208综采工作面进行井下工业性试验，如图12所示。

图12 工业性试验现场Fig.12 Industrial experimental site

根据图1中采煤机作业区域人员精确检测系统架构，对采煤机机载控制系统及井下集控中心进行升级，在采煤机上方加装在线式红外热像仪，并将红外热像仪采集数据经铠装电缆内置光纤传输至井下集控中心。在井下集控中心加装采煤机作业区域人员精确检测与预警系统，进行图像处理及历史数据保存，其主要参数：Intel(R) Core(TM) i7-6700K CPU，32 GB内存，NVIDIA GeForce RTX 2060 SUPER显卡，数据运算平台为Visual Studio (Community 2019)，采用C++语言结合OpenCV 4.1.0软件库联合编程。该系统保存的图像数据集及历史数据经工业环网定期上传至云端，之后对本地数据集进行清理，以保证本地数据存储空间充足。

从云端保存的系统数据中提取1组(共57帧)包含人员运动过程的真实红外图像序列(图13)及其对应的人员检测结果(图14)，对采煤机作业区域人员精确检测系统各部分功能的工业适用性进行评价。人员检测结果采用工程中常用的矩形检测框显示。

图13 红外图像序列Fig.13 Infrared image sequence

图14 人员检测结果Fig.14 Personnel detection results

采用分别基于Horn-Schunk光流法[21]和Farneback光流法[22]实现的人员检测结果作为对比项，引入跟踪偏差e[23]对位置检测精度进行评价。

(10)

式中：(x，y)为检测出的移动目标中心位置；(x′，y′)为通过人工标记获得的移动目标中心位置。

采煤机作业区域人员精确检测系统的目的是在采煤机运行过程中确保其附近工作人员的安全，因此除对位置检测精度进行评价外，定义重叠比R对空间检测精度进行评价。

(11)

式中ssys，sman分别为检测得到的矩形框面积、人工标记得到的矩形框面积。

评价结果见表1。可看出本文方法可有效检测红外图像域中移动人员位置信息，且检测结果较为稳定，跟踪偏差较小，平均值为0.106 5像素；与红外图像域中真实人员位置的重叠比平均值为96.10%，符合人员所处实际位置，可完整准确地对红外图像域中人员进行检测；平均单次处理时间为0.490 8 s，最大为0.581 1 s，考虑到采煤机正常运行速度为2～8 m/min，0.581 1 s内最大行进距离为0.077 48 m，满足人员安全保护需求。与其他方法相比，本文方法的跟踪偏差和重叠比均具有明显优势，且较好地实现了检测精度与速率的平衡。