综掘系统视觉处理技术研究现状及发展趋势

杜雨馨，张贺，王树臣，张建化

（1.徐州工程学院 电气与控制工程学院，江苏 徐州 221018；2.中为（江苏）城建设计有限公司，江苏 徐州 221003）

0 引言

煤矿智能化是煤炭工业高质量发展的必经之路，综掘工作是煤矿生产最前沿的工作环节，实现巷道自动掘进控制是提高矿井生产效率、智能化程度和降低煤矿事故率的关键[1]。近年来，随着采煤工作面智能化推进速度的提高，采掘失衡逐渐成为煤矿开采的突出问题。据调查，中国作为2022 年煤炭最大消费国和进口国，矿井综采工作面的机械化率达85%，而综掘工作面的机械化率仅为60%[2]。综掘工作面是矿井安全性最差、作业环节最恶劣、自动化程度较低的场所之一，提高巷道综掘工作面的技术指标和智能化程度，满足安全高效开采的需要，刻不容缓[3]。

视觉处理技术具有非接触式测量、获取信息丰富、自动化程度高等优势，基于机器视觉的掘进装备群组检测与控制技术已成为煤矿智能化进程中的研究热点。本文首先基于视觉系统的图像采集与检测原理，介绍了综掘工作面视觉检测系统关键技术，主要包括摄像机标定、图像预处理、特征提取、视觉匹配、目标分割与识别、视觉测量与三维重建技术。然后，结合近年来大量的研究文献，重点阐述了计算机视觉技术在综掘工作面视觉检测与定位、安全监测与事故预防、装备自动化与智能化等实际场景中的应用，包括各类检测系统的检测原理、工作流程、存在不足、注意事项与发展情况等。最后，根据综掘工作面环境恶劣、强干扰的特点，指出机器视觉技术应用于煤矿综掘现场所面临的挑战，并针对现有的研究成果与技术现状，展望了基于机器视觉的煤矿智能化装备体系未来需要重点发展的关键技术。

1 综掘工作面常用的视觉传感器

视觉传感器是构建检测系统的基础，图像质量受矿用防爆相机硬件和环境影响，为高效获取信息，需综合优化制定合理的图像采集方案，选择合适的相机参数，并进行光源补偿等。经统计，在综掘工作面中，常用的视觉传感器包括单目、双目、多目视觉系统和结构光相机等。各类视觉传感器的工作原理与常见应用场景见表1。

表1 各类视觉传感器的工作原理与常见应用场景Table 1 Working principles and common application scenarios of various visual sensors

1）单目视觉系统：基于小孔成像模型，仅用单个镜头获取图像特征，可用于目标检测、图像识别、姿态估计等任务。单目相机是多类视觉系统的基础，如双目立体系统、多目相机等。在综掘作业中，常用于姿态测量和定位、设备状态检测和故障诊断、自动化导航和路径规划、环境安全监测和评估等。

2）双目视觉系统：由2 个相机模组组成，按传感器种类和工作原理，可分为立体视觉相机和双光热像仪。①立体视觉相机由2 个可见光单目相机组成，模拟人眼立体视觉。通过获取左右视差，得到场景的深度信息和点云数据，可用于测距、三维重建、环境感知等。然而，深度量程与精度受基线与分辨率限制，计算量较大。在综掘作业中，常用于立体场景重建、障碍物检测和避障、距离测量和尺度估计、机器人导航和自主定位等。② 双光热像仪由可见光相机和红外热成像相机组成。使用的热成像相机基于红外热辐射原理，能够准确探测温度分布，并转换为热像图像。双光热像仪可以在低光或完全黑暗、高浓度矿尘、水雾等复杂环境下工作，还可测量红外波范围内的热辐射。在综掘作业中，常用于人员安全监测、设备状态监测、环境状态评估等。

3）多目相机视觉系统：1980 年，H.Moravec[24]首次提出多目视觉系统。该系统由多个相机模组组成，可同时捕捉同一场景不同视角的图像，尤其适用于大尺寸空间的三维测量，信息丰富、测量精度高。使用时，需合理安置相机位置，且多个摄像头的数据需具备帧级同步。其标定过程与结构配置比双目系统更繁琐，实时性更差。多目相机在煤矿井下的应用大多集中于多目标跟踪、轨迹预测、参数测量、三维重建等。

4）结构光相机：利用结构光投射特定的光纹或光栅，通过测量物体与光纹的交互作用，获得物体的三维形状和深度信息，具有快速、精确、非接触等特点，适用于三维建模、形状测量、目标重建等任务。在综掘作业中，常用于巷道形态测量、矿车避障、行人检测、煤量监测、煤块形貌测量、同时定位与建图（Simultaneous Localization and Mapping，SLAM）等。

上述视觉传感器可以提供丰富的图像信息和三维数据，用于实现机器人导航、障碍物检测、姿态估计、支护设备测量等任务。根据具体的应用需求和环境条件选择合适的视觉传感器，对实现综掘工作面的自动化和智能化具有重要意义。

2 综掘工作面视觉处理关键技术

2.1 相机标定

相机标定是视觉应用中的关键步骤之一，用于确定系统内外参数，将像素坐标转换为真实世界中的物理坐标，实现准确的测量和分析。传统标定方法、自标定方法和主动标定法均可用于综掘工作面视觉系统标定。在实际应用中，视觉系统的结构与标定方法需根据井下环境进行相应设计与调整。Yang Wenjuan 等[25]通过建立折射成像模型和标定方法，针对平面防爆玻璃和光学球罩结构对视觉系统的影响进行了研究和校正，在保护成像系统免受井下恶劣环境影响的同时，提高了测量精度。针对截割头位姿测量系统，张旭辉等[26]提出一种基于多点固定的外参标定方法，通过控制截割臂到达多个已知极限位置进行标定，有效提高了标定的稳定性。

2.2 图像预处理

在掘进工作面恶劣环境下，井下图像易受光照不足、照度不均、高浓度矿尘、镜头振动、气体干扰等多种因素影响，因此，相较于地面图像，更需进行预处理。在井下工程应用中，许多学者提出了相应的预处理方法，用于去除干扰信息，增强有用特征，解决由于煤尘、振动等因素引起的测量不准确和图像质量不佳问题。Du Yuxin 等[27]提出了基于Retinex 和小波多尺度积的边缘特征检测方法，解决了因光照不足造成的图像特征不容易提取的难题。Yang Wenjuan 等[28]提出了变分参数优化法，解决了掘进过程中高频率振动产生的机载稳像问题。此外，文献[29]和文献[30]也分别提出了图像降尘、去雾处理算法。这些图像预处理方法为煤矿井下视觉处理和智能化应用奠定了基础。

2.3 特征提取

原始图像包含过多冗余信息，通过特征提取算法将图像转换为更具代表性的低维特征向量，可以有效降低计算量和存储空间。用于视觉识别的常见特征包括颜色、纹理和形状。由于井下环境的特殊性，巷道内的自然特征很难用于后续的识别与定位。因此，现有的矿井图像处理通常提取人工设置的特征，如激光点[31]、激光线[32]、直线[33]、圆[34]、交点[35]等。借助人工设定的标靶和光源等，构造易于提取的点、线特征，再结合建立好的解算模型完成参数提取与目标定位，检测精度高，可靠性好。

2.4 图像匹配

图像匹配是指通过比较2 幅或多幅图像中的特征点、结构或模式，寻找它们之间的对应关系或相似性的过程，可用于实现目标识别或空间位置对准。相较于基于灰度或变换域的匹配算法，基于特征的算法仅需匹配相邻图像中的几何特征，具有较高的精准度与较低的算法复杂度。在综掘工作面的视觉处理中，常用于设备或障碍物的定位、跟踪，场景拼接等。

针对截割头定位，Du Yuxin 等[36]通过改进最小方差谱估计方法（Minimum Variance Spectral Estimate Method，MVM），很好地解决了由形变引起的误匹配问题。针对煤矿救援机器人立体匹配，He Shangmeng等[37]提出了一种改进Census 算法，在资源占用率、处理速度和精度方面都取得了较好的平衡。针对巷道全景图获取，闫鹏鹏[38]利用自适应尽可能自然（Adaptive As-Natural-As-Possible，AANAP）算法对齐拼接图像，提高了配准精度，改善了拼接效果。

2.5 目标分割与识别

目标分割与识别建立在视觉匹配的基础上，将图像中的目标从背景中分割出来，并进一步识别目标的类别和属性。近年来，基于深度学习的目标识别算法在矿井复杂环境下的应用研究取得了显著进展。吕志强[39]将改进Faster R-CNN 算法用于输送带运输异物识别。杨冬健[40]提出了基于YOLO-SIFT的刀具特征识别提取算法，实现了机器人自动换刀。S.S.Mansouri 等[41]用卷积神经网络（Convolutional Neural Network，CNN）作为监督式图像分类器，辅助巷道微型飞行器的导航。上述算法提升了各种复杂图像目标识别的准确率和效率，也是当前的研究热点。

2.6 视觉测量与三维重建

在综掘作业中，巷道按预设路径施工、巷道断面的自动精准成形、非结构化环境的三维重建、人员或目标物体的定位等都离不开距离（深度）信息的获取。三维视觉测量属于典型的非接触式测量，以光学成像为基础，应用计算机视觉中的几何测量原理，即可获取物体的三维形貌。在此过程中，点云数据的获取与处理对最终重建效果至关重要。M.Janiszewski 等[17]使用360°相机从27 个位置对巷道进行快速摄影测量，并采用结构光法和多视角立体匹配法完成了三维重建。Zhang Rongchun 等[42]提出了一种基于深度学习和双线平行摄影技术的巷道稠密重建方法，解决了传统方法在狭窄环境下无法获得足够基线的问题。董建伟等[16]使用基于面片的多视角立体（Patch-based Multi View Stereo，PMVS）算法重建煤场三维形貌，采用自适应面积的Patch 算法，有效获取带有纹理信息的稠密三维点云。

3 机器视觉技术在煤矿综掘工作面的应用现状

综掘工作面是煤矿生产的最前沿，也是难度最大、危险系数最高的工作环节。巷道综合机械化快速掘进是一项系统工程，完成井巷智能化精准施工，是实现煤矿无人化高效开采的必由之路。随着各类先进科技的引入，煤矿综掘工作面目前呈现出数字化、智能化和可持续发展的趋势。先进的机器视觉技术、传感器和大数据分析技术等被广泛应用于工作面监测、控制和优化，实现了实时数据采集、智能决策和自动化操作，提高了综掘工作面的生产效率和资源利用率。近年来，机器视觉技术在煤矿综掘工作面上的应用也取得了很多代表性成果，其应用场景主要包括视觉检测与定位、安全监测与事故预防、装备自动化与智能化等。

3.1 机器视觉在视觉检测与定位中的应用

3.1.1 掘进机本体位姿检测

悬臂式掘进机作为煤巷综合机械化掘进的关键设备，机身位姿的实时感知对于实现巷道断面的自动截割具有重要意义。机器视觉技术具有非接触式测量、数据处理能力强、获取信息量大等优点，近10 a在掘进机机身定位方面得到了广泛应用。

根据使用的视觉传感器数量不同，掘进机位姿检测中的机器视觉技术可分为单目和双目2 类。单目方案使用1 台相机采集图像，结合建立好的机身位姿解算策略，确定掘进机本体在巷道空间中的实时六自由度姿态参数[2,43-44]。双目方案则利用2 台相机产生的视差来获取掘进机三维空间信息，相较于单目方案，更容易计算深度参数[12,31,45]，但在使用前需要进行外参标定和立体视觉匹配，这对定位效果和三维重建结果具有决定性影响[35]。因此，相机标定精度和匹配效果对于双目视觉的成功应用至关重要[19]。此外，相较于传统相机，RGB-D 相机具有不受环境光和纹理影响的优势，也可用于机身位姿感知。基于主动测距技术，Zhang Wentao 等[46]通过RGB-D 相机收集环境数据，并采用随机样本一致（Random Sample Consensus，RANSAC）算法+最近点迭代（Iterative Closest Point，ICP）算法实现自主姿态测量，有效解决了狭窄空间内悬臂式掘进机的定位和导航问题。

单一测量源存在精度低、时间滞后、鲁棒性弱、测量维度单一等缺点。综合利用多源数据的优势，结合适当的数据融合算法和技术，能够有效克服单一测量源的局限性，提高目标定位、识别和追踪的准确性和可靠性[47]。因此，许多学者将视觉传感器与其他传感器结合，实现掘进机机身多传感器组合定位，如视觉+惯导[12,32,48]、视觉+激光雷达[49]、视觉+红外和视觉+惯导+激光雷达[46,50]等。多传感器信息融合方法可以提高定位精度和鲁棒性，同时充分利用各传感器的优势，为掘进机机身定位和导航提供更准确、可靠的信息。

视觉位姿测量系统的种类较多，除图像处理算法外，其关键在于位姿解算模型的建立。不同文献中的悬臂式掘进机位姿检测透视投影模型如图1 所示。模型不同，采集到的图像内容也不同，常见的有自发光标靶、激光投影标靶、激光束、巷道标志物等。自发光点阵标靶[13,51-52]一般为由若干点光源构成的特征点阵，如图1（a）-图1（c）所示。测量过程中，点阵与掘进机机身固连，通过定位特征点阵判断机身空间位姿。采用的光学特征点在低照度、多粉尘环境下更易于识别，且能够有效抑制其他光源干扰，提高了系统的稳定性。激光投影标靶[35]通过采集线激光源在标靶上的投影，结合解算模型得到机身位姿，如图1（d）所示。该类方法能够满足巷道低照度环境的远距离精准定位要求，但测量结果对标靶安装精度的要求较高。利用1 束或多束点激光束[31-32,53]在相机中的成像，通过识别直线方程可解算机身位姿，如图1（e）-图1（g）所示。相较于点特征，直线特征具有更好的抗遮挡能力，能够有效克服高矿尘、水雾严重、易遮挡等因素影响。巷道标志物[4]可为巷道已有标志物（如锚杆、托盘等）或人工固定在巷道内壁的标志[34]，通过解算机身位姿增量，达到机身定位目的，如图1（h）所示。然而，受井下恶劣环境影响，成像质量较差，部分目标不易提取。在实际应用中，上述模型还应对掘进振动、浓尘和低照度环境具有足够的鲁棒性[28]。

图1 不同文献中的悬臂式掘进机位姿检测透视投影模型Fig.1 Perspective projection models for the position and posture detection of the boom-type roadheader in different literatures

掘进机机身实时位置感知是无人综掘的基础。基于机身精确定位，可以进一步实现许多操作和研究，如截割头实时定位[36]、掘进机轨迹规划[18]、路径跟踪[46,54]、SLAM[20]等。

3.1.2 截割机构视觉检测与定位

悬臂式掘进机截割头的旋转和截割臂的摆动是完成巷道断面截割成形的关键。研究复杂工况下截割头位姿的精确测量，对于提高断面成形质量和掘进效率具有重要意义，也是实现无人化综掘作业的基础。

2003 年，R.Ofner 等[55]将超亮红外LED 安装在截割头的主要校准点上，在机器组装的最后阶段，通过视觉测量系统检测截割头外剖面的精准度，保障了后期巷道精准施工，提高了生产效率。基于机器视觉的位姿检测系统不需要对掘进机进行结构改造，只需在合适位置安装摄像机即可检测截割头位姿，适用于井下恶劣多变环境，且系统改造成本较低、测量精度高，对于大量在役机具有重大意义[26]。

根据视场中的目标物体不同，截割头位姿视觉检测法主要有直接测量法和间接测量法2 种，如图2所示。直接测量法[36]直接获取截割头目标轮廓，通过双目视差计算和坐标变换，实现巷道坐标系下截割头的实时精准定位。测量过程中，无需安装其他传感器，只需采集图像即可完成定位。然而，由于截割头与煤岩颜色相似，且巷道掘进中矿尘浓度过高，增大了截割头轮廓提取的难度。间接测量法[33]将红外LED 矩形标靶（P1—P4）固定在截割臂上，利用固定在机身上的单目相机采集红外点阵信息（p1—p4），从而计算截割头的姿态角。然而，实际工程中掘进机的结构形式多样，可能存在无法安装标靶或标靶易被遮挡的情况，因此，需要根据具体情况对标靶的安装位置进行调整。

图2 悬臂式掘进机截割头位姿视觉检测模型Fig.2 Visual detection model for the position and posture of the boom-type roadheader's cutting head

完成截割机构定位后，若想实现巷道断面自动截割成形，还需在截割头定位的基础上，结合截割轨迹规划[56]、伺服控制[57]、数字孪生[58]等技术实现。波兰部分研究人员对视觉技术在综掘机截割机构中的应用进行了一系列研究：计算刀齿座基部与截割头侧表面间距[59]，检测截割头侧表面形状[60]，研究切割过程中悬臂[61]和截割头[62]的振动情况等。这些研究对于提高巷道设备智能化水平和实现地下自动化综掘作业具有重要意义。

3.1.3 煤矸石识别

据统计，综掘工作面的产煤量占全矿总产量的10%～20%。但受掘进过程中破碎矸石影响，整个矿井产出的原煤灰分可能会增加1%～2%[63]。因此，掘进工作面中煤矸石的混运直接影响煤炭质量，需要采取切实可行的措施完成煤矸识别与分拣。

煤矸识别方法包括射线识别和视觉识别法。其中视觉识别法具有设备简单、易实现、环保等优势，是实现煤矸石智能分选的重要途径[63]。根据智能化程度，视觉识别法又可分为传统的需要人工提取特征的识别路径和利用深度学习进行自动特征提取的识别路径，如图3 所示[64]。

图3 煤矸石图像识别方法[64]Fig.3 Coal gangue image recognition methods[64]

传统视觉识别法通过提取人为选择的有利特征来实现识别。2009 年，Ma Xianmin[5]利用小波矩提取煤矸石直方图特征，为实现自动分选奠定了理论基础。陈雪梅等[65]发现煤块的分形维数远大于矸石，并利用此特征完成识别。Li Man 等[66]应用最小二乘-支持向量机（LS-SVM）作为图像分类器，使用灰度、纹理特征、偏度和对比度的联合特征训练了3 个分类器，以减小煤矸石分选机器人的平均坐标误差。为了有效避免传统方法的缺点（如辐射、污染等），Hu Feng 等[67]提出了一种利用多光谱成像识别煤与矸石的新方案。

与传统方法不同，深度学习识别法以深度学习CNN 为模型，通过自主提取特征和学习网络参数实现高效识别。在煤矸石识别方面，YOLOv4[68]，LeNet-5[69]，CNN[70]等算法均得到了广泛应用。基于深度学习的煤矸识别方法相较传统方法具有更高的识别率，但由于分选环境的特殊性和复杂性，仍需构建高效的煤矸石数据集，并深入研究算法的泛化性、实时性和鲁棒性。

3.1.4 煤流参数检测

煤流参数是评估煤炭主运系统运力和调速的主要指标。实现煤流参数在线检测可降低运营成本，实现节能减排。煤流参数主要包括堆煤高度、煤堆截面积、煤堆体积、运煤量和煤流速度等。基于机器视觉的煤流参数检测方法主要有单目视觉法、双目视觉法和结构光视觉法，如图4 所示。

图4 煤流参数检测方法Fig.4 Coal flow parameters detection methods

单目视觉法[6]仅使用1 台相机定性检测煤流量，受深度感知能力限制，无法实现定量检测，仅适用于带式输送机模糊控制。双目视觉法[71]使用左右2 台相机在不同方位拍摄输送带图像，经图像配准后可获得密集点云。将该方法用于体积测量[13]，结合煤密度即可计算出煤流量，操作简便，设备轻巧。然而，受光线不足、矿尘干扰等因素影响，图像质量和立体匹配的准确性受限，从而影响体积测量的精度。此外，双目系统生成的数据量较大，图像配准、特征提取均需较长时间，在需要连续监测煤流量的生产线上，测量速度的限制会严重影响生产效率和实时调控能力。结构光视觉法[21,72]主动投射结构光到煤堆表面，通过调制光线前后的变形确定煤堆尺寸。为提高煤流量测量的精度与准确度，文献[73]将结构光视觉法与单目视觉法或双目视觉法结合使用，取得了较好的测量效果。

3.2 机器视觉在安全监测与事故预防中的应用

机器视觉在安全监测与事故预防中的应用分析见表2。

表2 机器视觉在安全监测与事故预防中的应用分析Table 2 Application analysis of machine vision in safety monitoring and accident prevention

3.2.1 围岩变形监测

随着开采深度的增加，巷道围岩压力逐渐增大，导致岩层变形，威胁着井下运输、通风及人员和设备安全。因此，准确监测巷道变形，掌握围岩状态及趋势，对保障煤矿安全生产至关重要。近年来，激光扫描和视觉测量等非接触式测量方法被应用于巷道围岩变形监测。

基于机器视觉的围岩变形监测方法可分为直接法和间接法。直接法使用立体相机直接拍摄巷道图像，经特征匹配和点云配准后重构巷道三维信息，直观反映巷道变形。陈清华等[14]针对传统方法费时费力、激光点云数据量大、离散性强、成本高等问题，提出了一种基于双目立体匹配的巷道三维重建方法。周楠[74]提出一种基于改进快速行进法（Fast Marching Method，FMM）的深度图空洞修复算法，解决了Kinect2 采集的深度图像空洞、无法获取准确深度值的问题。谢楠[49]将单目视觉与激光雷达融合，实现了巷道三维重建与掘进装备位姿解算。

间接法将设计好的特征点或特征标靶安装在巷道表面，通过对比拍摄图像中特征物的变化，间接监测巷道变形。不同监测方法使用的标志物各有特色，如图5 所示，有圆形对角标志物[34]、十字标靶与点状发光二极管[75]、荧光标志点[76]等。

图5 围岩变形监测间接标志物Fig.5 Indirect indicators for surrounding rock deformation monitoring

间接法获取的数据较为稀疏但处理速度快，而直接法的监测精度高、信息量大，因此对计算处理设备的性能要求更高[77]。2 种方法各有优劣，研究人员也在不断探索如何结合二者，克服各自的局限性，并进一步提高测量精度和效率。

3.2.2 火灾监测

矿井火灾是直接威胁煤炭安全生产的主要灾害。根据成因和形成条件，可大致划分为自燃火灾与外源火灾。据统计，在中国，自燃火灾约占矿井火灾总数的90%[78]。而外源火灾主要指电气火灾，多发生于带式输送机输送带、电缆和机电硐室等。

基于机器视觉的自燃火源区域探测法主要采用红外成像仪进行火源识别[11]。通过扫描成像测取温度，可直接观测到高温区域的变化，测温简单、迅速，灵敏度高。红外探测对温度非常灵敏，周围环境温度的变化容易造成探测结果误差。为提高监测准确度，在使用过程中通常需要和其他类型传感器信息进行融合。

矿井电火花会引起热动力灾害，主要包含漏电电火花、感应电火花、壳内电火花等。赵端等[79]提出了基于多源信息融合的煤矿外因火灾判识方法，使用动态加权算法将视频检测信息与多传感器信息融合，并构建了YOLOv5s-as 模型。为提升火灾监测预警的准确度，部分学者也将支持向量机（Support Vector Machine，SVM）[80]、人工蜂群法[81]等智能算法应用于矿井带式输送机火灾监测。

煤矿火灾具有偶然性，快速、准确探测早期火灾对于有效减少灾害具有重大意义。Lei Wanzhong 等[7]通过提取颜色信息中的火焰区域，设计了一种早期火灾检测系统，利用贝叶斯分类器识别火灾动态特征。F.Mendham 等[82]研究发现，相较于传统的CO探测器，基于视频的火灾检测是一种更有效、稳健的方法，可提供及时的火灾检测和预警。张思齐[83]以烟雾作为早期火灾信号，使用光流法预先判断烟雾的主运动方向，并通过研究井下烟雾特征，训练SVM烟雾分类器，实现火灾预判。上述研究均取得了较好的预测效果。除了使用固定装置监测火源外，若井下环境、空间允许，还可使用煤矿火灾巡检机器人执行环境检测任务[84]。

3.2.3 人员安全监测

保障人员安全是矿山开采的首要任务。巷道掘进过程中的高浓度矿尘和噪声使工作人员难以有效识别周围的人员和物体，机车司机和处于观察盲区中的人员面临较大危险，容易导致伤亡事故。此外，煤矿井下存在禁止人员进入的危险区域，需要有效的人员检测手段。

刘春梅等[85]综合考虑了掘进工作面振动大、粉尘浓度高等因素，针对性设计了适用于掘进工作面的人员识别系统，用于监测位于危险区域的作业人员，避免挤伤等事故发生。文献[9]基于图像形态学，提取热红外图像中人脸表面的血管单像素骨架网，实现身份识别，并在此基础上完成了井下人员跟踪与定位。文献[22]基于深度视觉实时获取人体骨骼点图，构建凸体碰撞检测模型，从钻锚机器人控制系统角度出发，提出一种钻锚机器人人机安全避碰方法。上述方法均通过对人员的识别与检测，达到保障安全目的。

3.2.4 输送带异物、撕裂、跑偏等异常监测

带式输送机作为综掘工作面的主要运输装置，在恶劣工况下高强度、连续运行。在驱动张力作用下，输送带易出现纵撕、划伤、跑偏、打滑、托辊损坏等故障。目前，机器视觉技术在运输系统故障智能监测中的应用主要包括以下方面。

1）钢丝绳芯损伤探测。长距离矿用带式输送机常采用钢绳芯输送带增强抗拉强度。然而，长期使用容易导致内部钢芯锈蚀、断裂、接头伸长等故障，可能导致生产受阻，引发安全事故。M.Alport 等[86]提出了基于图像的人工神经网络诊断方法，已应用于南非的 Richards Bay 煤炭码头。基于X 光视觉探测的方法也得到了应用，如用于接头抽动检测[87]、接头伸长量计算[88]、接头故障筛选[89]等。这些方法可准确检测出钢丝绳芯和接头的故障，为输送带安全运行提供保障。

2）输送带纵向撕裂识别及定位。煤矿运输中，片状矸石和金属锚杆等硬杂质可能引起输送带纵向撕裂，甚至导致长时间生产中断。目前，主要的视觉探测法包括可见光成像、红外热成像、线激光检测技术等，如图6 所示。可见光成像直接获取输送带底部图像，可通过单尺度Retinex 算法[90]、多类SVM[91]等检测撕裂。但由于工矿环境恶劣，特别是存在输送带划痕、表面残煤、环境光照变化等，若直接进行边缘、区域提取，上述方法的鲁棒性较差，难以取得较好的检测效果。红外热成像[10]可有效降低环境干扰，Yang Ruiyun 等[92]利用单红外相机进行撕裂特征的联通域提取。此外，还可使用多种相机进行信息融合，如乔铁柱[93]将红外图像与可见光图像进行融合，Yu Binchao 等[94]利用中红外与长红外双波段图像协同融合，以提高撕裂特征提取的效率与准确度。另一种思路是引入线激光[95]作为强光源来降低环境干扰因素的影响。文献[96]使用2 对COMS相机和激光源，扩大了探测面积，使得撕裂特征更加明显。类似地，Li Weiwei 等[97]提出了一种基于多组激光器加单目相机的计算机视觉检测算法。为提高检测精准度，还可以使用深度学习算法[98]实现纵向撕裂检测和识别。

图6 输送带纵向撕裂的视觉检测方法Fig.6 Visual detection methods for longitudinal tearing of conveyor belts

3）输送带跑偏、打滑监测。除了撕裂外，跑偏、打滑也是带式输送机运行过程中常见的影响较大的故障。基于机器视觉检测输送带跑偏，一般分3 步进行：①输送带区域分割；② 边缘轮廓提取；③输送带边缘直线特征提取与跑偏判定。完成检测任务所使用的图像特征也各有不同，如手动设置的感兴趣区域[8]、跑偏角和偏移量特征[99]、直线与轴线的夹角和交点[100]等。针对带式输送机在运送物料过程中的打滑故障，王星[8]利用背景差分和连通区域标记法检测运动目标，通过轨迹跟踪方程和带速模型确定是否存在打滑。带式输送机输送带的全面检测还可采用深度学习方法，如语义分割网络[101]等，以取得较好的应用效果。

4）输送带异物识别。输送带撕裂通常由输送带严重跑偏或外部尖锐物进入导致。若能在异物进入运输系统的早期精确检测和移除异物，便可有效预防撕裂，保障系统安全运行。相较于传统方法，基于机器视觉和深度学习的异物识别方法检测效率更高、适用范围更广且成本较低，已成为主流方法。G.Saran 等[102]采用多模式成像相机生成2 幅图像，通过物体的材质和颜色识别异物。吴守鹏[103]提出了一种异物识别模型，结合Faster-RCNN 和双向特征金字塔网络，解决了大块矸石、铁器等异物的识别问题。此外，YOLOv4[104]，SSD[105]，CenterNet[106]等智能算法也得到了应用。

5）托辊异常监测。托辊是矿用带式输送机承载物料和减少摩擦的重要部件。故障托辊可能增加能耗，缩短使用寿命，甚至导致火灾。为弥补传统检测方法的不足，可采用非接触式测量进行托辊状态检测，包括红外热像仪[107]、计算机视觉[108]等。胡长斌[109]利用巡检机器人拍摄视频，通过估算托辊旋转线速度进行异常检测。此外，朱振[110]使用OSTU 阈值分割算法和形态学改进法实现故障托辊定位。这些方法为及时发现托辊故障提供了有效手段。

无论在输送带带体还是其零部件的故障监测领域，基于机器视觉的目标识别与定位技术都得到了飞速的发展与应用。实现转载运输系统的故障智能监测，除了在机器内部加装检测装置外，如现场条件允许，还可以借助自主机器人[111-112]、无人机[113]等进行辅助检测。

3.3 机器视觉在装备自动化与智能化中的应用

巷道综合机械化快速掘进是一项系统工程，需要掘进、锚护、运输装备构成“掘-锚-运”一体作业线，三大装备相互配合，实现掘进巷道连续、均衡、高效生产。在此过程中，机器视觉技术发挥着关键作用，通过自动化与智能化装备的应用，提升装备的性能和效率，同时减少人员的直接参与，降低安全风险。机器视觉在装备自动化与智能化中的应用分析见表3。

表3 机器视觉在装备自动化与智能化中的应用分析Table 3 Application analysis of machine vision in equipment automation and intelligence

3.3.1 掘进系统

掘进机作为煤巷综合机械化掘进的关键设备，其性能对提高掘进工效和掘进进尺具有重要作用。除悬臂式掘进机机身定位与截割头位姿检测外，在掘进阶段，机器视觉系统还可用于辅助导向和导航，通过识别地质特征、障碍物和地下空间结构[77]，为掘进机械提供实时导向信息，确保掘进轨迹准确无误。同时，视觉传感器还能实时监测掘进工作面的稳定性和岩层变化，提前预警潜在的安全隐患。

除了在已有装备上进行机器人化改造外，部分研发团队也借助视觉技术研制了新型掘进类机器人（图7）。代表性的有西安科技大学研发的护盾式智能掘进机器人系统[57]、中国矿业大学（北京）研发的综掘巷道掘进机器人系统[63]、中国铁建重工集团自主研制的煤矿大断面智能快速掘锚成套装备[114]、中国煤炭科工集团太原研究院有限公司自主研制的煤矿高阶智能快速掘进系统[3]等。

图7 新型掘进类机器人Fig.7 New types of tunneling robot

3.3.2 锚护系统

相较于采煤装备，综掘设备机械化水平明显落后。据统计，锚固速度成为制约巷道掘进进度的关键因素，从而导致采掘失衡。因此，提高锚护作业的自动化与智能化水平势在必行。机器视觉在锚护系统中的应用主要有2 个方向：

1）在传统锚护工艺的基础上进行自动化改进。杨健健等[63]对漏顶、片帮等不同畸变特征图像进行检测，补偿因现场条件变化引起的支护参数变化，提高了锚杆支护精度。乔佳伟[115]使用目标识别算法实现钢带锚孔的智能识别和空间定位，为后期锚具的精确控制提供了重要依据。此外，机器视觉还可用于锚固爆破车翼臂定位[116]、柔性复合拱形托盘设计[117]、锚杆松动监测[118]等。

2）开发掘锚一体化机、钻锚机器人等新型装备。潘丽君等[119]设计了一种自动化锚杆机，通过视觉技术识别巷道顶部预制钢带的预钻孔，将单根锚杆支护时间缩至2 min。马宏伟等[120]采用激光雷达和单目相机设计了龙门钻锚机器人，避免了钻头冠与锚网间的碰撞，确保钻机准确定位。李浩天[23]使用深度视觉传感器重构巷道表面信息，开发了全自动浆液喷射机器人。机器视觉系统的应用极大地提高了锚护作业的效率和质量。

3.3.3 转载运输系统

转载运输系统作为巷道掘进三大主要系统之一，在实现掘支平衡的情况下，实现运输高效协同作业对于提升整体综掘效率意义重大。除用于运输系统运输参数感知与故障智能监测外，机器视觉技术还可用于系统优化节能，提升运输调度的智能化水平。

视觉技术在运输系统优化节能方面的应用本质还是煤流参数监测。郭伟东[121]根据煤流量检测结果实现输送带转速变频调整，达到主运系统节能的目的。运输智能调度方面，成彦颖[122]提出了一种结合边缘结构相似算法和YOLOv3 的输送带空载检测方法，为实现智能调度奠定了基础。此外，还可以通过目标识别技术监测运输装备的实时位置和状态，优化运输路径和速度[123]，避免碰撞和堵塞现象，提高运输效率。

运输装备机器人化也是转载运输系统智能化发展的重要方向。秦伟华[124]以带式输送机及其工作环境为主要巡检对象，制定了钢丝绳牵引式机器人巡检方案。G.Garcia 等[125]提出了一种融合麦克风、加速度计、激光、摄像机等的新型机器人，用于检测带式输送机结构。Sun Zhiyuan 等[126]采用基于机器学习和深度学习的图像识别和机器人控制方法，研究了煤矸自动分拣机器人系统。上述研究中，机器人的智能化和多传感器融合技术成为关键，为提高运输装备的效率、安全性和可持续发展水平提供了有力支持。随着技术不断进步，运输装备的机器人化将迎来更广阔的应用前景，推动运输系统向智能化、自动化的方向发展。

4 面临的挑战与发展新方向

4.1 面临的挑战

1）成像视野范围较窄。井下大型装备多，空间狭窄，光路易被遮挡，会导致成像不完整或质量不佳。超广角镜头虽可拓展视角，但会引起畸变校准和标定的难题。通过使用可移动/旋转的视觉平台或增加相机数目，可增大视野范围，但必须解决运动解耦、特征提取与匹配等问题。因此，采取何种方式增大短距视角是井下当前面临的技术难题。

2）环境适应性问题。煤矿井下全天候人工照明、高浓度矿尘、剧烈振动等恶劣采图条件，都增加了后期图像处理和特征提取的困难。视觉技术在矿井掘进中的应用，需要考虑复杂环境对系统的影响。同样，视觉检测系统的设计与选型除需满足防爆要求，最好还能具备除尘、稳像、光照自适应等功能。

3）智能化程度尚待提高。视觉系统的智能化程度取决于智能算法的使用。图像特征提取是关键，现有算法参数固定，实际工况变化时，特征提取效果难以保证。在实时性要求较高的场景中，目标检测算法具有一定的滞后性和不确定性。此外，参数解算阶段，如何在模型失效时结合前期图像推算出当前参数，也是目前面临的技术瓶颈。人工智能算法、深度学习、大数据等新一代高新技术的引入，可以为上述问题提供解决思路。

4.2 发展新方向

1）多传感器信息融合技术。机器视觉在综掘工作面应用具有优势，但低照度、煤尘、水雾等会影响采图质量。可结合其他传感器，如光电传感器、超声波传感器、惯性传感器等，通过制定“视觉测量技术+”检测方案，融合多传感器信息，弥补视觉缺陷，提高系统稳定性和适应性。典型的信息融合方法有神经网络、贝叶斯估计、卡尔曼滤波、D-S 证据理论等。在此过程中，如何处理多传感器冗余信息，综合考虑各参数形成可靠决策，是当前研究的热点。

2）设备群协同控制技术。煤矿综掘系统设备繁多、任务复杂。面向多任务、多系统，要确保高效、有序、智能地完成任务，必须解决多任务最优匹配、并行控制、协同控制等问题。现有方法包括强化学习、遗传算法、Agent 算法、P 学习、粒子群算法等。在单个子系统智能控制的基础上，如何实现多任务并行与多系统协同控制，是当前重要研究方向之一。将视觉处理与设备群协同控制技术结合，通过图像识别和分析可以辅助实现不同设备之间的协同控制。例如，利用视觉技术对掘进装备和运输装备的位置和运动进行实时监测和控制，从而优化综掘作业中的物料运输和装载。

3）数字孪生驱动的远程监控技术。现有的巷道监控系统使用的信息源单一、数据量小、可靠性低。数字孪生驱动的远程监控技术以视觉传感器为主，其他多种传感器为辅，在构建的虚拟场景中，可实现稳定、直观的巷道掘进工作面远程监控。但由于数据量剧增，图像传输速度、质量、信息安全面临挑战。因此，如何提高传输效率与实时性，并建设信息安全体系，将成为促进数字孪生技术发展、保障巷道掘进安全生产的重要发展方向。视觉处理技术可以帮助实现真实世界与数字孪生模型之间的数据对齐和更新。将数字孪生技术与视觉处理技术结合，通过实时获取和分析井下图像数据，构建井下场景的数字孪生模型，可实现对综掘过程的远程监控和仿真。

5 结语

综掘系统视觉处理技术在煤矿开采中具有广阔的应用前景。近年来，随着模式识别、人工智能技术的发展，机器视觉技术在煤矿井下的应用也从最初的安防监控，逐步发展到煤机装备的位姿检测、目标识别、故障检测、三维场景重建、安全监测等多个方面。介绍了综掘工作面视觉处理关键技术及应用现状，总结了机器视觉技术在综掘工作面应用面临的挑战，并提出发展新方向。随着科技的不断进步和创新，机器视觉技术在煤矿综掘工作面的应用将向更加智能、高效和可靠的发展方向，并与各类新技术交叉融合，真正实现煤矿井下无人智能化开采。