煤矿巡检机器人智能传感与控制系统设计研究

江新奇，刘敬玉，李忠飞，刘志华，龙永祥

(国家电投内蒙古公司露天煤矿，内蒙古 霍林郭勒 029200)

随着机器人技术的快速发展，在煤矿巡检领域使用机器人代替传统的人工巡检和自动化监控，不仅能够有效避免传统巡检方式所存在的弊端，而且对实现“机械换人、自动化减人”的目标有重大促进意义[1]。矿用巡检机器人不仅需要具备常规巡检机器人的巡检能力，如设备巡检、仪表状态识别、异常情况报警等内容[2]，同时还要考虑开采环境的特殊性。目前，带式输送机是我国煤矿运输物料的主要设备，由于胶带长期处于高载荷下，易发生破裂、跑偏等故障影响运输效率，因此需要投入大量人力定时对胶带进行巡检，但煤矿环境恶劣，空气湿热、地形起伏大、照度低，工人长期在该种环境中进行巡检工作，极易产生疲劳，出现错检和漏检情况，为此亟需设计一种巡检机器人的智能传感与控制系统替代工人巡检，提高巡检效率。

针对煤矿巡检机器人智能传感与控制，卢万杰[3]等使用深度学习算法优化设备识别算法，实现了巡检机器人对煤矿设备的精准识别与分类。聂珍[4]等设计了一种煤矿巷道气体检测系统，系统可动态监控巷道任意截面的多种气体浓度，并报警检测误差外的气体浓度。宣鹏程[5]等设计的带式输送机巡检机器人系统采用轨道式巡检方式，该系统实时收集输送带的图像信息和声音信息，向后台反馈识别到的异常情况。张涛等[6]采用单目相机-激光雷达-烟雾、声音、温度多传感器融合的方式分析检验输送带故障，对减小故障损失、减轻工人劳动强度有一定现实意义[7，8]。

目前的煤矿领域针对露天环境的带式输送机的感知系统，只能满足输送带故障检测，异常声音检测等基本的巡检要求[9，10]，但基于单目或双目相机的感知系统在照度较低或不均匀环境，难以正常工作，且障碍物遮挡易造成图像检测错误。采用低照度高清摄像机、补光系统和红外热成像仪对环境进行感知，实现仪表数据识别、旋钮状态识别、胶带跑偏识别、火焰识别等功能，同时采用深度学习算法对拾音器的原始声音进行神经网络还原，并与正常声音对比，可有效检验出煤矿带式输送机异常声音。

1 智能传感与控制系统设计

煤矿特殊复杂环境，按巡检方式可分为地面移动机器人巡检，悬挂式轨道机器人巡检和飞行式移动机器人巡检，由于煤矿非结构环境对于地面移动机器人的越障性能和地形适应性要求较高且平衡防爆设计与运动性能的难度较大，另外飞行式机器人的续航和防爆问题以及障碍检测也是巡检中的难点，综合对比选择了轨道式悬挂机器人作为巡检主体，该机器人需要在前期完成轨道铺设和防爆设计，工作时需要对环境进行图像，声音的采集，同时可实时反馈自身位置并对障碍物作出反应，为此设计一种巡检机器人智能控制与传感系统，传感器安装位置如图1所示，该系统结构如图2所示，系统主要由图像采集模块、语音识别模块、环境感知模块、无线通讯模块组成。

图1 悬挂式巡检机器人传感器示意图

图2 悬挂式巡检机器人智能控制与传感系统

1.1 图像采集模块

悬挂式巡检机器人在工作时需感知环境并报警异常情况。煤矿环境复杂，部分地区照度低，障碍物遮挡等情况会严重影响图像采集效果，为此使用低照度高清摄像机与红外热成像仪采集图像，其中低照度摄像机的光学变焦为4倍，可提供200万DPI有效像素图片，自带的补光系统可呈现低照度环境下的清晰影像资料。红外热成像仪能够实时采集和采集带式输送机运行时托辊的温度，可实现过温报警，温度异常提醒等功能，红外热成像仪参数见表1。摄像机与红外热成像仪共同封装为双视云台，云台可在水平方向360°旋转，垂直方向俯仰角为±90°，这有利于巡检过程的数据采集与分析识别。

表1 红外热成像仪性能参数

为了替代人工巡检识别胶带跑偏、带式输送机带面异物、仪表示数、阀门阀杆状态、液位计等信息，开展了基于机器视觉的智能检测分析。原理如下：对图像进行中值滤波去除图像中的散斑噪声，通过图像直方图均衡化使得图像归一化到一致的对比度区间，再根据被测物的特征通过膨胀、腐蚀、顶帽等处理，结合被测物形状的二进制对象特征确定是否存在被测物。为了缓解视频存储所需要的空间和传输所需的带宽压力，或者对于一些非重要的视频采用低码流方式进行压缩和传输。

1.2 语音识别模块设计

悬挂式巡检机器人工作时需要对输送带进行实时监测，图像采集模块可以检测输送带的偏移、凸起、发热等故障，但不能对潜在的风险进行分析，为此需要采集输送带工作的声音，与正常的工作声音分析对比以判断输送带工作状态。

为了提高拾音精度，语音识别模块选择的拾音头配有大口径镀金震膜，其优点在于本底噪声极低，采音范围广，实时性强。由于煤矿通讯功能受限，当工人遇到紧急情况时汇报效率较低，该模块的支持双向语音对讲功能，对讲音量在110dB以上，为进一步降低环境噪声，该模块采用Clear Speech技术，设计“电子噪声动态闭环抑制电路”，实现自适应动态降噪处理。同时利用高灵敏度拾音器采集声音，检测现场的异响、异音，通过智能分析处理，判断现场设备是否出现异常，拾音器参数见表2。

表2 拾音器参数

拾音器采集到巡检过程中的音频数据后，系统对采集到的连续多帧声音信号进行特征提取，利用深度学习算法训练多组正常声音特征的时间序列，构建序列库。原始声音经过神经网络后被双曲正切激活函数和交叉熵损失函数还原为新的序列，正常声音会被还原为与输入非常相似的特征序列，而异常声音经过神经网络后，则不能完整还原到输入的特征序列。计算输入特征序列与输出特征序列的相关性，如果相关性低于预设阈值则当前是否为异常声音，否则为正常声音。

1.3 环境感知模块设计

虽然悬挂式巡检机器人在固定轨道运行，不易遇到障碍物，但不排除在低矮环境下，操作人员误触碰机器人，或轨道上出现障碍等特殊情况，为此巡检机器人需具备高精度的定位、智能防撞、避障功能。

机器人搭载了姿态传感器，可实时获取机器人姿态、加速度等数据；搭载的高分辨率编码器可通过计算驱动轮旋转圈数获得精确的里程数据。机器人结合基于RFID的定位算法，通过布置定位基站，测算机器人当前位置，实现厘米级定位精度。机器人过网络实时上传自身位置信息至集控中心监控平台，根据不同的速度情况判断是否存在卡滞、飞车等情况，防止驱动轮干磨与超速失控情况的发生。

机器人选择基于ToF原理的固态面阵激光雷达，雷达无任何旋转部件，可靠性高，垂直方向视场角大，探测范围广。雷达通过发射与接收近红外光并计算发射光线与接收光线的相位差与时间差确定机器人与障碍物的距离。其中激光雷达探测距离0～10m，探测角度120°，机器人遇到障碍会自动停止运行并报警，当警报解除后机器人继续运行。

为了进一步优化避障系统，算法设置了指定的探测区域，并筛选出最关键的避障目标，即选择实际距离雷达最近的障碍物，并集中处理探测资源与运算资源，精准地反馈该障碍物的方位角信息和垂直距离信息，最终CANBUS传输给机器人以实现精确避障功能，固态面阵激光雷达探测如图3所示，探测区域如图4所示。

图3 固态面阵激光雷达探测图

图4 探测区域示意图

1.4 无线通信模块设计

为实现巡检机器人在带式输送机范围内实现无线网络的无缝隙覆盖与切换，巡检机器人系统采用无线数据网络传输技术，利用带式输送机沿线光纤通信传输网络，大约每500～800m设置一台无线基站，为确保通信系统在煤矿环境稳定运行，减少巷道对无线信号的吸收，测试所选无线基站为5.8GHz电信级增强型无线AP基站，经现场测试基站最大发射功率可达1000mW，最高传输带宽可达300Mb/s，无线设备CPU主频高达720MHz，最远无线传输距离可达5km，这保证了视频在传输中无卡顿，数据无断点。

根据现场情况，布放2台无线基站，分别安装在巷道起点与终点，巷道长度为700m，2台基站通过光缆和电缆进行连接，确保机器人巡检路径上无线信号全覆盖。

现场组网网络拓扑如图5所示，无线基站连接了各个部件，机器人处理并将环境中的图片、声音、气体浓度等信息传递到上位机，权限用户可以通过上位机获取环境信息，也可以在地面使用智能手机实时监控异常情况，根据需求控制机器人的异动情况，当机器人电量不足时会自动返航到充电站实现自动充电。

图5 现场组网网络拓扑图

2 现场试验及分析

2.1 红外测距试验及分析

悬挂式巡检机器人工作时，需要根据红外热成像仪的数据判断设备是否有故障，为确定红外热成像仪的测距精度在不同温度下进行了测距试验，试验中，轨道处于水平状态，1号、2号、3号为3台相同设备，3台机器人的悬挂高度为5.3m。被测黑体的与机器人的红外热成像仪镜头中心处于同一水平面，黑体直径为11cm，这与红外热成像仪的镜头直径相同，分别测试红外热成像仪距离黑体1.5m、3m和5m时对高温的测试误差，试验数据见表3。

表3 红外热成像仪在不同距离与温度下的测量结果

由表3可知，红外热成像仪距离被测目标越远，误差越大。1、2号有效测量距离10m，3号有效测量距离5m，在镜头测量有效范围内，1、2号最大误差为±6.8℃，最小误差为±0.7℃；3号最大误差为±7.4℃，最小误差为±0.5℃，准确度比较接近。

2.2 环境感知试验及分析

图像采集模块集成了低照度高清摄像机与高精度红外热成像仪，后者能够对胶带托辊、电机、滚筒、减速机、巷道电缆等表面温度进行实时分析检测。现场应用效果如图6所示，图6中4个场景从左到右依次为支撑架、巷道电缆、暗光条件下的拉紧滚筒和暗光条件下拉紧硐室。

图6 现场应用效果

图6中的4个场景中的最高温度分别为20℃、16℃、27℃和28℃，设备处于安全状态，另外环境中的CH4浓度为0.3%，O2浓度为20.9%，CO、CO2和H2S的浓度均为0%。机器人的智能检测情况如图7所示，图7(a)中仪表数据示数为0.02，图7(b)中旋钮状态与预设情况一致，图7(c)中红色线条为胶带两侧边，蓝色线条为固定设备的边缘，根据红色线段与蓝色线段夹角与胶带长度测算胶带跑偏距离，当胶带跑偏距离小于跑偏阈值，胶带处于正常状态，否则胶带跑偏，图7(d)为火焰。

图7 智能检测分析

除了视觉检测外，异常声音表示胶带存在潜在风险，声音识别流程如图8所示。图8中正常的声音频谱经过神经网络还原为与原序列相似的序列，异常声音被还原为与原序列存在差异的序列。

图8 声音识别流程图

系统分析图像和声音信息，将分析结果发送至监控中心进行显示和播报，并具备异常状态报警功能。

3 结 语

针对煤矿复杂环境下巡检问题，设计了巡检机器人的智能传感与控制系统，其中图像采集模块可识别仪表数据、旋钮状态、胶带跑偏和火焰等情况，语音识别模块可识别异常声音，系统自动报警异常情况并生产报警日志，环境感知模块可感知环境温度和多气体浓度、实现动态避障，无线通讯模块为系统中各个模块提供了稳定的通讯环境。该系统对于煤矿减人，机器换人，实现煤矿智能化与无人化有良好的促进作用。