APP下载

煤矿机器人环境感知与路径规划关键技术

2022-08-18杨春雨

煤炭学报 2022年7期
关键词:煤矿算法规划

杨春雨,张 鑫

(中国矿业大学 信息与控制工程学院,江苏 徐州 221008)

中国煤炭使用历史已超千年,规模化、机械化煤炭挖掘有100多年历史,前期不科学的开采工作严重破坏部分矿区环境,包括地下水数量和质量下降、地面沉降、采矿废物储存不当、土地占用和其他影响,给当地居民生活带来不便,且该行业一直被广泛认知为高危、艰苦行业,相关技术受关注度较低,发展缓慢,矿业工作人员安全存在风险。针对采煤产生的环境问题以及安全问题,“十三五”期间,全国矿山产业结构不断优化,淘汰退出煤矿5 464处,涉及产能9.4亿t,整顿关闭金属非金属矿山和尾矿库1.9万余座。关闭技术未达标矿井令安全生产形势稳定向好,2020年是新中国成立以来首次全年未发生煤矿重特大瓦斯事故的年份,煤矿事故起数和死亡人数分别下降65.3%和62.4%,重特大事故起数下降40%。另一方面,行业安全性引起“用工荒”问题,但大量资源却亟待开采,关闭大量不合格矿井虽然起到了化解过剩产能、降低环境压力、增加居民生活质量和减少矿业人员安全事故的作用,也带来了煤炭产量骤减、能源成本增加及从业人员压力变大的副作用。中国是最大的煤炭生产国和消费国,国际能源署在其发布的报告《世界能源展望2020》中预测,截至2040年,中国对煤炭的需求将占全球煤炭需求的50%,全球煤炭需求将增加15%。国内报告指出,全国目前仍有大量煤矿地下储备待合理开采,2015年中国煤炭资源已确定储量达1.56万亿t,2016年探测新增储量316.90亿t,2017年煤炭勘查新增查明资源储量815亿t,2018年新发现矿产地20处(大型14处、中型4处、小型2处),2019年煤炭查明新增300.1亿t储量。

近年来,在关停不合格煤矿矿井以增加行业安全性、投入使用“少人/无人化”智能矿用机械以提高开采科学性和效率性的多重影响下,我国煤矿智能化建设取得积极进展,这是煤炭工业发展的必然选择,且符合“中国制造2025”的国家战略。2019年国家煤监局提出的《煤矿机器人重点研发目录》明确了煤矿机器人的分类及相应标准,智能化采掘工作面从2015年仅有3个增加到275个,截至2021年1月增至494个、同比增加80%,掘进、巡检、运输等19种机器人在煤矿现场已有示范应用。2020-05-28天安科技股份有限公司国内首创研发出一款大断面矩形煤巷盾构式快速掘进机器人系统,为国内已知投入测试的掘进机器人,该系统可每月掘进大型矿井巷道2 km,其他智能化掘进机器人装备仍在研发中;2020年6月,中国移动与包括焦煤集团、同煤集团、晋煤集团、晋能集团四大煤炭企业在内的24家合作伙伴签署“5G战略合作协议”,晋煤集团利用部署5G网络及在矿卡本体加装高清摄像头、激光雷达、定位终端等实现无人矿卡的远程操控驾驶;2020年12月,国家电投集团内蒙古白音华煤电有限公司矿用卡车无人驾驶项目实现阶段性目标,并稳定参与到剥离生产作业中,矿区已完成12台无人驾驶矿用卡车编组运行,每台核载约为50 t物料,行驶速度为12 km/h,实现了单车中间运输路段无人运行;2021年3月,陕煤集团黄陵矿业公司部署煤矿巡检机器人群,该机器人群可以实现远程操控、智能巡检,减轻了约180位巡检工人的工作量。煤矿机器人的应用前景十分可观。

煤矿智能化和无人化发展已经取得重大进展,其中环境感知技术和路径规划技术已有较多研究成果,这2项关键技术的研发可以进一步提高机器人的智能化程度。煤矿机器人的环境感知可以为机器人自身安全提供保障、为机器人控制与决策提供数据支持,相关研究可分为2类:① 静态物体感知。针对掘进类和采煤类机器人的截割面煤岩分布精准感知技术,较成熟的方法大都基于声波反射原理研发,具有较好的感知能力,可以有效保护截割刀头并为截割路径规划提供有用信息。运输类、安控类和救援类属于地面行走型机器人,工作时一般使用雷达扫描感知静态障碍以确保安全。② 动态事物认知。对于复杂多变的煤矿环境,只配备静态物体感知技术略显不足,智能化的煤矿机器人需要实时识别动态事物的类型和状态,进而判断对自身有利的工作状态。利用视觉传感器结合深度学习方法是目前最先进的煤矿机器人动态认知技术,具有操作性强、多种稳定框架可供参考的特点。针对煤矿机器人的路径规划技术可分为3类:① 关键部件定位。定位技术是路径规划中的基本功能,一般使用坐标变换法,通过多坐标系统的换算关系确定煤矿机器人的当前位置。SLAM为目前最先进、精准的定位技术,该方法以坐标变换为基础,结合环境感知进行机器人同步定位。② 全局最优路径决策。该技术在救援类机器人和运输类机器人中较常见,属于优化调度问题,其目的是在一定时间内决策规划出最低成本(路径最短、节点到达重复率最低、紧急度协调等)的多目的地路径,目前较先进的方法有进化计算类方法、Voronoi图论法等,仍具有较高的研究价值。③ 自主避障规划。煤矿机器人在工作时关键部位需要行走于工作面,如何避开障碍物以保证机器人及周围环境安全十分关键。运输类煤矿机器人在该领域具有特殊优势,目前常用的技术有A*算法等,但这类传统方法较难应用于突发情况较多的煤矿环境,结合环境感知技术实时获取工作环境信息实现煤矿机器人根据环境信息做出实时避障是现在学者主要攻克的课题之一。感知技术令煤矿机器人获取工作环境中的信息并进行合理地自主筛选,利用感知信息结合路径规划方法,煤矿机器人做出自我决策并完成关键部件控制,实现机器人在矿区环境中的安全、稳定行走,可以为机器人的工作提供稳定的性能支撑。

根据《煤矿机器人重点研发目录》,需要环境感知、路径规划技术支撑的煤矿机器人可以分为5类:掘进类(掘进机器人)、采煤类(采煤机机器人)、运输类(搬运机器人、巷道清理机器人、井下无人驾驶运输车、露天矿卡车无人驾驶系统)、安控类(工作面巡检机器人、带式输送机巡检机器人、巷道巡检机器人)、救援类(井下抢险作业机器人、矿井救援机器人、灾后搜救水陆两栖机器人)。笔者根据现有行业指导方案及国内外研究进展,以环境感知和路径规划为切入点总结了上述5类煤矿机器人的现状,归类现有研究并分析了煤矿机器人环境感知和路径规划研究中的热门研究方向和亟待解决的关键问题,讨论了相关方向的发展趋势,以期对后期研究提供借鉴。

1 掘进类煤矿机器人

巷道掘进是煤矿开采的第1项工作,对后期开采起到决定性作用。在掘进工作中,掘进机利用行走机构向前推进,利用工作机构破碎和挖掘岩石,在矿区平直地面开凿出可通行巷道,具有成巷效率高的特点。图1为煤矿掘进装备,图1(a)为代表性的掘进机机型,一般用于中小型巷道的掘进工作,具有操作简单的特点;图1(b)为掘进和锚杆钻进一体机,该机型进行掘进工作的同时使用顶部锚杆钻进机在巷道壁上打入锚杆进行实时加固;图1(c)为盾构机,一般用于大型巷道掘进。

图1 矿用掘进机械装备Fig.1 Coal mine roadheader machines

使用图1(a)型掘进机工作时,掘进机向前掘进一段距离后退出当前掘进段,使用专用设备对新掘进的巷道进行锚杆、支护、兜网支撑,根据需要进行适当喷涂加固后再次开展掘进作业,当遇到瓦斯过浓时停止工作,等待通风达到空气标准后再施工。掘进机需要根据煤岩的层理性质选择合适的掘进方式,即始终遵循“先软后硬、自下而上、从四面向中间”的截割方法,遇到过硬岩石时采用局部爆破等方式突破,如此反复工作直至完成巷道掘进。

参考以上工作机理,掘进机器人环境感知部分主要为掘进工作面煤岩分布的识别,而路径规划的重点在于研究掘进机器人车身相对大地坐标的定位、掘进头相对掘进工作面的定位、掘进头在掘进工作面上的路径规划。掘进机器人一般不存在大范围、长距离的行走,所以不考虑车身的路径规划。图2为掘进类煤矿机器人的技术内涵。

图2 掘进机器人技术内涵Fig.2 Connotation of roadheader robot technology

无人化和智能化煤矿开采需要掘进机器人具有自主决策、智能控制能力,具备定位导航、纠偏、多参数感知、状态监测与故障预判、远程干预等功能,实现掘进机高精度定向、位姿调整、自适应截割及掘进环境可视化。

1.1 环境感知

掘进工作开展前,需要探测待开采矿区的煤岩基本环境,为掘进机器人规划出有利的巷道掘进地图。该工作无需获取精细的环境地图,一般工作流程为:在大范围探测基础上使用相对精确的探测方法确认煤矿范围、煤层结构和煤岩分布。相关勘探技术可以满足宏观探测采煤矿区煤岩分布情况的需求,且成熟方法已付于实际使用。

巷道掘进时,掘进机器人需要更加准确的环境感知技术辅助机器人完成精准操作。薛旭升等提出在掘进机驾驶室顶安装双目摄像机并采集巷道空间三维图像,使用Otsu法对空间图像进行分割,以提取巷道空间中的特征点;张旭辉等使用激光指向仪和防爆相机搭建了巷道视觉测量系统,并在走廊使用烟雾制造器模拟巷道环境进行仿真,图像解算的结果精度较高。但根据目前成果可以看出,使用视觉感知技术对于采掘工作面进行精细感知仍在发展阶段。针对采掘工作面和采掘巷道的感知技术应具备获取精细煤岩分布的能力,并以此为掘进头的有效工作提供参考,防止掘进头撞击岩石造成刀头损坏。目前研究工作较少且多集中于提供定位信息,与视觉感知技术在其他领域的研究和应用存在较大差距,小范围、精细化的掘进机器人环境感知技术具有较大发展空间。

1.2 定位与掘进规划

掘进机器人的定位包含了掘进头定位和机身定位,掘进规划主要指规划一条掘进头在掘进工作面上的最优截割路径。

传统定位方法使用多坐标系统及其换算关系对掘进机器人机身机组进行定位。李军利等分别建立大地、掘进车、巷道3个坐标系统,分析了掘进机悬臂的正逆运动学及其解算问题,通过坐标变换确定掘进机关键部位位姿定位并控制掘进行为;徐楠等根据实际开采环境和理论实验的对比发现掘进机器人大部分时间工作于恶劣的倾斜面上,使用几何投影法对机器人截割头实时位置和巷道断面建立空间数学模型,以EBZ-150II悬臂式掘进机为测试机型,利用实际参数代入Matlab模型,结果显示利用该模型可以有效完成断面掘进规划;TIAN等将悬臂式掘进车头的机械组成简化为由一系列连接的平移或旋转接头组成的运动链,利用齐次坐标变换和机器人运动学构造了机身和切割头相对于大地坐标系的空间姿态矩阵,该方法的思路来源于三自由机械臂的建模、定位及控制方法,具有成熟的理论支撑,实施性较强,可以为多种悬臂式煤矿机器人的建模和定位提供思路,但在具体实施时需要进一步考虑动力学模型;王慧等使用与李军利等相同的环境建模方式,与之不同的是使用倾角传感器检测机身俯仰角和横滚角再通过坐标转换确定机身方位并沿着预定轨迹前进,该方法比李军利提出方法更具有可操作性和准确性。

掘进头路径规划大都采用人工示教记忆截割法,方法原理如图3所示。

该方法由“人工示教”和“记忆截割”组成,可以减少工作人员的重复工作。人工示教时,矿业工作人员使用手动控制模式记录截割头工作轨迹并保存,保存的数据将作为“记忆”用于掘进机或采煤机的自主截割。叶海涛比较“人工示教”中的自下而上和自上而下蛇形截割路径,比较结果显示自下而上的断面掘进方式顶板位移小,更有利于保持巷道稳定性;毛君、李建刚和王福忠等采用记忆截割法根据实际矿井半圆拱形巷道尺寸建立掘进悬臂的动态数学模型,以此预设掘进机截割头的运行路径,机械化的完成巷道的掘进工作。虽然基于人工示教的记忆截割法便于实现,但其规划方式比较单一,掘进机本身不会根据现实情况做出适当调整,只适用于较规整的工作断面,在复杂工作中需要技术工人随时观测实际开掘情况,防止掘进头损伤影响工作计划。

图3 人工示教记忆截割方法原理Fig.3 Principle of manual teaching memory cutting method

为了研制更智能的掘进机器人,实现更精确、更自主的机器人定位和决策规划,提高掘进头的有效截割效率,部分学者引入基于视觉系统的感知技术辅助其自主决策和智能控制。薛旭升等提出一种使用双目视觉图像定位掘进机器人在巷道中位置的研究思路,根据图像信息重构标定巷道特征确定当前掘进机器人位置,利用实际走廊模拟巷道进行实验并分析误差,模拟结果较好。虽然该实验与实际掘进巷道差别较大,但是可以确定其在地面较平坦、障碍较少的环境中具有较高参考意义,实际复杂环境需要更多的实验支撑。卢新明等利用多种传感器、测控设备和工控机搭建了面向无人工作面的掘进机器人井下定位物联网系统,在实际煤矿开采中利用物联网信息获得惯导系统(Inertial Navigation System,INS)实时姿态确定INS坐标系进行定位,将定位误差控制在均方根5 cm以内,基本实现了精准感知,为精确化掘进提供实际数据;张旭辉等通过几何投影的解算方式获得掘进机器人的位姿参数,使用全站仪和INS验证该视觉测量纠偏控制系统,其方向偏差小于30 mm,方向偏差小于40 mm,偏航角偏差在0.5°左右。

与“人工示教”相比,结合环境感知技术可以实现掘进机器人根据不同围岩条件和不用环境工况做出自适应调整,并利用车身周边的传感器实现工作人员检测。既可以提高工作效率、减少损伤性成本,也可以提升工作环境的安全性。

2 采煤类煤矿机器人

采煤机作业决定该煤矿的生产效益,主要完成机械化掏槽和截割落煤,即在矿井下对采煤工作面(缓倾薄煤层﹑极薄复合煤层)开切底槽以截割落煤,取代较落后的手工工作。采煤机的研制和应用既改善了采煤工人的安全工作环境,也提高了采煤效率和优质煤块产出率。已投入使用的采煤机如图4所示,图4(a)为常用采煤机机型,使用横向截割的方式采煤;图4(b)的功能设计与掘进机类似,属于向前推进式采煤。

图4 煤矿采煤机Fig.4 Coal mine shearer

图4(a)型采煤机具有前后2个截割滚筒,机身使用侧滑靴固定于轨道上,采煤时前后滚筒在采煤工作面上横向采煤,并同时使用支护装备加固上下岩壁,使用带式输送机运输落煤,当该采煤工作面采煤完成后控制采煤机向未采区行进。

采煤机的工作环境、技术指标和生产成本要求其必须具有较高的鲁棒性和工作精度。其工作环境中存在的多种异构障碍物和截割产生的大颗粒粉尘极易造成采煤机关键部位故障,进而导致采煤工作中断,产生巨额经济损失。因此,提升采煤机智能化水平及其工作效率的根本措施是使用煤层及异构障碍的探测信息建立采煤刀头运行地图实现采煤机截割头合理截割路径规划。现有开槽和截割技术仍然停留于机载探测截割、人工示教记忆截割阶段,需要多位不同分工的技术工人井下协助。人工示教记忆截割法是目前较成熟和常用的半自主控制方法,但该方法无法有效地利用岩石变化实现自主走控决策。因此,煤岩环境感知和滚筒路径规划依然是采煤类矿用机器人研发的关键技术。其技术内涵如图5所示。

图5 采煤机机器人技术内涵Fig.5 Connotation of shearer robot technology

采煤类煤矿机器人的工作要求决定其需要研制出一种具有采煤机特点且更智能化的特种机器人——采煤机机器人,其研发要求是:能够自主决策、智能控制,具备精准定位、采高检测、姿态监测、远程通信控制、煤岩识别、状态监测与故障预判、可视化远程干预等功能,实现采煤机自主行走、自适应截割及高效连续运行。

2.1 环境感知

采煤机的全局环境感知技术与掘进机环境感知技术类似。崔伟雄等针对环境对透射槽波影响大且实际槽波传播特征与“岩-煤-岩”模型差别较大从而无法直接利用槽波检测煤层状况的现实问题,提出一种基于槽波频散理论和分频处理技术反演煤层厚度变化的方法,实际应用效果较好;张东营等验证了槽波投射法与煤层厚度的关系,并得到了槽波主频-煤厚-波速的对应关系;苏亮等提出使用震波CT辅助预先勘探获取精细地质模型,并在该三维模型中标注出顶底层的特异点作为采样点,以此提高采煤机使用记忆截割法在复杂褶皱地质中的不足,但该文缺乏具体的模型构建方法和仿真环境描述,结果可靠性有待进一步验证。

以上提到的方法可行,但是精细化的地质模型中对特异点的定义以及对特异点的标注需要明确界定,否则过多的宽泛无序的信息和特征点会影响地图建立的时间并在地图中产生噪声点,增加采煤机控制难度。为了提高环境感知的准确度,逯振国等提出了一种通过识别试切时电机负载电流差别的方法确认局部工作面的煤岩精确分布,但该方法可行性有待验证,且会极大的增加采煤的经济成本和时间成本。刘万里等使用动态修正方式逐渐精细化工作面三维模型,使用激光探测技术在采煤机开采推进过程中实时获取局部细致地质信息,采用二次序列规划获取模型修正值,再利用克里格空间曲面插值法将修正值插入原有模型,达到精细化建图的目的;在地质勘探获得相应数据的基础上,XU等使用蝙蝠算法确定了传统变量平移小波神经网络的关键参数,实现了通过采煤机声波准确识别在线切削模式,并使用卷积神经网络(Convolutional Neural Networks,CNN)识别采煤工作面的诊断识别功能;司垒等和牛文洪建立了最小二乘支持向量机(LS-SVM)的煤岩预测模型应对煤岩分布的不确定性,并使用混沌粒子群优化算法对LS-SVM的参数进行优化,最后使用样条插值平滑曲线,预测结果误差可以控制到实际值的5%以内;葛世荣等对截割地图的精确化提出了另一种理论猜想,使用C-SLAM生成雷达扫射工作面点云图,获取目前煤层结构和起伏情况参与地图构建,该地图精度可达到5 cm以内,同时在采煤过程中利用截割头声波和温升识别辅助确认煤岩边界,进一步精细化采煤工作面地图。

采煤机的环境感知技术与掘进机有较多相似点,包含探测全局煤岩分布和感知局部截割工作面煤岩精细分布。但与掘进机相比,其相关感知技术的结果多用于指导截割头的精细化截割工作而非采煤机定位。采煤截割工作面的精细化感知具有较大挑战性,目前研究成果大都使用被动式感知,即通过观测截割头相关物理参数变化判断截割头是否与岩石接触且发生碰撞。该方法存在不可靠性,且容易损坏截割头外圈刀头,研究主动式环境感知技术更符合采煤机机器人的工作需求。主动式环境感知技术中,CNN识别具有更好的前景。该方法可以较好地应用于各类机器人的环境感知,并通过训练完成多种物体的识别。图6为使用四隐层CNN网络对山脚树矿上部车场电机车的识别原理技术。CNN由输入层、隐层、输出层组成。如图6所示,输入层输入原始图片,经过隐层训练提取特征点,再使用加权法得到待感知识别物的种类。其中卷积层使用卷积核对原始图像进行卷积计算,输出特征图;经由激活层对特征图进行非线性映射;再经过池化层压缩特征图,令特征突出。该方法可以进行特征点自动提取,取代了传统感知识别中由人根据经验判断特征的情况,但将其应用于井下环境仍然需要考虑较多实际问题,如:粉尘对视觉传感器的影响大、井下识别物体数据库建立难等。

图6 CNN网络识别电机车的原理技术Fig.6 Principle of identifying mining electric locomotive by CNN

2.2 截割头定位与采煤路径规划

采煤机器人主机体行走机构属于在轨运行,性能稳定,并不随意行走,故其路径规划和定位技术主要基于采煤端头的采煤路径规划展开研发工作。目前最常用的采煤路径规划方法即“人工示教”记忆切割法。针对该方法的缺点,季瑞等引入异常状态检测获取煤岩分布情况,但该方法属于被动检测,存在极大风险;王忠宾等提出使用人工免疫思想过滤“记忆”中的杂乱数据;谭超等采取记录“人工示教”过程中关键点的方式减少繁杂信息对“记忆”的影响,并使用3次样条插值法平滑记忆路径提高采煤机器人稳定性;王左生将记忆点分成常规点和动作点,当进行常规点记录时,“人工示教”记录频率使用距离(1 m)作为间隔标准而不再使用时间间隔(10 s),这样可以减少繁杂且重复的数据造成“记忆”混乱,当示教中操作员做出指令控制采煤机端头改变轨迹时则记为工作点记录;贾文等在常规点和动作点的基础上增加了特殊点分类,特殊点指采煤端头自适应调整时产生的路径点;当煤岩地质条件发生变化时,记忆截割路径将发生偏移,张丽丽等使用微粒群算法和遗传算法2种进化计算方法对路径偏差进行处理,解决记忆截割方法鲁棒性差的问题;权国通等为优化记忆路径的偏移提供了另一种思路,即使用粒子群优化算法根据煤层条件对初始路线进行二次优化并平滑,从而达到自适应煤层变化进行采煤工作,但煤层信息难获取、模型单一及计算代价过大等缺点文中并未给出具体说明;陈金国等为了提高单向示范刀采样轨迹与记忆截割轨迹的吻合度,使用粒子群算法对采样参数进行优化,优化结果显示单向示范刀的轨迹与记忆截割轨迹的跟踪误差在±5 cm。除了使用进化计算等智能优化方法调整记忆截割路径,PID等控制方法结合有效的模型也可以很好地完成自适应控制,该方法在煤矿机器人自主控制中多与模糊算法、专家系统等相结合以进一步提高智能性。MI等使用专家系统实现采煤机截割头的路径规划,使用基于规则骨架和规则体的设计方法建立了截割路径规划知识库;刘春生等和储健等基于矿井顶板和底板的数字化模型建立了采煤机器人滚筒摆臂摆角模型,使用模糊自适应PID控制进行轨迹调整控制;卢乔利用模糊系统对采煤机遇到特殊情况时的速度变化进行自适应调整,将实际转速与理论转速的偏差作为模糊控制器的输入,但是该文未给出模糊控制器的设计说明;而朱志英、黄华和LI等为采煤记忆截割路径自适应控制搭建了更加细致的模糊系统;雍建军使用BP神经网络和RS理论建立采煤机的运行状态模型,使用专家系统和模糊算法辨识采煤机故障和选择合适的控制指令;陈伟华等使用一种记忆保持能力强化的深度长短时记忆神经网络对采煤机的记忆截割轨迹进行预测以实现采煤机截割滚筒的自动调高。老式“人工示教”采煤技术使用已得到认可,较难推广全新采煤技术,在老式技术的基础上进行智能化调整不失为一种较好的方法,且一定情况下提高了相关工人的认知度,有利于全智能化装备的投入使用。

经过改进的“人工示教”方法已经有了极大改观,但是大都属于被动检测和被动调整,在实际工作中依然存在极大的经济成本和矿井安全风险,寻求主动检测或预测方法对采煤机器人进行合理的路径规划控制不但可以减少经济成本还可以增加采煤机器人的智能化程度。董刚等提出了一种虚拟煤岩界面方法,该方法与机器人路径规划中常用的人工势场法类似,即定义顶板岩层存在斥力且当滚筒越靠近时斥力越大,而煤层则存在引力场,但该方法没有考虑勘探时的探测误差;柴浩洛等对煤岩切割顶板建立三维地质模型,并在系统中进行仿真模拟预切割获取顶板的控制关键点,将相邻2个控制点作为采煤路径并平滑处理。文献[61-62]虽然理论上解决了滚筒触碰边界问题,但是在没有精确地图的情况下无法规避滚筒与煤层中异构岩块或岩石层理接触的风险。为此,范森煜做了提高轨迹稳定性的工作,使用微分控制系统对机身各摇臂的倾角进行静态坐标系修正并根据实际位置反馈二次修正误差;葛世荣等利用INS和里程计定位工作中的采煤机器人,但是该方法随着时间增加产生的误差会不断发散;郑江涛等使用激光雷达辅助探测局部环境信息配合INS完成采煤机的实时定位;ZHANG等使用先验知识集,通过一种基于稀疏滤波的深度学习方法识别截割头的工作状态以减少截割头在采煤时直接与岩石相碰。

由以上成果可以看出,采煤机自识别位姿状态和采煤工作面的煤岩分布情况并根据识别结果做出相应的截割头位姿和路径规划是目前的最新研究内容和挑战。该类方法可以显著提高采煤机的智能化水平,但具有重要参考价值的现有成果较少。

3 运输类煤矿机器人

煤矿开采和生产工作离不开运输类煤矿机器人,一般配合其他关键矿用设备使用,如掘岩石转运、落煤运输、作业工人人车、辅助设备和物料输送、洗煤厂煤矿初产品配送等。其中,胶轮车具有高度灵活度,可用于多种运输环境,但无轨行走的特点增加了智能化实现难度。

图7即现有使用的煤矿无轨胶轮运输车。图7(a)所示无轨胶轮车一般配合单轨吊、龙门吊等用于煤仓、耗材仓库等路况较平整的转运工作。图7(b)所示的WLR型无轨胶轮车体积较小,配备多个座位和后备箱,常作为紧急人车和小型设备运输使用。图7(c)和(d)为常用的矿用运输车,其体型适中,方便装卸,一般配合龙门吊、掘进机等运输岩石、煤料和辅助耗材,其中图7(b)所示的车为防爆车型,可以工作于井下。图7(e)为大型运输卡车,用于露天矿区的煤岩运输。

图7 矿用运输设备Fig.7 Mining transport machines

运输类煤矿机器人处于起步阶段,其长期工作仍无法离开人为操控。分析已有研究,环境感知技术和运输车路径规划技术的研发可以加快煤矿运输车机器人化和智能化的发展。其环境感知包括对环境地图的创建和部分未知环境信息的识别;路径规划包括了运动规划和路径规划,根据环境不同及实际控制顺序,路径规划可分为全局路径规划、局部规划和轨迹重规划。技术内涵如图8所示。

图8 运输机器人技术内涵Fig.8 Connotation of transport robot technology

煤矿开采各环节均需使用运输类煤矿机器人。无轨运输类煤矿机器人按功能划分主要包含无人矿用卡车和无人辅助运输车。前者用于露天矿或大型巷道的煤岩运输,一般与掘进机器人、铲车和带式输送机配合使用;后者用于运输支护、锚杆、兜网等辅助用料和设备或者取代有轨人车,一般与电机车、单轨吊、装载机配合使用。以上2种运输类机器人都应具备远程无线通讯、GPS定位、自主行走、导航避障、装载自动识别等功能。

3.1 环境感知

与其他煤矿机器人不同,不同工种运输类煤矿机器人的工作环境有明显差异。

3.1.1 露天矿区或上部车场

露天煤矿一般存在于干旱/半干旱地区,是煤矿开采中较常见的矿区结构,而上部车场是井下煤矿生产中不可或缺的一部分。两者具有较类似的环境特点,主要表现在多种设备协同工作、有少量工人参与工作、地面破损严重、路标不清晰等。图9为贵州山脚树煤矿的上部车场。

图9 盘州山脚树煤矿上部车场Fig.9 Upper depot of Shanjiaoshu Coal Mine,Panzhou

车场使用龙门吊将堆放好的辅助物资搬运至电机车或辅助运输卡车,场地中存在工人、物料、电机车、电机车拉索、垫片、轨道、水坑等多种动/静态障碍物。与常规道路识别略有不同,露天矿区和上部车场存在高度不规律性,工作面没有规定的道路给运输类机器人的路径规划增加了难度。合理建模地面环境对开展运输类煤矿机器人的露天运输工作起到至关重要的作用。

3.1.2 井下巷道

井工采矿多在地下,工作人员行为简单、坑洼和相关设备较多,运输车行走范围两侧有巷道壁约束,故其环境特征相对智能汽车运行环境更加简单,但依然存在岔路口和运输目的地多的情况。其道路形式形态较常用道路多变,其中矿运道路网是露天矿和矿井下提供矿用设备行驶的基本路线,根据矿区实际运行情况分为固定道路、半固定道路、临时道路、移动道路4种道路形式,普遍存在路标不明确或磨损严重、车痕印记较多的特点。

图10(a)为常规的煤矿井下大巷,大巷常用于提升、运输、通风、排水等,一般会进行细致喷涂甚至贴上瓷砖等,照明等条件较好。图10(b)为常规回采巷道,这类巷道中一般配备带式输送机和电机车轨道,灯光照度低、地面水洼较多。

图10 煤矿井下环境Fig.10 Environment of coal mine tunnels

3.1.3 不同环境的感知技术

对于完全已知环境,可以构建全局规划地图,常用方法是栅格法和拓扑图法。栅格地图将现有地图分成连续的小格,并根据实际情况定义小格为0或1,即可通行和不可通行。而拓扑图法多用于道路狭窄且待规划距离较长的情况,即根据现有道路地图绘制出可通行线路。以上2种方法各有优劣,栅格地图对障碍物的刻画更加细致,也是目前主流使用的地图模型建立方法,但当地图足够大时,栅格地图的信息量会随之增加,不利于有效信息的存储。拓扑地图更偏向于全局规划,但是该方法没有障碍物的刻画功能,需要配合其他方法同时使用。

建立拓扑地图和栅格地图主要用于处理静态障碍问题,当存在动态障碍物时,需要使用滚动窗口等方法实时检测并将障碍物信息表现于原始地图模型。雷达和视觉相机生成可视化地图是环境建模及动态障碍处理的常用工具和方法。毫米波雷达与视觉相机结合是目前的研究热门,其突破了传统地图模型概念,可以更加智能地实现实时无人建图。韦海良等阐述了毫米波雷达用于露天矿卡的原理并在不同道路条件下进行实验,实验结果发现:毫米波雷达的测量距离不但更远,且与激光雷达、超声波雷达相比,恶劣天气和粉尘对毫米波雷达成像无影响;杨健健等使用激光雷达对观测井下环境中的障碍物进行检测并实时占用地图模型,HectorSLAM进行巷道边缘检测防止巡检机器人碰壁;陈先中等使用毫米波雷达和5G网络构建环境点云图,使用深度学习直接对点云进行语义分割处理,生成SLAM地图。使用深度学习方法直接处理点云图需要雷达获取非常稠密的环境图,该方法理论上可行,但是稠密点云的处理较麻烦,且占据内存较多,实际使用中不尽如人意。王陈等设计了一套井下无轨胶轮车的硬件系统,该系统包含了环境感知、智能决策模块,该系统利用卷积神经网络进行图像处理获取实时环境中的障碍信息,并使用模型预测控制(Model Predictive Control,MPC)进行避障重规划;陈龙等使用雷达建立露天矿区中无人驾驶辅助运输车的运行环境3D点云图,通过点云图识别到的边界障碍物用八叉树法构建入栅格地图主结构,提出实时占用栅格的方案;杜春晖设计了一种可以在低照度环境下实现高质量成像的高感光性图像传感器,可以解决矿井下无轨胶轮车司机视觉盲区大问题。

随着人工智能的发展,对雷达和视觉相机获取的视觉信息进行深度学习等智能处理的方法也趋于完善。白怡明研究了西湾露天煤矿110 t大型矿山卡车的无人驾驶路径规划和避障技术,其设计的避障规划系统使用激光雷达和毫米波雷达共同识别环境中的障碍物,再使用CNN预测该障碍物的轨迹,根据障碍物的预测轨迹规划矿用卡车的具体路线。这类方法在应用中也有一些缺陷,因为其自主化更强故软件开发和矿区改造成本相对其他方法更高,且使用机器学习策略的方法还需要考虑预处理阶段的时间和金钱成本投入,但目前该类方法绘制出的地图已经非常精确,且检测和识别障碍的水平较高,前景十分可观。

3.2 路径规划

运输类煤矿机器人的路径规划与智能汽车的研发类似,不同在于运输类矿用机器人的工作环境中存在岔路口造成的盲区较多、未知突发情况较多、井下照度低、场景单一导致的定位依据少、网络改造力度不够等情况,且其研发需要考虑矿区的行业标准和安全生产指标,故运输类煤矿机器人在工作中需要着重考虑路径选择和避障工作的先进性和准确性。目前,更成熟且能更快落地的路径规划方法包括A*、Dijkstra、人工势场法等。田子建等使用人工势场法进行矿井下导航,并在原始方法中引入相对速度场和相对加速度场,改进引力势场函数的人工势场法,提出了一种“全局势场线”概念令井下机器人进行局部规划的基础上参考全局环境完成最优路径选择,该方法与传统人工势场法相比,在导航方面更具自主性,且得到的路径更优;马宏伟等使用A*算法进行路径规划并引入深度学习方法关联ICP模型,利用Octomap作为机器人导航地图,结合PnP原理实现井下机器人的地图重建和实时定位;袁晓明等使用A*算法处理全局路径规划,对于动态和未知障碍物的避障工作则使用动态窗口法实现。传统方法之间也具有不同特性,在合适的情况选择合适的算法可以令路径规划结果达到更优。表1总结了常用的9种传统路径规划方法。

表1 传统路径规划算法比较Table 1 Comparison of traditional path planning algorithms

续表

Floyd、Voronoi图和Dijkstra法均适用于全局路径规划,可以通过选择从起点至终点的有向、连续路径集合,实现全局最短路径。其他方法适于局部路径规划或小范围的全局路径规划。其中,启发式计算方法表明该算法的路径规划具有一定的方向性(比如终点、重要节点影响),而非启发式算法在优化时更偏向于随机遍历式搜索。增量式算法则利用以往规划信息影响当前路径规划,其原理令算法具有“记忆”能力以获取更好的输出路径。A*、人工势场等方法因为结构简单且结果稳定已经在智能汽车、扫地机器人等领域有了应用,但同为启发式方法的进化计算类算法目前只停留于理论阶段,谭玉新等使用一种蚁群算法和人工蜂群算法相结合的优化算法在栅格地图上进行路径规划并使用B样条插值平滑路径,该方法理论上可以进行简单的井下路径规划;李学现等提出了一种利用改进蚁群算法规划露天矿卡最优路径的方法,该方法对既有线路进行编号,利用改进蚁群算法获取到达目的地最短的路线搭配方式,但其工作中未考虑当前路线是否存在障碍及卡车避障问题。进化计算的路径规划结果随机性过高,且目前未有与栅格地图等传统地图模型结合的较好策略,在工程应用中限制较多,直接投入使用需要更进一步的专项研究。

控制理论相关方法也适用于运输类煤矿机器人的路径规划,且已有学者使用MPC等控制算法完成实物实验。MPC属于经典的现代控制理论方法之一,本质是使用优化方法求解控制问题,在路径规划领域有较多应用。与PID等经典控制算法相比,其具有适合于多输入多输出问题、模型精确、结合最优化理论的特点。其技术原理如图11所示。

图11 MPC技术框图Fig.11 Technical block diagram of MPC

MPC由预测模型、滚动优化、反馈校正3要素构成。()为系统输入;()为输出;(+|)为预测系统未来响应;()为外部扰动;()为控制量,即受控对象的输入;(|)为当前时刻预测模型的输出。该方法需要对被控问题建模,并利用模型进行预测,根据预测信息完成控制决策。根据以上原理,MPC对于不同问题需要设计不同方案,余娅荣根据露天矿卡的运动几何关系推导出矿卡前进、倒退的运动学模型,使用基于MPC的前馈反馈模糊控制算法实现在线滚动轨迹跟踪,其中模糊控制器使用Matlab中自带的模糊控制器,根据实验结果曲线可以看出该方法在5~10 km/h的车速下均能较好地完成轨迹跟踪;罗维东等研究了地下无人铲运车转弯性能问题,针对井下无人铲运车在煤矿井下巷道中转弯性能较差问题,建立了铲运车的空间模型和基于运动学的位姿状态方程,提出使用非线性MPC局部路径规划,分别对不同宽度和长度的巷道地图进行控制。结果验证本文提出的非线性MPC算法比基于角平分线的MPC算法转弯效果更好,不会发生碰壁现象。柴森霖等使用Clifford代数构建了露天矿山节点、有向边和路径的统一表达,单独解决几何拓扑计算问题和数值优化问题,以扎哈淖尔露天矿作为理论模型应用场地,是解决露天矿区大规模运输的新思路。控制理论相关方法具有较成熟的理论推导和实际验证的体系,在进行试验时可以较好的找到理论不足,算法设计的针对性较强,在长时间的调试下可以实现半自主的路径规划控制及决策。

使用视觉信息实现实时避障在近几年的研究中较常见,也是目前的主流研究方向。杨健健等使用激光雷达对观测井下环境中的障碍物进行检测并实时占用地图模型,HectorSLAM进行巷道边缘检测防止煤矿机器人碰壁;陈龙等利用激光雷达扫描到的3D点云的信息令无人辅助车可以在运行中规避边界及其他障碍物。目前这类基于视觉的方法需要使用较大的内存和计算机算力,对硬件要求较高,且需要提前耗费大量时间进行预扫描,改造成本相对较高。

在运输类煤矿机器人中使用传统的路径规划方法可以更快地实现机器人运行实验,但这类方法对于动态突变环境的适应性较差,直接用于煤矿机器人路径规划的可行性较低,而参考环境感知信息实现运输机器人动态避障和路径规划更符合煤矿运输需求。

4 安控类煤矿机器人

安控巡检与煤矿开采的安全生产工作息息相关,是矿井下不可或缺的辅助工作。现有矿井巡检多依靠巡检人员携带手电及检测设备定时在复杂的巷道中步行检查,并在定点板牌上备注当前各气体浓度和巷道是否存在冒顶、漏顶等特殊情况,如若异常则及时上报。部分工作面使用定点摄像头辅助巡检,铺设专用传输光纤等线路,将摄像头采集到的视频或者图片传输给上位机,专职人员通过监控实时观察可能或已经发生的问题。瓦斯等有害可燃气体巡检则在煤矿井下布置可燃气体或有害气体检测装置,并配备警报系统。以上方法均需要考虑工作人员专业度、疲惫度、粗心度以及上级管理人员的重视度,极大地增加了巡检人员和地下工作者的风险。针对人工巡检的不足及其带来的潜在风险,研制安控类机器人参与煤矿开采工作不仅有利于智慧矿井的推进且可以减少人为误差的影响、加强安全生产管理。图12为目前相关企业研制中的巡检机器人。

图12 巡检机器人Fig.12 Inspection robot

按安控类煤矿机器人的行走方式划分,主要分为有轨式和无轨式矿用巡检机器人。有轨式巡检机器人的行走路线由轨道决定,但需要考虑定位等问题,而无轨式巡检机器人则具有更高的灵活性,但是需要考虑路径规划及避障问题。与其他煤矿机器人相比,巡检机器人的环境感知技术要求更高,其不但需要探测巷道、地面轨道等静止物体,还需要实时探测突发变化、其他移动设备及工作人员等动态事物并做出合适判断,确认是否存在风险。图13为安控类机器人技术内涵。

图13 安控类煤矿机器人技术内涵Fig.13 Connotation of coal mine inspection robot technology

井下回采工作面作业环境巡检机器人需要具备自主移动、定位、图像采集、智能感知、预警、人机交互等功能,实现煤壁、片帮、大块煤、有害气体、温度、粉尘、设备状态等监测;巷道巡检机器人需要具备自主移动、精确定位、设备运行工况检测、设施状况诊断、巷道变形检测、有害气体检测等功能,替代人工对巷道进行巡检。

4.1 环境感知

与第1~3节介绍的3种煤矿机器人相比,安控类煤矿机器人属于小型机器人,在煤矿井下起到辅助完成作业的功能,需要随时工作于更复杂的环境,而煤矿井下的轻微冒顶、坍塌碎岩、水坑便可能造成安控类煤矿机器人的各项运行故障,故其对环境风险的感知能力要求更高。

为保证安控类煤矿机器人在井下正常运行,关键是识别巷道地面的细微形变、工人、煤岩块、设备障碍。许苏等介绍了射频识别技术在煤矿环境下的应用,该技术可以检测煤矿环境下的动态障碍,再通过熟练工人对动态目标的观察判断是否前方存在风险。但该方法用于煤矿井下的环境感知中存在较多弊端:① 需要在巷道中提前敷设射频标识器配合安控类机器人识别巷道中的动态目标,存在信息传递误差问题;② 目前该技术需要工人协助判断,无法实现智能化环境感知并传递给路径规划模块使用;③ 其工作原理导致感知精度过高,对于巷道中动态障碍物检测问题适得其反,必然增加无用人工成本。基于视觉的环境感知技术具有识别功能,更适用于安控类煤矿机器人的井下环境感知。笔者提出一种利用均值哈希算法结合背景差分算法计算巷道变形程度的方法,该方法对采样视频的关键帧进行分析,极大地减少了连续监测带来的信息冗余问题,可以较好地识别出井下环境中的地形改变信息;LIU等使用三维激光扫描技术获取地下巷道表面参数,并生成内壁谐波深度图,通过该深度图像检测内掉落碎片等其他风险;韩江洪等使用基于回归的单阶段多框检测(Single Shot MultiBox Detector,SSD)神经网络对井下大物体进行识别,再使用CNN检测小物体,达到对CNN直接识别的速度慢等问题,实验显示速度是直接使用CNN识别的0.5倍,模型参数也减少到CNN的50倍以下;SHIN等使用一种改进的基于区域的卷积神经网络(R-CNN)训练6 281张图像用于辨识地下巷道或车场的渗漏痕迹,该训练后的模型识别以上3种现场情况的精度可分别达到37.76%,36.42%,61.29%;卫星等将井下区域大致分成金字塔注意力模块,配合综合空间路径模块可以有效地提高传统人工特征提取识别精度低问题并缩短深度学习方法的时间长度;同时,卫星等利用生成对抗网络对轨道检测进行识别训练,并在训练中结合多尺度信息,即将多个尺寸尺度的轨道图进行共享卷积,实验结果比语义分割算法更优越,检测精度达到95%。

产后出血是产科常见并发症,集中发生在产后2h内。引起产后出血的病因,包括子宫收缩乏力、软产道损伤以及胎盘因素、凝血功能障碍,各个原因能够合并存在,也能互为存在,其中以子宫收缩乏力为主[4]。产后出血处理原则:补充血容量、纠正休克、预防感染。相关资料指出,第一以及第二产程期间产妇自身的负性情绪以及滞产均是导致宫缩乏力的主要因素,而第三产程期间胎盘剥离不全导致的子宫收缩以及分娩造成的产道撕裂均会诱发产妇出血。在产后出血预防方面常规护理干预效果并不显著,而助产士通过进行第一、二、三产程以及产后护理可以成功提高产妇产后出血预防效果,提高母婴安全。

目前的环境感知算法不但可以感知巷道中的静态障碍物信息,对工作人员等动态障碍也可以做到较精准的识别。杨清翔等使用Fast-RCNN对煤矿井下视觉摄像头采集到的图像进行卷积处理,该Fast-RCNN具有候选层,且候选层和卷积池化层来自同一张照片,这样的设置可以提高人形目标的识别度;党伟超等使用双流卷积神经网络对井下配电室工作人员的行为进行检测,共检测站立检测、站立记录、下蹲检测、走动和坐下5种行为,该双流卷积神经网络分别对时间流和空间流进行特征提取,并对时间流和空间流分别赋予权值比例1∶2,可以得到较高的识别率;李现国等参考DenseNet网络对SSD网络进行轻量化删减,并将该算法与ResNet网络相结合用于对井下视频中的行人进行监测,改进的SSD算法有效的减少了计算量大问题,配合ResNet使用则增加了特征表征能力,实验表明该方法在密集物体中的行人监测率在88%左右,在稀疏群体中能检测到所有行人;张立亚采用机器学习和图像识别技术对井下开采人员行为进行学习,并预测环境安全程度,实验显示该方法可以98%的精度在2 s内完成工作人员行为识别。基于CNN的方法十分适用于各类物体的识别,是目前的热门研究方向,可以归类为机器对环境的认知层次,已有学者对常用几种CNN计算框架进行了总结,将这类算法开发应用于煤矿机器人的环境感知技术中对煤矿机器人的智能化产品开发具有实际意义。

安控类煤矿机器人通过相关感知技术识别到静态障碍物后,可以使用占用栅格地图法重建路径规划地图,规划出避障路线。通过对工作人员当前状态及其位于机器人周身位置的感知识别,可以进一步协助运行中的安控类煤矿机器人进行驾驶行为决策,实现机器人自主行走。

4.2 路径规划

安控类机器人分为2种:有轨式挂顶巡检机器人、无轨式胶轮巡检机器人。以上2种巡检机器人与井下无人辅助运输车的运行环境一样,均运行于井下空间,环境可见度低、场景单一且障碍物多样。针对安控类机器人路径规划问题,有轨巡检机器人提前铺设了轨道不需要考虑避障等问题,只专注于环境感知和机身定位技术,而无轨胶轮巡检机器人需要两者兼顾,且更要考虑行走过程中的避障。

有轨巡检机器人的路径规划研究侧重点为巡检机器人在轨道上的定位。王飞等设计了一款矿井变电所巡检机器人系统,该巡检机器人以H型钢为悬挂轨道,使用光电脉冲编码器记录机器人位移量完成机器人在轨道上的定位;刘建荣等设计了一款利用钢丝绳牵引行走的巡检机器人,该机器人属于有轨机器人,钢丝绳牵引的原理类似矿用带式输送机,利用电机拉动钢丝绳,从而牵引该巡检机器人,该方法实施性较强,但是弊端明显,在矿井下使用钢丝绳牵引的巡检机器人只能用于气体检测等工作,无法完成视觉采样,且灵活性较差,无法实现自主监测。因为轨道的限制,有轨巡检机动性差,巡检存在大量盲区,且需要考虑多条轨道交错设计问题,不完全符合智能巡检的要求,并行使用无轨式安控类煤矿机器人更适合智能化的发展。

无轨安控类煤矿机器人的行走区域可能包含多处斜坡和台阶,硬件设计和运动学建模是无轨安控类煤矿机器人运行控制的关键。SHANG等研制了具有内轴和外轴套的巡检机器人运动机构结构,该结构可以较少共振影响,减少运行时的噪声;王川伟等建立了履带式巡检机器人的履带模型,可以用于设计预测控制器,适用于不平整路面情况下的机器人运动控制;贾海东等对巡检机器人的行走部件进行设计,该设计中巡检机器人有轮式和履带式行走2种方式,可以完成斜坡、台阶等越障工作。

对于无轨安控类机器人的路径规划方法及其轨迹跟踪已有多方面研究。朱红秀等提出使用强磁铺设车轨确定车辆运行轨迹的方法,并使用干簧管作为磁敏开关传感器,该方法思路新颖,但是结果显示车辆运行时需要多次纠偏,具体稳定性参数仍需要再进行实验;肖林京等对井下危险等级进行5级划分,对不同等级的识别指定井下电机车不一样的制动距离或避障方式;郑日忠等设计了一套ZigBee硬件模块,该模块可以对井下巡检机器人定位,将定位信号发送给接收信号强度检测(RSSI)算法进行距离测算即可实现跟踪。

硬件传感器配置和避障策略的提出提高了安控类煤矿机器人的智能控制能力,而感知算法的改进可以提高其自主决策能力。金华明等在分布式分簇节点选择策略的基础上提出了局部异常因子算法用于实时监测井下巷道中可能存在的风险,实验结果表明该方法可以减少无线传感器网络在目标跟踪时的网络能耗问题,提高了跟踪准确度;李学民提出了一种用激光雷达检测预设人工路标的自主导航与定位方法,但该方法实际成本较高且容易损坏;杨林等使用激光雷达建立地图观测模型和里程计定位预测模型,使用蒙特卡洛算法和Fast-SLAM对机器人进行实时重定位,可以提高煤矿机器人路径规划和定位的精确度;彭继国等使用激光雷达扫描到的障碍物信息映射占据栅格地图,使用模糊控制机器人规划的方向和速度;马宏伟等使用对深度相机拍摄的照片进行特征匹配和重组从而获得高分辨率、多信息融合的高精度地图,以便于井下移动机器人使用图优化方式完成自主最优位姿调整和环境坐标定位;AZPURUA等使用雷达的同时定位和映射功能提出一种基于移动性优化的路径规划以及使用矢量场的导航控制,以此实现受限环境中的半自治检查,减少机器人操作对操作员的依赖性。

5 救援类煤矿机器人

图14 救援类煤矿机器人Fig.14 Coal mine rescue robot

煤矿开采属于高危职业,关闭不合格矿井虽然减少了事故的发生,但仍然需要防患于未然。在少人/无人化开采中配备救援机器人以备不时之需,不但可以协助实现重要设备的抢险工作,也可以在发生灾害时实现少量井下人员的救助。图14为中信重工研制的救援机器人。救援类煤矿机器人具有多种结构的行走机构,图14的煤矿救援机器人使用2自由度的履带,该结构可以较好的实现机器人攀爬,其环境感知机构包括双目摄像机、激光雷达等。救援类煤矿机器人技术内涵如图15所示。

图15 救援类煤矿机器人技术内涵Fig.15 Connotation of coal mine rescue robot technology

根据需求,救援类煤矿机器人应具备自主行走、精确定位、被困人员生命探测、音视频交互、紧急救护物资输送、井下环境识别、挖掘、钻扩、运送、远程遥控等功能,实现灾害后的恶劣环境被困人员自主搜寻,实现抢险作业无人化。

5.1 环境感知

救援机器人工作的环境比安控类机器人更加复杂,煤矿灾害通常伴随多处塌方、冒顶,破碎煤岩和水坑进一步增加了机器人行走的难度,环境感知性能要求更高。

高精度传感器的使用提高了遇难人员的救助空间和生还概率。戴珊珊等和王学让等通过在机器人四周配备传感器实现环境感知,戴珊珊等在仿人机器人前方和两侧各安装1个红外测距传感器,而王学让等在机器人前方和四周各均匀密布6个红外开关传感器和6个远距离的测距传感器,实验显示后者的环境感知效果更好;王闯等使用超声雷达装置测取障碍物在搜救面的深度以便做出相应规划工作;刘罡等使用超声波传感器顺次扫描窗口内障碍物并进行编号以便机器人路径规划使用;朱晓飞使用惯性导航和视觉导航相结合的方法进行救灾,利用惯导系统实现自主导航,并使用视觉定位系统对惯性导航的路径偏移进行修正,减少随时间积累的导航误差;针对单一深度地形识别问题,刘罡等提出一种基于传感器的方法,将环境分为探测区和非探测区,而探测区则分为自由区、限制区和盲区,传感器只关注障碍物的边缘以提高有效信息检测的效率;卢万杰等提出使用激光雷达和Kinect相机分别探测远距离和近距离的地形信息;翟国栋等提出使用双目摄像机测距的方案,使用双目视觉技术实现工作环境的立体匹配和三维重建。

救援类煤矿机器人的环境感知技术处于探索阶段,且硬件配置的标准将直接决定救援时耗,现有理论成果的感知能力和识别准确率虽然较高,但稳定性和实时性无法达到救援的标准。

5.2 救援路径规划

合理的路径规划可以令救援事半功倍,对于救援工作,需要快速规划出路径最短且更便于搜救的最优路径。目前,进化计算在该领域的相关研究较多。常见的进化计算方法有遗传算法、粒子群优化算法、蚁群算法等,该类方法均使用群体智能思想,具有并行计算、收敛速度快、操作简单等优点,对问题的数学模型没有约束性,可以直接求解非线性、不可微、不可导、分段等特殊病态问题。其中,蚁群算法在路径规划领域使用最成熟,其原理流程如图16所示。

图16 蚁群算法流程Fig.16 Flow chart of Ant Colony Algorithm

使用未改进的蚁群算法进行路径规划需要先初始化1条可以通行的路径,再使用适应度函数(路径代价函数)评价当前蚂蚁(1条路径或1个可行节点)是否是最优解,如果不是则使用赌盘法选择移动方向,并更新当前位置的信息素,直至完成终止条件(最大迭代次数或终点)后输出最优路径。但该方法存在陷入局部最优导致输出路径次优的可能,故相关研究对其进行改进十分普遍。张小艳等基于矿难前矿区已知的GIS系统进行全局路径规划,从安全性和路径最短设计适应度函数,使用蚁群算法进行局部路径规划;朱磊等使用改进遗传算法对GIS的栅格地图进行全局路径规划,将结合优先权分组的蚁群算法信息素反馈方式植入遗传算法的变异算子中,并对栅格地图按照从左向右、从上向下依次编号进行最优节点搜索;王雄针对煤矿井下救灾现场多目标救助点的实况,使用遗传算法选择从起始点到目标点的最短调度路径;周栾等使用改进遗传算法对编号的矿山拓扑地图进行最短路线组合优化,该改进遗传算法引入退火算子强化局部搜索、引入深度优化搜索初始化路线、引入距离编辑增加交叉和变异的子代多样性;张玉州等在车辆路径模型适应度函数中增加了紧急度概念,可以将运输时间减少1.9%;耿娜等在适应度函数中引入各目标点的生命强度,根据生命强度不同规划目标点到达顺序,实现在有限时间内救援最多遇难人员;李辉等使用共轭梯度法规划出最短路径,再使用粒子群算法去除路径中的障碍物;姚正华等使用鱼群算法进行路径规划,并根据煤矿环境特点使用步长分段自适应策略和威胁区域距离检测方式实现问题维度的判断和约束条件处理;考虑到目前的煤矿机器人无法达到IA本质安全,马西良等引入瓦斯危险区域,并使用MAKLINK绘制网格图,使用蚁群算法优化的Dijkstra算法对存在瓦斯区域和不存在瓦斯区域的进行路径规划,实验结果表明使用蚁群算法优化的Dijkstra算法在存在瓦斯区域的路径规划问题中效果优于原始的Dijkstra算法;陈尔奎等针对煤矿复杂环境提出一种双层路径规划方法,第1层使用遗传算法进行全局初始路线的优化,第2层使用人工势场法结合局部目标点更换思想实现动态避障;郑家风等在蚁群算法中增加奖惩机制,鼓励蚁群向信息素多的栅格规划,对于结果非优的栅格采取抑制信息素增加的策略。表2整理了常用进化计算方法的原理和优缺点。

由于方法论的差别,这类方法的优点在于不需要模型可导可微,与传统控制理论的方法存在方法论区别。但该类方法侧重于优化,其结果具有随机性,当待解决问题的目标不同时需要根据具体优化需求改进算法策略。通过比较可以发现遗传算法和蚁群算法最适合路径规划问题,但和粒子群算法和差分进化算法相比速度较慢。其改进的策略之一即利用其他进化计算特点对遗传算法和蚁群算法进行融合,但是否适合于路径规划问题仍然需要进行大量实验验证。

表2 常用进化计算方法Table 2 Common evolutionary calculation methods

基于控制论的方法比进化计算类方法更加成熟。张译使用积分Backstepping思想设计轨迹跟踪控制器跟踪救援机器人的路径,理论实验的结果显示位姿误差曲线渐近稳定;朱美强等提出一种基于流形距离度量的改进Dyna-Q学习算法,该策略可以有效避免强化学习方法无法有效处理井下救援的状态空间在欧式空间不连续问题的缺点,在栅格地图的仿真表明该方法在稀疏和密集障碍物环境中均适用;王欣等从机器人运动学模型入手,提出一种根据激光测距仪获取的障碍物方位信息判断机器人转弯方向和角度的策略;马宏伟等根据履带式救援机器人两侧履带在不同速度差下存在不同转向形式的情况提出使用最小和最大避障半径判断机器人通过性,进而控制两侧速度实现避障;唐立伟使用BP神经网络训练模糊神经网络控制救援机器人遇到障碍时的转向角,该模糊神经网络的节点输入量包括障碍物距离和目标地点在机器人的方位;SAPUTRA等提出了一种基于分层分解目标的MPC方法用于救助躺在地面的伤员;CHENG等构建了不确定环境中救援机器人搜索过程数学模型,并设计基于误差成本的约束控制器实现机器人快速调度。

经典的路径规划方法在理论上更加成熟。侯媛彬等针对煤矿救灾的复杂环境提出分级扩展式快速扩展随机树算法,设置矿井中的虚拟目标作为分级扩展的目标点,实现RRT快速找到最短救援路径;针对救灾机器人容易陷入凹型障碍物的特点,田子建等提出在人工势场的引力场中加入扰动场,并对凹型障碍物进行虚拟填充;钱程等在Robocup平台上使用A*进行路径规划仿真,提出了A*算法在复杂地图上规划存在的2个问题:① 在路障的道路上存在死区问题;② 在考虑部分可通行房屋时会影响规划效率。陶德俊等针对A*算法产生路径冗余点多的缺点,使用Douglas-Peucker(D-P)算法对路径进行线状要素简化,再使用三样条插值进行平滑处理,处理后的曲线转弯次数明显减少;祁永强等对人工势场法的斥力场函数进行改进,对斥力进行分阶段处理,即设置障碍物安全距离,在安全距离内机器人收到斥力,但是安全距离外则无不受到斥力作用,机器人可以以更短路径和更短时间到达目标点;张春芳等以机器人运行为参考将井下救援环境分成直线段、圆弧段和障碍物段,使用A*和动态窗口相结合的方法分别处理3种路段,该策略和全域算法规划相比时间更短。传统方法的可靠性最高,且已经在其他领域有成功使用案例,但这类方法智能性较差,一般情况下不包含对环境的感知和认知,需要搭配其他技术才可以解决动态障碍等问题。

在传统规划算法基础上,合理利用传感器信息则成为另一个研究重点。戴珊珊等和王学让等将红外测距仪检测到环境信息用于人工势场法实现仿人机器人的自主行走,该方法在密集障碍物环境中容易打转和碰撞;刘园园等对救灾机器人的传感器信息融合进行改进,使用置信区间及其相加思想控制传感器有价值信息的提取和融合,该方法比普通的数值计算融合方法效果更好;刘罡等构建由传感器检测到障碍物的切线,根据切线和边缘信息确定机器人的目标点;赵苍荣等使用DV-Hop算法进行机器人定位,改进人工势场法的斥力函数令目标点的全局斥力最小并将超声波传感器探索到的环境信息用于人工势场法实时更新,从而避免目标绕圈问题;卢万杰等使用远近感知系统数据融合技术建立2.5维的栅格地图,实现基于路径长度和地面危险度等级的探测搜救机器人路径规划;GAO等使用传感器获取的环境先验知识提出最窄间隙提取算法并采取间隙边缘反应式导航方法实现机器人路径规划。

传感器相当于机器人的感知器官,通过传感器可以获知环境中的各类有用信息,并协助救援机器人安全、合理的开展工作。和运输类、安控类煤矿机器人类似,传统的机器人路径规划方法同样适用于救援类煤矿机器人,但同样缺乏自主性,配合传感器信息可以令救援类机器人的路径规划技术实现自主决策和控制,将其与传统路径规划方法相结合可以有效提高机器人的智能化路径规划技术。

6 关键技术及挑战

根据现有研究成果,煤矿机器人的研制和应用依然存在较大发展空间。关键技术如图17所示,主要包括:感知与认知、规划与决策、系统集成。

图17 煤矿机器人关键技术Fig.17 Key technologies of coal mine robots

6.1 感知与认知

感知是在一定环境和规律范围内利用相关信息做出判断,而认知不但需要判断规律内的事物,还要根据目前已掌握的信息进一步判断规律范围外的事物。智能煤矿机器人应至少达到“感知”水平,并在“感知”能力基础上提高“认知”能力。使用各类传感器作为机器人的“器官”是最常用的感知与认知途径。

6.1.1 环境感知技术

早期的机器人一般使用压力传感器、光敏传感器、激光测距传感器等实现避障等功能,这类传感器具有技术成熟、信号处理简单、存储传输方便、实施性强的特点,可用于大部分非复杂场景。但机器人的智能化需求和任务难度均逐渐提高,要求煤矿机器人装配更加先进的传感器及相关算法。

基于视觉感知的传感器检测技术及其方法改进成为煤矿机器人的必要研究方向,且发展趋势要求其精度更高、识别能力更强,在一定情形下可以更好的掌握动/静态障碍物的大地坐标、轮廓、深度等感知信息。视觉感知的前端采集装置一般使用雷达(超声雷达、激光雷达、毫米波雷达等)、视觉摄像头(RGB摄像头、双目摄像头、深度摄像头等)。雷达扫描环境并生成工作环境的点云图,包含了工作区中各物体的坐标、深度等信息,而视觉摄像头采集到的图像数据在经过特征点匹配等处理后也可以对场景进行重构。

目前,机器人常用的视觉传感器及其优缺点见表3。

表3 常用视觉传感器Table 3 Common vision sensors

为了更智能地完成任务和适应工作环境,一般需要同时使用多种不同的传感器。但来自不同传感器的大量信息容易造成混乱,有效解决办法是使用多元传感器融合技术,这是环境感知技术的主要挑战之一。直接使用点云图和重构地图均存在无法识别具体物体种类、拼接错误率高、信息量大且存在大量无用信息等缺点。对于拼接错误率高问题,现有成熟方法即使用八叉树法建立Octomap有效压缩传感器信息;在保证有效信息保留的基础上进行稀疏处理一般用于解决信息量较大、无用信息较多问题;识别物体的传统方法为模板匹配法,但该类方法鲁棒性均较差,无法满足智能自主工作。

6.1.2 突发情形认知

针对复杂、突发情形的认知技术不但需要煤矿机器人具有较高精度的感知能力,还需要其具有较高水平的物体识别能力。目前,常用于视觉认知的智能识别和分类框架是模板匹配、深度神经网络等机器学习方法。前者是模式识别的经典方法,其解决问题的限制条件较多,在相关领域有逐渐淡化的趋势;后者有DenseNet,AlexNet,VGG,YOLO等经典框架支撑,是目前人工智能的热门,相关CNN框架的比较及总结已有较多文献参考,此处不再赘述。这类机器学习方法已经在人脸识别等领域有了较成熟的应用,但在煤矿机器人上仍处于探索阶段。

参考煤矿环境的复杂性,直接配备以上方法作为煤矿机器人的认知方案具有一定的缺陷,需要考虑以下问题:① 相关CNN方法的计算框架固定,虽然增加了算法的普适性,但是针对性较差,现有研究工作主要是采集和建立数据集以及解决算法过拟合、欠拟合问题;② 数据集的多样性和数据体积对模型的识别能力具有绝对影响,为了避免过拟合而提高数据集多样性意味着图片数据的不断增加,计算机硬件和训练耗时成为最大问题。

小样本识别和迁移学习是解决深度网络框架缺点的有效探索,可以有效提高煤矿机器人的认知水平。该方法的原理即使用现有已训练模型对采集到的少量煤矿未知样本进行训练从而实现较高煤矿环境识别精度。元学习是其中较成功的策略,即“学会学习”,旨在使用以往知识经验来指导新任务的学习,令深度网络保持学习能力。使用元学习策略,可以令机器人认知模块较好地适合当前煤矿环境。煤矿存在高度不确定性、各区域照度不同等特点,机器人大部分时间在实时行走,提取到的图片信息具有随机性和多样性,数据库中已包含的物体也可能因为角度和照度原因无法实现快速识别,少量未知物体在前期的数据集中难以全部涵盖,使用元学习的思想保留学习经验实现快速学习以便在下次遇到同样待识别物时既能够快速识别,也可以保证煤矿机器人的实时性要求。

该策略并没有固定的行式,目前较经典的框架见表4。

表4 经典元学习框架Table 4 Classical Mete-learning framework

6.2 规划与决策

煤矿机器人实现智能化决策并完成工作的过程即为煤矿机器人的规划过程。对于车型煤矿机器人,其规划主要体现在单目标点的路径规划及其控制,当任务包含多个目标点时则需要考虑各目标点的关系,并根据复杂关系完成自主最优决策,并在最优决策的框架下实现多个单目标点规划。

6.2.1 单目标点规划

目前,以无人单轨吊等为主的煤矿机器人均使用远程控制实现机器人无人化工作。远程控制在机器人领域称作遥操作,该方法在机器人半自主工作中较常见,部分学者也提出了相关方法增强人机合作,但是机器人的工作情况仍然依赖于操作人员的工作经验、工作状态。

智能化、无人化的煤矿机器人要求机器人能够在最少人员操控的情况下完成各项任务,并以独自、完整完成任务为最终目标。这需要在机器人上配备多种传感器以模仿人类器官进行工作范围内的感知,并利用感知和认知信息指导煤矿机器人的规划和决策。对于掘进机器人和采煤机器人,其悬臂滚轮可以在传感器信息协助下使用全覆盖遍历路径规划:利用传感器获取煤岩分布信息,建立开采工作面栅格图,并根据不可通行的特征点对可采煤区进行划分,即在掘进工作面和截割工作面上规划好可截割区域和不可截割区域,并使用排序方法规划各待截割区域之间串联距离最短的连接方式,在可截割区域内使用由下而上的往复式遍历截割,截割完当前区域后截割头按照规划好的最短连接方式转至下一个可截割工作面重复遍历截割。而对于其他3类机器人的行走控制和避障规划有2种方案可以参考:① 对于运输和巡检煤矿机器人,其工作实时性要求低,可使用具有视觉感知能力的传感器,对工作范围进行扫描或拍摄,根据检测结果绘制出高精度地图,再进行路径规划;② 对于救援机器人可以先使用全局路径规划方法规划出可通行、符合实际需求的最优全局路径,在行走过程中利用传感器信息做出避障决策。比较以上2种方案,方案①的主要工作在于高精度地图的绘制,对机器人的决策能力要求较少,但需要搭配其他算法才可以进行动态障碍物避障;方案②的前期准备工作较少,可以直接使用GIS系统中存储的矿区地图,减少工作成本,但该方法对行走过程中传感器的精度、信息融合技术及决策能力有更高要求。

6.2.2 多目标点决策

根据工作需求(运输类煤矿机器人需要完成多装载点转运、巡检类煤矿机器人需要完成多工作面循环巡检、救援类煤矿机器人需要在最短时间内完成多生命体救助等),煤矿机器人还应考虑多目标点的决策规划。以救援类煤矿机器人为例,救援对时效要求较高,且救援机器人因为体型限制需要合理节约自身能源用量,当出现多处救灾点时则需要在时间成本和里程成本最低的前提下根据不同的需求或紧急程度规划出合理的目标点救援顺序。在煤矿机器人多目标点决策规划中,不但需要量化各目标点的需求度,还要在建立好决策模型后,使用合理的优化算法对目标点顺序进行最优排序,另外在目标点和目标点之间仍然需要设计稳定的避障规划技术。

使用算法进行全局和避障路径规划后,需要采用路径/轨迹/速度跟踪控制技术实现煤矿机器人更底层的运行。路径跟踪控制中,使用代价函数及机器人数学模型实现机器人对已规划好全局路线的逼近;在避障决策后,参考路径曲线与时间/空间,令煤矿机器人在规定的时间内到达某一预设好的参考路径点;更进一步,考虑煤矿环境的多坡道、多拐弯等情况,煤矿机器人在运行时的能源消耗比普通机器人更多,对速度和加速度进行规划并采取速度跟踪实现准确速度和加速度控制可以减少机器人能耗,其决策规划和控制技术均属于煤矿机器人的挑战性工作。

6.3 系统集成

智能化煤矿工作平台集成是煤矿机器人环境感知和路径规划技术的关键搭载技术,该技术的挑战是机器人协作系统和局域通讯交互系统的搭建。其关系到相关算法及硬件的协调工作,需要具备各机器人快速通讯、准确定位功能以便完成矿区各机器人调度和机器人协作控制。系统框架如图18所示。

6.3.1 机器人协作系统

成熟的煤矿工作区占地广阔,井下巷道存在多层多岔道的特点,少量的煤矿机器人无法满足要求。但随着机器人数量增加,机器人信息的有效处理及其决策控制成为问题。在多运输煤矿机器人车队中需要考虑安全车距保持问题;巡检机器人群和救援机器人群需要考虑当其中一个机器人到达事故点区域时,且当前机器人无法独立完成繁重任务,存在召集其他机器人并相互协作问题;当在露天环境中进行巡检和运输工作时,因为地面机器人的局限性还可以考虑增加无人机协同工作。以上工作均可归属于多机器人协作系统,其专项研发具有挑战性和实际意义,目前在煤矿机器人中的研究较少。

6.3.2 通讯交互系统

煤矿的工作特性削弱了传统移动通讯信号的可用性,且目前一些老旧矿井并未完成网络全覆盖,煤矿安全生产工作大都停留在监测阶段,而内部通讯网络系统可以令煤矿内部信息传递更快捷稳定,为煤矿安全生产监控工作、感知信息传递、煤矿“万物”互联和机器人群决策信息快速交换提供可能。局域通讯网络交互系统的搭建不但有利于上位机对单个机器人的控制,也有助于多机器人协作系统的流畅运作。机器人协作的交互信息处理方式主要有2种:① 集中式网络交互;② 分布式网络交互。郑太雄等提出了一种集中式控制,该方法使用蚁群算法在主机中进行任务分配,再发送给对应辅助运输机器人,实现多机器人搬运工作,为了防止机器人因未及时收到消息产生过操作和碰撞,引入了基于到达时间差的定位方法。其具有部署简单、单一处理器易数据存储、病毒感染几率低等优点,但缺陷明显:当数据量较大时,集中式的处理方式响应速度会明显减慢,且当各终端需求不同时需要单独对不同需求终端进行单独配置。煤矿环境中,各机器人终端的工作目标及信息获取类型均不同,大量数据传输及单独配置特点令集中式网络交互较难实用。分布式通讯交互方式可以增加机器人终端的扩展灵活性,更符合煤矿机器人的需求。各种数据由分布式终端自行处理并反馈有效信息的优点可以减少系统负荷,且其相关软硬件的配置分布于各机器人,当前任务完成后,多余的煤矿机器人设备可以快速地移植到其他任务中。

图18 煤矿机器人系统框架Fig.18 Coal mine unmanned system framework

7 结 语

煤炭工业正处于传统作业向少人化作业发展的阶段,与无人化、智能化开采作业仍存在较大的距离。在人工智能浪潮下,国家颁布多项指导意见用于正向影响和推广煤矿的智能化发展。符合行业标准的煤矿企业和相关研究人员正在加快部署现代化智能基础设备和研发相关高智能算法,煤矿机器人的研制和应用前景非常可观,且意义深远。

目前,掘进类、运输类、巡检类煤矿机器人已小规模实现了示范应用,但大部分研究仍然处于探索阶段,测试成功并实际应用的煤矿机器人市场保有量非常少。而理论研究大都基于传统作业形式展开,较少依靠高尖端硬件和智能算法。这与煤矿行业的历史性以及交叉行业对该领域的认知度较低存在一定关系。计算机科学和机器人学的发展已经有了较多突破,将相关研究针对性地研用于煤矿机器人领域是可行的。

值得注意的是,目前的理论研究与实际应用中,针对安控类有轨煤矿机器人的研究较多,其他煤矿机器人及其关键技术的研发工作需要更多关注。而实时建立智能化煤矿行业新标准应该与煤矿机器人的智能控制算法研发同步进行,并开发具有隔爆、防爆技术的矿用搭载传感器,在行业标准指导下研制智能化软件、专用型硬件相结合的煤矿机器人。

少人化煤矿开采向无人化、智能化作业发展具有行业突破性,煤矿机器人应包含感知、认知能力,通过对环境信息的快速获取、快速传递和快速判断完成煤矿机器人自身及其关键部位的规划和决策功能,并根据需求实现多种工种机器人协作控制,实现煤矿开采智能化、系统化作业。感知与认知、规划与决策、系统集成可以总结目前煤矿机器人环境感知和路径规划关键技术的未来发展方向。

(1)感知与认知研究目前较集中于感知技术,如确定障碍物位置等,而更智能的认知技术需要进一步开发。通过认知技术煤矿机器人不但可以完成感知任务,还可以根据图像、视频、点云信息进一步识别当前障碍物的属性及威胁程度、预测四周事物的变化情况。相关认知方案在巡检机器人的故障检测中有较好的应用但仍有较多挖掘空间,经过针对性改进后有望服务于煤矿机器人自身。

(2)规划与决策不但是煤矿机器人的挑战性技术,还是机器人、智能汽车行业的研究方向之一。传统的路径规划方法虽然已经可以实现机器人自主运行,但智能化程度有限,一般只用于危险系数和实时性要求较低的工作领域。目前研究的重点是如何合理和迅捷地使用大量环境感知信息协助完成自主驾驶决策。

(3)系统集成是煤矿机器人的跨行业性的研究挑战,智能煤矿系统搭建决定着煤炭行业的未来发展程度。其首要任务是搭建具有数据快速传输能力的科学性网络系统(内部通讯系统、外部传输系统),实现管理人员、技术工人、煤矿机器人之间的闭环实时通讯和数据处理。另一部分工作是搭建多机器人协作控制系统,实现多工种煤矿机器人之间合作作业,充分实现煤矿无人化、智能化、系统化运作。

猜你喜欢

煤矿算法规划
煤矿党支部如何推进党风廉政建设
PLC技术在煤矿提升机控制系统的应用
Travellng thg World Full—time for Rree
浅谈煤矿开采技术的发展及存在的问题
China’s Artificial Intelligence Revolution
学习算法的“三种境界”
算法框图的补全
算法初步知识盘点
英国深井煤矿关闭