基于YOLO V3的露天矿电铲铲斗工作状态检测研究
2021-01-05李雪健缪卫峰杜勇志卢进南
李雪健,缪卫峰,杜勇志,卢进南
(1.神华宝日希勒能源有限公司,内蒙古呼伦贝尔 021025;2.辽宁工程技术大学机械工程学院,辽宁阜新 123000)
大型电铲(矿用挖掘机)对工作环境适应性强、对物料的爆破要求低、生产效率高、运营成本低,是露天矿采掘的主要工程机械。保证施工过程中铲斗状态良好,实现电铲斗齿的实时检测具有重要的工程意义和实用价值。目前斗齿检测依赖于驾驶室侧面屏幕进行人工判别,驾驶员工作负荷极高,并且极易因为光线变化、人为疏忽导致未及时发现斗齿脱落,严重影响工作效率和生产安全。
斗齿状态自动监测近年来吸引了很多学者关注。Xiujuan Luo 等[1]利用激光测距仪进行斗齿检测,使用激光测距仪测量工作状态下的斗齿间离,再建立三维模型,通过健康状态下的模型进行对比进行斗齿脱落判断;He Li[2]通过图像的形貌、结构和形状特征,使用传统目标检测算法,通过斗齿间相互位置关系添加结构特征约束和训练支持向量机来进行目标检测;Ser Nam Lim 等[3]提取电铲在运动过程中铲斗的图像样本,先对斗齿进行大体定位,再用帧差法和光流法来对结果进行修正,最后通过模板匹配和齿线拟合确定位斗齿目标,结合斗齿图像的相关灰度特征判断斗齿是否断裂或者脱落;汤恒[4]使用梯度方向直方图特征结合支持向量机的目标检测框架对红外图像中的斗齿进行目标检测;岳海峰[5]通过图像识别特定位置进行铲斗抓拍以及隔帧取流的关键算法分析,将基于图像识别的斗齿监控系统应用在挖掘机上,实现了对斗齿磨损或者丢失的自动识别和自动报警。
1 电铲斗齿监测系统与算法
1.1 电铲斗齿监测系统架构
电铲驾驶室空间有限,为了保障安全生产,不宜在驾驶室使用大体积、大功率用电设备,因此采用高性能嵌入式计算平台和轻量化的目标检测算法进行斗齿检测。根据市场调研,基于项目的需求、工业应用的稳定性等综合性考虑采用英伟达(NVIDIA)公司生产的嵌入式AI 处理平台Jetson AGX Xavier。电铲斗齿监测系统架构如图1。
图1 电铲斗齿监测系统架构
系统充分考虑了电铲机械结构与生产现场的能耗、空间、人机工效等因素,采用被动式、非接触的图像传感器进行目标识别与脱落判定,将斗齿监测系统分为图像采集系统、深度学习监测系统、监控预警系统3 部分,具有成本低、易维护、改装方便等优点。
1.2 斗齿检测模型
YOLO(You Only Look Once)V3 是到目前为止速度和精度最均衡的目标检测网络之一,引入多尺度机制,用效率更高的基础分类网络与分离器,将YOLO 系列的短板(不擅长检测小物体等)全部补齐,达到了令人惊艳的效果和较高的速度[6]。利用YOLO V3 tiny 确定斗齿位置,再利用特征匹配进行斗齿脱落判定,从而对斗齿状态进行监测。
1)基于YOLO V3 tiny 的斗齿检测模型。YOLO的核心思想是将整个图片输入网络,直接在输出层回归边界框的位置及其所属类别。YOLO V3 包含Darknet-53 网络结构、anchor 锚框、FPN(Feature Pyramid Networks)等优秀结构,YOLO V3 网络结构如图2。
图2 YOLO V3 网络结构
2)锚框选取与模型压缩。通过K-means 聚类算法将训练数据已标注好的斗齿标注框进行聚类,从中挑选出几类最适合的斗齿类型作为锚框,提检测精度。对卷积层参数与模型计算量与精度息息相关,通过调整卷积层参数以平衡模型大小(检测精度)与检测速度,以达到速度与精度的最优组合。
3)基于特征匹配的斗齿脱落判定。在确定2 幅图像中斗齿的位置后,需要测量斗齿脱落的概率。斗齿脱落时,当前图像和参考帧在同一位置将会存在较大差异,利用尺度不变特征变换(SIFT,Scale Invariant Feature Transformation)[7]对2 幅图像进行匹配。基于SIFT 的图像配准流程如图3(RANSAC 为随机抽样一致性(Random Sample Sonsensus)算法)。
图3 基于SIFT 的图像配准流程
斗齿脱落的可能性miss_score(c)函数为:
式中:c 为以r 为圆心的中心点,像素;Θc为圆中像素点数目,像素;p 为其中1 个点;D 为2 幅图中的差异矩阵;p(x)、p(y)为x 和y 是p 点的横纵坐标,像素。
miss_score(c)值越大,该斗齿脱落的概率越大,当该值超过一定阈值时,判定为该斗齿已脱落。
2 数据采集与深度学习数据增强
2.1 数据采集与原始数据获取
图像采集装置安装位置如图4,系统在铲斗上下两侧各安装1 处摄像机,对斗齿2 种角度图像进行获取。
图4 图像采集装置安装位置
通过一段时间的录制,对电铲在各种天气、光照和工况下的图像进行采集,再对图像进行筛选作为训练样本。但是,由于安全生产缘故,电铲作业时图像只能由事先装好的2 处固定机位的相机采集,产生的数据具有极高的重复性,难以满足深度学习算法训练需要的样本多样性要求,这样训练出的网络对环境的鲁棒性低,因此,需要通过数据增强产生更多的图像进行训练。
2.2 数据增强
数据增强也叫数据扩增[8],是在不实质性的增加数据的情况下,让有限的数据产生等价于更多数据的价值。通过采用预设的数据变换规则,在已有数据的基础上进行数据的扩增,对最后的识别性能和泛化能力都有着非常重要的作用。
1)颜色变换[6]。颜色的数据增强:图像亮度、饱和度、对比度变化,主成分变换按照RGB 3 个颜色通道计算均值和标准差,再在整个训练集上计算协方差矩阵,进行特征分解,得到特征向量和特征值。
2)亮度变换。亮度变换通过以下规则实现:
式中:L 为原始图像的亮度,标量;L′为目标图像的亮度,标量;k 为0.8~1.2 的随机数。
3)几何变换。包括尺度变换、随机裁剪、水平/垂直翻转、平移变换、旋转/仿射变换等。
4)添加噪声。高斯噪声、模糊处理。
3 验证结果
为了验证该方法,数据采集装置为2 部红外补光的可见光相机,采用的硬件平台为NVIDIA 嵌入式开发平台Jetson Xavier,并在其上同时运行2 个YOLO V3-tiny 进程,同时从2 个角度对斗齿进行监测,提高监测的鲁棒性。在内蒙古自治区呼伦贝尔市某大型露头煤矿中的WK-10 大型电铲进行了5 d 数据采集和15 d 算法测试。
为提高驾驶员作业时态势感知的能力,充分调研驾驶员意见后,对下方前视相机图像检测铲斗与斗齿,对上方下视图像检测斗齿与入侵车辆。结果显示,图像分辨率为640×480 条件下,同时对2 路视频进行目标检测,均可达到20 帧/s 以上的检测速度,且具有85%以上的检测精度。在不同气象条件和光照条件下,都可以稳定地识别出斗齿和入侵车辆,具有速度快、鲁棒性强的优点。
此外,数据增强对深度神经网络检测精度等有重要影响,由于安全生产缘故,摄像机安装位置固定,采集的图像相似度很大,有效图像较少,因此,通过数据增强对训练集进行扩充,数据增强后的训练结果见表1。
表1 数据增强后的训练结果
由表1可以看出,在加入扩充数据集后,能有效消除神经网络训练中过拟合现象,避免由于数据集过小导致的训练误差较大的情况,提高了系统检测的鲁棒性和检测精度。
4 结语
围绕大型电铲斗齿检测问题,提出了一种低成本的基于深度神经网络的电铲斗齿实时监测方法,本方法通过数据增强,克服了有效训练数据较少带来的检测精度低等问题,同时对通过特征匹配,对斗齿脱落概率进行了判定。试验表明,基于深度学习的电铲斗齿检测方法平均速度可以达到20 帧/s(2 路视频同时检测),准确率可达85%,有效提升了挖掘作业的效率,对煤矿企业安全生产具有重要的作用。