面向智慧矿山的无人矿用卡车运动信息识别算法

顾同成，李 冰*，何 心，惠翔禹，徐武彬

（1.广西科技大学 机械与汽车工程学院，柳州 545006；2.广西土方机械协同创新中心，柳州 545006）

0 引言

矿山智能施工是在传统施工基础上加入智能排班、调度以及路径规划算法，并根据计算结果做出决策指令。其突出特点是为保证开采矿物量的前提下，合理地分配人力和物力，实现智能调度和排班。智能施工的实现首先是对周围信息进行感知，但目前通过外界感知实时获取矿山整体信息的能力仍然有待提高。在智慧矿山系统中，实现车辆行使方向的自行判断，能够有效控制小车行进和提前进行状态修正，尤其是在弯道区域方向信息更是矿卡自动过弯的重要因素之一，提高过弯效率。另外对感知模块进行深一步的优化，不仅可以大大提高系统自动排班、调度和路径规划的效率，还可以降低整个系统程序的运行时间以及程序复杂性，有助于系统初始化响应，为工程施工的智能化转型打好坚实的基础。

矿山智能施工的主要应用对象是挖掘机与矿卡。系统在感知矿山场景中的人、车辆和障碍物等信息后进行判断，经排班、调度以及路径规划算法，再传送指令至各矿卡车辆，使其自动进行最优化工作。现有的智慧矿山系统中，通过矿卡上的雷达和激光雷达[1]等多传感器融合的方式实现车辆对外界的感知以及对车辆自身的精准定位。目前YOLO系列算法已经运用到多方面的目标检测中[2-6]，同样也可以运用到智慧矿山系统的感知层面。YOLO算法虽然能够识别目标种类和位置但对于相对地面静止或者运动中的目标，其无法给出目标将要或者正在行驶的运动信息，进而无法通过算法或者感知的层面解决运动信息识别的问题，然而为了实现无人智能化施工，外界感知模块需要完成更加全面的识别工作：路况监控（障碍物）、工程车辆识别和定位以及运动信息的识别等。

目前用于检测目标方向的方法有很多，曹城华等人[7]研究基于Radon变换的空间目标运动方向检测，通过前期对小目标进行随机方向和大小的位移后对序列帧图像降噪、分割等处理，然后利用Radon变换对空间目标的运动方向进行检测。该方法使用在小目标的运动方向检测上，而且针对在空间坐标，在平面坐标问题上并不适用。李洪峰等人[8]研究了基于SIFT算法的物体运动方向识别方法，主要是找到两幅图像的特征点，采用SIFT算法，对两幅图像的特征点进行匹配，选取三个特征点构建三角形，分析三角形的变化进而得出方向参数，然而此方法在SIFT匹配时会存在匹配误差，精度有待提高。陈文帅等人[9]采用了Faster RCNN与YOLO-v3结合的方法实现了对极性电子元器件的定位和方向识别，此方法在识别静止物体的方向上表现突出，但是识别速度不理想，不适合检测运动中的物体。徐国瑞等人[10]研究运用了图像处理及回归分析拟合的方法，规划判断机器人行走方向，但是由于前期对图像处理的步骤较为繁琐，无法满足对行驶中车辆的方向快速检测。秦攀等人[11]研究通过在现场架设微波传感器，根据两路微波触发前后来判断车辆的行驶方向，此法对环境的要求较高，不适用于矿山的施工过程。

总结以上方法，基于深度学习及图像的处理方法虽然能够判别目标的运动方向，但对目标运动信息的快速、准确、实时的检测方面还未取得有效成果。且国内外在矿山智能施工领域中并没有针对识别矿用自卸卡车运动信息的算法。在目前智慧矿山系统的搭建过程中，实现矿卡的无人调度、排班以及路径规划等方面均是通过传感器再利用建立的坐标系统进行关系映射来实现矿卡的定位以及运动状态信息识别。基于此方法实现的运动信息识别虽能够达到目的，但是需要高精度的传感器增加了系统复杂度及搭建的成本，同时增加了系统的整体响应时间。

1 YOLO算法

YOLO系列，全称“you only look once”，是基于卷积神经网络的目标检测算法。本文将以YOLO-v5目标检测算法作为改进对象对矿卡的运动信息进行识别。

从2016年到2021年，YOLO系列更新换代已经有多个版本[12-15]。YOLO系列算法主要将输入图像划分为n×n的方格，若某一个方格内对应着目标物体的重心，则该方格负责检测该目标。每一个方格会产生多个预测框Bounding boxes，每个预测框Bounding boxes都会产生与之对应的五个参数，分别是x，y，w，h和confidence。其中（x，y，w，h）为物体的中心位置相对于格子位置的偏移及宽度和高度，均被归一化。Confidence置信度反映是否包含物体以及包含物体的情况下位置的准确性，定义如式(1)所示：

式(1)中，Pr（object）——方格是否包含真实对象，包含取1，不包含取0；IOU——交并比，是“预测的边框”和“真实的边框”的交集和并集的比值。

2 改进的YOLO-v5算法

目前YOLO系列算法是目标检测领域中的最主流的算法之一，方便快捷，识别速度快，准确率较高，非常适合用在智慧矿山系统搭建中对移动目标的实时检测。为了继续沿用YOLO-v5的识别功能，本文对模型做出如下改进来实现运动信息的实时检测：

1）修改YOLO-v5的输出对象，提取识别过程中每一个最优目标预测框的左上角和右下角坐标，修改算法使其返回并输出目标框的中心位置坐标。

2）整改算法输出结构，提取目标标签，利用标签索引使其每次因矿卡移动而导致的坐标变化值都能够实时保存。

3）将Open cv算子与YOLO-v5网络融合，并且依次处理视频流的每一帧画面，实时调取矿卡的位置坐标参数，在视频数据流和图像检测中进行图像处理并以箭头的形式表示前进方向，方便工作人员实时观察和系统纠偏。

4）在YOLO-v5执行过程中，通过修改算法调取每一帧画面矿卡车身和车头的中心坐标，并以向量的形式作为方向参数在各功能模块之间传输。

5）为网络设计并添加方向角转换算法，将检测的方向向量以转角和转向的形式输出，为调度、排班以及路径规划模块提供准确实时的方向数据。

6）加入目标识别判断机制，防止因目标的错检、漏检导致的错误输出甚至系统崩坏问题。

7）在多车目标方向判定时，加入多目标方向检测并行机制，避免车辆因出入视野影响其他车辆方向的判断问题，并且调整IOU阈值，使其输出稳定且准确的预测结果。

8）加入漏检报错机制，由于外部光线或者摄像头原因导致某一时刻无法识别视野中的目标时，将会针对漏检对象及时报错，以备工作人员调整。

9）加入车辆动静识别机制。如车辆因自身故障长时间停在某一位置时，算法识别之后自动判断是否停在准停区域并将故障车辆具体位置实时上报。

本文整体算法具体执行流程如图1所示，图2为本文方法执行顺序框图。

图1 算法执行流程框图

图2 方法执行框图

2.1 方向角转换算法

为实现将YOLO-v5检测到的两个坐标点以方向参数的结果传输便于工作人员观察以及智慧矿山其他模块的准确调用。现设计一种方向角转换算法，将检测到的同一矿卡的两个目标坐标输入，返回坐标的方向向量和该方向向量的转向及转角，如图3所示。算法对得到的两个坐标点进行向量化处理，将向量的两个值比较后，在笛卡尔坐标系中进行表示并返回该向量的转角及转向。具体实现效果如图4所示（以4号矿卡为例）。

图3 方向角转换算法

图4 实现效果

2.2 防误识别机制

基于深度学习的目标检测算法中，误识别是常见的现象，研究者们也一直致力于降低误识别率、提高算法的性能等方面的研究。降低误识别的方法有很多，如：改变判断阈值的大小、增加网络训练的次数（epoch）、增加数据集大小等。基于此，此次改进首先保证足够的训练数据集，并在后期实验调整网络预测模型的阈值用以保证识别车身和车头的准确率。接下来通过在预测脚本中针对方向参数的实际输出准确率做出优化，保证方向参数输出结果的可靠性。具体实现方法：验证检测出的标签与目标标签是否一致，随后将坐标对号入座进行保存，然后依次按照标签对应关系进行后续处理，在此基础上进行方向转换和对行驶方向进行表示和输出，避免因误识别造成的方向转换不准和输出混乱问题。图5是具体实现方法。

2.3 动静识别机制

在智慧矿山搭建系统中，为了提高系统整体智能化水平，需要系统自动判断矿卡停车位置是否是在准停区。如矿卡停在除准停区的其他位置，则证明矿卡出现故障，需要对其进行维护。对故障矿卡的位置检测十分重要，当出现故障矿卡时，若车辆停在非准停区，此时必须立刻识别出当前位置坐标传输至路径规划、调度和排班模块，防止因故障车的停车导致的追尾事故。如图6算法流程图展示了在YOLO-v5车辆运动信息识别过程中上报故障车辆的执行流程。

图6 动静识别机制

检测过程中每40帧画面对各车坐标列表进行判断并更新，检查坐标列表中第1个坐标和最后一个坐标的直线距离是否大于250mm（一个矿卡模型车的身位），如小于一个身位则证明此车静止在原地，结合对目前停止车辆的区域判定，执行判断机制是否需立刻上传该车坐标。另外通过设置互斥参数（step）实现在YOLO-v5循环检测程序中仅上传一次故障车坐标，防止因多次上传坐标导致的参数更新使得其他模块无法持续工作的问题。

3 实验结果与分析

3.1 实验说明

实验准备五辆矿卡模型车，并在车头标号作为车头识别特征（通过对矿卡编号更加有利于调度排班以及路径规划系统命令下发）。用Labelimg处理得到标签，训练改进后的YOLO-v5模型，训练epoch取150，选择yolo-v5s预训练权重，置信度阈值设置为0.6，IOU阈值设置为0.5。

本文实验在智慧矿山场景沙盘中开展，沙盘正上方安置“天眼”摄像头实时采集矿山数据，矿卡模型车采用光电传感器循迹行驶，运行训练得到的YOLO-v5运动信息识别模型处理视频流和图片数据，并对沙盘状况实时监控同时检测运动信息。

3.2 实验结果

训练完的运动信息识别模型对五辆矿卡模型运动方向检测结果如图7所示。

图7 模型识别及输出效果

能够发现基于本文改进算法的运动信息识别可以很有效的解决方向问题，无漏检的情况，而且检测的置信度也很高，定位精准，结果可靠。在真实矿山排班调度过程中，难免会遇到某一辆车不在视野范围中从而未检测到其运动信息，面对这种情况，模型也会将未检测到的目标车辆输出，从而方便操作人员或系统做下一步指令，图8展示的是在未检测到2、3号车时模型的输出。

图8 漏检输出

图9 效果展示

实验证明经过改进的YOLO-v5目标检测算法对矿卡运动信息识别效果较好，并且针对未检测的目标会实时上报，上报准确，另外对矿卡模型位置的定位准确，为系统控制车辆行驶提供了便利。

4 项目应用

将模型整合到模拟矿山智能排班调度系统中，经信息通讯指令，把运动信息实时传输到消息转发中心，便于其他模块对运动信息的调取和监控。如图展示的是将模型运用到项目中的识别效果。

5 结语

本文以目标检测中运用普遍的YOLO-v5算法为基础，针对智慧矿山中识别矿卡运动信息这一特定的问题进行改进，改变原来的输出信息并根据测试中遇到的问题进行算法优化，在保障识别准确性的前提下提高了识别的鲁棒性。本文改进算法在实现矿卡本身识别的同时还实现了运动信息检测，提高了网络的实用性和检测的泛化性。结合本文提出的方向角转换算法，将实际转角和方位进行可视化输出，为后续工作提供方向参数，更方便人为实时观察和系统纠偏。由于本论文采用YOLO-v5目标检测算法，其原算法具有的不足，如处理速度随着视野中目标个数的增加而降低、受光线等环境的影响因素较大等缺点也体现在本论文的改进算法中,今后将会针对此进行优化，增强算法的健壮性并将实地收集智慧矿山以及真实矿卡信息，进一步验证本文改进算法的有效性。