露天矿区自动驾驶场景分析与关键技术研究

李军 肖天中 张昊 陈兵

摘要：分析了露天矿用卡车的作业环境以及矿区无人驾驶技术的发展现状，详细介绍了常规矿区无人驾驶方案和关键技术。针对矿区扬尘密度大、路面颠簸、随机落石以及路径变化频繁等特点，梳理了在此复杂环境下激光雷达、毫米波雷达、超声波雷达以及视觉摄像头等感知类传感器的性能指标以及环境适应性，提出了由单车智能、路侧协同支撑以及地面管理与监控系统三部分组成的矿区复杂环境下自动驾驶总体技术架构，并着重分析了各个子系统的功能和露天矿卡自动驾驶部分关键技术。

关键词：露天矿山、自动驾驶、传感器技术、环境感知、定位导航

Abstract：The operating environment of truck used in open-pit mining and the development status of unmanned driving technology in mining area are analyzed， and the scheme and key technologies of conventional unmanned driving in mining area are introduced in detail.In view of the characteristics of high dust density， road bumps， random rock fall and frequent path changes in the mining area， the performance indexes and environmental adaptability of sensing sensors such as lidar， millimeter wave radar， ultrasonic radar and visual camera are summarized in this complex environment.The overall technical framework of autonomous driving in complex environment of mining area is proposed， which consists of three parts： bicycle intelligence， road side cooperative support and ground management and monitoring system. The functions of each subsystem and some key technologies of autonomous driving of open-pit card are analyzed emphatically.

Keywords： open-pit mine， mining truck， automatic driving， sensor technology， environmental perception， positioning and navigation

0引言

作为矿产资源丰富大国，采矿业一直是我国国民经济的基础和支柱产业之一，目前我国80%的工业原料来自于采掘业产品，主要包括各种金属和非金属矿（煤矿、铜矿、铁矿、化学矿等）采选。由于大部分矿区都处于偏远地区，再加上露天矿山作业环境恶劣，扬尘等环境对人身体损耗较大，矿区行驶危险度高，导致社会人员从业意愿较低，再加上百吨以上的矿车培训周期较长，导致矿卡司机紧缺，且司机的成本逐年增加，据不完全统计一辆矿车的人工费用（一辆车配备四名司机）达到85万/年，国外的人工费更是达到了100万美元/年。采用可靠的自动驾驶技术不仅能避免或减少环境对驾驶人员健康、安全的危害，而且将大幅提升效率、降低成本，更加经济、节能和环保。

1 露天矿卡复杂环境分析

矿卡自卸車的作业流程如图1所示，主要分为“采”、“运”、“卸”三个部分。矿卡首先空载从起始点前往采集点，从采集点将矿物满载运回卸载点，如此往复。随着采集点的深入，矿卡的运行路径会随之发生变化。基于此可以将运行轨迹分成常规路面和施工路面，对于常规路面，有着路况相对简单和路面平整等特点;对于施工路面有着路况颠簸、路面落石、路径不确定等特点。不仅如此整个作业区都存在扬尘遮挡严重、运输过程伴随着前车落石或者矿山滑坡以及弯道控制的风险，这给自动驾驶传感器性能、障碍物检测与成分分析以及决策控制都提出了更高的要求。

常规的矿区无人驾驶系统首先通过装备感知传感器实现矿用卡车对环境感知，再由基于GPS定位的卡车调度系统为每辆车指定装载点及卸料点的位置和规划运输路线，然后卡车通过接收无线指令到达装有GPS的挖掘机装载点进行装载，最后卡车按照规划路线运行至卸料点进行卸料。此方案在路况比较简单、突发情况较少的环境下基于简单的环境感知和GPS调度可以满足一定的需求，但是在矿区施工路面扬尘遮挡严重、路面颠簸、落石几率较大和行驶路径发生变化的情况下无法满足要求。

以湘潭重工MCC600D重型矿自卸车为例，自重180吨满载情况下达到600吨，在满载情况下以50Km/h的速度行驶的刹车距离为100m，要想保证自卸车的碰撞安全距离，普通传感器可以检测的距离至少达到100米以上，在扬尘比较严重车辆的视觉距离不到五米的情况下，以摄像头为主的视觉传感器很难发挥作用，普通的车载激光雷达在观测条件较好的情况下也仅仅达到了150米左右，在扬尘密集的环境下也无法保证安全的建模距离，并且车辆在行驶过程中，不会经常急刹车，因此自动驾驶矿卡保持200-300米是比较合理的安全距离。除了扬尘的影响，路面颠簸和落石对自动驾驶的有效避障和路径规划带来了很大的挑战，在矿卡运行中需要有效且快速的分辨前面的障碍物是泥块还是石块以此来做决策判断是直行、绕道还是停车，也是矿卡能否高效完成自主运输的关键。

2 矿区自动驾驶架构设计

为实现矿区自动驾驶高度智能化，针对矿区作业复杂环境特点结合常规基于GNSS定位以卡车调度系统为主导的自动驾驶方案，将矿区自动驾驶系统总体架构分为单车智能、路侧协同和地面管理与监控系统三个层面（见图2），为更好的兼顾实际作业中的突发状况和行车安全性，该设计架构以单车智能为主，路侧协同为辅的模式，再通过后台管理系统主要作为设备监控、全局建图与规划、突发情况下的自动驾驶等级降级判断和遥控接管，进一步保障系统行车安全。

车端具备高精度定位导航、障碍物检测与识别、局部建图、局部路径规划、通信、决策和执行等能力，车端和其他要素（矿卡和云台）之间基于5G和LTE-V2X等通信网络实现信息和局部地图传输，云平台具备实时矿卡与路测设备监测、矿卡协同控制、实时更新全局地图、路径规划和全局控制能力。

2.1 单车智能

自主式矿卡系统是实现矿卡作业的主体，是矿山运输无人驾驶系统的主要执行机构。接收地面管理与监控系统的各种指令，包括作业任务与参考路径信息，控制车辆的驱动系统、制动系统、转向系统、车厢、车灯等机构执行相应的动作。在指令执行过程中，自主式矿卡系统通过车载传感器感知周围地形和障碍物信息，并实时向地面管理与监控系统报告车辆的运行状态，保证安全、高效地完成作业任务。

2.2 路侧协同支撑

在路侧端安装诸如摄像头、激光雷达和毫米波雷达等感知模块，如图3所示。主要安装在道路中间、转弯拐角以及上下坡视角局限处，并结合路侧端的边缘计算能力，将矿区局部情况上传至地面管理与监控系统，帮助用户全面了解矿区的情况，同时扩展矿卡的感知范围。

2.3地面管理与监控系统

地面管理与监控系统提供矿山运输作业所需的矿山数字地图，对运输车辆的运行路径进行规划，在作业过程中获取矿区车辆信息，采集矿区设备状态，自动维护矿区作业进度信息，为用户提供清晰、直观的矿区信息综合显示接口和人工干预控制接口。

1）由调度员在地面监控与管理子系统中发布矿区运输任务，制定生产计划;

2）根据地面监控与管理子系统的数据库中存储的矿区全局地图，按照不同的作业任务将矿区分为停车区、装载区、卸载区、维修保障等功能区域;

3）地面监控与管理子系统对通过通信子系统将运行指令、矿区地图和规划路径等信息下发至自主式矿卡子系统;

4）自主式矿卡子系统在运输过程中，根据自身态势感知能力，自主进行车速配置，若遇到特殊情况，自主式矿卡子系统自行判断降级（降效率）运行或者是将控制权交还给地面监控与管理系统;

5）路侧端通过架设协同子系统，将矿区全景地图数据通过通信子系统传输至地面监控与管理子系统，并将地图进行准实时更新。

3 露天矿卡自动驾驶关键技术

3.1 LiDAR外参标定算法

LiDAR/相机传感器外标定的基本原理是，利用传感器测量值建立连接点的对应关系或几何约束，然后估计传感器在参考坐标系下的变换矩阵T。

如图4所示，假设在整个传感器系统中，将相机本体坐标系设为参考坐标系，标定的目标是求解LiDAR本体坐标系在参考坐标系中的变换参数T，包含旋转R和平移t。

从红外影像中可以刺点得到折线的折点P的2D像素坐标，同时对 LiDAR 点云数据进行处理得到对应的3D坐标，从而建立了一组2D-3D连接点。改变传感器平台相对于被观测场景的位姿关系，得到多组 2D-3D连接点，从而构建计算机视觉中的PnP（Perapective-n-Point） 问题，利用基于最小二乘平差的数值非线性优化方法求解最终的变换参数T。

处理流程如下：

1）点云预处理;

根据被扫描目标（墙角）的尺度以及传感器平台和扫描场景的相对位置，可以设置适当的坐标区间作为滤波条件阈值，来裁剪感兴趣区域，删除点云感兴趣区域之外的外点;

2）连通分量标记点云分割

使用连通域标记法可以将来自不同扫描线的V形轨迹进行分割;

3）V形折线的3D折点提取

LiDAR的点云观测数据中包含V形轨迹，可以使用RANSAC算法检测直线模型。RANSAC的输入是经过先前步骤处理的结果点云，通过对点云数据的拟合可以获取直线模型及其参数;

4）2D-3D连接点

从无畸变红外影像中人工刺点，获取与V形折线的3D折点对应的 2D 像素坐标， 从而在 LiDAR 和相机之间建立一对关联坐标系变换的连接点。

5）旋转矩阵的构建

通过以上处理，可以获取一系列2D-3D连接点对，它们的2D像素坐标和3D坐标分别在相机坐标系和LiDAR坐标系中，都已被精确量测。接下来就是求解相机和LiDAR之间的旋转和平移， 该问题在计算机视觉中叫做PnP（Perapective-n-Point）问题。

3.2 多源异构数据融合算法

多传感器数据融合也叫多源异构信息融合，将不同传感器获得的信息进行综合利用，避免了单个传感器的感知局限性和不确定性，形成对环境或目标的更全面的感知和识别，提高了系统的外部感知能力。

考虑到露天矿山具有复杂的作业环境，例如道路颠簸崎岖、坡度大、弯道多;雨雪、雾霾、沙尘等恶劣天气条件;落石滑坡等各种突发路况，本方案采用多传感器数据算法对外部环境进行感知，其融合过程如下图5所示。

针对多传感器数据特征级融合不充分、不高效的难点，设计了跳跃融合法，首先单独对摄像头数据和激光点云数据进行初步建模和特征提取，然后再对两组图片特征和点云特征进行裁剪和缩放后的数据进行特征级融合，同时进行匹配、滤波和降噪处理;最后将降噪后的数据分别重新投影到RGB像素坐标系和点云坐标系，进行精细回归处理。其一方面支持RGB-I和鸟瞰图（BEV）中间特征层之间的交互，另一方面采用跳跃连接（skip-connection）使融合结果既包含完整的输入信息又具有反复抽象后的特征。

3.3 高精度三维地图构建与准实时更新技术

三维高精度地图的构建对针对矿区非结构挂道路的影响主要包括提升车端感知性能、拓展自动驾驶新功能、动态建图等相关应用。具体体现在如下几个重要方面：

2.高精地图元素更新

3.自建局部“记忆地图”，支持记忆泊车、园区记忆式自动驾驶

4.事件型动态信息采集与上报（落石、坑洼、事故等）

基于视觉/激光SLAM技术的三维高精度地圖构建与更新方案如图6所示，其中整个智能驾驶摄像头和激光雷达形成SLAM的输入数据端。首先通过视觉/激光SLAM建立三维地图模型，再通过中央处理器对初始三维模型进行感知、滤波、分割、检测、跟踪等操作，输出给导航网络端进行语义建图及匹配定位，同时通过目标识别形成相应的ADAS系统目标属性。最后分两方面进行输出：其一是通过太网发送给后台云端进行地图底图的更新。其二是通过输出给MCU（微处理器单元）进行融合定位及车辆控制实现车端的局部路径规划和避障。

同时，通过部署路侧感知设备，进行三维高精度地图构建的冗余设计，打造安全运输的解决方案。通过云端 V2X 通信模式将路侧端感信息传到后台进行局部三维地图构建，在后台将矿卡感知地图、路测感知地图以及高精度地图底图进行数据协同，准实时构建出作业区域三维高精度地图。

4 展望

国内矿区自动驾驶虽然在城市道路环境自动驾驶取得了一定的成果，但是由于受到传感器性能的限制，导致在矿区特殊环境下的无人驾驶领域一直无法实现完全的国产自主化。相较于城市环境，露天矿区复杂环境面临着观测条件差、道路颠簸、扬尘遮挡严重以及障碍物材质识别困难等问题。因此发展高性能传感器技术和高准确率障碍物检测识别技术成为实现矿区复杂环境亟待解决的问题也是未来矿区自动驾驶的发展方向。