APP下载

越野环境下无人履带平台的道路可通行性分析

2022-12-01周梦如陈慧岩熊光明关海杰刘庆霄

兵工学报 2022年10期
关键词:栅格语义道路

周梦如,陈慧岩,熊光明,关海杰,刘庆霄

(北京理工大学 机械与车辆学院, 北京 100081)

0 引言

环境感知技术是无人平台中最重要的一环[1],道路的可通行性分析作为环境感知系统首先要解决的问题之一,为平台提供了周围环境的可通行性地图,是后续驾驶决策和规划控制的基础[2]。然而,目前对道路可通行性的分析研究多针对路面平坦、道路边界清晰的城市道路,对于越野环境,其路面属性多,起伏程度不一,道路边界不够显著,这些问题给道路的可通行性分析带来了巨大挑战。

针对越野环境的可通行性分析,目前的主流方案可以按照输入分成基于点云的方案、基于图像的方案和基于点云和图像融合的方案。以点云为输入的方案主要利用点云的几何和拓扑信息检测可通行区域,以构建环境局部地图。袁夏等[3]以激光雷达点云作为输入,基于最大熵的模糊模型和时空关联分析对可通行区域进行了提取。刘忠泽等[4]则提出一种拓扑层次地图,将整个地图划分为多个具有层级结构的三维体素子地图,进而对环境的可通行性进行表示。这些方法大多通过环境的距离、几何信息进行检测,难以识别路面属性,对于崎岖地面、杂草元素不规则出现的越野环境准确度较差。

早期的相机图像方法大多基于人工设计的图像特征进行像素分类,随着深度学习方法的兴起,图像语义分割研究逐步涌现。黄庭鸿等[5]对特征进行分区块自适应加权融合,有效提高了实时语义分割精度。针对越野环境数据集数据量较少、场景单一、类别不平衡等缺点,迁移学习[6]、对比学习[7]等方法被应用于越野环境的语义分割任务。但一般的语义分割输出在2D图像空间中,缺乏对地面的几何描述,在复杂的越野环境中平台规划控制需要更多信息[8]。

点云和图像融合的方案综合了点云的距离信息和图像的色彩纹理信息。Chen等[9]提出了自适应的基于高度差的点云变换和级联特征融合结构,在KITTI道路检测数据集上取得了比较好的检测效果,但主要针对的还是城市环境。Maturana等[10]构建了一个包含语义和几何信息的2.5D栅格地图,但其几何特征仅包含地面高度,没有考虑相邻栅格的高度梯度关系。

目前深度学习方法通常具有能够适应多种不同类型环境的优势,但代价是需要大量的数据离线训练。而关于越野地面几何特征描述的点云数据集几乎没有,并且无法考虑数据与特定平台的几何通过性约束,所提取出的可通行区域无法给予规划控制强引导作用。另外,对于复杂越野环境,仅依靠语义分割结果,准确度不高,对地面的几何分析可以弥补分割不准确的缺陷。

本文提出一种由激光雷达和可见光相机作为传感器的道路几何通行性分析方法,基于图像语义分割方法获得道路表面属性并大致划分出可通行区域,提取三维点云特征描述地面几何信息。在结合无人履带平台几何通过性约束的基础上,利用高斯混合聚类对道路的可通行性进行分类,并且采用3D可通行性栅格地图对环境的可通行程度进行描述,同时利用相对定位信息不断更新栅格地图。通过实车试验证明,本文提出的道路可通行性分析方法为无人履带平台理解复杂越野道路环境提供了良好的支撑,有利于平台安全高效地自主导航。

1 系统框架

本文旨在实现一种适用于复杂越野环境的道路可通行性分析系统。如图1所示,该系统框架分为三个部分:可通行区域粗提取、道路可通行性分析以及可通行性地图构建。基于拓扑路径实时采集的可见光相机图像和激光雷达点云共同作为该系统的输入。

激光雷达点云探测距离准确,但缺少颜色纹理信息,且数据量较大。为了减少后续道路可通行性分析时点云量的输入,加快算法运行速度,需要利用图像语义分割结果获取语义点云,完成可通行区域的粗提取。采用双通道卷积神经网络提取图像特征,进行图像像素级分类,并基于传感器坐标系转换关系将图像语义分割结果转化为语义点云,在考虑履带平台较强的通行能力和场景语义理解的基础上进行可通行区域内点云的提取。

点云获取关于路面属性的语义信息后,还需要根据其几何特征及平台的通过性约束进一步对道路的可通行性进行分析。首先提取点云局部特征向量,用于描述道路的坡度、不平度等几何信息。其次考虑道路的可通行程度与平台几何通过性约束的强耦合关系,分析履带平台在不同属性道路上的纵向、横向行驶及跨越垂直墙稳定性能。在此基础上,利用高斯混合聚类将各类不同属性道路进行可通行程度的分类。

针对可通行性地图构建,采用3D可通行性栅格地图对环境的可通行性进行表示,主要包括单帧地图构建与多帧地图融合两个部分。单帧地图构建基于贝叶斯核推理方法,将带有类别语义和可通行性信息的点云进行三维栅格重建,获取栅格的类别语义和可通行性概率。多帧地图融合利用了激光雷达里程计的相对定位信息不断更栅格占据状态及语义和可通行性的估计。

2 基于图像语义的可通行区域粗提取

考虑激光雷达点云探测距离准确与相机图像色彩纹理信息丰富的特点,利用图像进行可通行区域特征识别,获取周围环境语义标签,并基于传感器坐标系转换关系将图像识别结果赋予点云,最后通过语义映射区分出可通行区域,以实现可通行区域内点云的初步提取。

2.1 图像语义分割

基于图像进行可通行区域特征识别,需要在图像上提取与可通行区域有关的特征。早期的图像特征主要由人工设计特征描述子和特征提取方式。近年来,基于深度神经网络的图像特征提取展现出较强的特征自动提取能力和学习能力,并逐渐应用在图像语义分割领域。

在语义分割任务中,由于需要在原始图像空间对每个像素进行分类,为保持网络性能的优越,需要尽可能地用到图像的原始尺寸信息或高分辨率信息。一种方法是取消下采样和相应的上采样操作,以保持高分辨率的特征表示,如PSPNet[11]、Deeplabv3[12]等;另一种方法是利用编码器-解码器的结构来扩大特征图尺寸,如Seg-Net[13]、HRNet[14]等。这两类网络都同时对低层细节和高层语义进行编码,虽然它们达到了较高的精度,但大多数方法的推理速度很慢。

BiSeNet V2[15]则是一种双边分割架构,可以分别处理空间细节和分类语义,宽通道浅层数的细节分支用于捕获低层细节并生成高分辨率的特征表示,窄通道深层数的语义分支用于获取高层次语义语境,同时语义分支采用减少通道容量和快速下采样的策略进行轻量化处理,以实现在分割精度和推理速度之间的良好权衡。

对于越野环境,影响无人平台通行的环境因素主要包括土路、铺面路、草地、灌木及其他障碍物。本文通过使用完整的BiSeNet V2网络在数据集上训练来提取图像特征,以实现上述6种类别的像素级分类。由于BiSeNet V2包含了一种增强训练策略,损失函数采用1个主损失函数和4个辅助损失函数组合的形式,5个损失函数均定义为逐像素的交叉熵损失函数:

(1)

式中:W、H分别为图像的宽和高;N为分类的类别数;Iij为符号变量,当像素i的真实类别等于类别j时取1,否则为0;pij为像素i属于类别j的概率。通过遍历图像上每个像素计算其分类的交叉熵损失,最终累加得到总的损失函数值。

2.2 基于语义映射的可通行区域粗提取

为赋予点云关于路面属性的语义信息,同时过滤无用点云,减少后续点云量的输入,需要基于传感器坐标系转换关系将图像分割结果转化为语义点云,并通过语义映射大致提取可通行区域内点云。

(2)

(3)

式中:(u,v)为图像像素坐标系中的像素坐标值;dx、dy分别表示单个像素在U轴、V轴方向上的物理尺寸;u0、v0表示由图像物理坐标系原点到图像像素坐标系原点的平移像素量;f为相机焦距;(xc,yc,zc)为相机坐标系中点Pc的坐标值。

从点云中筛选一定距离和高度范围内的点投影到图像原始像素上,投影后点的颜色设置为像素位置对应的类别颜色,并赋予同样的分类信息,点云语义投影效果如图2所示。图2左侧为原始点云,右侧分别为原始图像、图像分割结果和点云投影结果,在图像分割结果中,灰色代表铺面路,浅绿色代表草地,深绿色代表灌木,红色代表其他障碍物,蓝色为背景。

获取语义点云后,需要基于语义映射大致提取出可通行区域。考虑履带平台的通行能力较强,因此认为语义类别中的铺面路、土路和草地均为可通行区域,即为可行驶道路,灌木和其他障碍物为不可通行区域。对于不可通行区域的点云,直接赋予不可通行属性,后续只对可通行区域的点云进行特征分析。

3 基于点云特征的道路可通行性分析

在复杂的越野环境中,道路起伏较大,多有纵坡、横坡等,且松软的泥土导致路面车辙多且深,平整度较差。场景语义信息输出在二维图像空间中,缺乏对地面的几何描述,因此在获取路面属性信息后,还需要根据三维点云的几何特征及平台的几何通过性约束,进一步对道路的可通行性进行分析。

3.1 点云特征提取

为描述道路的几何特征,在Bellone等[16]的启发下提出了不均匀点局部描述符的概念,全面描述点云中每个点相关联的潜在几何信息,用于分析坡道、沟壑等复杂场景。另外,不均匀点局部描述符的估计不仅考虑了邻域内点的几何性质,还间接考虑了各邻域点的邻域内点几何性质,提高了可通行性检测的准确性和鲁棒性。

考虑点云中一查询点Pq,其邻域表示为Pq,m(m为邻域内点的数量),则点Pq的局部描述符定义为U(Pq,Pq,m)={nq,x,nq,y,nq,z,lq,m},其中各元素的定义如(4)式和(5)式所示:

(4)

(5)

式中:nk(k=1,2,…,m)为各点的法向量,可通过计算邻域点构建的协方差矩阵的最小特征值对应的特征向量得到;x、y、z分别为车体水平坐标系三轴的单位向量,车体水平坐标系OXYZ为车体坐标系O′X′Y′Z′经平台俯仰角和侧倾角修正后得到,平台向右为X′轴正方向,正前方为Y′轴正方向,向上为Z′轴正方向,示意图如图3所示。通过将查询点邻域内点的法向量求和得到nq,m,提供了局部表面的全局方向信息,而lq,m则评估了局部的粗糙程度,可以解释为局部的负不平度指数。

在不均匀点局部描述符的基础上,进一步提取点云的局部特征向量Fq={fq,1,fq,2,fq,3}。各特征具体解释如下:

·fq,1:查询点及其邻域点的法向量矢量和的模的均值,可以表示道路的不平度信息。

fq,1=lq,m

(6)

·fq,2:查询点及其邻域点的法向量矢量和在车体水平坐标系OXY平面投影与Z轴的夹角,表示纵坡坡度。

(7)

·fq,3:查询点及其邻域点的法向量矢量和在车体水平坐标系OXZ平面投影与Z轴的夹角,表示横坡坡度。

(8)

3.2 履带平台几何通过性分析

道路的可通行程度与履带平台的几何通过性具有强耦合关系,因此需要考虑平台的纵坡行驶能力、横坡行驶能力及跨越垂直墙的能力,即在纵坡、横坡及垂直墙上行驶时不发生倾覆或滑动的稳定性能[17],本文仅考虑平台在等速直线行驶时的几何通过性问题。

3.2.1 平台纵向通过性分析

平台纵向受力简图如图4所示。图4中,v表示平台运动方向,lf为前负重轮着地点到平台质心距离,L为履带接地长度,G为平台重力,αu为纵坡上坡角,αd为纵坡下坡角,hg为平台质心高度。平台的纵向上坡稳定角、下坡稳定角分别为

αu,max=min(αu,1,αu,2,α′)

(9)

αd,max=min(αd,1,αd,2,α′)

(10)

另外,不同尺寸大小的平台对纵坡的连续长度应该有不同的定义,在本文中认为纵坡长度应大于等于履带接地长度。

3.2.2 平台横向通过性分析

平台横向受力简图如图5所示。图5中,β为横坡角度,B为履带中心距,b为履带接地宽度,e为质心偏离纵向平面的距离,Fz1、Fz2为地面垂向反作用力,Fy1、Fy2为地面横向反作用力。

其横向稳定角βmax可由(11)式得到:

βmax=min(β,β′)

(11)

不同尺寸大小的平台对横坡的宽度应该也有不同的考虑,在本文中认为横坡宽度应大于等于履带中心距。

3.2.3 平台跨越垂直墙通过性分析

履带平台跨越垂直墙时,分为前段履带接触壁缘、前端负重轮升上壁缘、重心前进至与垂直壁缘线重合的位置以及平缓地与垂直壁的顶部平面接触4个阶段。平台能跨越的垂直墙最高高度主要与第1和第3阶段有关。第1和第3阶段的受力简图如图6所示。图6中,hd为主动轮中心离地距离,rd为主动轮半径,H1=hd-rd为第一阶段垂直墙最大高度,H2=(L-lf-hgtanδ)sinδ为第三阶段垂直墙最大高度,δ为此时履带倾斜角,δ≤αu,max。

平台能跨越的垂直墙最高高度为

Hmax=min(H1,H2)

(12)

当继续增大垂直墙高度时,平台重心始终无法与垂直壁缘线重合,即无法通过该垂直墙。

3.3 基于高斯混合聚类的可通行性分析

为描述道路的可通行程度,可以将各类不同属性道路按照其地面几何特点划分为5个等级,分别为容易通行、较难通行、困难通行、不可通行和未知通行。容易通行为道路较平坦区域;较难通行为存在缓坡或地面不平度较差区域;困难通行为存在可通行陡坡或可通行垂直墙区域;不可通行为超过平台通过性约束的区域;未知通行为距离车体较远或点云局部密度过于稀疏的区域。

高斯混合模型(GMM)是一种常用的无监督聚类方法,其采用概率模型来表达聚类原型,可以拟合出任意形状的数据分布。由于GMM并不是通过硬截断进行分割类别,而是估计每个样本点属于各类别的概率,因此相比于k-Means算法,其鲁棒性更好,更适用于数据分布不均匀且各类数据间有相关关系的情况下。

本文针对上述提取得到的点云特征,利用履带平台的几何通过性约束、点云语义信息和点云局部密度对数据进行过滤,即不满足平台几何通过性约束的点云直接赋予不可通行属性,局部密度稀疏的点云直接赋予未知属性。由于点云各特征值取值范围相差较大,在离线训练前,可先对特征值进行均值归一化处理。对于处理后的点云,利用GMM进行多元聚类,得到容易通行、较难通行和困难通行三类可通行度标签。GMM的概率密度函数可以表示为

(13)

式中:Fq为点云特征向量;K为可通行度标签数目;ai为各高斯分量的先验概率值;g(Fq|μi,Σi)为高斯模型概率密度函数,

g(Fq|μi,Σi)=

(14)

n为变量Fq的数据维度,μi、Σi为各高斯分量的均值向量和协方差矩阵。

利用EM算法对模型进行训练,可得到不同属性路面的GMM,其参数即为所求的ai、μi、Σi,语义标签为d的点云中第i个点的聚类标签可以表示为

(15)

利用训练得到的GMM,便可以结合点云特征和履带平台的几何通过性约束分析各类型路面的可通行性,具体流程如算法1所示。

算法1 道路可通行性分析算法

1.For点云各点Pido

2. 计算Pi到车体中心的距离li

3. 计算Pi邻域内点数mi

4. ifli≤距离阈值且mi≥点数阈值then

5. 根据(4)式、(5)式计算Pi的局部描述符

6. 根据(6)式~(8)式计算Pi特征向量

7. elsePi为未知属性

8.End for

9.For筛选距离和密度后点云各点Pjdo

10. iffq,2<-αu,max或fq,2>αd,maxthen

11. 计算Y轴方向同样满足该约束的点最大纵向距离差值Yj

12. 计算Z轴方向同样满足该约束的点最大纵向距离差值Zj

13. ifYj≥纵坡长度阈值 或Zj≥Hmaxthen

14.Pj为不可通行属性

15. if|fq,3|>βmaxthen

16. 计算X轴方向同样满足该约束的点最大横向距离差值Xi

17. 计算Z轴方向同样满足该约束的点最大纵向距离差值Zj

18. ifXi≥横坡宽度阈值 或Zj≥Hmaxthen

19.Pj为不可通行属性

20. ifPj未赋属性then

21.Pj特征值进行均值归一化处理

22. 提取处理后特征值作为GMM输入进行实时预测

23.End for

4 基于多传感器融合的道路可通行性地图构建

在无人履带平台架构中,感知模块与后续决策、规划模块之间的信息交互往往需要通过地图这一层模块。因此,本文结合对环境的语义分割结果和道路的可通行性分析,构建包含道路属性和地面几何信息的3D可通行性栅格地图。

3D可通行性栅格地图构建包含单帧地图构建与多帧地图融合两个部分。首先将带有类别语义和可通行性信息的点云进行三维重建,获取栅格的类别语义概率和可通行性概率;然后通过激光里程计提供的位姿,将新的数据转换并匹配到已有的地图中,并对这部分地图根据新的检测结果进行概率更新。

4.1 单帧地图构建

相比2D、2.5D栅格地图,使用3D栅格地图要占用更多的存储资源,并且地图的更新、扩展也具有更高的复杂度。为提高效率,使用基于八叉树的数据结构管理地图数据。由于激光雷达点云是离散且稀疏的,直接用其栅格化的结果建立地图,会使得地图表达十分稀疏。本文使用基于贝叶斯核推理的栅格属性推理,对栅格语义和可通行性属性的分布进行建模,从而进行部分邻近栅格属性的推理,以实现连续化稠密化的三维建图[18]。

(16)

为提高栅格属性推理的准确性,需要同时考虑栅格本身概率分布和栅格之间的相互联系。基于贝叶斯核推理的框架,满足KL散度DKL(g‖f)的最大熵分布g,具有形式g(y)∝f(y)k(x*,x),k(x*,x)为核函数。设g为扩展似然函数p(ci|λ*,xi,x*),f为似然函数p(ci|λ*),x*为待求的空间中一点,λ*为点x*的类别概率,则可以在这两个分布上定义有界的KL散度的语义类别平滑分布,即

(17)

根据贝叶斯定理,可以得到

p(λ*|x*,ζ)∝p(ζ|λ*,x*)p(λ*|x*)

(18)

将(17)式代入(18)式,可得

(19)

由于假设λ*服从狄利克雷分布Dir(N,α0),且采用类别分布似然函数,(19)式可以进一步写为

p(λ*|x*,ζ)∝

(20)

因此p(λ*|x*,ζ)与后验狄利克雷分布Dir(N,α0)呈比例,(20)式通过平滑约束项对本栅格和邻近栅格建立联系,有利于推理结果更加准确。

4.2 多帧地图融合

为提高道路检测结果的稳定性,需要利用多传感器融合激光里程计[19]提供的位姿信息,对数据进行坐标转换,并基于概率更新的方式融合多帧数据,实现地图的在线更新。考虑到多帧融合会带来较大的计算量,可以限制融合帧数。

4.2.1 地图数据转换

以建图时的第1帧数据对应的位姿为基准坐标系,之后的新数据利用坐标变换即可转换到该坐标系下。设第1帧数据的里程计输出位姿对应的齐次变换矩阵为T0,第i帧数据的里程计输出位姿对应的齐次变换矩阵为Ti,对第i帧数据中的坐标应用该变换:

(21)

利用(21)式即可在已有地图中更新或扩展地图。

4.2.2 地图概率更新

常用的占据栅格概率更新方式有贝叶斯更新方法、计数传感器模型方法等。贝叶斯更新方法对栅格占据状态的变化响应快,而计数传感器模型方法更擅长描述栅格多个状态的概率[20]。因此本文采用贝叶斯更新方法更新栅格占据概率,采用计数传感器模型方法更新栅格语义及可通行性信息。

对于占据概率,在任意数据采集时刻t,根据贝叶斯定理对第i个栅格的占据概率值进行更新:

L(mi|z1:t)=L(mi|zt)-L(mi)+L(mi|z1:t-1)

(22)

式中:mi为栅格i的占据状态;zt为当前时刻t对环境的观测;z1:t为从初始时刻到当前时刻t对环境的观测;符号L代表一种logOdds表达式:

(23)

通过设置L(mi|z1:t)的阈值,可以判断栅格是否被占据。对于占据概率低于阈值的栅格,认为其未被占据,其语义类别及可通行性概率无需再维护。

对于语义类别,令栅格i的类别为ci,其观测到属于语义类别n(n=1,…,N)的次数为ki,则其属于n的概率为

(24)

再对各类别概率进行归一化:

(25)

对于可通行性以同样的方式进行概率更新:

(26)

(27)

式中:ti为栅格i的可通行类别;li为观测到属于类别m(m=1,…,M)的次数。可通行类别为未知属性的栅格,通常为距离较远或点云非常稀疏区域,此时点云对地面的描述并不可靠,因此对此区域的栅格也不进行维护。

5 试验结果与分析

5.1 试验平台与环境

对本文提出的道路可通行性分析系统进行实车验证,所用试验平台为北京理工大学智能车辆研究所自行研制的无人履带平台,具体参数如表1所示。平台上配备了64线激光雷达、可见光相机等感知类传感器和GPS接收器、惯性导航系统等定位导航类传感器,如图7所示。

表1 平台参数表

为满足算法的实时性要求,平台搭载的工控机处理器型号为八核八线程的Intel Core i7-9700,GPU型号为Nvidia RTX 2080,同时该工控机含有32 G内存,运行Ubuntu 16.04操作系统以及基于ROS(Robot Operating System)的无人驾驶软件框架。

试验地点选择在河北省石家庄市包含乡间铺面路、越野土路等场景的某试验场地,其环境元素和地形条件都比较复杂,存在很多崎岖或者难分辨的路面类型。

5.2 可通行区域粗提取验证与分析

本文针对实际场地,构建相机与激光雷达传感器数据集共1 083张,作为语义分割方法的训练与测试评估工具。图8为部分标注后图像示意图,第1行为原始图像,第2行为对应的标注,在标注中,灰色代表铺面路,土黄色代表土路,浅绿色代表草地,深绿色代表灌木树木,红色代表其他障碍物,黑色代表背景。

通过各类别间均匀抽样,取出2/3作为训练数据练集,剩下1/3作为验证数据集。在训练集上对已在CityScapes数据集上预训练的BiSeNet V2模型进行训练调优,然后在验证集上检验模型效果。表2列出了可通行的铺面路、土路、草地3种类别的IoU和整体准确度评价指标mIoU,IoU和mIoU分别定义为

表2 语义分割模型试验效果

(28)

(29)

式中:TP、FP、FN分别为真阳性样本数目、假阳性样本数目、假阴性样本数目,这里的样本是指单个像素点,而不是整张图像。

5.3 道路可通行性验证与分析

为验证本文算法的有效性,选择横坡、斜坡和草地3种代表性场景,分别采用基于点云相对高度差的二维栅格地图方法[21]与本文提出的语义与几何信息相结合的三维可通行性栅格地图方法,进行无人驾驶试验,并将两种建图方法下平台的实际行驶结果进行对比分析。图9为横坡场景平台行驶对比。

图9(a)展示了道路右侧有一横坡的场景。图9(e)为点云相对高度差方法建立的二维栅格地图,其可通行性以二值化信息给出,黑色为不可通行的障碍物区,绿色圆点为规划模块提供的离散拓扑路径。由于缺少对环境语义与地面几何信息的引用,横坡处被检测为可行驶区域。本文所提方法的图像语义分割结果、三维语义栅格地图和三维可通行性栅格地图分别如图9(b)、图9(c)和图9(d)所示。在三维语义栅格地图中,灌木、草地与土路被大致地区分开来。在三维可通行性栅格地图中,基于语义分割结果和地面几何信息,对不同属性路面进行了可通行性分析,右侧横坡被分类为困难通行区域,如图9(d)中的蓝色圆圈区域,并且由于平台前方道路有较深车辙印记,地面平整度较差,被分类为较难通行区域,如图9(d)中的紫色圆圈区域。

图9(f)为采用两种不同建图方法平台的实际行驶速度与侧倾角对比,其中,方法1代表基于点云相对高度差的二维栅格地图方法,方法2代表本文提出的三维可通行性栅格地图方法。由图9(f)可以看到,两次试验的实际行驶速度大致相同,在方法1中,由于感知算法将右侧斜坡草地识别为可行驶区域,同时拓扑路径偏右,无人驾驶规控算法求解轨迹为从右侧横坡通过,因此平台的侧倾角在行驶至 15 m 左右时迅速下降到-17°,平台起伏较大,而使用本文建图方法,无人驾驶规控算法根据可通行性求解的轨迹基本在道路中间,平台侧倾角变化较小,行驶较为平稳。

图10为纵坡场景平台行驶对比。图10(a)展示了道路前方有一纵坡的场景。图10(e)为点云相对高度差方法建立的二维栅格地图,除两侧较高的树木被检测为不可通行区域,其余均为可行驶区域,对于平坦路面和斜坡并没有任何区分。本文所提方法的图像语义分割结果、三维语义栅格地图和三维可通行性栅格地图分别如图10(b)、图10(c)和图10(d)所示。由于通过语义分割可以直接判定两侧灌木为不可通行区域,大致划分出可通行的土路和草地,大大减少了可通行性分析时的点云的输入量。在三维可通行性栅格地图中,前方纵坡被分类为困难通行区域,如图10(d)中的蓝色圆圈区域所示。

图10(f)为采用两种不同建图方法平台的实际行驶速度与俯仰角对比。由图10可以看到,两次试验的初始行驶速度大致相同,在方法1中,由于感知算法没有对地面几何特征的识别能力,车速基本保持不变,而在本文建图方法中,感知算法在预测到前方存在困难通行区域后,无人驾驶规控算法求解得到的速度远低于拓扑路径参考速度,因此在行驶至上坡前,平台开始降速。

图11为杂草交错复杂场景平台行驶对比。图11(a)展示了土路与草地交错且左侧有一横坡的复杂场景。图11(e)为点云相对高度差方法建立的二维栅格地图,从中可以看到在障碍物高度约束不足的场景下,该方法提取的可通行区域边界并不明显。本文所提方法的图像语义分割结果、三维语义栅格地图和三维可通行性栅格地图分别如图11(b)、图11(c)和图11(d)所示。在三维语义栅格地图中,土路与草地区分的效果并不是太准确,但从可通行性的角度考虑,低矮草地与平坦土路均为容易通行区域。图11(d)中蓝色圆圈区域处的横坡由于连续长度较长,且越往左侧横坡坡度越大,因此部分区域被分类为不可通行,部分被分类为困难通行。

图11(f)为采用两种不同建图方法平台的实际行驶速度与横向偏差对比,其中,横向偏差为实际行驶路径与输入拓扑路径的横向相差距离。由于道路边界不清晰,规划模块提供的拓扑路径偏离了中间平坦道路。由图11可以看到,两次试验的行驶速度大致相同,在方法1中,感知算法未将左侧横坡识别为障碍物,故平台大致沿着提供的拓扑路径行驶,横向偏差较小,导致平台行驶到左侧横坡上;而使用本文建图方法,无人驾驶规控算法根据可通行性求解的轨迹更偏向于平坦道路,即沿着中间道路行驶,因此横向偏差在路径长度为15~30 m时均较大。

通过对本文提出的道路可通行性分析方法进行大量测试,在输入图像宽高像素为640×480,点云过滤距离为20 m,限制融合帧数为80帧的情况下,图像语义分割平均耗时为12 ms,从点云特征提取到获得可通行性分析结果的平均耗时为63 ms,三维可通行性栅格地图构建平均耗时为55 ms。

6 结论

对于复杂越野环境,仅依靠图像语义分割结果,准确度不高,且无法考虑平台与环境的强耦合关系,因此需要结合三维点云的距离信息,对道路的可通行性进行分析。本文提出了一种基于相机与激光雷达融合的无人履带平台越野道路可通行性分析方法。得出主要结论如下:

1)算法通过双通道卷积神经网络进行图像特征提取,获得了环境语义信息;基于传感器坐标系转换关系和语义映射,大致提取出可通行区域内语义点云,减少了后续点云数据的处理量。

2)算法基于不均匀点描述符的概念,提取可通行区域的三维点云特征,提高了地面几何描述的准确性和鲁棒性。

3)算法利用高斯混合聚类,结合道路表面属性、地面几何特征及平台的通过性约束,对道路可通行性进行分类,实现了对越野环境可通行程度的详细描述。

4)算法基于激光里程计提供的位姿信息,在线更新3D可通行性栅格地图,提高了检测结果的稳定性,为复杂越野环境下的无人履带平台提供了详尽的周边环境描述模型。

5)算法通过相机与激光雷达融合检测建立地图,为无人平台规划控制模块提供了良好的引导,使得平台的规划路径与行驶速度更加合理,姿态更加平稳。

猜你喜欢

栅格语义道路
真实场景水下语义分割方法及数据集
坚持中国道路——方向决定道路,道路决定命运
道听途说
栅格环境下基于开阔视野蚁群的机器人路径规划
超声速栅格舵/弹身干扰特性数值模拟与试验研究
我们的道路更宽广
反恐防暴机器人运动控制系统设计
基于栅格地图中激光数据与单目相机数据融合的车辆环境感知技术研究
“吃+NP”的语义生成机制研究
一次骑行带来的感悟