基于车载LiDAR的特征融合差分的车前道路提取方法

何光明,韩士元,2,陈月辉,2,周 劲,2,杨 君

(1. 济南大学山东省网络环境智能计算重点实验室,山东 济南 250022; 2. 济南大学人工智能研究院,山东 济南 250022; 3. 山东交通学院汽车工程学院,山东 济南 250023)

随着科技的不断发展,车载LiDAR已经开始被广泛应用于智能驾驶、三维物体检测等领域。车载LiDAR包含了精准的三维空间信息,物体的空间信息对行驶中的车辆至关重要,这是光学影像不具备的特征。通过车载LiDAR研究提取车前道路,相比光学影像具有更高的可信度。

目前国内外学者针对基于车载LiDAR的点云提取道路进行了大量的研究。文献[1]使用基于最大熵的模糊聚类方法对点进行聚类,并使用加权线性拟合算法生成路面。文献[2]使用高斯滤波算法的导数从MLS数据中检测路缘。文献[3]首先使用点的GPS时间将点云划分为连续的道路横断面;然后使用移动窗口操作符根据高程差、点密度及坡度变化检测每个路段中的路缘点。文献[4]使用轨迹数据将点云划分为多个块。坡度和高程测试用于检测每个街区的路缘点。文献[5]在点云上构建了显著特征图,以检测路缘点。文献[6]使用道路边界的局部线性特征,通过图形切割检测路缘点。文献[7]提出一种针对海量点云数据局部强度的栅格分割方法,用于提取道路点云。文献[8]提出了一种基于扫描线的移动窗口滤波道路提取方法。文献[9]提出一种集成注意力机制和扩张卷积的道路提取模型。文献[10]采用随机森林分类模型提取道路点云。文献[11]结合RANSAC阈值的形态学滤波提取地面点云,然后通过聚类提取道路点云。文献[12]提出一种基于Otsu算法和区域生长分割的道路提取方法。文献[13]提出了一种基于点云法向量分布特征及扫描车轨迹信息的道路边界提取方法。文献[14]提出了一种基于坡度滤波算法与改进欧氏距离的区域生长算法相结合的道路点云提取算法。虽然研究人员在车载LiDAR的道路提取中做了许多研究,但当前大多数研究的过程均是先采集数据,然后对整条道路数据进行建模提取。研究重点针对整条道路的提取完整度,但在行驶过程中对汽车而言,更为重要的是车前实况道路边界感知,以及对于道路临时占用、道路塌陷等突发状况,即对道路的完整性提取失去了实用意义。本文针对此问题,提出一种车前短距道路自动提取的算法,实现数据采集与道路提取同时进行,以获取更为精细的车前临时道路边界。

1 点云数据的预处理

1.1 基于形态学算法地面点云数据获取

数学形态学(Morphology)是图像处理的基本理论之一,基本的运算有腐蚀和膨胀、开运算和闭运算,基于这些基本运算还可推导和组合成各种数学形态学实用算法,进行图像形状和结构的分析及处理。这在图像分割、特征抽取、边缘检测、图像滤波、图像增强和恢复等方面有广泛应用。腐蚀和膨胀操作已经扩展到点云领域,对于激光雷达测量点云P(x,y,z),高程z在地面(x,y)处的膨胀操作定义为

(1)

腐蚀操作定位为

(2)

将原始点云的剖面图通过抽样形成多个点云元,如果点云元内没有测量值,则使用最近邻域插值导出高程。通过对点云元进行侵蚀和膨胀的组合应用,产生打开和关闭操作,用于雷达数据非地面点云数据和地面点云数据的分割,文献[15]提出了基于形态学的地面点云提取算法,该算法流程描述如图1所示。

图1 形态学地面滤波算法流程

在激光雷达获取原始点云后,经过形态学地面滤波处理,原始点云中道路周围建筑物、行人、汽车、树木等非地面点云会被全部滤除,剩余部分保存为地面点云。

1.2 地面点云自适应运算域设置

在经过地面滤波后,由于受到周围环境如树木、建筑物和车辆的遮挡,地面点云的数据量主要集中在前方道路上,如图2-图3所示。通过统计各横向区间所蕴含的数据量,设置自适应运算域,该运算域的设置符合向“密集点靠拢”的原则,将前方点云划分为若干个单位统计区间。通过点云数据量分布直方图,确定运算域宽度,不仅可滤除不必要的噪声点,减少了差分运算量,还在不影响准确性的前提下节省了运算空间,提高了运行速度。

图2 车前横向点云数据量分布

图3 车前50 m纵向点云数据量分布

2 多特征融合差分道路提取算法

2.1 差分元划分

差分元大小的选择对于获得良好结果至关重要。激光雷达通过发射出的接触物体表面并反射回的激光回波信号强度记录数据。一般而言,与激光雷达正对着的位置上激光回波点的数量会多一些,而相较激光雷达位置较偏的物体或出现不规则的表面的物体,导致被扫描物体所处环境难以返回回波信号,即激光回波的收点数量相对较少。还有些对激光信号有吸收性的物体,会造成点云数据中的大面积空白区域。不同的扫描方式也会引起点云分布不均。同时激光雷达的光线收发模组的每个发射头之间会有定量的偏移角,其激光线数越多,偏移角越小,所获得的激光点越多,成像级别越高。前方道路距离车越近,获得激光点数越多且密集,但随着车距的增加,激光点逐渐稀疏。使用固定差分元会出现大量的空白数据,增加不必要的运算量。因此,需要设置合适尺寸的差分元。

2.1.1 差分元的纵向划分

差分元纵向划分的最佳状况是确保每个纵向条带中都包含数据点,通过验证分析,(l1,l2,…,ln)属于正向递增序列,窗口长度的选择可以通过线性增加长度,计算公式为

ln=tn+b

(3)

式中,t为增益系数,其数值t∝Htanα,其中H为激光雷达的安装高度,α为激光雷达发射模组中相邻激光发射头的夹角,为固定值;b用于调节每个差分元起始位置。

图4(a)中,b的值小于ln-1,差分元之间形成交叉重叠;图4(b)中,b的值等于ln-1,差分元之间交界;图4(c)中,b的值大于ln-1,差分元之间存在间隙会形成数据遗漏,故b∈(0,ln-1),n≥2。

图4 相邻差分元纵向起点

2.1.2 差分元的横向划分

大量的试验结果证明,差分横向划分宽度与点云的密度和差分元长度有关,密度越大,差分云宽度越短,效果越好。本文中同一纵深选取等距窗口长度,差分元的起点计算公式为

(4)

s决定每个差分元的起点,如图5所示。s小于wm-1时,差分元之间形成交叉重叠;s等于wm-1时,差分元之间交界;s大于wm-1时,差分元之间存在间隙会形成数据遗漏,故b∈(0,wm-1),m≥2。

图5 相邻差分元横向起点

2.2 差分元特征参数处理

参考文献[16]点云中每个点根据豪斯多夫距离映射到特征空间中,对每个差分元的多个激光点的多维度特征进行融合映射,设S为一个差分元的点集合:S={p0,p1,p2,…},取数量特征N、高度特征H、反射强度特征为R,设α、β、λ为权重系数,规定α+β+λ=1,则每个差分元内有

(5)

式中,F为每个差分元的特征融合参数。

2.3 差分运算

在每个差分元界限选取后,统计每个差分元内特征D,记为D(m,n)=[wmlnF],获得特征矩阵为

(6)

式中,Γ为非零阵,设单位变换矩阵E,求取变换矩阵Γ′=Γ·E,则求解差分矩阵Res=Γ-Γ′。

2.4 阈值滤波器设置

在获取差分矩阵后,道路的不平整、积水、落叶等因素会在提取边界时对结果形成噪声干扰,需将微小的噪声滤除,否则对不平整路面的提取精度将大幅降低。

差分阈值初值T可根据运算域内点云密度的均值K确定,计算公式为

(7)

假设均值恒定,差分阈值初值设定与点云密度均值存在关系为T=K,在获取T后若无法找到道路边界,需要再对T值进行重置,依据同纵深的每个差分元内的密度均值重置T,计算公式为

(8)

差分矩阵进行滤波,获取参照矩阵Ψ=Res·T,运行结果Ψ内会出现大量空值,在空值边缘截取标定矩阵为

(9)

通过标定矩阵Φ查询原始点云,获取道路边界。综上所述,本文算法描述如下。

Input: 原始点云

Output: 道路点云

1 形态学滤波获取地面点Gp

2 计算Gp数据分布,确定运算域的长度L、宽度W,提取出运算域点云Gp(W,L,k)={P0,P1,P2,…,Pk}

3 设定差分元D参数(Δw,Δl),相邻差分元之间的偏移量(b,s)

4 设定阈值滤波器初始值T

7 ifΦ==0&T!=0:

8Φ←Res·T

9 if is find(Dleft,Dright):

10 end

11 if on find(Dleft,Dright)&T!=0:

12T-1=1,返回5

13 ifT==0

14 Δw+=b,Δl+=s,返回4

3 试验结果分析

采用一台雷克萨斯RX450 h搭载4个Sekonix SF3325-100相机、两个VLP-16线激光雷达、一个Ouster OS2-128 long range LiDAR[17-19]的信息收集平台进行试验数据采集。其点云数据样本包含了(x,y,z,reflection)四维度特征。采集到原始的激光点云数据,数据量巨大且冗余,需要经过数据配准、数据减缩(地面滤波)、空洞修补及点云分块等一系列操作处理。原始点云包含131 072个激光点,先经滤波后地面数据包含80 935个激光点,再经过确定运算域后有效数据包含57 350个激光点,如图6所示。为了更好地对试验结果进行定量分析,采用Cloud Compare软件人工提取路面点云,作为分割正确率的参考。

图6 示例点云道路提取可视化过程

根据文献[20-21]选用准确性p、完整性r、检测质量q这 3个度量指标对本文算法进行评价,定义评价指标计算公式为

(10)

式中,TP为实际为道路点,且判断为道路点;FN为实际为道路点,但判断为非道路点;FP为实际为非道路点,但判断为道路点。

本文算法主要应用于车辆行驶中的一帧点云数据提取的道路数据,图6的示例点云数据提取车前0～50 m的道路,人工提取道路点云如图6(d)所示,共9092个点。算法提取道路点如图6(e)所示,共9162个点,其中正样本为8842个点,假阳样本为320个点。道路提取准确率为96.51%,完整性为97.25%,提取质量为93.94%。与相关的道路提取算法相比,效果见表1。可以得出,本文算法能精准界定行驶中车前道路边界,更能实时监测行驶中道路情况的变化。同时为了避免数据出现偶然性,对所采数据集不同道路抽选4组数据,做不同纵深道路提取对比,效果见表2。

表1 本文算法与相关算法的道路提取对比

表2 本文算法对不同纵深的道路提取效果 (%)

4 结 语

与当前研究注重提取道路的完整性不同,本文主要研究了行驶中车载LiDAR车前道路边界自动提取方法。首先通过形态学滤波将当前帧点云提取出地面点云,根据所获得数据量分布细化运算区域,划分差分元大小,统计每个差分元的特征参数形成特征矩阵,通过矩阵变换获取差分矩阵后,采用不同的阈值滤波器扫描差分矩阵提取道路边界。通过大量的试验结果表明,本文在城市道路中适用性良好,在道路条件恶劣时,本文算法会通过损失检测距离保证良好的准确性,更具有实用性。