无人车三维激光雷达反射强度校准
2017-11-01韩栋斌徐友春王任栋
韩栋斌,徐友春,李 华 ,陈 文,王任栋
(1.陆军军事交通学院 研究生管理大队,天津 300161; 2.陆军军事交通学院 军用车辆系,天津 300161)
● 基础科学与技术BasicScience&Technology
无人车三维激光雷达反射强度校准
韩栋斌1,徐友春2,李 华2,陈 文1,王任栋1
(1.陆军军事交通学院 研究生管理大队,天津 300161; 2.陆军军事交通学院 军用车辆系,天津 300161)
为通过路面激光反射强度获取路面信息,针对三维激光雷达不同激光束由于扫描距离和入射角不同等原因导致扫描到相同路面区域时,其反射强度存在偏差的问题进行校准研究。提出一种选用排除异常扫描线后的样本栅格数据,采用改进的均值校准和EM迭代算法,初步得到激光束部分可信的反射强度校准值;再通过线性插值和指数拉伸变换,离线得到适用多种路面环境的反射强度对应关系,该对应关系用于实时校准每个激光点的反射强度。通过对比校准前后的路面栅格反射强度均值图和方差分布图,可以看出该方法能明显提高路面反射强度地图的均匀程度,验证了其有效性。
无人车;激光雷达;反射强度;EM算法
三维激光雷达因其宽视野、高精度、高频率等特性成为无人车领域广泛应用的感知传感器之一。其激光扫描点位置信息主要被用于障碍物探测、物体识别与跟踪、三维重建等。反射强度信息常被应用于辅助车辆识别、道路标线检测、辅助点云自动配准、概率地图与概率定位等。本文研究内容用于基于反射强度的概率地图的构建与概率定位。概率地图是指将激光雷达路面点云划分成栅格,每个栅格中存储该栅格内点云反射强度均值或者方差信息的地图。概率定位是指实时雷达点云反射强度通过匹配概率地图实现概率定位。
激光反射强度主要受激光发射强度、激光扫描角度、传输距离、被扫描物体颜色材质反射特性等因素的影响[1]。本文研究设备为 Velodyne-HDL64E三维激光雷达。无人车水平运动时,三维激光雷达各激光束扫描到路面的入射角度和激光传输距离波动不大,各激光束反射强度的区别主要受被扫描物体属性的影响。图1所示为单帧激光雷达点云原始反射强度图,不同颜色代表反射强度值的大小不同,其左上部为点云局部放大图。可以看出,相同属性的路面上不同激光束的反射强度值存在偏差,不能真实地反映路面反射强度情况,故需要对不同激光束的反射强度存在的偏差进行修正,使不同激光束扫描到相同属性区域时返回相近的反射强度。
图1 点云原始反射强度
反射强度的影响因素较多,一般的校准方法是通过控制变量,分别研究反射强度和单个影响因素的关系,对单个激光束进行校准。研究不同激光束之间协同校准的相对较少。文献[1]得出激光反射强度和扫描角存在一定的函数关系。但是对于不同材质的扫描对象,激光反射强度与扫描之间的函数关系不尽相同,需要建立不同材质的函数模型库来纠正反射强度的误差,实施过程复杂,实用性差;文献[2]实验结果表明,距离和入射角影响不耦合;文献[3]提出了基于数据的校准方法和基于模型的校准方法;文献[4-5]提出了一种基于概率思想的无监督反射强度校准方法,但校准效果受临近激光束和异常激光束影响较大,本文对其中均值校准过程进行了改进。并针对算法本身对样本的依赖性,难以得到每个激光束所有反射强度的校准值,且反射强度对比度不明显,本文对校准结果进行了线性插值和拉伸变换。
1 方法描述
针对三维激光雷达不同激光束扫描到相同属性路面时反射强度存在偏差,不能真实反映路面反射强度信息的问题,本文分两个环节进行修正:一是样本获取环节;二是校准实施环节。
样本的获取过程主要包括激光雷达点云序列化、点云位置修正、路面提取、点云叠加、栅格划分以及数据选择与存储。
栅格划分示意如图2所示。图2中有向箭头表示车辆的行驶轨迹,车辆驶过路段的路面几乎被三维激光雷达点云覆盖。将所有路面点云、高度设置为0,投影到二维平面。在地面选取一点作为栅格划分原点,以正东方向为E轴,正北方向为N轴,划分二级栅格,每10 m×10 m为一个一级栅格,每个一级栅格包含100×100个10 cm×10 cm的小栅格。
图2 栅格划分示意
2 校准方法
得到存储的多样样本数据后,根据均值校准、概率校准、后处理3个步骤实现激光雷达在路面的反射强度校准。
2.1均值校准
对于图2中的10 cm×10 cm二级栅格,如果路面属于同一属性(如全是路面或者车道线等单一属性),反射强度值分布满足正态分布。如果包含两种及以上属性区域(如一个小栅格内既有车道线又有非车道线路面情况),则不服从单峰的正态分布。如果将所有这样的栅格剔除,将导致大多数包含车道线的栅格被剔除。本文根据栅格内相同激光束的反射强度是否有大的跳变来判断是否包含多种属性。若包含多种,将激光点分为两类,将点数较少的一类剔除,这样避免了上述问题。如果不这样处理,会造成大量有价值的样本丢失,降低校准效果。
为地图上每个栅格设定唯一的编号ci,建立集合Gci和B(b,a)。Gci元素为编号ci的栅格内所有点的集合,点的属性包括激光束的编号b和反射强度a;B(b,a)为激光束b返回强度值为a的所有栅格编号的集合。
式中:b∈{0,1,…,63}为64个激光束;a∈{0,1,…,255}为不同的激光束返回值;ci∈{0,1,…,|M|}为栅格编号,|M|为地图中栅格的数量;zi=(b,a)为一个扫描点的激光束编号和反射强度信息;n为该栅格内点的数量。
选择一块均匀的路面上采集的一帧点云,分别计算每个激光束路面点的反射强度的均值,然后计算所有激光束的均值的均值,通过计算每个激光束的均值与总体均值的偏移量,大于设置的阈值(本文设置的阈值为18),则认为属于异常线bm(bm是一个异常线的集合)。异常激光束会影响均值校准的校准结果。校准过程中,采用舍弃异常激光束的点云数据作为样本来校准所有激光束的反射强度。
那么,I(b0,a0)为当激光束b0的反射强度返回值为a0时对应的校准值。其值为包含激光束b0,并且其反射强度返回值为a0的所有栅格里的所有非激光束b0和非异常激光束的其他激光束的反射强度期望的条件期望值。
I(b0,a0)∶=E[Eb(a|∃zi∶zi∈Gci,
ci∈B(b0,a0),b∉bm,b≠b0)]
2.2概率校准
本文关注的重点是当某个激光束返回某个反射强度值时路面栅格对应反射强度概率最大的值。在2.1节中校准环节,路面栅格反射强度的分布仍未知,属于隐含变量,假设相同,路面属性的栅格的反射强度服从正态分布[6],为其建立概率模型。结合均值校准的先验知识,采用EM算法[7]对反射强度校准值进行估计。
实际上,路面的反射强度是连续变化的,而激光雷达的反射强度返回值在0~255的整数范围,是离散的。可以认为激光雷达的反射强度是将真实反射强度离散化的结果。于是,建立P(m|a;b)模型,表示已知激光束b观测到强度为a时,地图栅格强度为m的概率分布。本文不关注各个栅格之间相互关系,认为各个栅格相互独立。因此,对于每个栅格c反射强度m分别为0~255 的概率分布是一个离散分布,表示为P(m;c)。每个栅格P(m;c)初始化为均匀分布。为建立P(m|a;b)和P(m;c)的关系,对于每个激光束b,建立一个分布P(a|m;b),用来表示给定栅格强度m的条件下,该给定栅格内b激光束反射强度为a的概率分布。对于每个激光束,其条件先验分布初始化为
式中:η为归一化系数;τ为其分布的离散程度;ε保证每一个可能返回值的概率不为0。64个激光束都被初始化为相同的256×256的分布模型。
从上面的初始化开始,交替迭代计算每个栅格的分布和每个激光束的条件分布。
更新方程如下:
E步:独立更新每个栅格分布
式中k为栅格编号。
在E步,保持当前激光束模型参数不变,根据划分的栅格点云数据,计算每个栅格的反射强度分布。
M步:独立更新每个激光束模型。首先计算
采用气相色谱法分析了两个实际天然气样品,常量组分采用GB/T 13610-2014,延伸组分采用GB/T 17281-2016。其中,对于各组分的定量,分别采用气体标准物质中n-C4架桥定量分析(方法一)和样品气中n-C5架桥定量分析(方法二),表1为延伸组分采用两种定量分析方法获得的结果。
b;ci=k,ai=a}
式中:P(m|a;b)为根据E步计算得到每个栅格分布的前提下,激光束b观测到强度为a时,地图栅格强度为m的概率分布。然后,使用这个期望值计算激光束参数最大的后验估计值。
根据贝叶斯原理,建立P(a|m;b)和P(m|a;b)之间的关系,构成循环迭代。
P(a|m;b)=η·P(m|a;b)·P(a;b)
式中P(a;b)为激光束b观测反射强度为a时的概率。
E步和M步交替迭代,直到EM收敛,得到P(m|a;b)的分布。m的加权期望值作为该激光束相应反射强度的校准值。即
2.3后处理
实际采样中很难采集到充分的样本数据,所以,往往不能够通过样本估计直接得到每个激光束所有反射强度的校准值。因此,就需要利用每个激光束中被校准的反射强度对未被校准的反射强度校准值进行插值。本文采用线性插值的方式,得到每个激光束每个反射强度都有对应校准值的对应表。
如果将路面反射强度值直接对应图像灰度进行显示,对于道路标线不清晰或者标线和路面对比度不大的情形,很难直观地识别出道路标线。为提高道路标线等的清晰程度,本文对激光雷达反射强度的校准值进行了拉伸变换,以提高其对比度。实现过程中尝试了线性拉伸变换和指数拉伸变换两种方式。线性变化适用于广泛情况,但是对比度增加不明显,而指数拉伸变换可以有针对性地增加反射强度图的对比度。
指数变拉伸变换如下:
CI=255/(1+(K/SI)t)
式中:SI为拉伸前反射强度;K为拉伸中值;t为拉伸指数;CI为拉伸后反射强度。进行拉伸变换后,K值附近的反射强度对比度会被放大,两端的反射强度对比度会被缩小,两端的反射强度灵敏度就会降低。想要得到良好的拉伸变换效果,需要选择合适的拉伸中值和拉伸倍指数。路面反射强度的取值范围正好是集中在中间60~220之间,两端的取值可能性较低,所以,本文选用的指数拉伸变换,拉伸中值k为112,拉伸指数为6。
3 实验分析
为采集多样的路面情形,本文分别采集某校园所有道路、一些市区路段、高速路段的白天与黑夜的激光雷达和惯性组合系统数据。解析原始数据得到多种条件下的叠加点云。本文通过分别选取多种道路情形路段分别在白天和黑夜得到的点云数据,将其存入样本数据库,联合所有样本来估计反射强度校准值。
为避免样本的重复而导致计算量增大,本文从生成的栅格点云中选择了20块代表不同路面情况的40 m×40 m区域作为最终样本。通过均值校准、EM算法迭代收敛和后处理过程,最终生成了一个适应多数情况的路面反射强度校准文件,将其通过图的形式展示(如图3所示)。
图3 各激光束反射强度校准期望值
图3所示为激光雷达各激光束反射强度校准值对应关系。横轴为激光束编号,纵轴为原始反射强度,颜色由深到浅代表反射强度从0到255,颜色表示校准后的反射强度。本文重点对前45线的激光束进行校准。由图3中可知,前45线中大多数的激光束变化趋势都相似,个别激光束的反射强度规律与其他激光束不同步,这就是所谓的异常线,本文重点对其进行了校准,校准后消除了异常情况。本文路面反射强度图使用的是每帧点云的前45线点云数据。将激光雷达反射强度0~255以灰度的形式显示,得到路面影像如图4所示。
图4为城市道路不同路面情形的原始和校准后反射强度均值和方差对比图。图4所示均值图和方差图分别根据10 cm×10 cm栅格内的反射强度的均值和方差生成,灰度深浅表示其值的大小。图4(a)~(d)代表没有道路标线的路面环境,图4 (e)~(h)代表道路标线清晰的路面环境。对比图 4(a)和(b),(b)图中路面更加清晰,隐约可以看出路面上常年被碾压的两条车辆轨迹线;对比图4(e)和(f),(f)图中路面更加清晰,车道标线更加明显,相同属性路面反射强度更加均匀;对比图4(c)和(d),可以看出(d)图上方差更加均匀,明显减少了(c)图中异常激光束异常反射强度返回值导致的一圈一圈白圈的情况;对比图4(g)和(h),(h)图上相同属性路面的方差较(g)图明显减小,并且更加均匀,同时,包含不同属性栅格方差明显很大,比如车道线和路面的交界处。验证了算法的有效性。
随机从地图中选择一块30 m×30 m区域的栅格,不考虑没有点云的栅格,剩余近18 000个小栅格,分别计算这些小栅格校准前后的方差,如图5所示。图5(a)和(b)图分别为同一区域校准前后栅格方差分布情况。对比两图,校准前方差峰值分布在75左右,均值为69.4,校准后峰值分布在50左右,均值为46.5。校准后方差总体减小,方差越小,说明反射强度的均匀度越高。因此,可以得出校准后栅格反射强度的均匀度有所提高,验证了算法的有效性。
图4 城市道路不同路面情形的原始和校准后反射强度均值和方差对比
图5 栅格方差分布校准前后对比
4 结 语
本文对无人车三维激光雷达路面反射强度校准进行了研究,结合概率思想,通过参数估计的方法,得到一个适用于多种路面环境的反射强度校准效果。实际应用中,如果遇到不能适应的路面情况,可以从其中选择一段数据加入到前述数据库中,迭代优化此类路面情况校准效果,提高其环境适应性。通过排除异常线的样本数据的影响,提高了校准效果。和其他标定程序相比,本文的校准方法不需要制作特殊的校准目标,如标定板等,并且能够自动适应各种环境。对于同一个激光雷达来说,只需要在初次使用时校准一次,之后可以长期使用。这为以后基于反射强度的车道线检测,反射强度概率地图的构建与概率定位、相机与激光雷达融合标定奠定了基础。
但是,校准过程中仍有一些问题需要继续改进。比如,选取样本过程中,样本路面反射强度值变化范围狭窄,算法对数据依赖较大,需要存储多样的样本,寻找多样的反射强度情况比较困难,所
以就会有一些反射强度校准值是通过插值得到。通过人工选择样本区域费时费力,寻找一种自动选择校准效果不好的路面区域并自动添加到校准样本,通过自学习来修正反射强度校准文件,将是后续重点研究的内容。
[1] 曾齐红.机载激光雷达点云数据处理与建筑物三维重建[D].上海:上海大学,2009.
[2] KROOKS A, KAASALAINEN S, HAKALA T, et al.Correction of intensity incidence angle effect in terrestrial laser scanning[J].ISPRS Annals of photogranmetry,Remote Sensing and Spatial information Sciences, 2013(1): 145-150.
[3] HÖFLE B, PFEIFER N.Correction of laser scanning intensity data: Data and model-driven approaches[J].ISPRS Journal of Photogrammetry and Remote Sensing, 2007, 62(6): 415-433.
[4] LEVINSON J, THRUN S.Unsupervised calibration for multi-beam lasers[C]//International Sympesince on Experimental Robotics.Heidelberg:Springer, 2014: 179-193.
[5] LEVINSON J, THRUN S.Robust vehicle localization in urban environments using probabilistic maps[C].Anchorage:(IEEE) International Confererce on Robotics and Automation, 2010: 4372-4378.
[6] LEVINSON J S, THRUN S, KOLLER D, et al.Automatic laser calibration, mapping, and localization for autonomous vehicles[M].California:Stanford University, 2011.
[7] DEMPSTER A P, LAIRD N M, RUBIN D B.Maximum likelihood from incomplete data via the EM algorithm[J].Journal of the royal statistical society.Series B (methodological), 1977,39(1): 1-38.
(编辑:史海英)
ReflectionIntensityCalibrationofThree-dimensionalLIDARonUnmannedVehicle
HAN Dongbin1, XU Youchun2, LI Hua2, CHEN Wen1, WANG Rendong1
(1.Postgraduate Training Brigade, Army Military Transportation University, Tianjin 300161, China;2.Military Vehicle Department, Army Military Transportation University, Tianjin 300161, China)
In order to obtain road information through laser reflection intensity, the paper studies the calibration of reflection intensity deviation while different laser beam scanning the same road with different scanning distance and incident angle. It firstly selects sample grid data which excludes abnormal scan lines, and obtains part of reflection intensity calibration value of the laser beam with improved mean calibration and EM iteration algorithm. Then, by using linear interpolation and exponential stretching, it obtains corresponding relationship of reflection intensity applying to diverse road environments, which is used for real-time calibrating reflection intensity of each laser point. The comparison between road grid reflection intensity map and variance distribution diagram shows that this method can improve the uniformity degree of road reflection intensity map, which verifies the validity of the method.
unmanned vehicle; LIDAR; reflection intensity; EM algorithm
10.16807/j.cnki.12-1372/e.2017.10.020
TP75
A
1674-2192(2017)10- 0085- 06
2017-04-28;
2017-06-19.
国家自然科学基金重大项目“自主驾驶车辆关键技术与集成验证平台”(91220301);国家重大研发计划“智能电动汽车路径规划及自主决策方法(2016YFB0100903).
韩栋斌(1994—),男,硕士研究生;徐友春(1972—),男,博士,教授,博士研究生导师.