激光雷达在无人驾驶环境感知中的应用

黄武陵

(中国科学院　自动化研究所,北京　100190)

激光雷达在无人驾驶环境感知中的应用

黄武陵

(中国科学院自动化研究所,北京100190)

激光雷达是实现无人驾驶环境感知的重要传感器,特别是通过与相机和毫米波雷达等实现感知信息融合之后,适用于复杂交通环境感知,可以检测交通环境中的不同目标,包括道路、可行驶区域、行驶环境中行人和车辆、交通信号灯和交通标志等交通要素。本文通过激光雷达的技术描述,介绍它在环境感知中的重要作用,分析了激光雷达标定及测试等技术基础,分析了激光雷达在环境感知中的应用,可以为相关技术应用提供参考。

无人驾驶;激光雷达;环境感知;标定与测试

引 言

传感器负责采集无人驾驶车辆所需的自身姿态和周边环境信息,为无人驾驶车辆的安全行驶提供及时、准确的决策依据。因此,需要面向复杂环境感知需求集成低价、性能优秀的车内和车外传感器,发挥各传感器的优势,按照不同的自动驾驶功能需求进行传感器优化配置。目前常用传感器包括超声波、红外相机、激光雷达、毫米波雷达、单目或双目相机等。其中,激光雷达能够检测目标物体的空间方位和距离,并可通过点云来描述3D环境模型,可提供目标的激光反射强度信息,为毫米波雷达等传感器提供被检测目标的详细形状描述,而且在黑夜和雨天等极端情况下也有较好表现。

本文通过激光雷达的技术描述,介绍了激光雷达在环境感知中的重要作用,讲解了激光雷达标定及测试等基础技术,分析了激光雷达在环境感知中的应用等。

1 激光雷达在无人驾驶环境感知中的重要作用

1.1 无人驾驶车载传感器的分类

在选择车载传感器时,一般需要综合考虑多个方面的属性,包括传感器精度、分辨率、灵敏度、动态范围、传感器视角、主动与被动传感器、时间精度和输出接口,以及误报率、温度适应性、黑暗适应性、不良天气适应性、硬件成本、信号处理能力等。结合这些参数和不同等级的无人驾驶功能实现需求,从超声波雷达、激光雷达、毫米波雷达、摄像头、红外探头等传感器中综合考虑加以选取。无人驾驶车载传感器配置要求如图1所示。

图1 无人驾驶车载传感器配置要求

如图2所示,典型自动驾驶功能实现中,要求车载传感器能够覆盖长、短距检测,兼顾日夜行驶等需求,方案中要求配备毫米波雷达传感器6个(超长距前窄角1个,中距前窄角1个,后/侧面广角4个)、红外夜视传感器1个(长距前窄角)、图像摄像头6个(长距前窄角1个,短距广角后方1个、侧面4个),以及超声波传感器4个(前/后侧短距广角)。

图2 实现自动驾驶所需的车载传感器配置

1.2 车载激光雷达重要作用

现阶段,常用的车载外部传感器只在某些特定情况下使用。例如,毫米波雷达可以准确检测前方车辆的距离和速度,具备较强的穿透雾、烟、灰尘的能力,但无法对目标进行细化识别。而相机视觉系统可以获得车道线、交通信号等目标的颜色和形状等细节,从而进行细化识别。但是,相机视觉系统的测距能力没有激光雷达精确。激光雷达通过点云来建立周边环境的3D模型,可以检测出包括车辆、行人、树木、路沿等细节。为了适用复杂环境,需要进行多传感器信息融合,所以,通过激光雷达或毫米波雷达与视觉传感器进行融合,不仅可以进行目标物体检测,而且还能进行目标空间测距、目标图像识别等功能。类似,GPS定位、视觉传感器和激光雷达进行融合,则可以实现车道保持所需的高精度定位,也能实现多类障碍物目标检测。

近期的特斯拉汽车事故说明,自动驾驶仅靠单类传感器难以实现,还需要多种传感器融合,关键性传感器不能减配。要实现无人驾驶,除了常见的传感器,更需要选配高精度GPS定位系统及激光雷达等高精度测距传感器。图3所示,参加2007年DARPA Urban Challenge比赛的Stanford大学“Junior”无人车辆配备5个激光雷达(IBEO、RIEGL、SICK和Velodyne),1个Applanix GPS惯性导航系统,5个BOSCH毫米波雷达,以及前向相机系统。

Junior无人驾驶车辆定位通过Applanix POS LV 420集成惯性导航系统实现,包括GPS方位航向测量、高性能惯性测量单元、车轮里程计(DMI)和OMNISTAR卫星虚拟基站服务,提供低于100 cm和0.1°的实时位置和方向误差。2个侧向的SICK LMS 291-S14激光雷达和1个前向的RIEGL LMS-Q120激光雷达提供3D道路结构和车道标线检测,并进行车辆高精度定位。1个车顶64线 Velodyne HDL-64E激光雷达用于障碍物和移动车辆检测,形成水平方向360°和垂直方向30°视域的扫描数据,由车尾的2个SICK LDLRS激光雷达和前保险杠2个IBEO ALASCA XT激光雷达进行视野补充。5个安装在前格栅的BOSCH长距离雷达(LRR2)提供周围移动车辆的检测信息。Junior无人驾驶方案充分体现了激光雷达传感器的重要性。

图3 Junior无人驾驶车辆及其传感器配置

1.3 常见的车载激光雷达

现阶段,激光雷达传感器厂商主要包括Velodyne、IBEO和Quanergy,国内也陆续出现类似产品,例如北科天绘公司的机载和车载激光雷达。无人驾驶车辆上所用的激光雷达最好能被做成小体积直接嵌入车身,需要将机械旋转部件做到最小甚至不用旋转器件。IBEO的激光雷达产品LUX,已经用固定激光光源通过内部玻璃片旋转的方式改变激光光束方向,满足多角度检测的需要。Velodyne目前已经量产的激光雷达包括HDL-64E(64线)、HDL-32E (32线)、VLP-16(16线),以及和福特一起发布的半固态激光雷达Solid-State Hybrid Ultra Puck Auto,线数增加到32线,体积和原16线产品一致,将旋转部件做到内部隐藏起来。Quanergy旗下产品S3是一款全固态产品,使用了相位矩阵技术,内部不存在任何旋转部件。

2 车载激光雷达的标定及测试

2.1 激光雷达的主要参数

激光雷达用来描绘周围环境的几个主要参数,包括线数、点密度、水平垂直视角、检测距离、扫描频率、精度等。除了位置和距离信息,激光雷达还提供返回所扫描物体的密度信息,后续算法据此可以判断扫描物体的反射率,再进行下一步处理。例如,从众多目标中判断出交通标志牌,再由相机有针对性地分析标志牌内容,从而减少算法成本。

激光雷达的探测范围指标包括有效距离、水平视场(识别范围)、纵向识别范围。其有效距离最远可达300 m,水平视角一般在80°到360°,如果是64线雷达,则可以达到32°的纵向视场角。激光雷达的角分辨率水平方向上一般能到0.1°,纵向可达0.5°,纵向探测角度一般通过线束计算,每个接收器覆盖0.5°,4线激光雷达纵向扫描范围为2°。1线激光雷达是一个二维扫描雷达; 4线或8线纵向扫描范围从3.2°到6.4°,可定义为2.5D扫描雷达。64线雷达纵向扫描范围为30多度,可定义为3D扫描雷达。车载激光雷达工作电压一般是12 V,其输出格式一般是以太网、USB或FlexRay格式。以国内北科天绘公司R-Fans16(2016)激光雷达为例,其参数如表1所列。

图4 降雨量对激光雷达的影响

表1 北科天绘R-Fans16(2016)激光雷达参数

2.2 激光雷达的标定

(1)激光雷达影响因素

激光雷达也有缺点,例如在雨雪雾天气下性能变差、价格昂贵、数据量较大、需要高性能计算实时处理。激光雷达精度受天气影响较大,例如,空气中悬浮物会对光速产生影响,大雾及雨天影响其测量精度。如图4所示,随着实验雨量增大,两种激光雷达的最远探测距离都呈线性下降。

(2)多线激光雷达的外部参数

在理想状态下,激光雷达多线束激光从坐标系原点射出,且每束激光的起始位置都为坐标系原点。但实际上,每个激光传感器安装位置不同,光束的水平方位角也有差异,光束并不在同一个垂直平面内。因此,对应每个激光器都有一组校准标定参数,可以通过标定方法或者标定参数(即每个激光束的位置和方向的参数)估计。坐标系定义如图5所示。

图5 Velodyne HDL-64E激光雷达坐标系定义

为了将激光雷达返回的距离和角度信息转换为激光雷达坐标系中的笛卡尔坐标,需要对每一条激光束采用5个参数进行建模,然后通过这5个参数将每条激光返回的距离值转换为3D点坐标[5]。

①距离校正因子Dcorr:每一条激光束的距离偏差,返回的距离值Dret上距离校正因子Dcorr,表示激光束测得的真正距离D。

②垂直偏移量V0:在竖直平面内,激光束测量的起点到雷达坐标系原点的偏移量。

③水平偏移量H0:在xy平面,激光束测量的起点到激光雷达坐标系原点的偏移量。

④垂直校正角θ:激光束相对于激光雷达坐标系xy平面的角度偏移量,向上偏移为正,向下偏移为负。

⑤ 旋转校正角α:激光束与激光雷达编码盘零度角之间的角度偏移量。当激光雷达旋转时,假设其当前旋转角度为γ,每一条激光束都有一个不同的旋转校正角α,定义另外一个角β=γ-α,表示激光束相对于yz平面的角度。

以Velodyne HDL-64E激光雷达为例,出厂时对每束激光校准参数都已进行标定,但在使用时,一般还需对该校准参数进行重新标定。获取64束激光的标定参数后,采用式(1)可将每条激光束返回的距离值Dret和当前激光雷达的旋转角度γ转化为激光雷达坐标系中的笛卡尔坐标(px,py,pz)。

(3)多线激光雷达的标定

激光雷达与车体为刚性连接,两者间的相对姿态和位移固定不变,为了建立各个激光雷达之间的相对坐标关系,需要对激光雷达的安装进行简单的标定,并使激光雷达数据从激光雷达坐标统一转换至车体坐标上[2]。通过建立车辆质心坐标系、雷达基准坐标系以及车载激光雷达坐标系,将激光雷达的数据转换到基准坐标系中,再将其统一转换到车辆坐标系下。激光雷达外部安装参数的标定,通常采用等腰直角三角标定板和正方形标定板来完成。需要标定的激光雷达的安装参数包括激光雷达的俯仰角与侧倾角等[3]。其他较好的标定方法还包括交互信息最大化外部自动标定法,激光摄像头融合的边缘对齐联合自动标定法和测距与图像融合的基于线段外部参数标定法等[4]。

图6所示的测距与图像融合的基于线段外部参数标定法,无需特殊的人工标定目标,通过自然线性特征获取来确定精确线段变换。通过一组点云形成的3D线段、一组从图像获得的2D线段之间的对应关系,以及两者相对平移和旋转的联合估计的优化解,来获得外部标定参数。

图6 测距与图像融合的基于线段外部参数标定法

2.3 激光雷达的测试

在车载激光雷达的评测中,需要针对测试指标构建车用激光雷达测试场景,建立标定场、控制点和检测点,通过设置标靶,结合已有的高精度、高置信度测试仪器进行激光雷达标定,通过控制点进行测评指标精度分析,结合检测点进行指标精度对比分析,最后形成指标参数精度的置信描述。比较重要的激光雷达测评参数包括:最大测距为最初看到采样目标的距离;检测距离为检测到有效目标时的距离;分类距离为能够将车辆等目标与其他物体分离出来的距离;最佳分类距离为能够将目标的形状识别出来的最佳距离。

3 基于激光雷达的环境感知

(1)激光雷达数据获取

二维激光雷达和三维激光雷达在无人驾驶车辆上得到了广泛应用。与三维激光测距雷达相比,二维激光雷达只在一个平面上扫描,结构简单、测距速度快、系统稳定可靠,但是将二维激光雷达用于地形复杂、路面高低不平的环境时,无法完成地形的重建工作,且容易出现数据失真和虚报等现象;而三维激光雷达则可以获得车辆周围的环境深度信息,准确发现车辆周围的障碍物并构建地面环境即可行驶区域。

以R-Fans16为例,通过上位机的处理模块接收16线高精度激光雷达实时输出的点云数据,以图形化的方式对原始数据进行显示,并在点云数据基础上处理得到激光雷达感知的环境信息,如图7所示,可以获得包括结构化道路与非结构化道路可行驶区域、行驶环境中行人和车辆、交通信号灯和交通标志等信息。

图7 R-Fans16激光雷达获得的点云信息

(2)可行驶区域检测

可行驶区域检测流程图如图8所示。

在接收到激光雷达输出的原始点云数据之后,通过坐标转换形成点云的栅格化表述,并从中区分地面点的集合以及地面以上障碍点的集合,完成地面和障碍物分离,形成地面估计与分割[5]。激光雷达的环境感知点云图、栅格图和可行驶区域检测图如图9所示。

如果在非结构化的越野环境中行驶,还需考虑包括地面起伏、凸起障碍、负障碍物、水体等多种环境要素;如果在结构化道路环境中行驶,还需要完成道路边沿、车道划分、地面障碍物、车辆和行人等环境要素检测。通过上述结构化和非结构化行驶环境的多要素合成,最终完成可行驶区域检测。

图8 可行驶区域检测流程

(3)目标检测与跟踪

只有通过对行驶环境下车辆周围的目标进行有效检测及跟踪预测,才能实现跟车、换道和交叉口通行等场景下的安全自主驾驶。由于行驶环境的复杂性,特别是道路环境中交通拥挤的情况下,车辆之间容易互相遮挡,并且行人目标较多且行走较难预测,所以实现可靠的目标检测与跟踪存在挑战[1]。运动目标检测与跟踪流程如图10所示。

图9 激光雷达的环境感知点云图、栅格图和可行驶区域检测图

可以在接收到原始点云数据并进行点云栅格化描述、完成地面和障碍物分离以及地面估计与分割的基础上,采用K-Means或DBSCAN等方法进行目标聚类,通过栅格网叠加以及表面特征匹配,进行目标尺度比较,确认跟踪列表并采用扩展卡尔曼等方法进行目标跟踪。其中,较为有效的是可以采用基于几何模型和运动模型假设结合的方法来进行目标检测跟踪,可以有效地处理目标几何特征不明显的情况下多目标检测与跟踪,并使用扩展卡尔曼滤波对目标的位置、速度以及速度的方向进行最优估计。如图11所示,采用R-Fans16激光雷达可以很容易获得周边行人的可靠检测。

结 语

激光雷达是实现无人驾驶环境感知技术的关键传感器,现阶段还比较昂贵、应用范围不够广泛。但随着可能的规模应用,其价格将降低到可接受程度。本文通过激光雷达传感器各方面的综述,包括激光雷达传感器的技术特性,在环境感知中的重要作用及其技术指标,分析了标定及测试等技术,列举了激光雷达在环境感知中的应用等,希望对相关应用起到参考作用。

图10 运动目标检测与跟踪流程

图11 基于激光雷达的行人检测

[1]辛煜.无人驾驶车辆运动障碍物检测、预测和避撞方法研究[D].合肥:中国科学技术大学,2014.

[2]刘钊.无人车2D激光雷达结构化环境感知技术研究[D].长沙:国防科学技术大学,2013.

[3]海智渊.激光3D导航系统设计与研究[D].长春:长春理工大学,2014.

[4]Nordin P,Andersson L,Nygards J.Sensor data fusion for terrain exploration by collaborating unmanned ground vehicles [C]//2008 11th International Conference on,2008.

[5]陈慧岩.智能车辆先进技术丛书:无人驾驶汽车概论[M].北京:北京理工大学出版社,2014.

Application of Lidar in Perception of Autonomous Driving Environment

Huang Wuling

(Institute of Automation,Chinese Academy of Sciences,Beijing 100190,China)

Lidar is an important sensor in autonomous driving implementation,specially,with fusion of cameras,radar and other sensors, which can be applied to complex traffic environment perception,archiving different type objects detection,such as structured or unstructured road,drivable areas,pedestrians and moving vehicles,traffic lights and traffic signs and other elements.This paper describes the technical details of Lidar sensors,introduces its important role in environment perception and also its technical specifications,introduces its calibration and testing technologies,analyzes its applications in environment perception.It can be a good technical reference for the related applications.

autonomous driving;lidar sensor;environment perception;calibration and testing

TP277

A

黄武陵,中国科学院自动化研究所副研究员,中国科学院大学博士,主要从事智能车辆研究,参与和主持了多项国家863和973、交通部和自然基金课题,发表SCI/EI论文12篇,申请和获得发明专利20项。获北京市科技进步奖、北京市“金桥工程”项目奖、吴文俊人工智能科学技术进步奖、中科院教学成果奖等奖励。

(责任编辑:薛士然2016-09-05)