无人驾驶汽车环境感知技术研究*

□ 黄志强 □ 李 军

重庆交通大学 机电与车辆工程学院 重庆 400074

1 研究背景

随着智能控制技术的快速发展,无人驾驶技术日趋成熟,无人驾驶汽车成为汽车行业重要的发展方向。无人驾驶汽车又称轮式移动机器人。环境感知模块是无人驾驶汽车中的重要组成部分,通常由摄像机、激光雷达、毫米波雷达、超声波雷达等组成。不同雷达设备具有不同的探测特点,根据不同的行驶环境,将一类或多类雷达设备组合使用,可以大大提高无人驾驶汽车的安全性。由此,笔者对无人驾驶汽车环境感知技术进行研究。

2 激光雷达感知技术

激光雷达主要由激光发射器、激光接收机、信息处理系统、控制系统、显示终端组成。激光雷达种类较多,按不同的工作原理可以分为固态激光雷达和机械式激光雷达,按不同的扫描空间可以分为二维激光雷达和三维激光雷达[1]。激光雷达工作原理如图1所示。激光调制发射电路发射出一束激光脉冲,照射至目标后反射,被激光接收电路接收,之后将信号传送至信号处理电路,并反馈至主控电路,从而测量出物体与雷达间的距离。目前,市面上的主流激光雷达产品使用飞行时间和三角测距技术。在无人驾驶汽车中,激光雷达主要用于汽车前方障碍物的探测,在获取环境的点云数据后,对点云数据进行栅格化。激光雷达感知技术受环境干扰较小,具有测量精度高、分辨率高等优点。

图1 激光雷达工作原理

段建民等[2]提出利用多层激光雷达对动态障碍物进行探测。分别建立汽车坐标系和传感器坐标系,路沿信息对应的信号在传感器坐标系中连续不断,并且处于同一扫描层内,其规律可以用一次线性函数表示。将不同扫描层的路沿信息融合后,得到最终检测数据。使用聚类算法对不同路段的路沿信息进行分类,利用最小二乘法进行直线拟合,得到数据的最佳匹配函数,拟合出所需要的路沿信息。激光雷达的扫描信息通过传感器模型后,建立动态栅格地图,设置冲突因数检测动态障碍物的信息,进行膨胀侵蚀和聚类处理,得到障碍物的基本特征,最终判断得到障碍物与路沿的位置关系。

Wang Heng等[3]提出利用三维激光雷达对行人进行识别。分别使用64线和16线激光雷达采集原始点云数据,将所有点云的直角坐标转换为相对应的全局坐标,使三维点云数据投影到二维平面,并进行栅格化。在进行聚类之前,设置相应的阈值去除点云中的噪声和相关区域,使用开源哈希库存储搜索的每个元素。将所有连接的单元聚类为一块连通区域,判断单元中的高度、宽度、长度是否满足条件,提取出相应的行人候选区域,计算并评估特征向量,以识别是否为行人。

Ghallabi等[4]提出利用激光雷达实现车辆在高清地图中的定位。由激光雷达进行全物理环形扫描,分割为单独层数据。通过残差拟合分析当前层是否为圆弧,对圆弧层进行几何分析,从而分割出相应的道路点。将水平面划分为四个象限,对每个象限进行高斯滤波,得到相应的边缘切片数据。当边缘切片数据低于一定阈值时,划分为非道路切片。通过建立以汽车自身为中心的二维网格单元,将网格反射率数据转换为二维强度图像,应用霍夫变换进行在线检测。检测到的车道标记用作地图匹配算法的输入特征,在粒子滤波框架下实现地图匹配。

Xie Desheng等[5]提出利用三维激光雷达对障碍物进行检测和测距。将由激光雷达获取的外界点云数据栅格化,以某个栅格为中心,利用聚类算法分析周围的八个栅格点。为了避免过多丢失障碍物信息,对两个障碍物之间的点云数据再次进行检测。当其中某个点云数据的特征与障碍物特征相似时,判定该点云数据为障碍物。融合多帧聚类结果检测静态障碍物,将实时运动的全球定位系统位置信号转换至大地坐标系,采用改进后的动态障碍物跟踪点模型和卡尔曼滤波技术对动态障碍物进行跟踪。检测障碍物时可根据不同的行驶条件,将反向行驶区域纳入检测范围,防止行人突然出现,为汽车的转向提供准确的引导。

张银等[6]提出在三维激光雷达的基础上利用三维点云技术对障碍物进行检测。通过三维激光雷达全方位扫描获取无人驾驶汽车周围物体的原始点云数据,对原始点云数据进行初次处理,排除干扰信息。根据所获取的点云数据将汽车与障碍物分离,利用深度学习方法从大数据中自动学习障碍物的特征。最后进行聚类分析,判断识别出障碍物的类别。三维点云数据在通常条件下具有无序、稀疏、信息量较少的特点,与深度学习算法结合后,能够有效提高检测的实时性和准确度。

Fan Yucheng等[7]提出使用神经网络检测激光雷达的点云数据,可以获得一条行驶道路。使用CITYSCAPES、KITTI两个数据集分别获得车标图像和路标图像,将金字塔场景解析神经网络与扩张卷积网络相结合,分割图像中的汽车信息和激光雷达数据中的道路信息。利用KITTI数据集的映射参数将车标图像映射至激光雷达点云数据,将得到的点云数据与道路标记点云相结合,从而完成环境检测。使用多种数据集训练神经网络,增加神经网络的卷积层数,进一步提高检测的速度和准确度。

Zhang Zhenyao等[8]提出在复杂的道路环境中利用激光雷达检测、跟踪汽车。利用高分辨率微交通数据技术在十字路口获得道路交通的三维点云数据,通过滤波技术去除三维点云数据中的地面背景和噪声。将基于密度的带噪声空间聚类法应用于汽车和行人的聚类、检测,用盒模型来表示汽车。基于同一汽车在相邻帧之间的距离特性,通过卡尔曼滤波和粒子滤波等算法跟踪汽车。

Qu Sanqing等[9]提出利用二维激光雷达获取汽车信息。利用多个二维激光雷达获取周围物体的扫描数据,使用基于密度带的噪声空间聚类法将数据点分割为不同的族,这些族通常对应自行车、行人、建筑物或汽车。利用L形顶点搜索、L形角定位两种方法获取汽车的位置和方向信息。可以结合深度学习检测已有族中是否存在分类误差,从而进一步提高识别率。

3 摄像机感知技术

摄像机在标定物体时常常采用针孔摄像机成像模型,通过内部几何模型获得外界物体的三维坐标参数,将光信号转换为电信号,传输至系统专用的半导体摄像器件,主要包括互补金属氧化物半导体、电荷耦合器件、电荷引动器件[10]。摄像机工作原理如图2所示,外界光照射光敏单元阵列,产生光电效应,生成一定的电荷。行选择单元选通相应的行像素单元,行像素单元内的图像信号通过各自所在列的信号总线传输至对应的模拟信号处理单元及数模转换电路,转换为数字图像信号并输出。摄像机中的摄像头构造特殊,常常存在分辨率无法达到特定要求、变焦镜头稳定性差、对远处物体无法做出准确回应等缺点。当然,尽管存在以上缺点,但是由于摄像头价格低廉,能够采集彩色信号,对近距离物体的识别率高,摄像机感知技术被广泛应用于无人驾驶汽车。

图2 摄像机工作原理

Hasan等[11]提出利用双目摄像机实现交通标志的实时识别和通信。分别选用竖直型和水平型摄像机对捕获的图像信息进行颜色分割,获取感兴趣区域。使用一个已完成训练的卷积神经网络对这一感兴趣区域进行识别。若识别出为交通标志或汽车发光二极管灯阵列,则由一个摄像机进行标定,由另一个摄像机继续检测,图像被捕获并不断采样更新,以检索实时信号。如果同时检测出交通标志和汽车发光二极管灯阵列,那么使用摄影测量仪测量摄像机与汽车发光二极管灯阵列之间的距离。可以利用毫米波雷达检测感兴趣区域的角度,结合当前的距离参数,降低汽车发光二极管灯阵列与交通标志之间的相互干扰。

Alkhorshid等[12]提出一种基于摄像机的车道线标记检测方法。引入一个在不同光照条件下获取的基准数据集,将机器学习模型与基于霍夫变换、反透视映射法的初始车道标记检测相结合,将边缘图像中的梯度幅值与卡尔曼滤波器相结合,使用无迹卡尔曼滤波器跟踪下一帧信息。将汽车相对于左右车道标记的偏移建模为关于时间的函数,使用无迹卡尔曼滤波器根据前一帧的观察来预测偏移参数的未来值。利用反透视映射法和霍夫变换检测基线模型,以弥补无迹卡尔曼滤波器建模的不足。

Said等[13]提出基于图像处理技术检测交通灯信号。通过高分辨率摄像机实时获取交通灯信号,利用场景的颜色属性检测交通灯信号。通过使用一个独立于照明条件的查找表,来显著减小交通灯信号颜色检测的计算量。使用颜色空间转换、颜色分割、形态学操作得到交通灯信号的候选区域,利用重要特征的无监督分类器进一步分析每一个候选区域,并增加伽马校正函数用于夜间检测,最终在所有候选区域中分离出实际交通灯信号信息。原始交通灯信号图像如图3所示,经过颜色空间归一化处理后的交通灯信号图像如图4所示,当某类颜色与红色和绿色重叠时,红色和绿色会被优先显示,如图5所示。

方博文等[14]提出在低速行驶环境下利用双目立体摄像机探测汽车与障碍物之间的距离。利用改进后的张正友标定法,通过小孔成像原理,将世界坐标系和摄像机坐标系设为相对静止,通过坐标变换矩阵表达出两个摄像机之间的相对位置。对所获得的图像进行中值滤波,减小图像中的噪声干扰。利用最大类间方差法将原彩色图像转换为黑白二值图像,使用最小二乘法得出汽车与障碍物之间的距离。由于摄像机在高速环境下不能快速识别远距离障碍物,因此可以利用激光雷达传感器先标记远距离障碍物,再利用双目摄像机进行测距。

图3 原始交通灯信号图像

图4 归一化处理后交通灯信号图像

图5 分割出红色和绿色后交通灯信号图像

Kuramoto等[15]提出利用单目摄像机测量三维目标的距离。将摄像机捕获的图像数据输入已经完成训练的深度卷积神经网络,以边界矩形的二维中心表示物体,通过升降框架和针孔摄像机模型将矩形框从二维映射至三维。分别建立摄像机坐标系、车辆坐标系和世界坐标系,采用数字带通滤波器技术转换不同坐标系中的位置数据,从而得到与目标物的距离,并利用基于摄像机模型的拓展卡尔曼滤波对目标进行跟踪。

Li Xing等[16]提出使用摄像机对前方汽车进行检测。由于汽车阴影部分比背景颜色要深,因此采用服从高斯分布的统计直方图来估计阈值上限。结合阴影水平和竖直边缘特征生成初始区域,通过方向梯度直方图的变化将汽车区域与非汽车区域分离。使用图像中局部方向的梯度直方图进一步验证候选区域的准确性,利用由非线性支持向量机模型训练的车辆分类器去除非汽车区域,从而完成对前方汽车的检测。

4 毫米波雷达感知技术

毫米波雷达主要分为77 GHz和24 GHz两大类。77 GHz毫米波雷达的测量距离较长,常常被设置在汽车前侧和两侧。24 GHz毫米波雷达的测量距离相对较短,常常被设置在汽车后侧。毫米波雷达工作原理如图6所示。毫米波雷达通过发射器发射出毫米波,接收器根据收发的时间差,经过信号调制后输出数字信号,从而测得目标的位置数据。毫米波雷达工作方式主要分为调频连续波和脉冲两大类[17]。由于调频连续波工作方式不需要瞬时大功率,不存在探测盲点,硬件成本相对较低,因此大多数无人驾驶汽车都采用调频连续波工作方式。毫米波雷达能够准确测量出目标的相对速度、相对距离和运动方向,具有抗干扰能力强、穿透性强、分辨率高、全天候工作等优点。

图6 毫米波雷达工作原理

Cai Xiuzhang等[18]提出在77 GHz毫米波雷达的基础上利用深度学习对目标进行分类。运用数值模拟方法,生成雷达散射截面积数据。由于大多数交通目标满足表面曲率半径大于波长的情况,因此利用物理光学法生成二维雷达散射截面积图像。多种障碍物的参数可能会产生一定重叠,但是不同目标之间存在不同的数据,可以通过卷积神经网络对实时雷达散射截面积数据和雷达散射截面积图像进行分类。

Yoneda等[19]提出在雪天环境中使用全向毫米波雷达实现汽车的自动定位。将毫米波雷达的测量数据映射在毫米波雷达系统中,采用交互式多模型集成静态或动态物体,估计目标的位置、速度和加速度参数。将全局坐标中的观测点坐标转换为二维图像坐标,通过协方差矩阵减小测量误差。通过对似然分布相应区域积分,得到每个像素的似然值。根据所得到的似然值重新计算物体存在的概率,从而生成汽车周围物体的地图信息。通过计算汽车线速度与横摆角速度之间的时间关系,与毫米波雷达系统信息进行匹配,利用航迹推算更新汽车的位置信息。试验表明,汽车的定位误差为0.25 m,可以保障安全行驶。

Smith等[20]提出使用毫米波雷达识别驾驶员手势以降低驾驶风险。利用机器学习方法记录每一组手势的范围、速度、加速度、速度弥散、空间弥散等雷达特征,利用随机森林分类器算法训练模型,使用这一模型对手势进行识别。通过增加分类器中模型的数量,改变分类器最小计数与缓冲区大小的比例,来提高这一模型的鲁棒性。当检测到手势时,手势的分类器号被添加至向服务器传送数据请求中,随后被发送至服务器,从而解析出手势信息,并做出相应动作。

Wang Xu等[21]利用毫米波雷达对行人和汽车进行稳定跟踪。通过测量获得目标的相对速度、相对距离等信息,对信息进行时间对准、坐标变换、离群点消除。通过关联规则确定测量时分配给一个轨迹还是一个假目标,为目标状态估计做准备。通过联合集成概率数据关联递归的计算航迹质量,并通过滤波优化来减小噪声的影响,利用交互式多模型滤波提高动态模型的匹配率。

周小钧等[22]提出在复杂的交通环境中使用毫米波雷达实现对目标的跟踪。在传统联合概率数据关联算法的基础上,通过测量汽车行驶轨迹和点迹之间的距离来确定关联门阈值。将对算法影响较小的因素去除,同时在对目标的跟踪过程中引入生命周期理论,结合卡尔曼滤波技术,采用常加速模型对目标的状态进行估计。

Zhao Peijun等[23]提出使用毫米波雷达对多个行人进行跟踪和识别。由毫米波雷达发射一个射频信号,记录这一信号在物体上的反射,计算点云的稀疏度,删除点云中的静态点。将单个点合并到集群中,检测潜在的行人对象。使用多类对象跟踪算法来跟踪不同行人的轨迹,使用递归神经网络从每个行人的连续轨迹数据中识别行人身份。这一方法的最大追踪距离大于5.5 m,追踪误差小于0.16 m。

5 结束语

笔者对无人驾驶汽车环境感知技术进行研究,分析了无人驾驶汽车几种常用环境感知技术的工作原理与研究现状。无人驾驶汽车面临的行驶环境具有非常大的不确定性,每类环境感知技术有各自的优点和不足。为了提高无人驾驶汽车的安全性和检测的鲁棒性,应强化多种环境感知技术的联合使用,提高各类环境感知技术同时跟踪监测多个目标的能力,利用卷积神经网络等机器学习方法,增强无人驾驶汽车在十字路口、车道线磨损、非结构化道路等恶劣行驶环境中的安全性。