基于多传感器融合的ADAS 前车识别研究

张博森，陈学文

（辽宁工业大学 汽车与交通工程学院，辽宁 锦州 121001）

前言

随着传感器技术和数据处理技术的发展，快速有效的前车识别有了越来越多的方案。多传感器数据融合可大大降低目标漏检率，其含义是将来自不同来源的观测数据结合起来，以提供完整的环境描述，并克服可用性、鲁棒性等方面限制的过程。车载摄像头作为能在复杂路况环境下清晰地检测道路目标的传感器，可靠耐用，价格低廉，常用于检测分类。但其易受光线的干扰，且不能准确地检测前车速度和车距。而车载雷达可弥补摄像头的不足，因此联合两者用于目标识别会有更好的效果。基于多传感器融合的道路环境有效感知是迈向更高级驾驶辅助系统的必要一步，本文对用于前车识别的多种传感器融合方案进行了概述，并给出一种理论研究方法。

1 融合毫米波雷达、相机的前车识别

毫米波雷达和相机是智能车辆中前车识别与跟踪的两种主流且相对成熟的传感器。由于输出的数据信息在应用场景中可以互补，所以对两者信息融合的研究具有极高价值。

早期的Ulrich K.等人基于雷达和视频传感器数据，提出了一种用于驾驶员辅助的实时检测与识别系统。其中雷达用于获得感兴趣区域和距离检测，单目相机用来确定车辆宽度和横向位置。Siyang H.[1]等人在将雷达探测目标位置投影到图像平面后，选用基于零件模型的对象检测方法，实现了前方多种类目标的识别分类。Daejun K.[2]等人基于车辆零件（后角）检测和定位的鲁棒方法，在初始雷达点周围生成车辆后角候选点并生成多个矩形候选框。利用坐标转换在视觉图像上生成对应感兴趣区域，并用深度学习方法检测特征以实现前车识别。

重庆邮电大学的陈云坤[3]提出了一种基于集中式结构的融合算法，首先利用毫米波雷达和相机获取前车信息，再利用全局最近邻算法和加权平均方法实现目标融合。重庆大学的姜雨含[4]提出了一种并行信息融合方法，首先采用机器学习的方法，基于Adaboost 算法构建车辆检测分类器识别前车，再利用关联度算法与通过滤波算法检测出的雷达目标进行融合。吉林大学的陈晓伟[5]选择分布式融合方式，提出一种基于加权平均算法的特征级融合方法，为提高检测效率和准确率，基于视觉的前车识别采用深度学习的方法，基于毫米波雷达的目标识别模块建立了车辆二自由度模型和前车运动状态预估模型，并对雷达信号做有效的滤波处理，最终得到了很好的融合识别结果。

2 融合激光雷达、相机的前车识别

由于激光雷达对周围环境有更广的探测范围，相机能直接产生直观的视觉信息，因此两者的数据融合在前车检测与跟踪任务中有一定的研究价值。Gyu H.L.等人利用激光雷达的点云数据进行聚类分析，分离地面点组和非地面点组，实现目标检测，并通过坐标变换矩阵映射到像素坐标系中，利用CNN 的方法实现视觉传感器的障碍物检测并最终完成目标分类。Y.K.Fang[6]等人提出了一种基于强化学习的相机和激光雷达融合检测算法。将融合算法表述为Markov 决策过程，使用深度学习框架解决顺序决策优化，避免了手动设计数据融合的特征或架构。这种方法采用数据驱动，可长期准确地跟踪目标。西南大学的宫铭钱[7]等人采用改进的DBSCAN 障碍物点云数据聚类算法结合快速卷积神经网络处理车辆图像的方式，使用联合概率数据关联算法实现了前车的识别与跟踪，有效地提高了识别精度。Michael M.[8]等人提出了一种采用深度神经网络对雷达点云和摄像机图像进行三维目标检测并在特征层融合的前车识别方法，但由于相关数据集非常小，而且激光雷达的点云输出过于稀疏，所以现阶段基于此的前车检测精度不高。

3 融合毫米波、激光雷达的前车识别

激光雷达在测距方面有着极高的精度但不能承受恶劣天气，毫米波雷达具有较高的耐候性和远距离测量能力，但使用的无线电波会导致测量误差并且近距离目标检测会失效，融合两者可以获得更好的距离测量精度和识别准确率。

Seong K.K.等人提出了一种激光雷达和毫米波雷达传感器融合方法以提高全天候的目标检测精度，首先由雷达生成感兴趣区域，然后再由激光雷达确定目标对象，该方案可用于智能车辆白天和夜晚的目标检测。

4 融合毫米波、激光雷达和相机的前车识别

在传感器融合系统中加入更多不同种类的传感器有利于提高融合系统的性能和鲁棒性，融合毫米波雷达、激光雷达和相机传感器的数据可获得极高的前车识别检测精度。但由于成本较高且实现较为困难，因此目前相关研究较少。

T.L.Kim 等人提出了一种利用扩展卡尔曼滤波融合激光雷达、雷达和摄像机估计车辆前方位置的方法。设置了一种模糊规则作为两种雷达数据融合依据，近距离赋予激光雷达数据更多的权重，远距离赋予毫米波雷达数据更多权重。利用扩展Kalman 滤波器使融合结果有更好的鲁棒性。最后，依靠坐标转换将雷达数据投影到相机图像中完成了三者的融合，可靠地检测出目标位置。Jelena K.等人从理论角度介绍了基于多传感器融合的目标识别方法，指出将多传感器的融合数据作为高级决策融合的输入是自动驾驶车辆感知的趋势之一。

5 结论

相机可以获得精确的环境细节信息，但在纵向方向上的分辨率较低[3]，识别边界框的微小距离误差或者在颠簸或坡度变化较大的工况下会导致较大的纵向估计距离误差。而环境适应性强的毫米波雷达可直接获取准确的车距、角度和速度信息，可以弥补相机的不足。激光雷达尽管空间分辨率高但是价格昂贵且易受天气和传感器清洁程度的影响，应用条件相对苛刻。

为避免出现目标漏检或误检的情况，结合上述传感器特性，科研人员应把工作重点放在基于单目相机和毫米波雷达的智能车辆前车识别融合方法研究上。按照此思路，笔者拟通过深度学习的方法实现基于单目视觉的前车识别并改进像素拟合的距离估计方法。设计一种能够融合像素坐标系下目标点二维坐标和车距信息的三维目标关联算法，进而实现单目相机和毫米波雷达的信息融合。