基于视觉与激光雷达数据融合的前车识别研究

杨晓丽 刘博涛 赵哲 段敏 苏欣 曹景胜

摘 要：智能驾驶技术已经成为智能车的重要开发领域 这一技术实现的关键就是对车辆精确的环境感知 对周围物体进行准确识别 避免车辆在行驶过程中出现事故 在智能辅助驾驶系统起关键性作用。目前 单一传感器不能满足复杂工况下的路面识别 基于多传感器的数据融合（Multi-sensor Information Fusion MSIF）可以提高检测效率 改善单一传感器检测不精确的缺陷 文章先对传感器进行标定实现多传感器的时空同步 对识别的物体进行检测判断 确定前车。实验结果表明此方法有利于提高汽车安全行驶性能 可以准确、实时地识别前方车辆 满足多工况下的前车识别。

关键词：激光雷达;机器视觉;融合;前车识别

中图分类号：TP212.9  文献标识码：A  文章编号：1671-7988（2020）18-22-03

Absrtact： Intelligent driving technology has become an important development field of intelligent vehicles. The key to realize this technology is to accurately perceive the environment of vehicles， accurately identify the surrounding objects， and avoid accidents in the process of driving， which plays a key role in the intelligent auxiliary driving system. At present， a single sensor can not meet the requirements of road recognition under complex working conditions. Multi sensor information fusion （MSIF） can improve the detection efficiency and improve the single sensor detection imprecise defect. In this paper， firstly， the sensor is calibrated to realize the spatiotemporal synchronization of multi-sensor， and the identified object is detected and judged to determine the front vehicle. The experimental results show that it is conducive to improve the safe driving performance of the vehicle， can accurately and real-time identify the front vehicle， and meet the front vehicle recognition under multiple working conditions.

Keywords： Lidar; Machine vision; Fusion; Front vehicle recognition

CLC NO.： TP212.9  Document Code： A  Article ID： 1671-7988（2020）18-22-03

1 引言

环境感知系统的研发已经取得了很大进展 使得前方检测技术成为当前研究热点 无人驾驶技术中 环境感知是利用传感器（车载超声波传感器、毫米波雷达、激光雷达、视觉传感器以及V2X通信技术等）获取道路信息、车辆位置、障碍物信息等 将这些信息传输给车载控制中心 环境感知问题即车辆在正常道路上行驶时需要与其他车辆保持安全距离以及预测他们的下一个位置。此项技术可以避免在复杂的行驶工况中发生碰撞。多传感器融合不仅能更加精确地识别物体 也能提高检测效率[1]。

2 多传感器信息融合的前车识别技术

外界环境感知技术是通过各种传感器对接收到的信息进行分析 实现对周围环境的准确评估从而迅速应对。多传感器融合的体系结构分为分布式、集中式和混合式[2]。

2.1 分布式

分布式多传感器对通信带宽的需求低 先对各个传感器所获得的原始数据进行局部处理 计算速度快可靠性和延续性好 但是精度相对来说不高。

2.2 集中式

集中式传感器将传感器获得的原始数据直接送至信息融合中心进行融合处理 从而实现融合。数据处理精度相对较高 但是数据量比较大。

2.3 混合式

混合式多传感器信息融合 部分传感器采用的是集中式融合 期许传感器采用分布式融合。混合式融合框架具有很强的适应能力 它的结构比前两种融合方式相对复杂。

3 激光雷达与机器视觉的数据层融合

3.1 相机标定

利用视觉传感器识别前轮时 相机检测的三维图像转换为二维图像 然后再投影到激光雷达检测的点云中 以获得相应的三维边界场 这需要激光雷达和摄像机共同校准[2]。摄像机校准需要校准板 最好是硬板 完成相机标定。

3.2 联合标定

将激光雷达采集到的點云信息和相机采集到的图像信息融合 将点云视角与相机内部参数进行调整 确保二者能够充分在白色校准板上呈现。 在激光雷达捕捉到点云上 选择图像中相应校准板的位置 选择的时候要确保法相量与平面是垂直的。成像原理如下：

4 雷达与机器视觉融合方法研究

雷达与机器视觉融合主要现在分为时间融合和空间融合。

4.1 时间融合

时间融合是雷达与传感器在触发采集命令的同时 实现各传感器的收集和检测的时间相同。通过同一台电脑控制采集和检测的信息 每个传感器提供计时。每台传感器按照設定好的时间将各自收集的独立信息进行同步 达到时间上的同步。但是每个传感器的采集周期是各自独立的 在相同时间收集相同的情报是不能保障的。一般来说 激光雷达与机器视觉的采集频率是不同的 难以做到时间上的同步性。如果将关键处理参数定义为时间变量 虽然可以得到较好的融合度 但却会降低采样的效率[3]。

4.2 空间融合

空间融合是指对激光雷达和机器视觉采集的目标数据进行准确的匹配。通过采用多级多侧面的数据处理方法 对有效信息进行相关性分析并进行组合评价 以提高检测的准确可靠性 同时优化障碍物的形状、距离及材质等特征信息 以便做出准确的判断。空间融合的主要关键在于激光雷达与机器视觉空间信息的融合。

首先 需将机器视觉参数的约束方程式解算完毕后 就能够确定激光雷达与机器视觉的坐标转换关系。这样一来 激光雷达获取的点云数据就可以投射到机器视觉获取的图像上 假设空间某点的坐标为A（x0，y0，z0） 它与平面图像对应的二维坐标为A（x1，y1） 联立公式整理有如下初步的转换关系：

上式中 L为激光束与空间某点的距离 a为方位角 b为水平角度 A为3×4矩阵。通过公式3即可完成两种检测信息的空间坐标系的转换。综上 通过将激光雷达与机器视觉的空间坐标系相统一 就可以大幅度提高障碍物识别的准确率;同时将点云数据与平面图像信息相融合 又可以提高检测系统的数据采集效率 从而更好地完成障碍物检测工作。

5 结论

通过对目前国内外车辆识别研究现状调查发现 雷达系统对环境适应性强 对景深信息与速度信息提取方面具有优势 然而其存在原始数据噪声较大 漏检率与误检率较高 角度分辨率不高得劣势。视觉系统而言 获取信息丰富 成本较低 尤其在目标识别分类具有较大优势 但其存在实时性较差 易受环境影响的不足。为此 本文拟将二者取长补短 以融合的方式获取适应性与鲁棒性更优的车辆识别算法。

参考文献

[1] 陈晓伟.汽车前方车辆识别的雷达和视觉信息融合算法开发[D].吉林大学，2016.

[2] 李文斌.非线性系统的滤波融合算法研究[D].杭州电子科技大学， 2011.

[3] 何秉高，孙向阳，史丽娟，赵希禄.基于激光雷达与机器视觉融合的轨道交通障碍物检测方法研究[J].轻工科技，2019，35（09）：80-82.

[4] 高德芝，段建民，于宏啸.基于激光雷达和摄像机的前方车辆检测[J].北京工业大学学报，2012，38（09）：1337-1342.