汽车自动驾驶领域的传感器融合技术*

2021-10-11石晏丞

装备机械 2021年3期

□ 石晏丞 □ 李军

重庆交通大学机电与车辆工程学院重庆 400074

1 研究背景

传感器的融合其实就是数据的融合,起源于20世纪末。传感器的融合最开始运用在军事领域,曾用名为多源相关,后逐渐应用于工程领域,并有实际成果体现应用价值。目前,传感器的融合成为一个研究热点。

伴随着电子技术和控制技术的进步,在汽车自动驾驶技术领域,目前最大的障碍是没有一个融合的训练框架来提高感知的准确性,增强感知的容错率。道路、车道、障碍物等的识别,对于自动驾驶至关重要,准确的识别可以使车辆在任何情况下都能安全地作出反应。在感知识别中,高灵敏度传感器可以执行高精确的信息采集,同时伴随着高成本,使车辆的生产成本大大增加。取而代之的是更多低成本设备的融合,从而达到预期的效果。数据融合需要很好地预估融合信息的不确定性,以改善单个测量数据,增强数据源的质量,进而保证融合为一个更精确的信号。当然,这通常无法通过一次测量得到。

在汽车自动驾驶中,目前使用的传感器主要有热成像、夜视、声呐、摄像头、激光雷达、超声雷达、毫米波雷达等。不同传感器的性能各不相同,在不同的使用环境中可以发挥各自的优势。每个传感器都有自己的优缺点,不能相互替代。

2 自动驾驶中常用的传感器

传感器作为一种检测装置,在汽车自动驾驶中占据核心地位,主要目的是将感受到的信息按一定规律转换为其它所需形式的输出。自动驾驶传感器分布如图1所示。应用在自动驾驶中的传感器种类繁多,如摄像头、热成像、夜视、声呐、激光雷达等,为驾驶环境提供强有力的多模态感知。

图1 自动驾驶传感器分布

2.1 激光雷达

在汽车自动驾驶中,激光雷达是非常重要的一种检测装置。激光雷达有很多优点,但应用在自动驾驶中不仅成本较高,而且体积较大,为自动驾驶带来不便,其应用市场受到限制。

目前,基于混合条件随机场的激光雷达-摄像头融合已运用于道路检测中。道路材料的变化,以及道路区域与非道路区域高度和纹理的相似性、光照、天气变化等诸多原因,对正常城市道路的检测具有很大的挑战性。单目视觉往往会受到光照和天气的影响,无法捕捉三维信息。激光雷达是一种独立于环境光的主动传感器,能准确测量物体之间的距离,然而在激光雷达捕捉的点云中,颜色和纹理信息都是不可用的。对此,对摄像头和激光雷达的信息进行深度融合,以降低道路检测的模糊度。未来可以运用更强大的深度学习方法来获得融合混合条件随机场模型的潜力,以进一步提高性能。

2.2 摄像头

自动驾驶汽车一般具有多个摄像头,摄像头的长、短焦距分别用于检测远处场景和近处场景。摄像头主要对车道线、交通标志牌、红绿灯、车辆、行人等进行检测,优点是检测信息全面、价格便宜,缺点是会受到雨雪天气和光照的影响。摄像头由镜头、镜头模组、滤光片、互补金属氧化物半导体、电荷耦合元件、图像处理器、数据传输等模块组成。

目前,摄像头领域最新的技术是新型可见光成像通信技术,这是可见光通信的一种扩展,优点是在大多数智能设备中无需增加接收机的硬件成本。与使用光电探测器的传统方式不同,可见光通信使用移动电话互补金属氧化物半导体相机作为接收器。可见光通信以图像序列的形式捕获二维数据,相比传统光电探测方式能传输更多的信息。可见光通信技术应用于汽车行业,能为自动驾驶提供更加精确的数据。

2.3 毫米波雷达

毫米波雷达主要用于交通车辆的检测,一般设置在车身前部和两侧,检测速度快,精度高,不易受天气干扰,但是对交通标志等无法识别。毫米波雷达的基本原理是通过发射一束电磁波,基于回波与入射波的差异来计算距离、速度等信息。毫米波雷达硬件成本相对较低,大多数自动驾驶汽车采用毫米波雷达的调频连续波工作方式。这一工作方式不需要瞬时大功率,没有探测盲点。速度差分辨率、角分辨率、距离探测精度是衡量毫米波雷达成像精度的指标。毫米波频率越高,带宽越大,成像越精细。毫米波雷达在大雾等特殊环境中穿透性较好。

在自动驾驶中,各种不同的传感器可以相互配合运用。一种基于视觉和毫米波的车道线定位方法如图2所示。这一方法对毫米波雷达和摄像头进行融合,利用摄像头检测车道线,利用毫米波雷达检测道路两旁的静止护栏,获取道路边界信息,利用低精度全球定位系统获取道路信息,对比车道线与道路边界的相对位置关系,实现车道线定位。这一方法可以避免激光雷达定位方法中数据量大、雨雪天气下表现不理想等缺点。不同于激光雷达,毫米波雷达的检测距离长、数据量小,可适用于各种天气环境下动静态障碍物的识别。

图2 车道线定位方法

3 图像识别中的传感器融合技术

在自动驾驶中,传感器融合应用于各个方面,多传感器融合可以显著提高系统的冗余性和容错性。在图像识别中,传感器融合主要应用于车道线规划、行人与交通标志牌识别等方面,运用的主流传感器主要有激光雷达、摄像头、毫米波雷达。车载传感器的融合是一个研究的热点,业内学者对多传感器数据融合进行了大量研究,但只有少数工作涉及目标检测中的多模态和多传感器数据融合。基于融合的目标检测方法可以根据融合发生的抽象级别来分类,分为数据级融合、特征级融合、决策级融合三种,三者之间的比较见表1。

表1 融合级别比较

有学者结合激光雷达点云和光学图像进行行人检测,训练出先进的可变形零件检测器,并通过采样激光雷达点云计算稠密深度图。两个基于可变形零件的模型接受稠密深度图和彩色图像的训练。在稠密深度图和彩色图像上,基于可变形零件的模型检测被融合,可以提高检测性能。有学者使用彩色图像和基于三维激光雷达的深度图作为输入,提取方向梯度直方图和局部二进制模式特征,用不同的视觉分割训练集样本,考虑不同的物体姿势,为每一个视图训练一个独立的随机森林,形成特征级融合和决策级融合方法,通过链接方向梯度直方图和局部二进制模式描述符在特征级融合中将颜色和深度模式结合起来。

4 多传感器信息融合体系

传感器信息融合是自动驾驶汽车中传感器融合技术的最重要一环。信息融合体系目前各不相同,不同的融合体系之间各项性能各有差异。多传感器信息融合体系从结构上可以分为三类,分别为分布式、集中式、混合式。

4.1 分布式传感器融合

分布式传感器融合具有可拓展性、灵活性、鲁棒性、容错性等特点,与同类集中式传感器融合相比,具有独特的优势。一般情况下,一种用于多目标跟踪的分布式传感器融合方案包括两部分:局部多目标滤波、信息融合方法。将多个传感器节点产生的原始数据结合起来,是分布式传感器融合的目的,然后将结果传送至信息融合中心,智能组合后进行优化,获得最终结果。分布式传感器融合的延续性和可靠性好,对信息带宽的需求小,计算速度快,但跟踪精度不如集中式传感器融合。

4.2 集中式传感器融合

集中式传感器融合将获得的原始数据直接发送至中央处理器进行融合,可以实现实时融合,数据处理精度高,算法灵活,缺点是对处理器的要求高,可靠性较低,数据多。采用集中式传感器融合,传感器节点与传感器融合中心协作处理传感信息。与传感器节点相比,传感器融合中心具有更大的带宽、更强的计算能力和处理能力。

4.3 混合式传感器融合

混合式传感器融合的框架如图3所示,综合了集中式传感器融合和分布式传感器融合。混合式传感器融合具有较强的适应能力,综合了集中式传感器融合和分布式传感器融合的优点,稳定性较强。混合式传感器融合的结构比较复杂,增大了通信和计算负荷,将来自多个传感器的对每个目标的测量组合成一个混合测量,然后利用混合测量来更新全部数据。

图3 混合式传感器融合框架

5 融合模型

目前成功的目标检测方法大多采用基于卷积神经网络的深度学习模型。在自动驾驶领域,需要对多传感器和多模态信息进行处理,以便更全面地了解所处的现实世界环境。

5.1 激光雷达+摄像头

这是一种融合三维激光雷达和彩色摄像头数据,进行多模态车辆检测的方法,利用人工神经网络联合学习,融合基于独立卷积神经网络的车辆检测器,在每种模式下获得更精确的车辆检测。结果表明,这一方法在目标检测数据的各个层级上均取得了相比单一模式更高的精度。

摄像头因实时精确度及经济性高而在自动驾驶中普遍使用,但是,摄像头的强光致盲性也是一个重要问题。当摄像头和激光雷达融合后,可以充分吸收激光雷达精度高、传播性好、方向性好、光束窄等优势,弥补摄像头单独使用中的很多缺点。

5.2 毫米波雷达+摄像头

采用单目摄像头与毫米波雷达融合的目标跟踪方法,将目标定位在图像帧中,在其周围绘制一个包围框。使用经过训练的深度神经网络,利用包围框的尺寸生成目标位置。在融合阶段,摄像头定位的神经网络位置与目标的雷达回波位置相关联。应用一个长时间存储器模块,利用融合数据生成连续的目标轨迹。毫米波雷达+摄像头这一融合模型与摄像头参数、系统分布无关,在至少一个传感器有检测数据的情况下,能够以合理的精度跟踪目标。在两个传感器都有检测数据的情况下,具有较高的精度。

使用毫米波雷达,具有体积小、质量轻、空间分辨率高等特点。与红外、激光等传感器相比,毫米波雷达具有穿透雾、烟、灰尘能力强,传输距离远,性能稳定等优点。毫米波雷达与摄像头进行融合,能够适应大雾、沙尘等特殊恶劣天气,以及更加复杂的特殊环境。

6 融合算法

多传感器的使用会产生大量需要处理的数据,对此通常通过融合算法来进行优化。不同传感器采集到的信息可能相互之间会有矛盾,如何保证系统能够准确处理这些数据,使系统最终做出及时、正确的决策,这非常重要。融合算法不仅需要处理数据的多样性和复杂性,而且需要提高实时性和精度。虽然多传感器数据融合算法目前没有完整的理论体系,但是对于多种不同领域的应用,已经提出许多成熟且有效的融合算法。融合算法可以概括为随机、人工智能两大类。随机类融合算法有加权平均法、卡尔曼滤波、多贝叶斯估计法等,人工智能类融合算法有模糊逻辑、神经网络等。

在自动驾驶中,常用的融合算法包括加权平均法、卡尔曼滤波法、神经网络。这三种方法具有直观性、容错性及普适性。

6.1 加权平均法

加权平均法融合数据信息可以通过获取各种传感器信号的平均值来实现。若某一个传感器的信号比其它传感器更可信,则为该传感器分配更高的权重,以增加其对融合信号的贡献。加权平均法是信号级融合最简单、最直观的一种算法,可以对传感器接收到的冗余信息进行加权平均。加权平均法可以对原始数据直接进行使用。

通过加权平均法,可以在图像识别中对模糊图像进行处理,使图像识别更加清晰与准确。加权平均法实例如图4所示,图4(a)的右边部分模糊,图4(b)的左边部分模糊,通过在MATLAB软件中进行加权平均得到清晰的图片,即图4(c)。加权平均法在交通标志牌的识别中十分重要,不仅可以提高安全性,而且可以增强鲁棒性。

图4 加权平均法实例

6.2 卡尔曼滤波

卡尔曼滤波是一种常用的自适应传感器融合算法,用于消除系统中的冗余,预测系统的状态。卡尔曼滤波采用一个线性空间模型,系统的当前状态取决于先前的状态。卡尔曼滤波状态空间模型为:

Xk=AXk-1+Bu+Gw

(1)

Zk=HXk+v

(2)

式中:Xk为k时刻状态向量;Xk-1为k-1时刻状态向量;A为状态转移矩阵;B为输入转换矩阵;G为过程噪声转移矩阵;u为输入向量;w为过程中噪声向量;Zk为k时刻系统测量信息;H为测量矩阵;v为测量噪声向量。

w、v的协方差矩阵分别为Qk、Rk。

利用卡尔曼滤波进行的状态估计有两个阶段,预测阶段为:

(3)

Pk=APk-1AT+Qk

(4)

更新阶段为:

(5)

(6)

(7)

式中:Pk为k时刻估计协方差;Pk-1为k-1时刻估计协方差;Kk为卡尔曼增益;C为观测转移矩阵;∧表示先验概率分布;—表示后验概率分布。

在预测阶段,估计值与观测值一同更新。如果有两个传感器分别发送数据,那么在利用第二个传感器的观测值来更新预测值前,可以将第一个传感器的读取值作为先验信息。

卡尔曼滤波在图像识别中是一种常见的融合算法,可以进行降噪,并增强鲁棒性。卡尔曼滤波虽然是数据层面的融合,但是对于传感器的融合而言非常重要。

6.3 神经网络

不同于卡尔曼滤波,神经网络提供非线性传递函数和并行处理能力,可以帮助执行图像融合。神经网络由称为神经元的处理节点连接而成。建立神经网络数据融合模型,根据多传感器数据输入和输出之间的关系,分配神经元和互连权值。神经网络既有多层前馈型,也有递归型。

神经网络融合输出信号和输入信号,计算相应的权重y:

y=∑wixi

(8)

式中:wi为权重;xi为传感器数据。

传统神经网络将图像一层一层映射,最后进行特征提取。目前,多用卷积神经网络进行融合。卷积神经网络可以看作是特征提取与分类器的结合体,单从各个层的映射来看,类似于特征提取的过程,提取不同层次的特征。神经网络的容错性很强,能够用于复杂的非线性映射环境。神经网络强大的容错性及自学习、自组织、自适应能力等特性,满足多传感器数据融合技术处理的要求。神经网络在数据模型中,主要根据当前系统所接受的样本相似性确定分类标准,这一过程表征为网络的权值分布。可以利用神经网络的信号处理能力和自动推理功能,实现多传感器数据融合。