面向智能驾驶的多源传感融合技术综述

曹礼军 魏源伯 王祎男 关瀛洲

（1.中国第一汽车股份有限公司创新技术研究院，长春 130013;2.汽车振动噪声与安全控制综合技术国家重点实验室，长春 130013）

主题词：多源 传感融合 感知数据 关联滤波算法 智能驾驶

缩略语

LiDAR Light Detection And Ranging

NNDA Nearest Neighbor Data Association

GNN Global Nearest Neighbor

PDA Probabilistic Data Association

JPDA Joint Probabilistic Data Association

KF Kalman Filter

EKF Extended Kalman Filter

UKF Unscented Kalman Filter

CV Constant Velocity

CA Constant Acceleration

CTRV Constant Turn Rate and Velocity

PF Particle Filter

DS Dempster Shafer

FIS Fuzzy Inference System

1 前言

近年来，智能驾驶技术发展迅速，智能驾驶汽车应用广泛。对于消费者来说，智能驾驶的安全问题是其关注的首要问题，即需要保证智能驾驶感知系统对目标检测的实时性和准确性。感知系统通过使用可覆盖所关注重点区域的传感器布局，获取周围环境的实时信息，进行目标定位和纹理信息提取，作为路径规划的重要输入源。在此过程中，传感器对感知周围环境和定位车辆的路径规划和决策至关重要。目前使用的传感器主要包括摄像头、激光雷达、毫米波雷达。不同传感器的性能各不相同，在不同的使用环境中可以发挥各自的优势。多源传感融合技术就是从不同角度、全方位层次进行数据关联匹配与系统融合，将多个传感器获取的数据、信息集中在一起综合分析，执行相应的信息处理，以便更加准确可靠地描述外界环境，从而提高系统决策的正确性，使得整个感知系统更加智能[1]。目前，多源传感融合技术已成为一个研究热点。

多源传感融合技术具有以下优势：

（1）有效扩大了感知覆盖范围，可实现360°零死角全覆盖；

（2）提高了感知系统结果的置信度，增强系统容错性、安全性及鲁棒性；

（3）当某个传感器发生故障时，感知系统仍可以向后端输出高置信度信息，保证了整个智能驾驶系统的正常运行。

本文从3种常见传感器的融合出发，重点总结智能驾驶多源传感融合技术的研究进展，梳理车路协同融合技术发展趋势。

2 智能驾驶常用传感器

传感器在整个智能驾驶系统中具有至关重要的作用，其主要目的是将感受到的被测量信息按一定规律转换为其它所需形式的信息输出[2]。智能驾驶常用传感器有激光雷达、摄像头和毫米波雷达。在多源传感融合中，各传感器以固定的周期频率将雷达点云、高分辨率视觉图像原始信息实时传送给感知模块处理。

2.1 激光雷达

激光雷达（Light Detection And Ranging,LiDAR）分为机械式和固态式，主要由发射系统、接收系统、信息处理3个模块组成，能够准确识别出障碍物具体的空间位置及轮廓信息。其工作原理是通过多线发射器不断向四周发射光波探测信号，然后根据反射或散射光波的测量时间及反射率参数[3]进行计算。其优势是探测距离较远，能达到厘米级别检测精度，且漏识别率很低。随着多线激光雷达的发展，其分辨率越来越高。但是，激光雷达的缺点如下：

（1）体积大，安装位置比较受限；

（2）比其它2种传感器成本高；

（3）对工作环境要求高，受天气环境影响较大，在雨雾、风沙等天气时会受到极大的干扰，甚至无法工作[3]。

2.2 摄像头

摄像头是目前智能驾驶汽车最常用的传感器，具有成本低、可识别目标种类多的优势。根据探测精度和所负责功能范围不同，摄像头可分为广角、窄角、鱼眼和双目摄像头。在普通光照条件下，视觉感知系统实时获取摄像头拍摄的明显几何特征、边界特征和灰度直方图特征的图像，可利用这些特征信息识别图像中关注的车辆或行人目标，获得目标在图像上的位置、速度、尺寸和颜色状态信息[4]。不过视觉感知技术十分依赖算法性能，而算法模型需要海量的数据进行训练，对于训练模型有极高的性能要求，并且无法获得更多的深度信息。此外，摄像头受逆光、能见度等环境因素影响颇大[5]，识别准确率在不同环境下会有较大波动。

2.3 毫米波雷达

毫米波雷达是利用1～10 mm波长[6]的电磁波通过振荡器形成持续变化的信号，由发出信号和接收信号之间的频率差来计算车辆与物体距离。毫米波雷达技术成熟、成本低、受天气影响较小、探测距离远，并可以直接探测目标速度，因此在智能驾驶中应用广泛。但毫米波雷达识别精度有限，受多普勒效应影响，主流的毫米波雷达甚至无法判断垂直障碍物信息，难以判断障碍物的具体轮廓[7]，对小尺寸障碍物的判断更加模糊，因此在更高级别的智能驾驶汽车上，通常只将其作为辅助传感器。3种传感器性能比较见表1。

表1 3种传感器性能比较

目前，随着智能驾驶商业化发展迅速，大多数车型均配有ADAS功能，其中感知模块主要使用摄像头、毫米波雷达、激光雷达这3种传感器驱动。而实际应用中，各种传感器均存在优势与不足，单一传感器的性能无法支撑日常复杂的道路环境[8]。只有将汽车搭配多种传感器，形成优势互补，再加上针对实际传感器性能所开发的融合技术进行优化处理，才能更全面精细的获取环境数据，并给出相对更准确的处理方案。

3 多源传感融合技术

3.1 传感器融合

传感器融合是智能驾驶的一个重要研究方向，是将多个传感器采集到的数据进行集成，减少了检测数据的不确定性，弥补了单个传感器独立工作的缺点。此外，传感器融合有助于建立一致的模型，在各种环境条件下准确感知周围环境（如摄像头和雷达融合可以提供高分辨率的图像和感知场景中检测到的障碍物的相对速度）[9]。

针对智能驾驶汽车环境感知和目标检测的多传感器融合系统，目前，主要有3种用于障碍物检测的传感器组合，包括摄像头-激光雷达（Camera-LiDAR,CL）；摄像头-毫米波雷达（Camera-Radar,CR）；摄像头-激光雷达-雷达（Camera-LiDAR-Radar,CLR）传感器组合。CR传感器组合提供高分辨率图像，同时获取周围障碍物的额外距离和速度信息。而CLR传感器组合可以提供更大范围的分辨率，并通过激光雷达点云和深度信息精确了解周围环境，提高了整体自主驾驶的安全冗余度系统[2]。

3.2 数据关联

数据关联的目的是将多传感器信息进行有效的处理，从而得到比单一传感器更加精确可靠的结果。在多源传感融合系统研究中，目标关联问题是最为重要和最为困难的问题之一，其难点为：在密集复杂的环境中，很难区分相近目标的跟踪轨迹，需要对多传感器的检测数据进行匹配关联，进行稳定跟踪[10]。文献[11]阐述了数据关联的概念，即计算当前帧中，从检测器检测到的每一个观测值与前一帧跟踪器中可能的各种跟踪目标之间的关联概率，通过概率的匹配度去关联前后帧之间的信息，从而形成一段连续的轨迹。文献[12]阐明了数据关联的意义，即确定传感器接收到的量测和目标源之间的对应关系，这种关系在传感器观测过程和目标跟踪环境中存在着各种不确定性和随机性。

数据关联算法，主要包括最近邻数据关联算法（Nearest Neighbor Data Association,NNDA）、全局最近邻算法（Global Nearest Neighbor,GNN）、概率数据关联算法（Probabilistic Data Association,PDA）和联合概率数据关联（Joint Probabilistic Data Association,JPDA）。

3.2.1 最近邻数据关联

NNDA最早是由SINGGER等[13-14]于1971年提出，该算法主要核心思想为：在某一时刻的所有量测中，距离与被跟踪目标预测位置最近的量测应该作为目标的真实量测，并预测目标在下一时刻的位置。该算法的基本思想是把关联门看作搜索子空间，仅选取落入关联门范围内且与门中心距离最近的检测点，其余检测点均被当作误检或认为是其它目标的检测结果（图1）。

图1 NNDA算法示意[15]

该算法运算量小、易于实现，在低级别辅助驾驶中较为常用。但当目标的数量较多时，由于多个测量值彼此靠近，可能导致出现误关联、漏识别现象。

3.2.2 全局最近邻算法

GNN计算距离的方法和NNDA算法思想相同，不同点是其通过将所有测量值与所有系统航迹相匹配，计算所有匹配的总风险函数，寻找使总风险函数最小的匹配值，作为与此目标关联的正确结果，使总的关联代价达到了最小[16]（图2）。由于进行了目标总风险函数的计算，有效降低了误关联现象，因此GNN算法的总体性能优于NNDA。但是，GNN使用了贪婪算法的思想，只保留一个最优关联，抛弃了除了最优匹配以外的所有信息，当多个最优的关联方式的概率相差不大时，很容易出错。

图2 不确定数据库中的GNN查询[17]

3.2.3概率数据关联算法

PDA是一种次优滤波方法，通过对新的测量值进行分解，来解决复杂噪声环境中的目标航迹的跟踪问题。该算法把所有测量值假设并合成为一个高斯分布，并根据不同的实际情况计算出各测量值匹配目标的概率，然后利用这些概率值对相关门限内的不同测量值进行加权，各个候选测量值的加权和作为等效测量值。这也意味着要把所有可能关联的概率都算出来，因此，计算数据关联的可能性是一个组合问题，数据关联的次数就是所有可能组合的数量，即所有可能组合的都需要计算，因此数据运算量相对较大。

3.2.4 联合概率数据关联

JPDA的基本思想是通过利用目标航迹周围门限内的测量值来联合更新状态。对于测量数据落入跟踪门限相交区域的情况，这些数据无法确定来自于哪个观测目标，而JPDA在此时认为测量值都以一定的概率值来源于门限内每个系统航迹目标，并利用落在门限内的当前周期测量航迹，计算测量航迹和相应系统航迹的关联概率，利用关联概率对当前测量航迹求加权来修正航迹，将跟踪过程系统航迹与测量值的匹配概率当作权值（图3）。JPDA与PDA最大的区别是对于关联概率计算方式不同。JPDA优点是不需要目标与噪声任何的先验信息，是在密集环境中对多目标进行跟踪较好的方法之一。但由于数据运算量更大，当目标数量和噪声过多时，系统运算量可能出现组合爆炸现象。

图3 JDPA算法场景示意[15]

4 多源传感融合的核心算法

在多源数据融合中，首先根据上文所述的数据关联技术进行测量值与系统航迹匹配，得到实时值后，结合多源传感融合的核心滤波算法进行定周期更新。在实际应用中，可根据情况判断是否为线性或非线性条件、高斯或非高斯环境，结合使用前述的数据关联技术，来选择具体的滤波算法。

多源传感融合的核心算法可分为概率统计算法和逻辑推理算法。其中，概率统计算法包括：多贝叶斯估计法、卡尔曼滤波算法（Kalman Filter,KF）、扩展卡尔曼滤波算法（Extended Kalman Filter，EKF）、无迹卡尔曼滤波算法（Unscented Kalman Filter，UKF）、粒子滤波算法；逻辑推理算法包括：证据理论推理（Dempster Shafer，DS）、模糊推理（Fuzzy Inference System，FIS）。不同的算法有不同的优缺点及各自适用环境，常用多源传感融合逻辑见图4。

图4 常用融合逻辑示意

4.1 概率统计算法

基于概率统计的数据融合算法技术成熟，使用概率组合估计来处理不确定性的随机分布，已经广泛应用在智能驾驶系统中。

4.1.1 多贝叶斯估计法

多贝叶斯估计法的主要思想是对测量数据的不确定性以条件概率表示，将传感器实时测量信息以概率形式进行组合，该方法在简单环境中较为常用。为了评估每组传感器输出数据的可靠性，一般认为每个传感器输出的目标数据是满足正态分布的，这也是自然界常见的噪声分布。通过定义每组传感器数据间的数据距离置信度，得到一个置信距离矩阵，设定一个临界值对每个置信距离进行可靠性判定，得到一个二值关系矩阵，由此关系矩阵对多传感器数据进行选择，产生一个数据作为最佳融合数。最后将待测数据的均值、方差和最佳融合数对应的测量值和方差代入贝叶斯估计公式计算得到融合结果[18]，贝叶斯估计多用于多组同源传感器的数据融合。

4.1.2 卡尔曼滤波算法

卡尔曼滤波算法（Kalman Filter,KF）是1960年由匈牙利著名数学家卡尔曼率先提出的一种经典算法，适合应用于线性高斯系统[19]。该方法的主要思想为，通过最优化自回归的方式来处理先验预测结果和观测的数据，并判断观测模型是否符合高斯的模型范围。在估计线性高斯系统状态中，以最小均方差或者贝叶斯公式为最佳估计准则，采用信号与噪声的状态空间模型，利用前一时刻的估计值和当前时刻的观测值来更新对状态变量的估计，求出当前时刻的估计值，算法根据建立的系统方程和观测方程对需要处理的信号做出满足最小均方差的估计。

4.1.3 扩展卡尔曼滤波算法

扩展卡尔曼滤波算法（Extended Kalman Filter，EKF）属于卡尔曼滤波的一种变体，主要思想是使用了线性变换来近似非线性变换，利用一阶泰勒级数对运动模型和观测模型展开来进行近似线性化，通常情况下保留到一阶项或二阶项并舍弃其余项，再利用经典卡尔曼滤波公式进行计算。在状态估计中，扩展卡尔曼滤波是计算状态向量的最大似然估计的标准方法，提供最优项的“低阶”近似解。然而，这种近似方式会在计算高斯噪声的后验均值和协方差时产生较大误差，最终可能导致滤波算法发散[20]。

4.1.4 无迹卡尔曼滤波算法

无迹卡尔曼滤波（Unscented Kalman Filter，UKF）也是经典卡尔曼滤波算法的另一种变体，与EKF的线性化近似不同，它将EKF中非线性函数线性化的方法替换成无迹变换。通过在原状态分布中按制定规则选取采样点，这些点的均值和协方差需要等于原状态分布，即利用一个与非线性函数的分布期望、方差相近的正态分布去近似概率密度分布，从而通过这些非线性函数值点集，求得变换后的均值和协方差。在这个过程中保留了非线性系统的高阶项，计算精度较高[21]，至少有二阶精度，对于高斯分布可达三阶。UKF最初用于状态估计问题，并且已经被广泛应用于需要全状态反馈的非线性控制场景。

4.1.5 粒子滤波算法

KF、EKF和UKF都适用于高斯条件，核心思想都采用了高斯分布去逼近计算中的某些状态。但某些实际情形如果是严重非高斯的，则将可能出现误差，所以粒子滤波算法采用了另外的方式去逼近，可适用于非线性非高斯环境。该算法也称作“序贯蒙特卡罗方法”，为了估计目标的状态，设定了大量的具有独立对目标状态估计能力的加权粒子表征其估计值，经每一周期会进行独立更新。在实际应用中，某些系统环境状态发生频率高，某些特殊状态频率极少，所以很多情况下，会出现几个粒子最终共享相同的状态估计的情形。因此，大多数粒子共享的状态为目标最有可能的状态。当检测到目标时粒子滤波算法启动，随即创建若干粒子来表示。系统每周期接收到新的测量航迹时，粒子滤波算法将通过以下3个步骤对所有粒子执行状态估计进行更新：

（1）所有的粒子都使用一个事先设定好的运动模型，这个运动模型上文卡尔曼滤波介绍的模型相似，不一定是线性的；

（2）赋予新计算出的粒子以权值。通过粒子状态估计的拟合由测量值构建的概率密度函数的方式来确定该权值，这里的概率密度函数是通过以每个测量值为中心的正态分布而建立的，特征依赖于传感器的预先定义的误差模型；

（3）进行重采样，这一步的目的是创建与第二步相同数量的新粒子，使用与第二步中计算的相同的概率密度函数，这时所有粒子共享相同的权重。这一点很重要，在下一次迭代的预测和加权步骤中，所有粒子都可以被同等对待。这里权值较高的粒子即为最有可能代表目标的粒子，会被多次选择，而权重较低的粒子则不太可能代表目标，通常会将其舍弃。目前有多种重采样技术，常用的有多项重采样，分层重采样，系统重采样，残差重采样等。

对于上文中提及的概率统计算法中的状态预测过程，在实际用于车辆状态跟踪时，可根据实际情况选择不同的运动模型来对车辆目标的状态进行预测，得到状态更新的先验信息。不同的运动模型是对实际车辆目标的运动过程进行一定的简化来建构的，其中包括一次运动模型和更高级的二次运动模型。常用的有恒定速度（Constant Velocity,CV）模型、恒定加速度（Constant Acceleration,CA）模型、恒定转率和速度（Constant Turn Rate and Velocity,CTRV）模型。具体描述如下：

（1）恒定速度模型：模型的速度恒定不变；

（2）恒定加速度模型：模型的加速度恒定不变；

（3）恒定转率和速度模型：CTRV实际上是CV的一般形式，当该模型角速度等于0时，就是CV的形式。CTRV模型假设对象沿直线前进，同时还能以固定的转弯速率和恒定的速度移动，可以看作一段圆弧运动。

4.2 逻辑推理算法

基于逻辑推理的数据融合方法具有比较强的理论基础，能处理随机性或模糊性所导致的数据不确定性。但该类方法未大规模应用，尚处在科研探索过程。

4.2.1 证据推理

证据推理（Dempster Shafer,DS）方法是多贝叶斯估计的一种扩展形式，可以在没有先验概率的情况下，灵活并有效地对不确定性建模，克服了多贝叶斯估计数据融合的缺陷。该方法的核心思想是，把包含不确定信息的数据和合成规则相结合，将多源数据所表征的信息综合起来，得到更为可靠有效的结论[22]。但DS推论需要对假设空间中的每一种假设都分配概率，各组合规则的合理性、正确性、完整性都对处理结果有很大影响，需要建立多方面的专家经验知识[23]，因此该方法需要进一步探索。

4.2.2 模糊推理

模糊推理方法（Fuzzy Inference System,FIS）的核心思想是使用隶属度函数来评估各组传感器数据的置信度，将传感器数据的不确定性直接表示在其推理过程中。与概率统计方法相比，它对信息和处理的方式更加接近于人类的思维方式。模糊推理数据融合简洁实用，不需要传感器历史数据来提供先验信息，因此只需要传感器提供单次测量数据即可，多适用于多组同源传感器的单次数据融合。

5 多源传感融合体系

目前，多源传感融合根据融合层级不同，主要分为：数据级融合、特征级融合和决策级融合。

5.1 数据级融合

数据级融合也可称为像素级融合[24]，针对的是感知系统中的数据处理阶段，对各种传感器的原始数据未经与处理之前就进行数据的融合与分析（图5）。数据层融合一般是采用集中式融合体系进行融合处理，是最底层的融合，在3种融合方案中，是具有最小的数据丢失和最高的可靠性，可以获取到检测目标的较完整的信息，同时还可以准确的获取到目标的位置信息，常用于摄像头和激光雷达或毫米波雷达的融合，最普遍的方式是将点云投影到图像，然后检查点云是否属于图像中检测的2D目标框。该方案在获取原始数据，并进行底层融合时，对硬件平台的算力要求很高，故目前应用主要以科学研究为主。

图5 数据级融合[1]

5.2 特征级融合

该方法通过提取所采集数据包含的特征向量，用来体现所监测物理量的属性，这是面向监测对象特征的融合，一般在获取原始数据并进行特征提取后进行（图6）。对传感器融合后的特征信息进行卷积与池化处理后将得到带有传感器特征信息的数据集，对数据集进行标注与训练后得到最终的识别模型，最后调用训练得到的模型对各传感器数据进行识别[25]，判断目标是否为待检测的目标类型。

图6 特征级融合[1]

5.3 决策级融合

该方法通过特征级融合所得到的数据特征，进行一定的判别、分类，以及简单的逻辑运算，根据应用需求进行较高级的决策，从而产生面向应用的融合[26]（图7）。对每个模态数据训练单独的模型，而后综合每个模型的结果获得输出。由于后期融合需要为每个模态提供单独的模型，因此能够更好地针对不同模态数据特点进行建模[27]，并且能够应对某些模态的部分数据缺失和数据间的异步性，但同时丢失了特征层面的数据关联性，通常具有更高的实现难度。

图7 决策级融合[1]

6 结束语

本文总结了在智能驾驶汽车中常用的多源传感融合技术研究现状，并总结出以下发展趋势：

（1）通过对多源数据融合算法的优化有利于提高感知实时性；

（2）未来传感器将具有预判能力，可提高在复杂环境下工作的准确性；

（3）尽量避免各种算法之间产生干扰，增强鲁棒性。

当前商业化应用的主流融合方式为决策级融合，通过分布式传感器的硬件配置和集成了智能驾驶软件的域控制器，运用高效的数据关联技术实时更新感知结果，既最大程度保留每个传感器的优势，又尽可能互相弥补其劣势，极大提升了整体系统的鲁棒性和整车安全性，确保满足后端决策系统所需信息的实时性和高精度。随着芯片算力的极大提升，正逐步探索精度更高的数据级和特征级融合方式，目的是使融合处理系统获取到的特征信息失真尽可能降到最低，提高复杂环境下的准确性。

但是，仅凭传统单车智能的有限传感器手段，无法从更广范围、更多样化的动态交通环境中满足驾驶决策需求，随着通信技术的升级和智慧城市道路的建设，未来智能汽车会将单车智能与车路协同相融合，更多维满足智能汽车的安全性。