多传感器信息融合技术在环境感知中的研究进展及应用

许博玮，马志勇，李 悦

(湖州师范学院 工学院，浙江 湖州 313000)

0 引言

为了满足军事用途，多传感器信息融合的概念在20世纪70年代被提出，在美国研究并开发的一套军用声纳信号理解系统中，信息融合技术得到了最早的体现[1]。在实际生活中，智能机器人的工作环境越来越复杂，需要机器人完成的任务越来越多样化，单一传感器的感知模式不足以提供足够的冗余信息进行处理，但是将多种传感器同时使用时，随之而来的如时间同步、坐标系同步、特征提取、传感器信息权重等问题，都让经典的数据处理算法无法满足多传感器机器人的数据处理需求。于是，不仅仅在军事用途之上，多传感器信息融合的概念也在实际生活中得到了广泛的认可和实践，基于此概念的理论研究和实际应用也是当下人工智能领域的研究热点之一。

多传感器信息融合技术(MSIF，multi-sensor information fusion)的基本原理就像是大脑集中处理人体所有感知器官获取的信息一样，融合技术需要协调所有的传感器，将所有数据在时间和空间上做到统一，合理利用各个传感器的能力，合理分配各个传感器的计算单元，并综合判断信息的有效性和准确性。

MSIF的实现需要在智能设备的多个部位安装若干个相似种类或完全互补的传感器，来获取单一的、不完整的信息，之后利用信息融合算法寻找不同传感器大量数据之中，可能的潜在联系，清除冗余信息，形成完整的系统环境，以达到准确理解的目的[2]。因其特有的优势，在军事领域、经济领域、机器人智能领域、医疗领域等应用广泛。信息融合的方法是多传感器信息融合的最重要的部分，由于其应用上的复杂性和多样性，决定了信息融合的研究内容极其丰富，涉及的基础理论较多[3]，算法常用的有卡尔曼滤波、参数模板法、贝叶斯推理、自适应神网络等[4]。

1 环境感知常用传感器

传感器技术的发展已经相对成熟，对于不同环境下的使用、不同种类的数据、不同功能的应用，都有其适合的传感器类型；传感器获取的数据大多是用来获取系统的自身的状态或感知周围的环境，现如今主流的环境感知方式可以根据传感器的工作原理大致分为基于图像信息感知和基于波信息感知两种类型，如图1所示。

图1 环境感知传感器分类

1.1 基于电磁波信息

1.1.1 二维激光雷达

二维激光雷达通过在二维平面的圆周扫描，得到一组距离信息并实时更新，在实际应用中可以保持较高的分辨能力和数据处理能力，同时较强的稳定性和实时性可以使其在一些极端的场景下使用。

文献[5]将激光雷达用于移动机器人在不熟悉的环境中创建环境地图。为了解决移动机器人在创建环境地图时精度不高的问题，提出了分别校准激光雷达距离和角度测量的方法。这种方法不仅使测量数据更接近物体的实际几何特性，而且提高了机器人的测绘精度。

文献[6]中提出一种方法来检测一些容易被常规方法忽略的障碍物或是一些不规整的平面的细节。论文中使用二维激光雷达获取距离信息，结合空间距离的连续性来判断障碍物的区域。但这种方法要求障碍物是连续且无明显的距离变化的情况，如果障碍物发生位移，那么将造成较大的误差。

从上述研究可以发现，二维激光雷达本身的局限性较强，且对使用环境有着较高的要求，对机器人本身亦或是机器人周围环境的动态变化比较敏感，需要通过合理的算法去弥补误差。

1.1.2 三维激光雷达

三维激光雷达相较于二维激光雷达，其在无人车自动驾驶领域的应用更为广泛，它由多个单线激光组合而成，在室外使用时会受到雨天、雪天、雾霾等天气的影响。三维激光雷达能够感知自身周围立体空间的信息，这是跟二维激光雷达最大的不同。三维的距离信息也使得三维激光雷达能够输出跟完整、更准确的结果。所以，想要更好的使用此种传感器，就需要更加强大的处理器对大量的数据进行编码和解码，对雷达的设计、制造、安装等环节的精度要求也有所提高。

文献[7]中开发了一套自动驾驶障碍物感知系统，这套系统主要由三维激光雷达和惯性测量单元(IMU，Inertial Measurement Unit)组成，通过多个传感器之间的信息互补，很好的解决了单个激光雷达存在的视野盲区，显著的避免无人车了在路径规划中的死区问题。

文献[8]对三维激光雷达的使用场景进行拓展。在三维激光雷达获得点云数据的基础上，通过对点云数据的内在规律进行识别，将数据大致分为两类，其中一类有较强的规律且和地面有直接关联，如垂直地面的墙壁、植被、路障等；另一类则和地面不相干，明显高于测量的原点。之后对这两类点云信息通过不同的颜色做区分就可以在不借助视觉传感器的情况下实现物体识别的功能。

除了上述的消费级的三维激光雷达，工业上三维激光雷达经常搭配高清相机，用来完成地表、水面或数字化城市的测绘工作，其高精度的距离信息和角度信息，融合高清相机的图像信息，可以完成非常复杂且高精度的现实模型。

经过对比分析可以得出，三维激光雷达的性能明显强于二维激光雷达，其采集到的数据也比二维激光雷达更加完整。更多限制三维激光雷达应用的原因是其过高的成本和巨大的数据处理量。

1.1.3 毫米波雷达

毫米波雷达是工作在毫米波波段的传感器，具有体积小、质量轻和空间分辨率高的特点[9]。

文献[10]将毫米波雷达用于开发驾驶辅助系统。毫米波雷达的特点是响应速度快、穿透力强。如果汽车与周围障碍物的距离过小，通过测量和评估与汽车周围障碍物的距离，系统会主动刹车，节省人为反应的时间，减少刹车距离并提高驾驶安全性。防碰撞预警也是毫米波雷达的典型应用之一。

不仅如此，在军用直升飞机上，毫米波雷达是障碍物感知系统(OWS，obstacle warning system)的重要组成部分，配合HELLAS(Helicopter Laser Radar)激光雷达，共同组成了军用直升机在未知环境中起降安全性的重要保障[11]。

1.2 基于图像信息的环境感知传感器

1.2.1 单目视觉

单目机器视觉主要通过单目摄像头和单目视觉算法来实现的，这种方式的优点就在于，算法逻辑简单、实现更加方便、迭代更加成熟，硬件成本可控、可行性强、应用广泛。但缺点也很明显，相较于双目视觉，精度和准确性有天生的硬件劣势，只能通过算法弥补；虽应用广泛，但实际应用场景十分有限，受自身条件约束导致在复杂环节下没有可靠的表现。

文献[12]中针对单目视觉无人机避障问题，提出单目深度估计和目标检测的四旋翼自主避障方法，其中单目深度估计模型提供障碍物的深度信息，目标检测模型提供障碍物位置信息。单张红绿蓝图像的深度图和目标检测结果由卷积神经网络获得；图像的区域划分以目标检测结果为依据区域深度以深度估计结果为计算依据；规划算法依据区域深度和区域划分结果计算无人机的线速度和角速度，实现无人机的自主避障。

1.2.2 双目视觉

双目视觉避障技术和单目视觉避障技术类似[9]，但由于摄像头由单个变为两个，就不需要对前后两帧的图像做对比。双目视觉在识别物体距离的功能上相比单目视觉有先天的优势。

文献[13]为解决无人机自主导航问题，研发并实现了一种能够自主识别未知外部环境并实时自动规划轨迹的无人机系统。它使用双目视觉并使用带有光束调节优化的经典同步点位与建图算法(SLAM，simultaneous localization and mapping)。ORB SLAM2算法捕获无人机位置和方向信息，并使用扫描式感知和改进的绝对误差和算法来捕获环境信息和障碍点。接下来，结合无人机的位置信息和环境障碍点，创建无人机自主导航的局部障碍图。

同时，机器视觉在障碍物识别[14-16]和自主导航[17-18]中的应用是最为广泛的，当前研究者相较于单目视觉，对双目视觉的性能更为重视，对双目视觉的研究也更为深入。

表1对常见传感器的优缺点以及应用场景做了简要的总结。

表1 多传感器融合常见环境感知传感器比较

2 多传感器信息融合技术

2.1 传感器信息融合的一般结构

为了得到准确的环境描述，在使用多种传感器共同工作的同时，还需要把采集到的信息传入到数据融合中心。经过一系列的数据处理之后，才能得到完整的描述信息。图2显示了多传感器信息融合的一般结构。

图2 传感器信息融合一般结构

2.2 集中式融合结构

多传感器信息融合在一般结构的基础上，还可以分为集中式、分布式以及混合式三大类。

集中式融合是将所有的传感器获得的测量信息，直接输送到中央处理单元进行统一处理。基于跟踪滤波算法的集中式融合估计的流程图如图3所示。

图3 集中式融合结构

在此结构中，若所有的传感器都通过标准时间戳进行了时统的配置，并且将所有传感器自身的坐标系进行绝对或相对的坐标系变换。则传感器测量信息为Yi=(xi,yi,zi)T其中i=1,2,…,n为传感器个数。数据进入融合中心后，融合中心会对这n组数据进行计算，得到的yf=fusion(Y1,Y2,…,Y3)。

以卡尔曼滤波跟踪滤波算法为例，系统的状态方程和观测方程如式(1)所示：

(1)

分布式及混合式融合结构：

同样以卡尔曼滤波跟踪算法为例，在分布式融合系统中，数据在进入融合中心之前需要经过预处理。经过预处理之后的数据，比起原始数据在信息量上会大幅度的减少，这样做的好处是可以有效地减少对信息传输带宽的要求。同时融合单元的计算量也会减少，这样就可以部署更加复杂的算法而不损失太多的时间。实现流程如图4所示。

图4 分布式融合结构

混合式融合结构结合了集中式和分布式的特点。在数据达到融合中心之前，可以很好地发挥前两种融合结构的优势，灵活调整每个传感器的通道。实现流程如图5所示。

图5 混合式融合结构

3 传感器信息融合算法

信息融合技术虽然从上个世纪七十年代初就开始逐步发展[1]，但至今没有一套通用的算法可以满足所有的使用场景。按算法概念分类，主要分成三大类，分别为：物理模型类、基于参数类和基于认识模型类[19]。如图6所示。

图6 多传感器融合算法

3.1 基于物理模型的算法

这种方法在理论研究和实验室环境中经常被提及，但在实践中很少使用。因为这种算法需要直接基于物理模型来计算预测对象的属性。但当前科研人员建立现实物理模型的能力，仍处在一个比较初步的阶段，并不能完整地将现实生活中所有物理特性在计算机中模拟出来。

3.1.1 加权平均法

作为融合算法中最常见的算法之一——加权平均法，已经在各个数据融合场景中得到应用。在这种方法中，来自不同传感器的冗余信息被加权，得到的加权平均值是合并的结果。

3.1.2 卡尔曼滤波法

文献[21]的多传感器分布式信息融合过程是通过双目定位和超声波定位技术实现的。按照典型的分布式结构，张天团队在传感器数据进入融合中心之前，采用卡尔曼滤波算法对视觉和超声波数据进行处理。经过仿真建模实验，使用融合算法后，障碍物距离信息的误差显著降低，有效提高了四足仿生机器人感知障碍物的能力。

3.2 基于参数分类的算法

参数分类算法是最常见、最广泛使用和研究的一类算法。这种算法通过建立标签规范并将参数数据直接映射到标签规范来实现数据的融合。

3.2.1 贝叶斯推理和D-S证据理论

贝叶斯推理是融合静态环境中多传感器信息的一种常用方法，其信息描述为概率分布，适用于具有可加高斯噪声的不稳定性情况[22]。

D-S(Dempster-Shafer)证据推理是贝叶斯方法的扩展，其基本原理是使用信任区间来描述传感器信息[23]。通过信任区间描述的传感器信息可以对已知或未知的信息进行合理的区分，提升信息融合的效果。

文献[24]中将激光测距和单目测距技术相结合，并采用集中式融合结构来处理多个传感器的信息。他们将激光传感器和单目视觉传感器检测到的原始距离信号直接发送到计算机的数据中心，并使用了将这两种数据相结合的贝叶斯信息融合算法。测试结果表明，多信息融合有效地提高了避障系统的性能，提高了智能轮椅的避障效果。

3.2.2 神经网络

神经网络是在现代神经科学研究成果的基础上提出的[25]。神经网络算法的基本原理是通过大量数据样本的内在联系来对调整神经网络的权重，其结构本质上是并行的，具有内部知识表示形式统一、容错性和鲁棒性强等优点。但神经网络算法的实时性较差，由于模糊逻辑和神经网络具有互补的特性，研究者通常综合使用这两种方法。

3.2.3 聚类分析

2.1 身体动作的呈现形式丰富成套动作层次感 动作轨迹，即指在做动作时，身体或身体某部分所移动的路线。包括：轨迹形状（直线、曲线、弧线等）、轨迹方向（前后、左右、上下等6个基本方向及各种旋转与环绕等）和轨迹幅度（长度、角度）[2]。运动员的运动轨迹与方向的多变将直接在视觉上留给裁判和观众第一印象，其必须以变化多样且完整的方式利用整个地面区域，并创造出不同的模式[3]。

所谓聚类就是把大量的d维数据样本聚集成n个类，使同一类内样本的相似性最大，而不同类内样本的相似性最小[19]。聚类分析适用于模型类数量不完全清楚的应用。聚类分析使用相应目标类中的特定数据集对数据进行分组，作为数据分类的基础。聚类分析用于获取有关数据库中大量冗杂信息里详细的、隐含的和有用的信息，总结每个类别的特征，并对特定类别进行分析。

3.2.4 基于认识模型的算法

模糊逻辑是一种多值型逻辑，它指定一个从0到1的实数来表示隶属度[26]，而模糊推理过程直接表示推理过程的不确定性。模糊逻辑不依赖于数学模型，因此对于数学模型不可知的系统，模糊逻辑有较好的表现。

遗传算法是通过数据不断地迭代和遗传实现，这种过程称之为群体优化，而第一组数据称之为初始值。

在实际操作中，为了控制群体优化的过程，规划遗传进化的方向，往往会采用遗传算法和其他算法结合的方式来进行。典型的是通过和神经网络目标分类器结合，判断当前的进化特征并进行控制。

表2对上述数据融合算法在特点和局限性上做了简要总结。

表2 多传感器数据融合算法比较

3.3 多传感器数据融合算法模型

多传感器数据融合中的数据处理方法和经典方法的区别可以在复杂形式中体现出来[1]。并且不同的信息层次，其复杂形式也不同。

根据融合系统中数据的抽象层次，可将融合分为3个层次，数据级融合、特征级融合和决策级融合[28]。表3中对这3种方式的优缺点、主要理论支撑和应用场景进行了总结。

表3 多传感器数据融合层级比较

4 多传感器数据融合算法在环境感知中的应用

4.1 实时定位

文献[29]中使用全球导航卫星系统(GNSS，global navigation satellite system)、IMU和双目视觉传感器构成多传感器融合算法的基础，完成姿态跟踪任务和定位。其中，IMU传感器用来对无人机的位姿信息进行补偿和修正，全球导航卫星系统为无人机提供高精度的定位数据和时间戳，方便在多传感器信息融合时校准时间和位置，同时利用深度相机实时获取画面来实现物体的识别和跟踪。这些传感器的使用，非常好的弥补了各自的缺陷，充分的发挥了它们各自的优势，在解决定位漂移、图像失真、距离判断失误等问题上有较好效果。

无人机在实现自主定位时，经常会采用多传感器融合的技术，通常采用视觉传感器辅以IMU等传感器，使机器人接收到的信息更加完整，完善了单一传感器使用的一些缺陷。通过结合各种传感器获取的数据的特点和相应的信息融合算法，达到减少传感器测量造成的定位误差，实现信息量增加的效果，提高定位精度的目的[30]。

文献[35]为了解决可见光相机实时定位无法在弱光和黑暗环境中使用，提出了一种基于红外视觉和激光雷达融合的目标识别和定位算法。首先，通过基于颜色迁移的数据增强训练方法，提高了红外目标识别算法的泛化性能。继而，提出了一种基于激光雷达修正的单目深度估计方法，通过视觉图像与激光雷达点云的数据融合，实现了基于稠密深度图对目标位置的估计，提高了对小目标的定位能力。实验结果证明，该方法能够显著提高无人车在弱光或黑暗环境下的物体定位精度。

4.2 目标识别及跟踪

文献[31]中利用中心网络(CenterNet)算法提取候选目标的中心点，采用视锥方法将雷达检测结果与候选目标中心点进行数据关联，然后通过回归候选目标的深度、旋转角度和速度对先验检测结果进行修正，在不借助额外信息的条件下。

文献[32]为了提高毫米比雷达的跟踪精度，提出一种基于车载调频等幅波(FMCW，frequency-modulated continuous wave)毫米波雷达数据的多模切换的信息融合目标跟踪算法。并在模拟的车辆场景和道路上的测量数据进行仿真测试，结果证明，数据融合后的跟踪精度明显提高。

文献[33]为了使无人机在对线缆杆塔等物体有更好的避障效果，采用了多传感器融合算法，对包括机器视觉、毫米波雷达、GPS导航系统在内的传感器进行数据融合，并采用虚拟力场法(VFF，virtual force field)对无人机周围障碍物进行判断，完成路径规划。

4.3 障碍物检测及避障

文献[11]中，德国航空航天中心(DLR，deutsches zentrum für luft- und raumfahrt)启动了ALLFlight项目。该项目涉及将全尺寸增强视觉传感器套件集成到DLR的研究直升机EC135上。该传感器套件由两个不同的测距传感器组成：一个光学雷达扫描仪和一个毫米波雷达系统。这两个雷达以及其他如红外相机、可见光相机等设备都配备了单独的传感器协同处理器(SCC，sensor co-computer)，为了能够处理和显示来自这些传感器的大量传入数据。这套多传感器融合的系统可以显示直升机前方的障碍物信息，特别是高压电线和复杂的地形信息，可以辅助飞行员驾驶飞机低空飞行，给飞行员提供足够的引导，使其在未准备好的着陆点安全着陆。

文献[34]为了让军用直升机在敌方监视和武器系统的威胁下，完成低空、高速、低能见度、地形信息不完整的极端飞行任务，减少与障碍物发生碰撞的可能性，提高飞行可靠性，保证飞行员的安全，提出了一种基于前视扫描激光雷达的解决方案。采用大视场、高角度的范围分辨率，高脉冲重复率以及足够的脉冲能量对前方障碍物和军事设施的距离进行有效的探测和记录，比采用先进的3D场景分析算法，实现障碍物预警、测量距离图像数据的实时处理、障碍物分类和可视化、地形跟踪、自主避障和自动目标识别等功能。

文献[36]中提到，当军用直升机降落在沙地或尘土飞扬的地区时，直升机旋翼的下洗流会导致视觉限制性物质云团完全阻挡飞行员的外部参考，导致飞行员完全失去态势感知和空间定位，最终可能导致飞机完全失控并引发危险事故。为了避免飞行路径中或附近的障碍物常常对直升机构成威胁。这些障碍物可能是电力线、空中索道、塔架和塔架等，以及意外导致的飞机断电事故，提出了断电保护恢复系统，该系统能够将了HELLAS距离图像数据可视化，形成着陆区域的合成增强视觉图像，以及通过高度计和惯性导航平台的参考信息，形成可靠的周围环境，以适当的方式在驾驶舱显示器上进行显示，在断电条件下(由着陆直升机引起的尘云)充当飞行员的着陆辅助设备。

5 多传感器数据融合技术的发展与展望

多传感器融合技术是一个多学科交叉的先进技术，其发展的方向需要满足当前工业发展和社会发展的需求；满足人们对日常工作、生活、生产的需要；无论是在军用、民用或是科研用途中，都能发挥出实际的优势。对于多传感器数据融合技术未来的发展将会集中在以下几个方面。

5.1 低成本、高性能的微型传感器

多传感器数据融合技术在20世纪70年代发展至今，从最开始军事应用中，无论硬件设备还是软件开发都不计成本，性能优先，到如今的商品化、民用化的转换，产品价格和性能之间的平衡已经成为用户选择的重要依据。作为多传感器融合技术发展的先决因素，低成本、高性能的微型传感器能很好的丰富多传感器融合技术的应用场景，如英特尔(Intel)公司推出的D435深度实感相机以极小的体积和重量集成了两个RGB摄像头、IR投影仪和用于数据融合处理的处理器，来实现较高的测量精度和输出分辨率。

5.2 智能化数据融合

智能化是现代社会工业发展的潮流和趋势，多传感器数据融合技术涉及到的多个领域和学科都与人工智能有着密切的联系，在未来，多传感器数据融合技术也将朝着智能化发展，多传感器数据融合技术的智能化能够很好的提升其应用灵活性和鲁棒性，有效减少人为的介入，提升整体的性能。

5.3 多维度融合策略

多传感器数据融合技术的出现就是用来解决单一传感器数据采集不完整、观测误差大、受观测环境影响等问题。但是单一维度的数据融合不能够满足复杂场景下的应用，同时也限制了系统的能力。多传感器数据融合技术未来发展应朝着多类型传感器、多维度融合、多策略融合发展，以适应从简单到复杂的应用场景，提升系统鲁棒性和稳定性，最大程度的发挥系统硬件和软件的能力。

5.4 高速在线融合

过去对于超大数据量的融合大多是采用实时存储后，离线处理的方式来实现，但随着传感器技术的发展，传感器的测量精度越来越高，同时，用户对系统实时处理并输出的需求越来越大。微电子技术的发展让微处理器的性能有了极大的提升，使多传感器数据融合技术需要在保证鲁棒性和准确性的前提下实现高速在线融合成为可能，在未来，多传感器数据融合技术仍要在硬件技术的支持下不断优化算法的计算速度，提高高速在线融合的能力。

5.5 自适应数据融合

现如今的多传感器数据融合的精度会受到环境因素的影响，由于不同的传感器对环境的敏感程度不同，在未知的环境条件下，传感器的测量精度也会受到影响，常见的解决方法是通过获取准确的环境信息，通过融合算法来修正误差。但这样的做法有着巨大的局限性：(1)环境信息非常复杂多变，想要获取完整环境信息的难度非常高；(2)如此办法的多传感器数据融合算法将会成为特定环境下的专用算法，只能在一些特种用途的产品中发挥作用，不能够适用于通用产品；(3)若在使用过程中环境信息发生突变，环境配置参数如果无法及时更新，那么可能导致系统的失灵，造成不必要的人员和经济损失。自适应的数据融合算法就能解决上述问题，使系统工作在各种各样的不确定的环境中。

6 结束语

随着计算机技术、传感器功能以及信息融合技术的发展，多传感器信息融合已经成为人工智能领域智能机器人一项重要的技术，同时也会在未来成为自主避障、目标识别、测距测绘等研究的重点应用技术之一。本文在介绍环境感知传感器的基础之下，对多传感器信息融合技术做了详细的总结，为之后的多传感器信息融合避障系统的研究提供理论依据。