激光和视觉融合SLAM方法研究综述

，，，，

(1.山东省科学院自动化研究所，济南 250014；2.山东省机器人与制造自动化技术重点实验室，济南 250014；3.齐鲁工业大学(山东省科学院)，济南 250014)

0 引言

Simultaneous Localization and Mapping (SLAM)是移动机器人自主完成作业任务需要解决的基本问题，特别是在未知环境的情况下，移动机器人既要确定自身在环境中的位姿，又要根据确定的位姿来创建所处环境的地图，这是一个相辅相成、不断迭代的过程，因此，SLAM问题是一个复杂的耦合问题。

SLAM问题最初的概念是由Peter Cheeseman, Jim Crowley和Hugh Durrant-Whyte 等研究者将概率估计方法应用到机器人定位与建图时提出的[1-2]。1986-2004年，由于概率方法的广泛应用，SLAM问题的研究得到了快速的发展，这一时期也被称作SLAM问题的“经典时期”(classic age)，主要研究方法包括扩展卡尔曼滤波(Extended Kalman Filters, EKF)、 Rao-Blackwellized 粒子滤波和最大似然估计等[3]。这些方法遇到的最大瓶颈是计算的复杂度，受限于当时的计算水平，难以满足构建大规模地图的要求。2004～2015年，SLAM问题的研究进入“算法分析时期”(algorithm-analysis age)，Dissanayake 等人从状态的可观测性、状态估计的收敛性、一致性和算法计算效率等角度对这一时期的部分工作做了综述[4]，很好的描述了SLAM基本特性研究的进展。同时期，Cesar等人对SLAM的研究做了系统性的综述，包括算法的鲁棒性、应用的可扩展性、地图表示形式(度量地图和语义地图)等问题，并且分别针对这些方面的研究提出了一些有待解决的问题[5]。这一时期，研究者们发布了许多有效的开源SLAM方法，包括Catragrapher[6], Hector SLAM[7], Gmapping[8], KartoSLAM[9]等基于激光传感器的SLAM方法和MonoSLAM[10], ORB-SLAM[11], LSD-SLAM[12], RGB-D-SLAM[13], DSO[14]等基于视觉传感器的SLAM方法。

SLAM的应用场景也比较广泛，研究人员针对不同的应用场景下提出了不同的SLAM算法，覆盖室内[15]、室外[16]、水下[17]及航空航天[18]等应用环境，在这些应用场景下，激光和视觉的传感器都有一定的局限性。比如激光SLAM在环境特征不明显、动态环境等情况下性能欠佳，而且由于其重定位能力较差，在追踪丢失后难以回到工作状态[19]。虽然视觉SLAM能够很好的完成环境中的点云匹配和回环检测，有效降低累计误差[20]，但在无纹理或者光照弱的环境下表现较差，而且在距离未知的情况下，单目相机具有需要初始化、尺度不确定、尺度漂移等缺点。并且在视觉SLAM应用中存在一些共同的困难，包括相机运动过快，相机视野不够，计算量大，遮挡，特征缺失，动态物体或光源干扰等。

鉴于激光和视觉单独使用都有其局限性，而传感器融合能够弥补不同传感器在某些特殊环境下的劣势。许多研究者开始从事激光和视觉融合SLAM的研究，有效的利用不同传感器的优势。因此，本文综述了激光和视觉传感器融合SLAM的关键性问题，主要涉及激光和视觉传感器数据的外部标定、激光和视觉传感器数据融合方法。其次，对激光和视觉融合SLAM方法的优缺点和主要的应用领域进行了总结。最后，讨论了激光和视觉传感器数据融合SLAM的主要发展趋势及研究热点。

1 激光视觉融合SLAM的关键性问题

激光和视觉传感器数据融合的前提条件是不同传感器对同一目标在同一时刻的描述[21-22]。因此，不同传感器数据之间的自动标定以及不同传感器的数据融合是激光和视觉融合SLAM需要解决的关键问题。

1.1 激光和视觉传感器数据的外部标定

传感器的标定方法可以分为两种，第1种是按照给定的相对变换关系安装传感器；第2种则是根据不同传感器数据之间的约束关系来计算两个传感器之间的相对变换关系。当传感器发生故障维护后第一种方法需要重新校正，而且移动机器人运动过程中的振动会使得相对误差逐渐增大，因此更多的采用第2种标定方法，这种标定方法类似于单目相机的内参标定[23]，比如论文[24]中对于激光和数据融合的外部标定方法，通过给定的标定板，利用几何约束关系构建坐标转换系数矩阵方程，从而确定相机坐标系和激光雷达坐标系之间的转换关系。而且，针对未标定过或者标定误差较大的单目相机，这种标定方法还可以采用全局优化的方法同步优化相机内部标定和外部标定。在已有的文献中，相机和激光雷达外部标定的方法可以按照表1所示进行分类。

其中无给定目标的激光-视觉传感器外部标定主要是利用激光雷达得到的边缘深度和相机图像中的深度进行自动对齐，并利用代价函数来优化标定参数和融合结果[25]。针对给定目标的激光-视觉传感器外部标定，则是通过使用平面棋盘标定板[24,26]、直角三角形标定板[27]、正交三面体[28]、任意的三面体[28]或者V形标定板[29]等等实现传感器标定。而这样所有的标定方法又可以根据不同传感器的感知范围有无重叠分为感知范围有重叠(充足或部分重叠)[24-31,33-42]和感知范围无重叠[32,43-44]两种情况。

表1 激光和视觉传感器外部标定方法

激光和视觉传感器外部标定方法比较丰富，其中一部分成果还给出了相应的MATLAB标定工具包[45]或ROS功能包[46]。

1.2 激光和视觉传感器数据融合

图1 特征层数据融合

传感器数据融合层次一般分为3种：数据层融合、特征层融合和决策层融合。激光和视觉传感器是异质的，因此数据无法在数据层进行融合，而决策层融合预处理代价高，而且融合的结果相对而言最不准确，因此激光和视觉传感器数据融合主要是特征层的数据融合，如图1所示。相应的传感器数据融合方法有：

1.2.1 估计理论数据融合方法

主要包括卡尔曼滤波方法、协方差融合方法、最小二乘法等。这种方法是比较简单、直观的数据融合方法，主要是以估计理论作为基础，为不同的传感器数据建立状态空间模型，然后对其进行状态估计，从而实现数据融合[47-50]。

1.2.2 分类数据融合方法

主要包括参数分类方法和非参数分类方法，参数分类方法包括参数模板法和聚类分析法，非参数分类方法包括自学习决策树、人工神经网络、支持向量机等。分类方法是将多维特征空间首先划分为不同的数据类，后检测到的特征向量通过与特征空间的划分方法相对比，从而划分到不同的数据类[51-52]。

1.2.3 推理数据融合方法

主要包括贝叶斯估计法和Dempster-Shafer (D-S)证据推理法等。贝叶斯估计法属于静态环境信息融合方法，信息描述为概率分布，适应于具有可加高斯噪声的不确定性信息处理。多贝叶斯估计把每个传感器作为贝叶斯估计，将环境中各个物体的关联概率分布结合成联合的后验概率分布函数，通过使联合分布函数的似然函数为最大，提供最终融合值，D-S证据推理法是贝叶斯估计法的扩展方法[53-54]。

1.2.4 人工智能数据融合方法

主要包括模糊逻辑、神经网络方法等。模糊逻辑是一种多值逻辑，隶属度可视为一个数据真值的不精确表示。在数据融合的过程中，存在的不确定性可以直接用模糊逻辑表示，使用多值逻辑推理，根据模糊集合理论的各种演算对各种命题进行合并，进而实现数据融合。神经网络是根据系统所接受的样本相似性确定分类标准，发这种确定方法则体现在网络的权值分布上[55-56]。

除了这些数据融合方法之外，还可以根据所处环境合理的选择单个传感器或传感器融合数据作为关键帧构建地图[57]。这种根据环境状况合理选择传感器数据的方式能够降低数据融合的计算复杂度并且更好的适应于复杂的动态环境。

2 激光视觉融合SLAM的优缺点分析

激光雷达和视觉传感器的融合能够有效的避免单个传感器的局限性，融合两个传感器的优势，提高机器人定位的精度、通过视觉回环检测降低累计误差等。视觉传感器得到的环境深度信息能够匹配到激光雷达构建的2D地图上，因此可以利用激光雷达和视觉融合信息发现单个传感器(激光雷达)所不能发现的障碍物[58]，提高移动机器人的路径规划和避障性能。尤其对于动态变化的室外环境，激光雷达创建地图辅助视觉惯性定位方法能够提高系统的鲁棒性。混合光束法平差框架将视觉构建地图和激光雷达构建地图融合对齐，同步提高地图构建的精度，并且对于环境的变化有较强的鲁棒性[59]。在多线激光雷达上，可以获取的信息包括方向、距离和目标点的反射率信息，反射率信息构成的数据可以看作一种纹理信息，从而激光雷达和视觉的融合可以使用视觉算法和纹理信息构成的重定位方法，并且这些信息可以与高精度地图融合，这样的高精度地图就可以在点云和纹理两种形式间快速切换[60]。但激光雷达和视觉传感器数据的融合也会造成计算复杂度提升，提高了环境特征提取、数据融合以及系统实时性方面的难度。

3 激光视觉融合SLAM的主要应用领域

SLAM主要应用的领域非常广泛，包括移动机器人的自主定位与导航、AR、无人机等等，但受激光雷达规格影响，在小型四旋翼以及AR领域激光视觉融合SLAM应用较少[61-62]，主要以相机与惯性导航单元、相机与红外[63]等多传感器为主，激光视觉融合SLAM主要应用领域包括：

3.1 移动机器人自主运动、导航和定位

SLAM的主要应用领域就是移动机器人的自主运动、导航和定位，应用的环境场景包括结构化的室内环境和非结构化的室外场景等。比如扫地机器人、物流仓储机器人等室内服务机器人的导航以及路径规划[57]，运动跟踪[44]，变电站巡检等领域。

3.2 无人驾驶

无人驾驶作为未来汽车工业的发展方向，其最基本、最重要的功能便是在未知环境下实现同步定位与建图，利用激光雷达传感器获取点云数据，并构建地图，规避路程中遇到的障碍物，实现路径规划，检测道路边界等，利用视觉检测车道线，并与可通行区域结果进行融合，得到车辆的行驶路径[64]。

3.3 测绘

基于SLAM技术可以利用激光雷达和视觉传感器进行三维模型重建和地图构建，这些三维模型及地图在测绘领域有着广泛的应用，尤其是精准的三维模型数据和高精度地图。因此，激光和视觉融合SLAM还可以应用到三维场景重建[65]、遗迹数字化保存[66]、测绘等相关领域。

4 激光视觉融合SLAM的主要发展趋势及研究热点

4.1 与深度学习的结合

随着深度学习在计算机视觉领域的快速发展，研究者对深度学习在机器人领域的应用有很大的兴趣。激光和视觉融合SLAM中的特征匹配、闭环检测等模块都可以通过深度学习来获得更优的结果[67]。

Hou[68]等采用caffe深度学习框架下的AlexNet模型进行环境特征提取，在光照变化明显的环境下，采用深度学习的特征描述鲁棒性能明显优于传统特征，并且特征提取的速度更快。Sunderhauf[69]等利用CNNs模型提取图像区域特征描述子，并且证明局部区域描述比全局图像描述更能有效地应对图像的视角改变问题，因此提出了一种对于图像视角和外观变化有较强鲁棒性的场景识别方法，能够有效地完成闭环检测。Bai[70]等利用CNNs特征实现回环检测，并且通过设置匹配范围有效避免了闭环场景误匹配，通过特征压缩方法保证了深度学习框架下SLAM的实时性。

4.2 与多机器人系统的结合

多机器人系统在执行任务效率、灵活性、容错性、鲁棒性、可重构性、分散性和硬件成本等方面比单机器人系统更具优势。在大型、复杂、危险和人类难以到达的未知环境中执行灾难救援、资源勘探和空间探测等特殊任务时，多机器人SLAM能够极大地提高效率，有效解决大尺度环境的SLAM问题[71]。

Deutsch[72]等人提出了多机器人协作实时SLAM的框架，该框架将各个机器人的局部地图合并为一个全局地图，然后将全局地图返回给各个机器人，提高机器人建图和定位的效率和精度。针对于多机器人SLAM中各机器人初始位置未知的情况，Bresson[73]等提出了分布式的多机器人SLAM算法框架，而且该框架可以适应于任意SLAM算法。Choudhary[74]等提出了基于目标的多机器人SLAM方法，该方法能够有效地降低数据存储和通信负担，适应于通信带宽受限的场景。

5 结束语

近年来，SLAM的研究有了较快的发展，但是在实际应用中仍然有很多的问题。利用激光和视觉传感器融合的SLAM能够有效地解决部分问题，为了更好的促进SLAM的实际应用，还可以与惯性传感器(IMU)、GPS、超声、红外等多种传感器融合，使得系统性能更加稳定。当然，多传感器融合必然带来计算复杂度的增加，为了能够满足实际应用中实时性的要求，仍然需要进行算法的改进，提高系统的运算速度。