视觉融合SLAM鲁棒框架研究

王一波 梁伟鄯

柳州工学院

0 引言

同时定位与地图构建（Simultaneous Localization And Mapping，简称SLAM），通常是指在机器人或者其他载体上，通过对各种传感器数据进行采集和计算，生成对其自身位置姿态的定位和场景地图信息的系统，其对于智能机器人走向应用发挥着关键作用。当前，主流SLAM技术分为激光和视觉两大类。激光SLAM算法简单，但成本相对较高，应用具有一定局限性；视觉SLAM利用摄像机（单目、双目或者RGBD）可以从环境中获取海量的、冗余的纹理信息，拥有超强的场景辨识能力，将成为今后技术发展的主要趋势，但其算法复杂，鲁棒性较差。以视觉为主要信息收集手段，融合IMU、编码器等多种传感器，构成视觉融合SLAM框架，可以从根本上克服单视觉SLAM对光照敏感的问题，更具鲁棒特性。而作为成熟的机器人操作系统ROS，由于支持众多硬件的软件端口的同时挂载，在操作系统层和应用层之间架起了一座可靠的技术桥梁，而日渐得到广大研究人员的青睐，以其为基础构建SLAM的通用平台，可低耦合度的分布式进程，控制网络逻辑清晰，挂载方便，十分便于验证SLAM框架性能。本文将构建一个以维持系统运行稳定为主的框架，以提高SLAM技术的鲁棒性，增强其在不同环境和状况下的适应能力。

1 视觉融合SLAM功能架构设计

1.1 基本功能框架

视觉SLAM利用摄像机（单目、双目或者 RGBD）具有重定位、场景分类上无可比拟的巨大优势，但目前受限于硬件技术性能及软件算法，尚未取得关键性突破。而惯性传感器（IMU）具有不受场景和运动速度限制、实时准确测量无人系统位姿变化的优点，缺点是长时间运行会产生累加误差。本文将以视觉传感器为主、IMU为辅构建视觉惯性融合SLAM，充分利用图像信息的长时间稳定性和IMU数据的短时间准确性，从而得到更加鲁棒的状态估计结果。视觉传感器与IMU的耦合方式可分为刚性连接和非刚性连接，前者即IMU相对视觉传感器的空间位置固定，后者是两类传感器位置无约束关系。考虑IMU仅仅作为视觉传感器的辅助机构，避免增加问题的复杂性，本文选择刚性连接，即未出现异常情况下，两传感器经参数标定后的位姿转换关系不会发生改变。

本文的设计目的除SLAM系统常规任务定位和建图外，还包括鲁棒性设计，主要通过增加相应环节提升SLAM系统的环境性，降低误报概率，从而避免无人系统关键应用的损失。为了更好地描述需求细节，通过分节点解构视觉SLAM的任务，同时理清数据流向，整体设计如图1所示。

图1 视觉SLAM功能结构图

图1 中视觉传感器采集外部环境数据，IMU采集无人系统本体数据（包括加速度、角速度和地磁方向），这与高等动物融合视觉和立体感觉来推测自身姿态的方法十分相似。校准初始化节点主要用于两类传感器的同步，确保各自状态估计不会错位；失效检测主要用于视觉传感器的即时失效检测，起到数据过滤功能，确保质量低下图像被滤除；滤波节点主要用于估计系统状态；鲁棒融合节点则对应CI融合鲁棒稳态卡尔曼滤波器，用于融合视觉SLAM估计和里程计估计的结果，形成对于较大范围环境的稳定输出。在此，重点说明环境控制节点和动态检测节点。

1.2 环境控制节点

环境控制节点主要负责环境参数的收集，包括无人系统大致位置、时区、时间、天气及室内或者室外等。无人系统通过连接互联网实时获取，主要用于为SLAM系统环境建模和姿态估计提供信息用以辅助决策，以提高视觉SLAM系统的鲁棒性。基本原理如下：类比人主要获取信息的主要渠道是视觉，但视觉会遵循环境光照强度变化做出相应的调节，而对于视觉SLAM系统也是相同的，视觉传感器对于天候及环境也将有着不同的表现，比如在雨天、雾天和雪天，会严重影响成像，甚至会造成视觉传感器失效，如果不做调整，会为无人系统的应用带来损失。综合各种环境参数，可以换算为环境的光照亮度范围，以此作为决策的依据。具体决策如表1和表2所示。决策依据光照亮度分为A、B、C三类，分别进行数据传输与任务决策，用以决定是否进行数据转发以及任务的运行和中止，以此提高系统对环境的适应性。

表1 环境影响决策

表2 决策说明

1.3 动态检测节点

根据已有经验，视觉SLAM在静态环境下表现更为鲁棒，而当场景中出现运动物体，则会造成不同程度的影响，而且运动物体越多，影响将越大。为此，可将场景分为静态和动态两部分，前者是相对稳定不变的背景部分，后者是前景移动的目标部分，在视觉SLAM应用中被认为是干扰因素。为降低动态部分的影响，本文设计了专门的检测节点，用以剔除场景中的动态部分。通过训练可实时运行的You only look once（YOLO）网络，检测包括植物、动物、交通工具、路标等各种室外环境中的目标，将其从图像中分离出来。

Scene={（c_i，n_i，P_i ）│i=1，2，…，K} （1）

式中，c_i表示第i类别目标，n_i表示第i类别目标数量，P_i表示目标的位置（包括x、y坐标及目标高度、宽度）。

2 视觉融合SLAM技术架构设计

2.1 基于ROS的硬件框架设计

从学科上看，SLAM属于机器人学的范畴，具有一定的复杂度，要使其稳定可靠运行，必须提升技术架构的性能。类比智能手机目前常用的操作系统Android和iOS的底层分别是开源的GNU/Linux和Darwin，目前移动机器人的开发多是建立在ROS（Robot operating system）上，其能为复杂任务计算节约空间和算力，确保各程序在适当时间被执行，同时可以为多进程通信提供良好的底层支持。ROS是由Open SourceRobotics Foundation（OSRF）提供的开源的机器人学中间件，用于编写机器人软件部分的灵活框架，其集成了各种工具、库和规范，旨在简化在各种机器人平台上控制机器人实现复杂、强大行为的工作。

本文验证平台的总体方案是“微型计算机上位机+单片机下位机”。上位机承载ROS，负责任务视觉SLAM与控制，下位机作为挂载于ROS中的节点存在，控制具体的控制对象（如电机、传感器等），通用平台技术框架如图2所示。

图2 通用平台技术框架

2.2 节点通信设计

相较于ROS1，ROS2对通信机制进行了改进，提出了基于Data Distribution Service（DDS）通信，实现了无主节点的去中心化通信及指定分布式订阅和发布规范，广泛应用于医疗、航空和船舶等对稳定性要求高的领域。本文构建了图3所示的基于DDS（Data Distribution Service）的ROS 2系统的通信技术架构，通过将所有节点数据发布到所在全局数据域（Global Data Space），实现了所有节点也将从全局数据域订阅其它节点数据。同时DDS层也为二次开发提供了多编程语言的统一接口，可以满足使用C++、Java和Python在不同操作系统实现无阻碍的去中心化数据交流。图3中，操作系统层用橙色标识，中间件层包含DDS和ROS 2，分别采用绿色和蓝色标识，应用层即维稳框架（SafeguardFramework），用黄色标识。

图3 DDS通信技术结构图

3 实验及分析

选取封闭环境作为机器人扫描实验的环境，为增加机器人扫描的完整性，实验环境为某校教室，长12米宽9米，现对封闭环境进行简单的搭建与设置，实验的主要研究对象是6把椅子和1张讲台，同时在实验环境中还有一些其他的障碍物。实验环境如图4所示。

图4 实验环境

因实际场景中，难以获得机器人的真实轨迹，但场景中物体尺寸可事先测量得到，为此设计如下实验：不同光照条件下点云扫描精度实验、不同运动速度条件下点云扫描精度实验，比较本文提出的视觉SLAM融合框架与单视觉SLAM。为排除干扰因素，实验路线如图5所示，统一为直线行进。

图5 实验路线

本次实验分别选择上午光照均匀、中午光照较亮及傍晚光照较暗三种自然光照条件下进行，为避免速度的影响，实验过程在速度较慢的条件下完成。

由图6、图7可以看出，视觉融合SLAM算法相比单视觉SLAM更稳定，二者在光照均匀条件下，扫描点云都比较完整，而在光照较暗或者较亮的条件下，点云都有明显缺失，但单视觉SLAM更为明显，这是由于光照变化剧烈时，部分帧特征点缺失，造成建图丢失。根据点云数据进一步对场景中的物体尺寸进行测量，结果如表3和表4所示。

图6 单视觉SLAM不同光照条件下扫描结果图

图7 视觉融合SLAM不同光照条件下扫描结果图

表3 单视觉SLAM不同光照测量结果

表4 融合视觉SLAM不同光照测量结果

?

由上表可以看出，单视觉SLAM在光照均匀条件下，最大误差0.14m，光照较暗、光照较亮条件下最大误差分别为0.26m和0.17m；融合视觉SLAM在光照均匀条件下，最大误差0.15m，光照较暗、光照较亮条件下最大误差分别为0.16m和0.15m。可见光照剧烈变化时，单视觉SLAM受到较大影响，鲁棒性较差，融合视觉SLAM在均匀光照条件下，测量精度没有明显提高，但对光照变化的鲁棒性发生了显著增加，所以视觉融合SLAM框架比单视觉SLAM表现更稳定。

4 结束语

本文提出了一种基于融合视觉的SLAM框架，为提高SLAM鲁棒性，从功能设计阶段充分考虑了环境及动态过程可能给定位和建图带来的影响，专门设计了环境监测节点和动态检测节点。在技术实现阶段，充分利用了ROS2通信的优越性，采用DDS方式将上位机挂载的节点有效融合在了一起。实验表明，融合多种传感器的视觉SLAM框架比单视觉SLAM框架，无论在定位精度还是鲁棒性上，都有了一定的提升高，同时也发现深度融合多传感器数据是解决机器人定位的重要方向，今后将围绕如何在机理层面实现融合开展进一步的研究。