基于传感器和AI技术的智能航行研究概述

于柏枫

（大连中远海运川崎船舶工程有限公司，辽宁 大连 116052）

0 引言

国际海事组织的海事安全委员会将海上自主水面船舶定义为一艘在不同程度上可以独立于人的交互作用而运行的船，如图1所示。一艘船上若要正常航行，需要同时进行很多的操作，智能航行能够体现在各个部分，但在本文中主要关注自主环境感知的问题，船舶智能化设计在船舶运行的不同阶段具有不同的任务。出发前，要规划好航线。在这个规划中，对于不同的天气条件自动优化路线是非常重要的，特别是在冰雪覆盖的水域[1-2]。智能化在船舶航行中扮演一个关键的角色。

图1 “凯征号”智能船舶

智能航行系统大致由感知系统和控制两部分组成。在一艘船上，感知部分包括船舶定位、雷达和其他探索环境的传感器系统，而控制系统包括例如推进和转向系统。船舶的控制系统是非常先进的，因此即使是最难满足的推进需求也可以用传统的方位角推进器来满足，在一个吊舱中一般设有由一个发动机和一个螺旋桨组成的推进器[3]。这些推进器可以围绕指定的角度旋转360度，使得即使是庞大的船只也能快速安全地进入狭窄的港口。此外，全球导航卫星系统(GNSS)与动态定位系统相结合的控制系统，可以抵消外部环境带来的作用力，以保持其位置和航向尽可能接近指定位置(无锚)，即它可以保持航线稳定，而不是被波动的风浪影响[4]。但是用于海洋环境的综合感知系统在自主操作方面仍未得到充分发展，需要用其他感知传感器和通过人工智能与多传感器融合技术结合的方法来补充。

多传感器感知系统的主要好处是通过优势互补提高了系统的可用性和完整性，一种传感器不能检测到的目标可以用另一种传感器检测到；同种功能的不同传感器可以进行交叉验证。多传感器感知技术被广泛运用了在自动驾驶汽车[5]，移动测图[6]，基于机载和无人机的遥感[7]，机器人技术[8]等领域中。但是海洋感知系统的发展受到多种因素的阻碍，特别是恶劣的天气或者在极地地区，所以传感器系统需要在多种技术辅助，以保证不受天气影响。

近年来，人工智能算法在学术界和工业界都取得了巨大的成功。因此，将人工智能技术应用于智能船舶设计和传感器融合是很自然的。AI[8-9]在不同的海洋传感器数据具有了大量的研究和应用，但针对复杂环境感知的研究和应用较少。在这种情况下，需要从融合传感器数据的角度，以AI方法为手段，提供所需的环境感知和传感器完整性监测。

本文综述了智能航行感知系统的相关背景研究、设备和方法，其中包括了传感器的选择和人工智能技术。本文的结构如下。第一节介绍了智能船舶领域的最新进展；第二节介绍相关的传感器技术；第三节介绍已经成功应用于融合多模态数据的人工智能技术；第四节展望未来智能航行的发展。

1 背景

与公路、铁路和航空运输一样，海上运输也在朝着自主、智能的方向发展。自主和智能系统降低来自于人类操作失误的风险及其相关成本，使新型机器人操作成为可能，如果在系统的设计阶段得到适当实施，还可以降低建造和运营成本。智能船舶的研究和项目主要集中于北欧，近期亚洲国家也加入了研究，包括中国、日本、韩国和新加坡。主要的研究活动集中在大型的公司和研究机构，最著名的项目包括MUNIN[14]，AAWA[11],芬兰西海岸Jaakonmeri海上进行测试的OneSea Ecosystem，挪威的集装箱船Yara Birkeland号，SIMAROS, AUTOSEA[15]和ROMAS项目，中国无人货船发展联盟及其测试区域，日本的远程操作计划，还有新加坡也在在智能船舶设计也展开了很多研究。这些宏伟的智能船舶项目中不乏应用了传感器技术和人工智能技术。

2 船舶传感器技术介绍

智能船舶航行中常用的传感器主要分为4类：视觉传感器（相机），遥感传感器（无线电雷达，激光雷达），音频传感器（麦克风），定位传感器（卫星导航satellite navigation（SatNav）和惯性导航系统Inertial Navigation System（INS）。而人工智能技术主要与视觉传感器和音频传感器相结合，即通过提取传感器收集到的数据的相关特征，检测识别位置物体或者环境。

图2中展示了各种传感器在智能船舶上的空间布局图，图2中的SatNav或者INS传感器为智能船提供了绝对位置，为了传感器能够较好融合，即功能上优势互补，根据传感器探测区域的远近程度可以大致将传感器分为两类：（1）较远距离：无线电雷达（RADAR）还有单目相机（天气较好的情况下使用）；（2）较短距离：激光雷达（LiDAR），相机，音频传感器。融合相机、雷达，愈发成为一个在智能船舶设计领域的研究热点。下面重点介绍视觉传感器在智能船舶上的应用，这是因为这种传感器与人工智能技术结合较多，且应用广泛。

图2 智能船舶传感器空间布局结构图

2.1 视觉传感器

常规的视觉传感器是指所有至少能捕捉到与人眼相似的二维图像的传感器，其中包括RGB（Red-Green-Blue）相机、黑白相机和红外相机。相机可以用于定位、测距、目标检测和分类，这些都是一个自主系统的基本任务。但是在公海条件下，没有路标来执行基于相机的定位，所以要依赖一些有特殊的方法。单目相机测距可以通过立体化来完成的，两个单目相机可以看作为一个立体相机(或者使用一个立体相机)，然后两个相机和目标物三者构成一个三角形，通过三角测量法[10]可以计算出距离。特别说明的是，基于三角测量的相机与目标物之间距离估计为D，估计误差为，还有视差误差三者间的关系如公式1所示。

另外，单目相机距离估计也可以利用相机的运动[12]来实施。但这些方法都有局限性，一旦相机视野中出现物体运动，或者有很多遮挡物等情况，测量的结果都极有可能出乎意料。为了克服这些外部环境的干扰，出现许多与深度学习相结合的新方法，论文[13]中提出了一种基于左右一致性的无监督多损失融合的方法，可以在没有真实标签的情况下进行基于单目相机的深度估计。论文[14]中提出了一种距离感知损失，可以完全解决亮度恒定假设中的遮挡问题。表1中展示了各类海上船用视觉传感器的性能对比。

表1 各类海上船用视觉传感器的对比

各类相机都有各自的优缺点，选择取决于实际情况。如图2中为了更好地进行环境感知，互补使用了两种相机。在理想的海事条件下，彩色相机更适合于环境感知任务，因为彩色相机能够获得的物体特征更多，从而有利于完成各类任务，但在非理想条件下，单色相机可能更适合于此，这是因为彩色相机所能获得的有效特征有限，而黑白相机在光线较暗的情况下表现更好。红外相机的优点就是能够捕捉到热辐射，某些物体与水温度偏差较大的物体通常会在红外相机的图像上清晰可见，夜间也是如此，但是红外相机的造价贵分辨率低，在特地场合才会使用。

3 智能船舶的人工智能技术介绍

本节的主要对与智能船舶相关的人工智能的最新技术进行介绍。人工智能驱动的海上环境感知系统的结构图如图3所示。

图3 人工智能驱动的海上环境感知系统的结构图

人工智能方法在智能船舶导航和环境感知领域的应用包括目标识别、定位和轨迹优化任务。2017年[15]的一项工业研究证明了利用深度学习来完善海上环境感知系统的可行性，他们提出使用深度学习处理不同传感器融合数据的算法来进行智能船舶环境感知，本节重点介绍深度学习在智能船舶中目标检测的应用。利用图像数据进行目标检测的主要挑战是数据的维数非常大。而且直接使用经典的卷积神经网络（CNN）并不简单，因为CNN是图像分类的算法，而一般的目标检测算法在实际应用中采用小滑动窗口递归搜索大图像的所有区域，但是这样做的缺点就是计算代价过大，而且图像中待检测物体的大小会随着距离的变化而变化。RPN（The Region Proposal Network）[16]为处理这些问题提供了一个很好的方案。如图4所示。

图4 使用RPN的船舶探测的一般框架（船舶图片来自源于MarDCT数据集[17]）

经典CNN和RPN的主要区别是区域选择（region proposal）层，它给出了感兴趣物体的潜在区域。这大大减少了图像中对象的搜索区域。当目标物（如小船）只覆盖了一个非常小的像素区域时，它是特别有用的。表2列出了利用不同传感器检测海洋物体的近期研究。

表2 海洋目标检测的相关研究

4 总结

本文主要介绍了智能船舶相关的可用传感器同时指出了相应传感器的优缺点，以及用于处理传感器融合数据的适用深度学习算法。实际上智能船舶技术远不止本文所述的，包括智能故障预测与健康管理（Prognostics and Health Management，PHM）技术为以安全、高效和成本效益的方式操作和维护复杂的智能船舶提供了保障，能效控制技术为发展绿色船舶理念，航线规划路线技术等技术。