一种基于深度学习视觉感知的辅助靠泊系统

曹征宇，刘 芳，孙彦琰

（1.上海外高桥造船有限公司，上海 200137；2.迈润智能科技（上海）有限公司，上海 201206）

0 引言

相较于陆地交通，水上交通面临的风险更高。安全受到多方面因素的影响，一方面，如风向、水流、水域深度、宽度等自然环境因素会影响船只的安全航行；另一方面，如航道过窄等交通因素可能增加碰撞危险。此外，船员的过失操作或通信失误等人为因素也可能影响船舶安全航行[1]。

除航行安全外，靠离泊也是船舶安全的重要关注点。随着全球海运需求量的增加以及货船的相关技术进步，货船向着大型化和高速化发展，货船数量的增加提高了航道和港口船舶密度，增加了靠离泊时的风险。货船在靠离泊时的航速较低，风和海流对船只的运动轨迹的影响大，可能改变船只入港时的速度或泊角。其次，大型货船的船体尺寸加大了操作员的观测盲区；大型船体带来的巨大惯性也严重影响操船的灵活性。船舶辅助靠泊系统应运而生，辅助船员安全高效地完成船舶的靠离泊。

1 传统靠泊辅助系统

船舶靠泊辅助系统主要通过直接或间接测距的船位探测设备采集并计算船舶的靠泊信息帮助船员了解船舶入港时的姿态，警告潜在的危险，以此辅助船舶的安全靠港。靠泊系统根据探测器的安装位置可分为岸基式靠泊辅助系统和船载式靠泊辅助系统[2]。根据使用的船位探测设备的类型可分为声波辅助靠泊、电磁波辅助靠泊两大类，而这两类辅助靠泊系统依据探测设备使用的技术可以进一步细分。声波靠泊辅助系统根据使用的探测技术主要可以分为空气声波靠泊辅助系统[3]和声呐靠泊辅助系统两类[4]。电磁波辅助靠泊系统根据使用的探测技术主要可以分为微波雷达靠泊辅助系统[4]、红外靠泊辅助系统[3]、激光靠泊辅助系统[5]和DGPS靠泊辅助系统[6]四类。

从测距范围、测距精度、测速范围、测速精度、不同距离的测角范围以及动态响应六个方面对各类靠泊辅助系统进行了比对，详见表1。从表1可以看出，传统靠泊辅助系统均存在易受环境影响、有效距离有限等较为明显的不足，即使目前应用较广的激光靠泊辅助系统受制于船舶大小、靠港姿势，存在一定局限性[2]。此外，传统感知手段缺乏直观性，无法直观获取船舶与码头的状态画面，增加了船员的使用成本。

表1 传统靠泊辅助系统优缺点对比

除以上的传统系泊辅助外，CCTV作为辅助靠泊的设备也可以弥补上述系统缺乏直观性的问题，通过在船身安装摄像头，让船员直接获得船舶周边的视觉信息，以此辅助船舶靠泊。但是由于CCTV缺乏有效的数据采集手段，仅依靠船员自身判断安全风险，难以作为主要辅助靠泊系统使用。

2 基于视觉感知的辅助靠泊系统的开发

随着物联网、云计算、大数据等技术的发展与应用，工业智能化的进程正在稳步推进。德国提出了“工业4.0概念”[8]，我国制定了《中国制造2025》[9]，明确指出“以体质增效为中心，以加快新一代信息技术与制造技术深度融合为主线，以推动智能制造为主攻方向”这一指导思想，并将高技术船舶列为重点推动的领域，重点推进高技术船舶配套设备的集成化、智能化、模块化设计制造和新技术。

DNVGL集团在《未来航运业》中提出了“智能船舶”的概念，即具备实时数据传输汇集、高计算能力、数学建模能力、远程操控传感器和微型化的船舶[10]。根据2014年10月10日的“大数据与智能船舶发展”高峰论坛的研讨结论，船舶智能化已经成为当今船舶制造与航运领域发展的必然趋势[11]。

为推进船舶智能化发展和解决传统靠泊辅助系统存在的问题以及局限性，保证船舶航行和靠离泊安全，基于视觉感知的辅助靠泊系统的研发被提上了日程。该系统使用人工智能光学感知技术，通过深度学习方法识别环境物体，分析安全风险并进行决策预警，辅助船员进行航行及离靠泊操作，降低船员的操作难度，减少安全事故的发生率。在辅助船舶离靠岸时，通过深度学习算法处理多部摄像头的影像，可以实现全船周围360°的监控，实时显示船舶离岸距离、入泊角度、航行速度等信息，同时对安全风险进行实时预警，降低安全风险并提升靠泊效率。在船舶航行时，可实现船前大范围视野监控，尽可能消灭视野死角。AI辅助识别船舶、障碍物等安全风险并给出预警，保证船舶航行安全。

2.1 系统架构搭建

视觉感知辅助靠泊系统的构架示意图如图1所示，主要组成部分包括视觉感知模块、数据处理模块、通讯模组、存储模块、显示终端以及计算平台等。视觉感知模块由十组靠泊环视摄像头组成。靠泊环视摄像头安装在船体周围以及船舶两翼，主要用于提供船只两侧以及周边的视频信息。图2为靠泊环视摄像头的安装位置示例。数据处理模块接收并处理感知模块采集的视频资料，并传输给其他模块。同时数据处理模块也会负责该系统与其他系统的数据交互。存储模块用于储存原始视频资料与合成处理后的视频资料。通讯模组用于将视频资料传输给岸端的显示终端。态势感知计算平台通过图像处理算法将多部摄像机拍摄到的视频资料合成，分析是否存在安全风险，并将合成后的视频资料以及决策判断传输给显示终端。

图1 视觉感知辅助靠泊系统架构示意图

图2 靠泊环视摄像头安装点位示意图

2.2 算法设计

2.2.1 算法整体框架

如图3所示为视觉感知辅助靠泊系统算法整体框架图，通过靠泊环视摄像头获取船舶实时靠泊画面，采用全景视频拼接方法，获取无盲区全景画面。在获得的全景画面基础上，运用深度学习方法获取船舶舷侧线与码头岸线，根据事先标定好的图像与实际场景距离的对应关系计算舷侧线与码头岸线间的距离，通过几何关系计算得到船舶艏艉分别与码头的距离以及船舶与码头的夹角，设定报警阈值，在艏艉与码头的距离、速度以及夹角达到判断条件时发出报警提示。

图3 算法整体框架图

2.2.2 船岸距离及夹角测量

在靠泊过程中，测量船岸距离及夹角主要采用deeplabv3深度学习模型对水岸图像进行分割，并使用直线拟合算法从图像分割后的特征中找出岸线，根据标定结果算出船舶与岸的距离以及夹角。

本文所采用的是DeepLabv3+深度学习模型[12]，主要用于机器视觉领域的图像分割任务。它是DeepLab系列模型中较新的版本，由Google Brain团队开发。DeepLabv3+结构采用了空洞卷积和多尺度金字塔池化等技术，其结构核心是空洞卷积。传统的卷积操作只考虑局部像素之间的关系，而空洞卷积则可以在不增加参数数量的情况下，扩大卷积核的感受野。这样可以更好地捕捉图像中的上下文信息，提高分割的准确性。

DeepLabv3+另一项优化技术是多尺度金字塔池化。使用该方法可以在不同尺度下对图像进行池化操作，从而捕捉不同尺度下的特征。这样可以更好地处理图像中的物体大小和形状变化，提高分割的鲁棒性。

除了空洞卷积和多尺度金字塔池化，DeepLabv3+结构还采用了空间金字塔池化、反卷积和条件随机场等。这些技术可以进一步提高分割的准确性和鲁棒性。图4所示为本文采用的DeepLabv3+模型整体架构图。

图4 DeepLabv3模型整体架构图

图5所示为将DeepLabV3+用于船舶与码头图像分割及直线拟合的效果图，从图中可以将码头拟合出直线，再根据直线所在位置及标定结果，就可以计算出船岸距离及夹角。

图5 船舶图像分割及直线拟合效果

2.2.3靠泊预警功能

摄像头拍摄船舶舷侧靠泊过程的俯视画面，在拍到图像后对图像中的码头岸线及船舶舷侧线进行目标识别及特征提取，利用直线拟合方法抽象出码头岸线及船舶舷侧线如图6所示，以前后相机安装位置为起始点，分别做码头岸线的垂线在抽象图片上得到距离d1、d2以及舷侧线与码头岸线的夹角α。根据摄像头成像原理，摄像头拍摄到的画面中的像素点距离与真是距离具有一一对应关系，而对应关系可以通过摄像头的参数标定获得。根据该关系可以得到真实舷侧摄像头到码头的距离D1、D2，夹角利用相似性原理与抽象图片中夹角相等为α，如图6所示，为摄像头映射后的真实场景下的示意图。

图6 基于视觉的靠离泊预警映射示意图

在得到D1、D2及α后可以对船舶靠泊进行危险预警，危险判断标准分为两条：1）在船艏和船尾与码头的距离小于距离阈值Dg的前提下靠近码头速度V1、V2大于速度阈值Vg；2）夹角α的绝对值|α|小于角度阈值αg，V1、V2通过对D1、D2进行离散微分得到，即：

则预警逻辑如下：

2.3 试验验证及分析

为验证视觉感知在辅助靠泊系统中的应用效果，在某散货船上安装视觉感知辅助靠泊系统在某次靠泊作业时对系统进行测试。该船船宽约为45 m ，船长约为300 m ，桥楼两侧摄像头安装高度约30 m 。

系统显示界面安装在船舶驾驶台屏幕上，系统会调用靠泊环视摄像头拍摄到的视频画面，在进行拼接合成后，显示终端会显示靠泊五视视频画面并增加辅助线标注离船两侧距离，如图7所示，包含2D俯视视角、前向视角、后向视角、左舷靠泊视角、右舷靠泊视角五个画面，其中2D俯视视角下舷侧可视范围达到3倍船宽，艏艉可视范围达到150 m ，增强了船员在靠泊时对周围情况的直观观察。在该模式下，系统可显示并且实时更新船舶距离岸边的距离、靠岸速度、船舶与码头夹角等信息，并在存在安全风险时预警船员。如图8所示为测距及测角功能画面。

图7 五视全景视觉画面

图8 靠泊过程测距测角功能

为进一步验证系统的可用性，还需对系统测距、测角能力进行验证。距离测量是角度测量的基础，距离测量的误差水平直接影响角度测量的误差水平，所以主要验证测距误差水平。

试验中，首先在已安装系统的船舶停靠泊位的两端放置激光测距仪，用于测量船舶靠泊过程中船艏及船艉到码头的距离，根据摄像头安装高度，估算摄像头最远覆盖距离大约为3倍船宽，即135 m 左右，所以采用200 m 量程激光测距仪，该测距仪精度为1 mm，可作为试验验证真值系统。

通过GPS系统作为时间同步器，在相同时间下，船艏船尾各取10组数据，试验结果如表2所示。

表2 靠泊试验结果（单位：m ）

由表2可以看到，船艏视觉距离测量在整个过程中的误差均值为0.71 m ，船艉视觉距离测量在整个过程中的误差均值为0.8 m ，均值误差均小于1 m 可以满足在船舶在靠泊过程中船舶相对码头距离测量的使用需求。

3 结语

船舶的航行与离靠泊安全十分重要，传统靠泊辅助系统使用了不同的船位探测技术，但均存在不够直观及使用受限问题。为了优化辅助靠泊系统的功能，同时推进船舶智能化发展，本文探讨了应用深度学习视觉感知的辅助靠泊系统，运用DeepLabv3+图像分割模型对船舶及码头的特征进行分割，并根据分割及标定结果计算船艏船艉到码头的距离，并设计了相应的靠泊预警算法。

系统在某型散货船上进行了实船验证，结果表明采用视觉感知的方式设计辅助靠泊系统，不仅可以提升辅助靠泊系统的直观性，同时也可以满足船员在靠泊时相对距离测量的误差要求，具备一定的实用性。