船舶智能航行感知系统集成设计研究

薛敏 耿建宁

1. 海装装备项目管理中心 北京 100071；2. 中船航海科技有限责任公司 北京 100074

引言

智能化是现代船舶发展的重要方向，主要是从智能感知到智能决策，进而实现船舶智能控制的过程，以达到解放人力、智能避碰和自主航行的目的。而一艘船舶从设计到生产再到试验，涉及面广且专业性强，技术发展和改进难度较大。因此，虽然智能船舶的发展极其重要和迫切，但其技术发展和实施过程却极其缓慢。

1 国内外现状研究

我国智能船舶的发展遵循系统布局、创新驱动、梯次推进、重点突破的原则，按照“辅助决策-远程控制-无人自主”的研发路径有序开展。依托国家重大科研项目和“产学研用”专业化协作团队，经过几年的研究与探索，我国在智能船舶和船舶自主航行领域取得了较好的成果。但是在船舶智能领域，对于增强现实技术在船舶辅助驾驶领域的研究起步较晚。天津航标处利用AR技术构建虚拟助航系统，通过GPS+3D技术奖虚拟航标精准投放至全球，船舶借助专用设备，航行至该区域，实时采集到虚拟助航系统、虚拟航道规划服务每位船舶远洋航行提供高效助航服务。

2015年，法国舰艇建造局（DCNS）在欧洲海军装备展上发布了XWIND 4000“全数字化”概念舰设计方案，该方案运用了语音控制技术、体感技术、增强现实技术，使舰员在舰桥上拥有360°全方位视野。所有的数字化系统均运行于安全的数据中心体系结构上，该体系结构处于能根据作战需求变化而分配相应资源的虚拟环境中。

2019年，日本三菱重工在海空天防务展发布了将用于日本30DX护卫舰上的“先进综合战情中心”设计方案，该方案运用了船舶智能操控技术、增强现实技术，通过360°环状屏幕墙将驾驶室、态势感知室、主机和动力控制室、战情中心联合在一起，提供全景展示环境，可以显示护卫舰的全向的外部环境，融合来自舰上电光探测系统，红外系统、视频系统甚至雷达传感器的图像和数据，使战斗指挥员及时获取和利用最新的情况信息，同时还可以让舰员通过多功能控制界面执行作战、导航和通信等几乎全部的舰上指挥与控制工作。

2019年法国BAE公司将来自雷达、声呐、光电设备等态势感知的数据和其他战术信息通过数据连接到AR眼镜，在某型护卫舰上进行测试。展现在指挥员眼前的是虚拟的真实世界，友舰位置等信息数据将直接展现在这个视野中，让舰员一目了然自己的状态和位置，在舰上随时随地获取战术态势和其他关键信息。可以通过AR眼镜检测视野内远处的物体，并通过AI获取该物体的分类数据，如果数据与看到的数据不匹配，可以直接对数据进行修改，如果发现可疑目标威胁到本方舰艇，可以直接在系统中标定该目标，整个系统的用户都能看到，能够在战斗环境中建立起更高效、更准确的工作流程。

2018 年，英国海洋电子设备制造商Raymarine研发一款用于游艇的导航软件——RaymarineClearCruise AR。该系统通过高清摄像头采集船舶前方的实时视景，利用船载设备和传感器获取到视景中物标（例如：船舶、浮标）的对应信息，运用增强现实技术，将生成的虚拟信息叠加到视景中，将实时的增强视景呈现在电子屏幕上。安装该软件的游艇可以做到：①清楚地识别周围装有 AIS 的船只；②不同船舶的颜色编码，确定物标的状态和风险等级；③低能见度条件下，使游艇周围的浮标等可视化。该系统由于安装在游艇上，相对于其他类型船只速度较快，需要计算机快速处理大量船舶数据。

与国外典型船舶智能产品相比，国内的同类产品起步晚、发展慢，技术尚需成熟，需开展智能航行感知系统设计，以弥补船舶智能航行领域的缺陷。

2 系统设计

本文提出了一种船舶智能航行感知系统集成设计，主要包括航行态势感知和AR辅助决策系统设计两部分。

2.1 航行态势感知——以计算机视觉为基础的智能感知产品

航行态势感知是船舶自主航行的基础。如果将智能船舶比作人，船舶自主航行比作人的行走，那么航行态势感知传感器相当于综合利用人的眼睛、耳朵和鼻子等感官对周围环境进行感知。航行态势感知技术包括态势感知传感器、态势感知数据融合等技术。

态势感知传感器是集成激光雷达、导航雷达、红外摄像、RGB摄像及PTZ全方位视频监控和其他导航传感器及设备，利用传感器技术和计算机视觉的最新进展，通过信息融合和智能学习，实现船舶环境实时可视化和感知。通过实时采集雷达回波信息、全景激光雷达点云信息、视频信息，进行信息去噪、整合、特征提取等预处理，基于智能技术，开展图像处理等研究，实现目标自动检测与识别。

态势感知传感器主要包括激光雷达、全景视觉、全景红外、S波段雷达、X波段雷达。为了满足不同船舶的航行需求，对空间分辨率、感知范围、目标识别率、环境及处理效率各方面有不同的要求，为了更好地支撑不同的态势感知需求，各传感器对比如下表所示。

表1 传感器对比分析表

船舶航行态势感知数据往往有多个数据源，为了充分发挥多源数据价值，确保态势信息的正确性和全局性，需要对多源态势感知数据进行融合处理。针对航行中的船舶等目标，雷达、AIS、激光等主要信息源进行信息融合叠加显示，实现各个信息源探测的目标结果进行正确的坐标统一。数据融合方法包含贝叶斯网络[1]、D-S 证据理论[2]、粗糙集理论[3]、神经网络等[4]。

近年来，随着深度学习技术的发展，基于深度学习的数据融合方法逐渐受到人们的关注。深度学习的显著特征是可以自动从数据中提取目标特征，所提取的高层特征具有表征性强、语义性好的特点[5]。因此，基于深度学习的数据融合是一种特征级数据融合，通过多次感知数据的迭代能够更好地实现智能态势感知，通过对激光雷达、全景视觉和全景红外等感知数据的融合，能够更好地辅助航行指挥员进行态势感知，提高航行安全性。

2.2 AR辅助决策系统——以人工智能为基础的船舶智能产品

传统航行态势的分析依靠人来处理多来源、多种形态的态势信息，对目标的观测手段为航行观察视频、导航雷达、AIS等，同一个目标不同来源的文字、图片、视频信息等需交叉比对，从而获取一个目标的信息，工作量大，信息处理智能化程度不高，数据利用率低；另外，对于航行态势感知的范围不足，因驾驶室瞭望视野受限，两侧及向后视野不佳，夜间和雨雪雾天气情况下人工瞭望受限，无法显示舰艇全向的外部环境。智能航行态势感知系统，通过增强现实技术将目标进行叠加，可提供多维态势展示能力。

增强现实（Augmented Reality，简称AR）是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，从而将真实世界信息和虚拟世界信息“无缝”集成。通过该技术将视频采集到的观察视频与电子海图数据及传感器观测到的数据信息进行叠加，可以实现真实世界的数据的信息集成，将电子海图立体起来，直观的向用户全面展示航行态势[6]。

为了将观察视频与地理信息更好的对准，采用OSGEarth技术，OSGEarth技术提供了一个地理空间的开发工具包和地形引擎，该技术利用包含投影坐标系及经纬度信息的地形数据进行定位，无论何种数据源的数据，只要能确定投影参考系，便能保证被放置在正确的位置上。且该技术提供开放式的绘图标准，操作和数据的交互，一个统一的标准，使得该技术可以包含更多的数据源。基于此技术，可以完成三维地理空间的构件及增强现实功能的实现。

图1 AR辅助决策系统示意图及结构图

2.3 智能航行感知系统功能

智能航行感知系统可以实现如下功能：

2.3.1 视频接收及处理，通过视觉传感器，接收外部的观察视频，并对视频流进行解析显示，可通过智能图像处理功能识别视频图像中的目标。

2.3.2 数据源数据处理及整合功能。接收导航雷达、AIS、位置传感器、速度传感器等传统的导航传感器的信息，并对其进行解析处理，获取船舶的运动状态及周围目标的运动状态信息。对电子海图数据的信息处理，获取地理信息、碍航物、助航物等信息。

2.3.3 数据融合功能。融合视觉、雷达、AIS等接收的目标信息，融合海图数据及视频数据。

2.3.4 OSGEarth为引擎的三维地理空间开发。对视频信息进行畸变处理后，进行三维坐标系标定，建立为OSGEarth的基础图层。通过组合传感器及融合后的目标信息，将数据进行整合，建立为目标图层。通过海图数据的基础地理信息解析及视频数据，将助航物、碍航物、海图危险信息等进行信息进行整合，建立为海图标记图层。

2.3.5 海图作业功能。通过建立的三维地理空间，提供测距、量算、计划航线、锚泊监控等辅助海图作业功能。

2.3.6 报警管理。对危及航行安全的避碰信息、搁浅信息、沉船等碍航信息进行报警管理。

智能航行态势感知系统通过5部分模块的有机结合，实现了在三维空间坐标系中将摄像头视频流和目标、航行海图要素、避碰及本地传感器等信息有机融合，为驾驶员的操纵决策提供了信息支撑，有效提升了船舶智能航行水平。

3 结束语

以各航行态势感知传感器为支撑，本文提出一种集成了航行态势感知和AR辅助决策系统的智能航行感知系统，具备多源数据输入和数据处理能力，在智能航行设备的研发和推广方面具有极大的优势。同时，依托远洋和内河实船试验和船舶航行支撑，可以获取各类设备的实船试验数据，为智能船舶航行的发展提供基础。