基于多场景全景拼接的自动化码头数字舱构建方法

班宏宇 张 腾 张 煜 孙 浩

1 天津港第二集装箱码头有限公司 2 武汉理工大学交通与物流工程学院

1 引言

随着集装箱运量快速增长，传统码头由于应用大量人工作业设备，生产效率已经不能满足集装箱装卸和运输的需求，而全自动集装箱码头的建设以及传统码头的智能化改造，可以显著提高集装箱集疏运效率及码头运营管理能力。自动化码头利用实时网络通信、大容量数据集成及处理技术，将港口各种信息资源加以整合利用，构建港口数字化应用及决策平台[1]。码头数字化平台可以迅速建立港口虚拟环境，实时掌握和预测各种设备资源的分布、使用状态，实现码头信息资源的充分利用，提升码头作业效率。

码头数字化建设需要多种技术的支撑，现有文献包含了大量的关于码头数字化和自动化建设的研究。王妍综合考虑了RFID、GPS技术在港口信息系统中的应用，认为这些技术可满足码头数字化和智能化建设要求[2]；Rashidi H等提出一种在自动化码头实现智能运输设备并行操作的方法，利用码头智能监测及调度终端控制AGV和起重机同时作业，可缩短设备等待时间[3]；苏志国利用VRP(Virtual Reality Platform)仿真平台设计了三维可视化作业管理系统，通过将港口生产、运营各环节实时状态信息进行融合及展示，实现作业设备的快速定位和紧急预警，保证了码头各项作业的顺利进行[4]；孙付春等为实现码头全流程自动化作业管理，利用3D数字化管控系统，结合仿真、PLC控制技术，开发码头作业全自动化控制系统，实现码头作业信息的集成管理和作业指令的集中指派[1]。

由上述研究可知，对于自动化集装箱码头数字信息技术的应用研究，大多停留在对运输设备的监控及管理上，对码头生产过程进行全流程信息整合的研究比较少。因此，提出一种基于多场景全景拼接技术的自动化码头数字舱构建方法，利用图像处理及融合技术，实现全景信息的智能提取及展示，帮助码头管理人员提高对设备资源的管理控制能力，提升全自动集装箱码头生产作业水平。

2 自动化码头整体布局

以我国北方某港为例，介绍自动化集装箱码头整体布局方式。自动化集装箱码头主要作业流程包括装卸船、堆场装卸、水平运输、运输设备充电、集装箱解挂锁、外集卡集疏运等，码头分为岸边集装箱起重机区(以下简称岸桥区)、堆场区、充电区、锁站区、内外集卡车辆行驶车道区及辅助区等多个作业区域，整体布局见图1。

图1 码头布局

为实时监控码头设备作业状态、港区道路交通流量，在码头多地点布置视频监控装置。码头前沿摄像区用于监控岸桥、锁站作业状态，堆场摄像区用于监控集装箱堆场门式起重机作业状态及场区道路交通流情况，码头后方摄像区用于监控外集卡进出港作业活动。

单视频监控装置由6台枪机和1台球机组成，其监控区域有限，只能收集码头局部区域信息。为获取码头全局作业信息，实现自动化集装箱码头数字信息整合及可视化，利用全景拼接技术将各监控装置捕获的场景进行拼接，构建自动化码头数字舱系统，将场景拼接后的数据信息与数字舱系统对接，达到实时监控码头全局生产运营状态的目的。

3 数字舱系统

3.1 系统总体架构

基于全景拼接和视频AI的自动化码头数字舱系统总体架构见图2，包括控制网络、实时数据库系统、视频处理系统、三维可视化系统和操作台系统等。实时数据库系统存储规定时间内的码头监控视频数据以及TOS(Terminal Operation System，码头操作系统)数据等；控制网络实现码头数字舱系统各模块间的数据信息传输，同时负责数字舱系统与各系统间的实时数据交互；视频处理系统通过视频关键帧抽取、图像预处理、图像变换、图像匹配以及图像融合等操作，完成码头不同场景的实时全景拼接；三维可视化系统将不同全景数据进行实时分类整理，并将场景、时间、方位等多标签信息融入全景数据中，为后续全景数据处理及展示提供保障；操作台系统包括操作手柄、显示器、鼠标及键盘等硬件设备和三维场景模拟软件。

图2 系统总体架构

3.2 视频处理

视频处理系统包括前端视频采集设备和后端全景拼接服务器，通过对码头各处监控视频数据进行一系列图像采集操作，实现码头不同场景的实时全景拼接。其中，前端视频采集设备在1个点位架设6台枪机和1台球机，后端全景拼接服务器则利用全景拼接与视频AI算法完成。

3.3 全景拼接

与传统图像技术相比，全景图像拼接技术的图像视野更为广阔，可为观察者提供较为完整的环境信息。全景拼接与视频AI算法在流程上以实时数据库作为核心交互模块，原始视频数据以及拼接完成的全景图像由前端摄像机和视频处理系统完成传递，同时视频AI算法对原始视频信息进行数据清洗、转换、增强处理后，向数据服务器进行传输并保存(见图3)。通过全景拼接技术生成实时图像，为数字舱系统的分析决策提供数据。

图3 算法流程架构

3.3.1 图像采集

利用枪机完成全景信息的拼接，调用球机进行细节联动，部署6台呈扇形架设的枪机实时捕获码头实景视频信息。为保障全景信息的实时展示效果，后端全景拼接服务器每秒抽取24帧视频作为原始的图像数据准备。

3.3.2 图像预处理

(1)几何变换：对采集的图像进行平移、转置、镜像等操作，纠正图像采集过程中的存在的随机误差。

(2)色彩校正：利用基于反向传播的神经网络算法对图像色调、明暗等进行调整，通过算法的训练矫正模型的各项误差值。

(3)图像增强：针对集装箱码头的应用环境，利用频率域法增强图像的有用信息，增强图像的局部特征，改善图像的视觉效果。

3.3.3 图像匹配与融合

利用图像与视频图像上的特征点对，通过图像笛卡尔坐标优化方法使特征点对在图像展开后距离之和最小，进而获取2个图像的相对空间及像素位置关系。利用基于加权平均的融合方法对图像进行融合操作，去除图像间的冗余像素信息，保证图像结构的完整性。

3.4 三维可视化技术

三维可视化系统通过对不同全景数据的实时分类，将多标签信息融入到全景数据中，为后续全景数据处理与展示提供保障。

主要功能如下：

(1)将各种摄像机资源添加到全景画面中，提升用户调看摄像机视频的便利性，通过画面控制球机的云台转动，实现交互操作。

(2)基于港口CAD平面图生成港口二维GIS矢量地图，在GIS地图上完成全景点位和港口码头图标绘制，并实现数据可视化显示。

(3)将报警信息设置红色闪烁标志，并在GIS地图与全景视频上相应位置进行高亮提醒，同时支持各种类型的第三方业务系统报警信号的接入与联动。设置报警源设备参数的阈值，通过全景实现控制球机的细节追踪。

4 码头数字舱系统运行机制

码头数字舱系统以完整的流程实现对全港区生产运营状态及紧急报警信息的实时监控及展示，具体包含7个步骤(见图4)。

图4 运行流程

(1)数据感知：汇总码头视频监控、GIS二维地图、第三方系统报警以及TOS系统等方面的信息，并利用数据传感网络向数字舱下一层信息存储及处理模块传递。

(2)数据传输：利用控制网络实现作业管理系统、视频处理系统等与数据库系统之间的信息传递，同时负责数字舱系统与相关系统的实时数据交互。

(3)实时数据存储：存储规定时间内的码头监控视频数据以及TOS系统的作业计划、各设备编号及其作业状态等信息。

(4)视频处理：视频处理系统由前端视频采集设备和后端全景拼接服务器组成，利用枪机和球机完成前端图像采集，并在后端利用全景拼接与视频AI算法完成实时图像数据的变换、匹配及融合操作。

(5)三维可视化处理：三维可视化系统将各种摄像机视频数据进行实时分类整理，并将将全景点位和港口码头的元素图标等融入全景数据中，为全景数据处理和展示创造条件。

(6)三维场景模拟：三维场景模拟系统将不同场景的全景数据进行拼接，再按时间顺序拼接同一场景下的全景数据，形成实时全景数据流，并将此全景信息展示给用户。

(7)全景数据展示及控制：由操作手柄完成场景顺序、俯仰等调整，鼠标选择查看任意监控设备的视频画面，手柄完成球机云台的转动控制，由此完成全景信息的基本操作。

5 结语

该方法利用基于全景拼接的视频图像融合技术实现对自动化集装箱码头三维场景的实时监控，构建码头数字舱系统，实现对港区设备资源的有效监管和合理调度，提高对码头设备资源的管理能力。该方法可为码头后续的智能化升级建设提供借鉴。