基于激光与视觉融合的船舶扫描和吊具防撞系统及方法

刘东辉 柳 飞 刘 奇

1 青岛海西重机有限责任公司 青岛 266530 2 中国石油大学（华东）经济管理学院 青岛 266580 3 山东科技大学自动化学院 青岛 266590

0 引言

岸边集装箱起重机（以下简称岸桥）是集装箱码头作业的重要机械，是位于船舶上空进行集装箱吊运的起重设备，其效率、安全、作业正确性对码头作业有着重要影响。岸桥具有吊具钢索长、起升和小车速度快的特点。在船舶上方作业时，由于司机无法看清下方情况，可能会发生着箱过快导致箱损，甚至与船上结构碰撞造成损失。同时，由于船舶作业时受到潮汐涨落、缆绳松弛、配重变化等影响，会发生晃动、漂离岸边（离帮）等现象，对作业安全造成影响。

目前，国内外针对集装箱码头岸桥下船舶的船舶轮廓扫描系统[1]是通过利用激光扫描仪对船舶轮廓进行扫描实现防撞功能，但功能较为单一；而且受到激光扫描仪精度的限制，现有系统仅能够检测足够大的障碍物，无法满足船舶船槽等精确定位的需求，无法对船舶上目标集装箱吊装锁孔进行精确定位。此外，由于环境对激光扫描仪的影响及扫描系统自身的故障因素，激光设备的可信度较差，无法保证实现海陆侧的软着陆。

为解决上述现有技术的不足，本文提出了一种基于激光与视觉融合的船舶扫描和吊具防撞系统及方法，通过激光与视觉的数据融合提高船舶轮廓的扫描精度，保证吊具工作的安全性。

1 系统组成

1.1 系统结构

如图1 所示，基于激光与视觉融合的船舶扫描和吊具防撞系统包括激光扫描仪、视觉采集仪、船舶扫描视觉控制器、船舶扫描激光控制器、光电模块、DP 模块、岸桥PLC 控制器、起升编码器、小车编码器和触摸屏终端等。

其中，激光扫描仪选用3 个2D 激光扫描仪，用于接收船舶扫描激光控制器下发的扫描指令，根据扫描指令对船舶轮廓和船舶上集装箱堆码轮廓进行连续扫描。

视觉采集仪采用2 个摄像机，用于接收船舶扫描视觉控制器下发的图像拍摄指令，根据拍摄指令对船舶轮廓和船舶上集装箱堆码轮廓进行连续图像拍摄。

船舶扫描视觉控制器根据船舶轮廓立体空间图像定位船舶导槽和目标集装箱锁孔，并将视觉检测的船舶导槽和目标集装箱锁孔定位信息传输至船舶扫描激光控制器；船舶扫描激光控制器用于接收扫描数据，得到船舶轮廓点云数据，并给其他模块传送指令。

岸桥PLC 控制器用于接收起升编码器、小车编码器以及扫描激光控制器的指令的信息，控制岸桥小车的移动、吊具的升降等。

DP 模块为转换模块，连接岸桥PLC 控制器和船舶扫描激光控制器，用于岸桥PLC 控制器和船舶扫描激光控制器之间的通信协议转换及通信数据传输。光电模块将获取的船舶轮廓转换为图像，通过显示模块进行可视化显示。

1.2 系统连接方式

激光扫描仪和视觉采集仪均通过以太网线连接至交换机，交换机通过以太网线连接激光控制器和视觉工控机，通过电源线连接激光控制器和视觉工控机为其供电，激光控制器通过数据线与岸桥PLC 控制器连接，进行数据传输。系统硬件连接如图2 所示。

图2 系统硬件连接

2 硬件位置设置

硬件位置的设置需要结合岸桥和船舶的相对位置、扫描的范围、精度等要求。为了提高船舶扫描精度以及方便进行数据的融合，对激光扫描仪及视觉采集仪的位置进行了以下设置。

如图3 所示，2 个2D 激光扫描仪固定安装在岸桥小车上，位于岸桥小车中心的左右两侧，可随岸桥小车沿着海陆侧移动，从而沿贝行方向（即船体左右方向）向下同步扫描船舶上箱区轮廓数据；另一个2D 激光扫描仪同样固定安装在岸桥小车上，位于岸桥大车中心的相对位置，可随岸桥小车海陆侧移动，从而沿贝列方向（即集装箱船体前后方向）向下扫描集装箱船箱区轮廓数据。

图3 系统硬件安装图

视觉采集仪（即2 个摄像机）均固定安装在岸桥小车上，分别安装在岸桥小车中心的左右两侧，2 个摄像机组成双目视觉，可随岸桥小车海陆侧移动，从而沿贝列方向（即集装箱船体前后方向）向下拍摄集装箱船箱区轮廓数据。

3 船舶扫描

3.1 船舶扫描系统工作原理

上述2D 激光扫描仪的安装角度和安装位置通过配置文件的方式输入到船舶扫描激光控制器中，从而检测上述最高障碍以及相邻集装箱和导箱架的高度。

岸桥小车的2 个摄像机组成双目视觉，通过双目视觉立体成像原则进行摄像机标定，摄像机内、外参数代入重建模型，通过配置文件的方式输入到船舶扫描视觉控制器中。

船型扫描激光控制器接收扫描数据和状态数据，进行运算及处理，得到船舶轮廓点云数据。上述状态数据包括通过岸桥PLC 控制器获取的编码器信息数据和吊具开闭锁状态数据，通过对小车位置所对应的激光电源数据进行汇总处理，得到整个船舶轮廓的点云数据图。3 个2D 激光扫描仪数据可以进行相互矫正，并且互为备份，若某扫描仪出现故障，其他扫描仪可以继续满足作业任务。

船型扫描激光控制器还同时接收船舶扫描视觉控制器发送的目标物体准确的空间位置信息，根据船舶轮廓信息和目标物体准确的空间位置进行校正和综合处理，得到最终的船舶扫描运算结果。将运算结果发送至触摸屏终端，该触摸屏终端包括显示器和报警装置，通过显示器显示该运算结果。

3.2 船舶扫描具体方法

基于激光与视觉融合的船舶扫描和吊具防撞系统实现，包括以下步骤：

1）初始化激光扫描仪安装参数和岸桥结构参数。激光扫描仪的安装参数包括安装高度、安装角度、激光到吊具距离等；岸桥结构参数包括鞍梁高度、鞍梁宽度、大梁前端高度等。其中，激光扫描仪安装参数和岸桥结构参数通过配置文件的方式输入到船舶扫描激光控制器中，以便后续船舶扫描激光控制器进行数据处理。

2）基于激光扫描仪安装参数，以激光扫描仪的安装位置为原点，将激光扫描极坐标数据转换到激光直角坐标系。基于右手坐标系，以岸桥大车运行方向为X轴，以岸桥小车运行方向为Y轴，以岸桥起升方向为Z轴，旋转角度（如小车倾斜）顺时针（从原点看）为正角度，逆时针为负角度。

3）视觉采集仪标定，即标定双目摄像机的内外参数。基于视差原理[2]提出双目立体视觉运用，由2 台摄像机的图像平面和被测物体之间构成一个相似三角形模型，已知2 台摄像机之间参数和图像坐标关系，可以计算出2 台摄像机拍摄图像中物体空间特征点的三维坐标位置。基线距离是指2 台摄像机投影中心连线距离，设为B，2 台摄像机在同一时刻观看空间物体的同一特征点P，分别在左摄像机（左眼）和右摄像机（右眼）上获取点P的图像坐标为P_left ＝(X_left，Y_left)，P_right ＝(X_righ，Y_righ)。根据2 台平行摄像机设置原理，2 台摄像机在同一平面上，则特征点P的图像坐标上的Y坐标相同，即Y_left ＝Y_righ ＝Y，则由三角形相似性原理得到：

通过以下顺序完成视觉采集仪的标定，即对于摄像机标定，基于摄像机成像模型的理论，采用张氏平面标定法，利用平面棋盘模板，对双目摄像机进行立体标定；对立体标定进行校正，通过实验获取摄像机的内、外参数以及畸变参数，对比校正前后的摄像机参数得到平视状态的参数值。在本实施例中，通过配置文件的方式，将摄像机内外标定参数输入到船舶扫描视觉控制器中，为后续求取三维空间坐标做准备。

4）基于视觉采集获取船舶空间位置数据。获取船舶轮廓的连续二维图像，基于所获取的二维图像坐标与双目摄像机标定的内外参数，得到船舶轮廓立体空间图像。

二维图像坐标为照片像素点坐标，对于基于视觉采集获取的二维图像，从不同颜色集装箱中识别目标集装箱并获取其图像中心坐标，该图像坐标计算方法包括截取目标图像、目标模板匹配、目标图像预处理、目标图像二值化、目标识别匹配、参数优化、目标坐标计算、反馈图像坐标。其中，对获取的二维图像进行预处理包括去雾处理、图像分割等。其中，对雾天天气条件下的二维图像进行去雾处理，利用暗通道提取完成去雾处理流程，通过去雾效果的客观评价标准，实现从有雾二维图像中提取图像特征信息；考虑到二维图像中集装箱颜色的不同，基于颜色模型实现图像分割。

5）基于激光扫描获取船舶轮廓点云数据。获取激光扫描数据，形成船舶轮廓点云数据，即得到三维集装箱上作业箱区轮廓数据。

在岸边桥式集装箱起重机大车移动时，船舶扫描激光控制器收到大车移动信号，此时，船舶扫描激光控制器根据该接收的信号，清除之前的箱区配置文件数据。

当岸边集装箱起重机到达新区域时，大车移动信号变为0，此时船舶扫描激光控制器将2D 激光扫描仪向前转动一定角度并扫描相邻托架和工作托架的轮廓，并且2 台2D 激光扫描仪也实时扫描和更新配置文件。

岸桥小车向前移动时，2D 激光扫描仪向前旋转一定角度，以检测障碍物并更新当前和相邻隔间的轮廓；岸桥小车向后移动时，2D 激光扫描仪垂直朝向地面旋转，以更新当前和相邻隔间的障碍物轮廓。

6）融合基于视觉采集的船舶轮廓立体空间图像和基于激光扫描的船舶轮廓点云数据。

视觉采集通过获取立体图像，对图像进行预处理，对图像中的目标进行识别，采用特征点提取获得图像中的信息；激光扫描采用获取目标点云数据后进行坐标系转换，平面分割和平面拟合获得船舶上集装箱摆放平面；通过特征点深度信息恢复等进行数据融合。

7）根据编码器信息数据，结合基于扫描获取的岸桥轮廓数据，对融合数据进行分析处理，确定最终的船舶轮廓。

在本实施例中，利用编码器信息结合激光扫描获取的岸桥轮廓信息，对步骤6）获取的融合数据进行划分，确定船舶上的点，对所有船舶上的点进行统计，确定其在格点图中对应的位置，以此构成船舶轮廓，完成船舶轮廓的准确识别。

4 吊具防撞

对于船舶轮廓的精确识别有助于实现吊具以及吊具所吊集装箱与障碍物发生碰撞，保证作业过程的安全性。同时，对于吊具及其所吊集装箱的位置判断以及准确的碰撞判断和控制同样重要。

船舶扫描激光控制器通过来自2D 激光扫描仪的集装箱船箱区轮廓数据信息，并检测当前作业贝位的最高障碍物的高度信息。

在识别到船舶轮廓的同时，实时检测小车位置、起升高度和集装箱在船舶上堆放位置和高度。如图4 所示，在吊具上架上安装激光扫描仪反射板。通过激光扫描仪反射板标记，实现对吊具的连续跟踪，从而现吊具高度信息的准确获取。

图4 吊具上架反射板安装示意图

船舶扫描激光控制器通过接收的视觉检测的最高障碍物信息进行数据校正，根据校正后的最高障碍物的高度和吊具高度进行碰撞判断，根据设定的防撞保护距离进行防撞保护，并根据碰撞判断结果下发控制指令和告警，控制岸桥小车的移动、吊具的升降等，实现小车运行方向的吊具防撞保护、起升方向的软着陆和小车运行方向相邻贝位的吊具防撞保护的功能[3]（见图5）。

图5 吊具防撞示意图

5 目标集装箱锁孔定位

岸桥小车上的2 个摄像机组成双目视觉，通过双目视觉立体成像原则进行摄像机标定及校正，摄像机内、外参数代入重建模型，通过图像预处理及边缘检测，实现目标集装箱识别，提取集装箱锁孔圆，定位锁孔并获取锁孔三维坐标，以满足船侧集装箱精准定位抓箱。

6 结论

本文叙述了一种基于激光与视觉融合的船舶扫描和吊具防撞系统及方法，通过面阵激光得到三维点云数据，获得当前船舶上贝位集装箱的位置、高度以及相邻贝位集装箱的位置、高度信息；通过双目摄像机获取船舶RGB 图像，基于视觉模型，确定当前船舶上贝位集装箱的边界框和相邻贝位集装箱的边界框；根据视觉采集获取的数据对激光点云数据进行校正，检测识别集装箱船舶的各参数特征，实现船舶轮廓的精确识别，提高岸桥的自动化效率。