基于图像处理的集装箱卡车对位系统

(宁波梅山岛国际集装箱码头有限公司,浙江宁波 315800)

0 引言

本文介绍了一种新型自动化方案，通过安装在岸桥联系梁上的摄像头实现对集卡车辆的视频采集，再通过工业级计算机对实时视频图像进行高分辨率像素点进行处理，进而计算出当前集卡的位置，最终实现对集卡位置的精确检测，并将精确位置值及引导信息通过LED显示屏显示于集卡司机。如此实现在低改造成本的前提下的快速集卡对位，提高岸桥作业效率。

集卡位置难对准一直是困扰岸桥作业效率以及岸桥自动化作业的一大难题，也是一热门课题。国内外目前也有一些尝试，主要解决方案有：在大车侧安装高精度2D激光扫描仪，在联系梁上每个车道上方安装一台2D激光扫描仪，在联系梁上安装两台3D激光扫描仪、在每个车道上安装一台激光雷达测距等，每种对位方案都具有各自的优缺点，但终究以激光侧距离为基础。然而，激光技术虽然成熟，但其高额的成本是不可避免的，而且激光测距对车型，车架有一定的要求，综合检测精度并不高。

而现如今，图像数字技术已逐步成熟，在各个领域已经得到了成熟的应用，比如高铁车轮高速视频检测系统、生产线视频检验系统、机械手柄双面视觉系统，等等。当前，图像技术处理在港口机械设备的应用却几乎处于空白，其原因主要有两方面，一方面是图像处理技术属于定制化解决方案，而港口起重机设备应用量较少，不被软件行业所重视开发；另一方面是港口起重机设备的工艺流程复杂，不被多数通用行自动化行业所了解。但核心算法以及硬件设施可以相互借鉴，所以如果将视频图像处理技术应用于港口机械设备上、港口自动化码头建设上，必然会对港口起重机以及港口自动化有极大的推动作用。

1 基本原理

本文介绍了一种通过视频图像处理技术实现集卡精确定位的系统。系统在岸桥集卡车道的上方，联系横梁的合适位置安装高清网络摄像头，每三至四个车道安装一台摄像头，每台摄像头通过PoE网络供电，连接到联系横梁上的TPS箱体内，交换机箱内安装高性能工业计算机IPC，IPC通过PROfinet网络连接至岸桥主控PLC，同时实时过去主控PLC的工况信息与指令信息。

基于图像处理的集卡定位系统的结构，如图1所示，网络高清摄像头安装在岸桥的联系横梁上，拍摄集装箱卡车的实时视频（图2）。视频数据通过工业以太网传送至工业计算机IPC（Industrial Personal Computer），从摄像头获取到视频图像后，系统分析和处理图像中集装箱卡车的特征信息，如有集卡载有集装箱的情况下，图像处理识别集装箱的特征信息，最终以吊具可直接下降抓取集装箱为准；如集卡为空托架，则以卡车和托架轮廓为特征信息匹配，提取集卡托架的轮廓信息及参考标志信息。

图1 集卡定位系统摄像头横向视野

图2 集卡定位系统摄像头纵向视野

2 硬件组成

如图3硬件结构图所示，在STS的联系梁上安装安装1#、2#、3#、4#摄像头，每台摄像头负责两个车道的拍摄，摄像头通过POE(Power Over Ethernet)交换机进行48V直流供电，在安装在联系梁的TPS箱体内，安装高性能工业计算机，工业计算机的的另一IE端口，连接到起重机PLC的PROFINET总线交换机上。图像处理及数据计算由IPC中运行的图像处理软件系统OTPS(Optics Truck Positioning System)完成，该系统的使能控制、模式控制、标定控制由PLC指令控制输出，以实现PLC对OTPS的自由控制。

图3 硬件结构图

3 图像数据处理

OTPS系统通过IPC的以太网接口实时读取摄像头采集到的视频数据流。系统中的数据采集模块采集到每一帧图像画面，再由图像处理系统进行分析、处理、计算。将原来为RGB格式的静态图像处理为HSV三成分灰度图[1]。然后对H（色调）、S（饱和度）矩阵进行处理，各选取一个合适阈值，将二者转换为表征黄色标志线区域的二值图；对两个二值图进行逻辑与运算，得到更准确的标志线区域。

在算法选取的过程中，主要是在图像去噪和颜色提取，选取的算法是集卡车线边缘颜色直接提取方式，可实际中集卡与集装箱颜色的分布不均，会导致边沿根本无法提取到。本系统选取了HSV颜色空间的转换，在对其图像进行膨胀、腐蚀算法，最后进行霍夫变换和引导滤波实现稳定的集装箱及集卡提取。最后再并将提取出来的特征线绘制再现于视频图像上，如图4为集卡车道原视频，图5所示为通过MATLAB软件仿真的效果：

图4 集卡车道原视频

图5 通过形态学处理及区域提取效果

其中图像转换和特征提取的关键算法如下[2]：

4 系统控制逻辑

岸桥从船上卸箱到集卡时，PLC系统会自动激活卸箱的目标车道，并将触将信息，吊具信息，20尺40尺信息等发给TPS系统，TPS系统接收到指令后，激活该车道的图像处理进程。在初始化调试时，需要集卡司机将集卡行驶到标准位置，由岸桥司机通过司机室联动台上的HMI人机界面与按钮，进行人工标定车型，在TPS接收到标定指令后，系统锁定当前车道及当前车道内集卡，托架，集装箱的画面信息。系统通过对图像的特征深度处理，边缘分割，特征值提取，得出当前车道内集卡，托架，集装箱在画面内的绝对像素坐标，再通过实际世界坐标与像素坐标的转化，最终计算出托架锁孔的真实坐标，将这个真实坐标值作为集卡定位参考系[1]。

在TPS系统的工控机内安装有专门用于图像处理与深度学习芯片卡，通过对预先拍摄好的上百份视频进行图像截取，得出上万张用于训练的图片，建立20尺集装箱，40尺集装箱，集卡空托架，20尺集装箱放置托架前端，20尺集装箱放置托架后端，40尺集装箱放置托架中部，双20尺集装放置托架，多种神经网络数据模型，再通过基于深度学习机制，进行大量的拟合训练，最终得出模型文件[5]。图6为位置偏移量的运算逻辑框图。

图6 TPS位置运算逻辑

图7 TPS定位系统LED显示屏

5 工作过程

当集装箱卡车驶入STS操作作业区域时，TPS系统自动启动车辆视频检测，自动判断出当前车所在车道，使能当前车道视频采集系统，获取实时视频图像数据，通过系统检测后，系统输出实时偏移量[1]。

系统通过人工智能学习，自动可以判断出当前集卡信息、所载集装箱信息，如单45英尺，单40英尺、单20英尺、双20英尺。通过图像处理可以自动学习出当前集卡车的车型，并参与对精确定位的数字进行修正。

通过安装在STS大车内部侧面的LED显示屏显示顶你为信息。集卡定位LED显示屏不仅显示当前的位置信息，还可以用箭头和横线系统集卡车辆的移动提示信息。以及需要集卡车辆移动的距离信息，精度可以达到3cm。在集卡没有到达停车位的情况下，系统对STS起升机构进行限制运行，确保起重机与人员的安全。如图7所示，集装箱卡车需向后行驶77cm[4]。

6 经济效益与推广前景

由于码头集装箱作业的复杂性与特殊性，岸边集装箱起重机在长期机械式的作业过程中，因高强度的负荷率，作业效率与作业安全性是最重要的两个环节，在人员参与的集卡定位过程中，很难避免安全事故的发生，而且很难提供作业的工作效率[3]。

而本系统基于当前人工智能、图像处理高度发达的基础上开发而成，通过视频人员检测、视频车辆检测、视频车头检测等多重安全保护，可大大降低安全事故的发生，同时，通过智能的位置检测，实时集卡司机一步到位，将集卡车辆停在预定的作业位置，大大提高了岸桥作业效率，也释放了人工作业的劳动量。视频系统因为硬件结构简单、方便维护安装、成本较激光扫描仪低很多，具有长期的社会效益。而且非常适合目前自动化码头及无人化岸桥设备，具有很好的行业推广使用价值。

7 结语

通过结合图像处理系统的软件特性、STS设备控制工况的需求以及深度学习训练与学习算法的应用，本公司技术人员不断克服技术障碍，最终得到良好的应用实践，位集装箱码头高效、安全、精准的运行提供了可靠的技术保障，值得在行业内推广。本系统的研发也是对于以后其他的基于工业计算机的软件开发和港机电控的结合也是较好的经验积累。对与做相关港机自动化子系统的开发的读者来说，也可以作为一种技术借鉴和参考。