基于机器视觉的港口集装箱卡车防吊方法研究

黄伟 赵德安 刘晓洋

摘 要：随着全球贸易的发展，集装箱运输增长迅速，集装箱卡车和吊车在集装箱运输中发挥着极其重要的作用。针对集装箱装卸作业中因集卡和集装箱之间固定锁未完全打开而导致集卡被误吊起的危险情况，提出一种基于机器视觉的港口集装箱卡车防吊方法。该方法使用两个摄像头实时采集集卡车身图像，为保证图像检测过程的实时性和准确性，采用ORB特征点检测算法对图像进行特征点提取，利用FLANN特征点匹配算法将检测到的特征点与起吊前基准图像中的特征点进行匹配，通过分析匹配成功特征点之间的坐标变化，判断集卡是否被误吊起。一旦纵坐标变化超出阈值，控制系统则会向主控PLC发送停止起吊指令，从而避免安全事故发生。通过大量现场试验，结果表明，该方案在应对各种复杂环境时都能取得很好的效果，可以满足港口自动化要求。

关键词：机器视觉；特征检测；集卡；防吊

DOI：10. 11907/rjdk. 182300

中图分类号：TP301 文献标识码：A 文章编号：1672-7800（2019）005-0037-04

Abstract： With the development of global economic trade， container transportation has grown rapidly. Container trucks and cranes play an extremely important role in container transportation. In view of the dangerous situation that during the container loading and unloading operation， the container car is mistakenly lifted because the fixed lock between the truck and the container is not fully opened， this paper proposes a machine vision-based port container truck anti-lifting technology. The technology uses two cameras to collect images of the body of the truck in real time. To ensure the real-time and accuracy of the whole image detection process， the ORB （Oriented FAST and Rotated BRIEF） feature point detection algorithm is used to extract the feature points of the image， using FLANN feature point matching algorithm matches the detected feature points with the feature points in the reference image before lifting， and judge whether the card is hanged mistakenly by analyzing the coordinate changes between the matching feature points. Once the change of the ordinate exceeds the threshold， it can be judged that it is mistakenly lifted up， and the control system will send an instruction to the main control PLC to stop the hoisting. The technical solution has passed a large number of field tests and can achieve good results in dealing with various complex environments， which can meet the requirements of port automation.

Key Words： machine vision； feature detection； container card； anti-lifting

0 引言

港口作為水路交通的集结点和枢纽，在全球资源配置中发挥着越来越重要的作用。集装箱作为港口贸易的载体，已成为国际通用的运输方式。港口发展经历了从人力、电气化到逐步自动化的过程。近年来，随着计算机信息技术的迅速发展，尤其是大数据、人工智能等新兴技术的产生，为传统行业转型，尤其是港口发展带来了前所未有的新机遇与新挑战[1]。为了提高生产组织效率与港口装备的智能化水平，提高港口整体作业效率，兴建自动化、无人化的集装箱码头迫在眉睫，现已出现了以青岛港、洋山港为代表的无人化码头。

集卡（集装箱卡车的简称）分为内集卡和外集卡。负责码头内集装箱运输的拖车称为内集卡，外集卡则是开出港口的拖车。由于港区内路面平整，不需要长距离运输，内集卡通过安装在车身四周的挡板固定集装箱，而外集卡在往返港口运送集装箱过程中，为防止运输过程中由于路况颠簸造成箱子意外掉落的情况，需要在集卡车身4个角以及中间部位安装机械锁头，锁头可以插入集装箱底部锁孔内，从而固定集装箱。

当外集卡到达港口堆场进行卸车作业时，集卡司机会事先将锁头解开，然后等待轮胎吊或其它吊车将集卡上的集装箱卸下。由于吊车司机视线受阻，无法清晰地观察并判断锁头是否被完全打开，如果集卡司机忘记解锁或没有完全解开所有的锁，在集装箱起吊过程中，车身会被一并提起，严重时可能对车辆造成损坏甚至危及集卡司机安全。因此，在集装箱堆场作业中，如何防止集卡被误吊起是集装箱装卸中的一大安全课题。

目前，已有人工监控、光电检测、激光雷达检测与图像检测等多种方式可实现对集装箱卡车误吊起的检测，但是受限于成本或检测效果尚难以普及。因此，迫切需要提出一套自动化检测控制方案。由于该研究具有巨大的市场需求，很多企业及高校也进行了相关研究。如上海港集装箱股份有限公司[2]针对该问题设计了一种防止集装箱起重机误吊集装箱卡车的测控装置。该装置通过两个光电开关进行集装箱检测，若集装箱被吊至设定高度仍能检测到设定物体信号，则立即停止起吊。但该方法可靠性不高，容易出现漏检情况，且检测到卡车被吊起时，卡车已上升了一定高度，虽然不会造成重大事故，但仍会给车辆造成损伤；润邦卡哥特科工业有限公司[3]提出一种防止集装箱卡车被吊起的自动检测保护系统及其应用方法，通过车道一侧地梁作业平台下的区域传感器检测卡车是否被吊起。但该方法需要在固定位置铺设传感器进行检测，工程量大，且不能随吊车转场，灵活不强，难以进行普遍应用；上海大学[4]提出一种用于轨道吊机的集装箱卡车防吊系统及方法，该方法通过两个激光扫描仪对集装箱和卡车进行扫描，通过几何约束原则找出二者相对位置，从而判断卡车是否被吊起。该方法检测准确性较高，但是由于激光雷达成本较高，因而难以普及应用。

1 系统组成

本文提出的方法由硬件和軟件两部分构成。硬件主要包括安装在吊车外的摄像头和主控室内的工控机。摄像头负责图像采集，工控机负责图像处理以及与主控PLC通信。软件部分的核心是图像处理算法，其基本步骤如下：①集卡到位，在起吊前采集一张图像作为基准图像，并对车架部分进行特征点提取；②收到起吊信号，检测系统每隔500ms进行一次图像采集，并对车架部分进行特征点提取；③将步骤②中提取的特征点与基准图像进行匹配；④计算所有匹配成功特征点x和y的平均差值并与设定阈值进行比较，如果y的差值大于阈值，则可判断为误吊，检测系统向主控PLC发送停止起吊命令。

2 ORB特征点提取

特征点匹配算法广泛应用于视觉导航、运动目标识别检测等领域。目前在机器视觉领域常用的特征点检测算法主要有 SIFT、SURF[6]和ORB（Oriented FAST and Rotated BRIEF）。在ICCV2011，Rublee等[7]提出ORB特征点检测算法。ORB算法将FAST角点检测和二进制局部特征描述符BRIEF相结合[9]，实时性明显优于SIFT、SURF等浮点型局部特征描述符。

本文采用ORB特征提取算法对图像进行特征点提取。ORB特征点检测主要有以下两个步骤：①利用Oriented FAST检测算子进行特征点检测；②采用Rotated BRIEF描述符对特征点进行二进制向量描述。

3 FLANN特征匹配

FLANN算法是由Muja&Lowe[16]在2009年提出的，算法核心是通过K均值或KD-TREE[18]搜索算法找到欧式距离最小点[17]。该算法可根据数据集分布特点、映射精度与空间资源消耗要求推荐索引类和检索参数，而且在高维空间最近邻查找不受局部敏感哈希影响。

在KD-TREE中检索出欧氏距离最小的点通常需要如下几个步骤：首先根据相关方法将KD-TREE数据点划分成N维空间上的几部分，将所有欧氏距离集合采用KD-TREE结构进行存储，整个检索过程则变成了KD-TREE由上而下的递归过程[19]。以某一特征维数为基准，将目标点与分割点的值进行比较，从而确定目标点所在的N维空间区域，然后遍历区域，直到成功检索到目标点。在KD-TREE上进行数据检索效率较高[20]，对于给定的高维目标采用高效的查找算法能快速得到最近邻点[21]。

如图3所示，当吊车将集装箱缓慢吊起时，FLANN算法能够快速、准确地与基准图像中的特征点进行匹配。该试验选取100个特征点，最终匹配成功的为97对。根据97对点的纵坐标可计算出当前集卡车身位移为10个像素。

4 实验与结果分析

实验平台为：研华ARK-2121工控机，Intel Celeron J1900，2.0GHz四核处理器，操作系统为：64位Windows7，摄像头为：大恒MER-132-43GM，125万像素。本文提出的解决方案已使用C++结合Opencv2.4加以实现，并在Visual studio 2013上通过Qt编写出完整测试软件。软件界面如图4所示，主界面主要用来显示摄像头采集的图像。通过参数配置界面可以设定横向和纵向报警阈值，并设置相机亮度、曝光时间以及是否使用自动曝光等功能。检测完成后，系统还可将每次检测结果保存到数据库中。该软件已经分别在上海洋山港无人化码头以及镇江港码头的场地轮胎吊上进行了实际测试。

能够携带20英尺和40英尺的外集卡一般有8个锁头，车身四角4个加上车身中部4个。由于集装箱尺寸大小不同，需要不同位置的锁头组合。20英尺集装箱在装卸过程中需要使用4个锁头。经过现场观察和分析，主要有如下几种工况：①4个锁都打开；②4个锁都没有打开；③车架前两角锁住，后两角打开；④车架后两角锁住，前两角打开；⑤车架外侧两锁打开，内侧两角锁住；⑥车架内侧后面的角打开，其余3个角锁住；⑦车架内侧前面的角打开，其余3个角锁住；⑧车架内侧前面的角锁住，其它角打开；⑨车架内侧后面单角锁住，其它角打开；⑩车架外侧两角锁住，内侧两角打开。其中取集卡靠近轮胎吊控制室的一侧为内侧，另一侧为外侧。

在镇江港国际集装箱码头，150cm高的集卡装载20英尺集装箱，针对以上10种情况进行现场试验。根据港口工作人员提出的安全要求，集装箱被吊起至180cm前必须作出及时判断，因此将纵向Y的阈值设定为45像素。每种情况试验10次，记录每一次系统报警时集卡正对两个摄像头中间位置被吊起的高度，试验结果如表1所示。

根据试验结果可以看出，在绝大多数工况下，该防吊检测系统在集卡被吊起25cm左右（除去车身起伏，车轮离地10cm以内）即能准确作出预警判断。但是对于车架外侧两角锁住、内侧两角打开这一工况，在码头的安全要求下，实际试验效果并不理想。主要原因是在该情况下，车架外侧被吊起的高度不足以使内侧车板产生明显位移。在后续试验中增加外侧被吊起的高度后，该检测系统则能作出及时、准确的判断。

5 结语

本文提出一种基于机器视觉的港口集卡防吊方法，能够很好地针对港口集卡被误吊起情况进行检测，与传统方法相比，该方法具有更高的可靠性与更低的成本，因而具有较好的应用前景。该方法能够快速、准确地进行防吊预警，从而很好地满足了当前港口自动化及无人化的需求。该方法还具备很好的鲁棒性，在阴雨天和夜晚（安装补充光源）进行相关试验仍取得了很好的效果。但在车架内侧两锁打开，仅外侧有锁锁住的情况下，检测效果则不够理想，可以适当增加其它传感器，以提高检测的实时性和准确性。

参考文献：

[1] 王英泽. 一种新型港口轮胎吊吊具自动控制系统[D]. 济南：山东大学， 2017.

[2] 上海港集装箱股份有限公司. 防止集装箱起重机误吊集装箱卡车的测控方法及装置[P]. 中国，CN1872652A，2006-12-06.

[3] 陈金波. 一种用于轨道吊机的集装箱卡车防吊起系统及方法[P]. 中国， CN104386582A， 2015-03-04.

[4] 王重阳，崔立，开焱，等. 一种防止集装箱卡车被吊起的自动检测保护系统及其应用[P]. 中国， CN103803416A，2014-05-21.

[5] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision，2004，60（2）：91-110.

[6] BAY H，ESS A，TUYTELAARS T，et al. Speeded-up robust features（SURF）[J]. Computer Vision and Image Understanding， 2008， 110（3）：346-359.

[7] RUBLEE E，RABAUD V，KONOLIGE K，et al. ORB： an efficient alternative to SIFT or SURF [C]. Proceedings of IEEE International Conference on Computer Vision，Washington，USA，2011：2564-2571.

[8] ROSTEN E，DRUMMOND T. Machine learning for high-speed corner detection[J]. European Conference on Computer Vision， 2006，3951：430-443.

[9] 刘婷婷， 张惊雷. 基于ORB特征的无人机遥感图像拼接改进算法[J]. 计算机工程与应用，2018，54（2）：193-197.

[10] 许宏科，秦严严，陈会茹. 基于改进ORB 的图像特征点匹配[J]. 科学技术与工程，2014，14（18）：105-109，128.

[11] 智金波. 基于局部特征点的图像配准算法及应用研究[D]. 北京：北京印刷學院，2015.

[12] CALONDER M，LEPETIT V，STRECHA C，et al. BRIEF： binary robust independent elementary features[C]. Proceedings of European Conference on Computer Vision， Greece，2010，63（14）：778-792.

[13] 谢成明. 基于ORB特征的目标检测与跟踪研究[D]. 合肥：合肥工业大学.

[14] 王国东，文鹏程，程岳. 一种利用ORB特征进行航拍图像拼接的方法[J]. 内蒙古师范大学学报：自然科学汉文版，2014（4）：425-429.

[15] 李小红，谢成明，贾易臻，等. 基于ORB特征的快速目标检测算法[J]. 电子测量与仪器学报，2013，27（5）：455-460.

[16] ZENG Q H， CHEN Y，WANG Y S， et al. A fast matching method for large viewpoint changes images based on ORB algorithm[J]. Control and Decision， 2017， 32（12）：2233-2239.

[17] 王金龙， 周志峰. 基于SIFT图像特征提取与FLANN匹配算法的研究[J]. 计算机测量与控制，2018（2）：175-178.

[18] BERECZK Y， NIKOLET T， NéMET H，et al. Quad-kd trees： a general framework for KD trees and Quad trees[J]. Theoretical Computer Science，2016，616：126-140.

[19] 冯亦东，孙跃. 基于SURF特征提取和FLANN搜索的图像匹配算法[J]. 图学学报， 2015（4）：650-654.

[20] 钟云. 大数据中基于KD-Tree的多维索引技术[D]. 北京：北京大学，2013.

[21] 黄家琦. 双摄像头视频拼接算法研究与实现[D]. 西安：西安交通大学，2012.

（责任编辑：黄 健）