基于机器视觉与深度学习的船舶水尺智能识别技术研究与应用

朱学海 张 帅 张东星 张阿平 罗陨飞*

（1.力鸿智信（北京）科技有限公司 北京 101312；2.北京华夏力鸿商品检验有限公司沧州渤海新区分公司；3.北京华夏力鸿商品检验有限公司天津分公司）

1 前言

随着全球经济贸易的发展，作为国内外广泛用于船舶运输货物计量和进出口商品重量鉴定的重要方法，基于阿基米德原理的水尺计重[1]显示出越来越重要的地位，船舶六面吃水数值的读取准确性成为水尺计重计量准确性的最关键因素。传统的通过人工目测水尺刻线计算船舶吃水值的观测法，其观测的视频来源往往通过电子摄像设备录制，内侧录制要尽量站在岸边，外侧录制则要租用小船，不仅费时费力费财，工人的人身安全也受到了威胁，而且人工观测容易受外界环境和人为因素的影响，导致水尺数据不准确，极大地影响了水尺计重工作。

近年来，人们逐渐关注人工读数的误差问题，由于人眼并不能准确确定吃水线在刻度字间的数值，更多的是通过鉴定人员的专业能力和经验进行读数，因此，鉴定结果受人为因素影响较大。随着科学技术地逐渐发展，基于电子水尺、激光、雷达和图像检测等原理的水尺设备陆续被研发。马晓波等[2]设计出了一种船舶吃水测量尺，该测量尺的现场要求过高，海浪问题尚未解决，且测试过程过于烦琐，控制尺头传感器在触水的一刻准确无误地发出警报并立即暂停投尺是难点，因此，依旧会过多地受到人为因素的影响。陈文炜等[3]研究出了利用激光测距原理进行吃水值测量的方法，但是该方法需在水面铺放经特殊处理的反射板用于接收反射光束，测距过程烦琐，难以适应港区现场作业的要求。沈益骏等[4]设计出了雷达水尺检测装置，雷达装置很易受到电磁干扰的影响而不能正常工作，且吃水值的计算过程仍然需要翻阅船舶相关资料，增加了水尺计重工作时间。

近年来，人工智能技术发展迅速，其中的图像处理技术发展尤为蓬勃，航空、医学和通信工程等[5-7]领域涌现出了很多基于图像处理原理的图像自动识别技术，船舶水尺计重行业对图像处理技术的需求也越来越多。冉鑫等[8]提出了一种基于图像处理的船舶水尺刻度识别方法和船舶吃水线检测方法，刻度识别是利用三叉点特征构造模板数组进行字符分类，然后与构造的模板匹配进行水尺字符识别，吃水线识别检测采用的是Canny 算子和数学形态学结合的办法，刻度识别和水线识别为船舶吃水值的计算打下了良好的基础[9]。随着图像处理技术的日益发展与完善，图像处理技术陆续被应用到船舶水尺检测研究工作中[10，11]，利用该技术对船舶水尺图像进行分析和检测取得的船舶吃水数据可以避免人工目测引起的主观问题，也可以准确完整地记录吃水数据，便于后续数据查询，避免贸易纠纷。采用图像处理技术可以使人与计算机优势互补，提高测量效率与测量数据的准确性[12]。

鉴于前人研究成果，本文基于图像处理技术，利用机器视觉[13]技术和基于神经网络的深度学习[14]算法，研究开发出了Leon-IDSS 智能水尺测定系统，该系统可以实现对视频或图像中船舶的吃水线、刻度线和刻度数值进行定位、识别，进而自动计算船舶的吃水读数，得到船舶载货重量鉴定的准确结果，这一技术能很好地解决人工鉴定的诸多问题，有效提高鉴定结果的科学性和准确性。

2 Leon-IDSS智能水尺测定系统简介和工作原理

Leon-IDSS 智能水尺测定系统包括船舶吃水影像采集系统（硬件系统）和数据图像处理分析系统（软件系统）两部分，两系统间彼此相连，具体如图1所示。

影像采集系统主要用于吃水影像的采集，该系统操作简便，性能稳定，可广泛应用于各种场合（包括大风浪情况）的水尺计重工作。数据图像处理分析系统由操作控制、图像读数、视频预览、图片显示和水位读数散点图5个区域组成。系统对视频采用抽帧转换技术，获取满足识别要求数量的图像文件；采用机器视觉技术，对局部二值化图像中的水线、数字进行准确定位、识别；采用基于神经网络的深度学习算法，自动计算出图像中船舶被测位置的吃水数。

图1 Leon-IDSS智能水尺测定系统组成示意图

3 Leon-IDSS系统关键技术

3.1 标记数字的识别定位

水尺标记数字主要由10 个阿拉伯数字和1 个字母“M”组成，水尺标记如图2所示。船体背景色和水尺标志颜色区分明显，船体背景色一般为红色、灰色和绿色，水尺标志一般印刷为白色，且存在一定的厚度，进一步增强系统对水尺标记的辨识度。

图2 船舶水尺标记

一般情况下，船舶下半部分的水尺标记数字会长时间浸泡在水中，特别是船满载情况下，大部分水尺标记数字几乎都处于含盐量高的海水液面下，长时间服役中，标记数字会被腐蚀得非常严重；另外，船舶长时间航运中，船体难免会与海中的各种物体发生摩擦碰撞，这种情况会导致标记数字留下划痕或掉漆，标记数字所处的船体背景周围甚至会残留污泥等杂物，对于一般的图像处理算法，数字的识别和定位准确度会大打折扣。针对这些情况下的视频或图片中数字的准确定位和识别，基于深度学习算法的Leon-IDSS 智能水尺测定系统给出了行之有效的解决方法，利用Faster-RCNN 网络和RPN 网络进行训练后定位识别，其中，Faster-RCNN 网络是一种性能较好的卷积网络，主要用于识别图片中的物体，RPN 网络是一种用于快速生成候选区域的网络，它解决了在一张图片上难以生成候选区域的问题。其实无论是识别图片中的数字还是下面小节中的水线，都需要准确标记出它们所在位置，以便于计算当前水线相对于船体的高度，通过使用RPN 网络，配合交替训练，可以实现RPN 和Faster-RCNN 网络共享参数，从而实现快速训练的目的。具体过程：（1）将采集得到的包含若干个数字的视频进行反交错处理；（2）抽取图片并将图片制成训练样本，人工辅助对训练样本中数字的位置与类别信息进行标定，设计出具有不同特征的数字，增加到训练样本集合中，并进行位置与类别信息的自动标定；（3）采用基于区域的卷积神经网络Faster-RCNN 算法对制作好的数据样本集进行区域推荐RPN 网络与识别网络交替训练若干次，共享提取图片深度特征得到训练模型；（4）调用训练好的模型对视频或图片中的数字进行检测和识别，输出图片中各个数字的位置及类别信息，即可完成检测。

3.2 吃水线的识别定位

从图像处理角度识别水线主要从2条路径出发：（1）边缘特征信息，水线在画面中有独特的边缘特征，可以利用边缘检测手段（即边缘检测算法[15]）发现水线。图像的梯度算子是指图像的梯度，它是图像处理中最常见的一阶微分边缘检测算法，图像梯度最重要的性质是图像灰度最大变化率，它恰好可以反映图像边缘上的灰度变化情况，水线处理如图3所示；（2）颜色特征信息，由于水和船体是2种材质，大部分情况颜色有明显区别，因此可以从颜色的角度即颜色特征检测算法[16]检测出水线。

图3 边缘检测算法梯度处理图

但对于传统的图像处理方法来说，现场吃水线附近光线过暗或过亮、船体背景颜色不统一、水质浑浊度纷繁复杂导致显现出的水体颜色各不相同等情况下的吃水线检测往往存在很大的困难，因此，对于各个领域吃水线的准确检测判定是重点但同时也是难题。基于深度学习算法的Leon-IDSS 智能水尺测定系统利用Faster-RCNN 算法，对制作好的数据样本集进行RPN 网络与识别网络交替训练若干次，共享提取图片深度特征得到训练模型，然后用训练好的模型对视频或图片中的水线进行识别，得出水线的多个位置信息，接着利用神经网络算法去除误识别的水线，进而得到准确的识别水线。有些情况下会存在一些水面漏检的可能，智能鉴定系统可通过神经网络给出水线的多个位置信息进行合理预测，与水面进行完全拟合，最终也可得到准确的吃水线位置信息。

3.3 水尺读数的自动计算

Leon-IDSS 智能水尺测定系统利用深度学习算法对船舶水尺图像中的数字及水线进行识别定位后，通过根据数字排列规律和人眼读数原理设计的数字组合算法对船舶的水尺读数进行准确计算，结果如图4所示。船舶水尺标记数字经过识别和定位，系统通过组合数字算法组合同一行数字，并使每行数字拥有整米和分米的内在含义，然后利用船舶水尺图中的数字数值和其边框坐标求出水线相邻行数字间距相对于真实长度的基准。当摄像机拍摄方向与船体数字存在一定的偏离角时，所得图像中数字会产生较大畸变，因而系统接着会对畸变数字和水线间距进行校正，校正后的图像基于图像距离与真实距离的比例基准即可得出该水尺图片的水尺读数，系统测得若干个数据后，经过一系列的数据处理即可得出船舶的水尺读数，该方法简单快捷，准确方便。

图4 水尺视频实测示意图

4 应用实践与结果分析

4.1 系统应用实践

2017年9月～2018年9月，在天津港和黄骅港对400 余艘船2400 余个视频进行智能测定和按标准SN/T 3023.2—2012 《进出口商品重量鉴定规程第2部分：水尺计重》进行的标准测定，接着将系统读数和标准读数进行比对分析，统计分析了水尺视频的系统识别运算效率和智能读数的准确性。例如，某水尺视频的标准读数（参比值）为10.09 m，系统读数值为10.093 m，偏差值为0.003 m，结果十分接近标准读数，符合港口作业的准确度要求。

4.2 系统识别运算效率

随着水上航运业务量地增加，船舶往返航运频率也随之增加，为减小时间成本，船方对于水尺作业提出的要求越来越高，一般一条船从上船开始到下船结束完成所花时间需控制在1 h 内，甚至更短，对于检验鉴定工作人员，水尺计重作业中的六面水尺读数确定时间花费控制显得十分重要。

因此，本研究对系统的工作效率进行了试验，试验参数包括单视频分析处理时间和整条船六面水尺视频分析处理时间，其相关数据结果见表1所示。由表1可以发现，10 个视频中，每个视频从开始分析到数据得出的时间平均为28.344 s，鉴定人员使用系统处理一条船的六面水尺视频的时间均可控制在450 s 内，平均一条船的处理时间仅为374 s，系统处理分析花费时间短，大大缩减了水尺计重过程中所产生的时间成本。

表1 系统单/六面视频分析时间统计

4.3 系统读数准确性

为了验证智能鉴定系统的准确性和可靠性，集中测量了2018年9月下旬到10月上旬两港全部船，只共计200 个视频后，得出数据并进行分析，其中，智能测定系统的读数精度为0.001 m，标准读数精度为0.01 m，以系统和标准差值绝对值在0.02 m内为结果准确。标准和系统读数结果及系统偏差值如表2和图5所示，从试验结果可以得出，系统的准确率为95%，系统读数和标准读数的差值绝对值平均为0.00 745 m，系统读数结果已十分接近标准读数。

5 结论

本文利用图像处理技术，通过机器视觉技术和基于神经网络的深度学习算法，研究开发出的Leon-IDSS 智能水尺测定系统可实现对视频或图像中船舶的吃水线、刻度线和刻度数值进行定位、识别，进而自动计算出船舶的吃水读数。测定系统处理一条船六面水尺视频的平均处理时间为374 s，均可控制在450 s 内；系统的准确率为95%，系统读数和标准读数的差值绝对值平均为0.00 745 m。

综上所述，Leon-IDSS 智能水尺测定系统处理分析时间短，大大缩减了水尺计重过程中所产生的时间成本，并且测定得到的结果准确。这一技术能很好地解决人工测定的诸多问题，有效提高水尺作业测定结果的科学性和准确性。

表2 系统视频读数准确度统计

图5 系统偏差值统计示意图