基于计算机视觉的船舶图像自动识别方法研究综述

2018-09-26罗明明诸峰王东升

软件导刊 2018年7期

罗明明诸峰王东升

摘要：介绍了船舶图像自动识别相关概念、历史背景，分析了传统船舶识别系统的不足之处，在此基础上阐述了基于计算机视觉的船舶图像自动识别发展现状，从静态和复杂环境等不同维度，总结和归纳了各种船舶图像自动识别方法的基本思想和主要工作，并对不同方法的优缺点进行了分析和对比。对基于深度学习的船舶图像识别、基于内容的船舶图像识别与标注以及基于多分类器融合的SAR船舶图像识别等船舶图像识别方法进行了介绍，并对船舶自动识别的未来趋势进行了展望。

关键词：图像识别；船舶识别；船舶分类；计算机视觉

DOI：10.11907/rjdk.173037

中图分类号：TP301

文献标识码：A文章编号：1672-7800（2018）007-0005-04

Abstract：Thispaperintroducestherelatedconceptsandhistoricalbackgroundofautomaticidentificationofshipimagesandevaluatestheshortcomingsoftraditionalshipidentificationsystem.Byintroducingthedevelopmentoftheshipimageautomaticrecognitionbasedoncomputervision，thepapersummarizesthemainworkandthebasicideasofdifferentautomaticrecognitionalgorithmsindifferentdimensionsofstaticandcomplexenvironmentbyanalysisandcomparison.Moreover，thepaperdiscussesthecurrentpopularmethods，includingshipimagesrecognitionbasedondeeplearningalgorithm，shipimagerecognitionandannotationbasedoncontentandshiprecognitioninSARimagesbasedonmultipleclassifiercombination.Also，futureresearchprospectsarediscussed.

KeyWords：imagerecognition；shiprecognition；shipclassification；computervision

0引言

随着海上贸易的增加，各类船舶事故时有发生，提升船舶运输安全水平成为研究热点。船舶识别技术一定程度上解决了船舶间、船岸间信息交流不准确问题，极大降低了各类船舶碰撞事故发生率，提升了船舶监管效率。船舶识别技术经历了由传统到现代、由人工识别信息到机器识别信息的转变。

传统的船舶识别以船舶定位识别为主，如雷达识别系统和自动雷达标绘仪（ARPA），通过识别船舶所处方位与船舶间的距离降低船舶间碰撞风险。但单一的雷达识别系统存在一些弊端，如无法识别轮船的类型，在一定环境下存在识别盲区，无法满足船舶监管对高精确度与信息多元化的要求。船舶自动识别系统（AIS）逐渐在船舶领域起主导作用，各类船只开始安装精确度更高、灵活性更好的AIS设备。2011年，中国海事局对200t以上的沿海船舶提出了必须安装AIS设备的要求。内河流域以及相应海岸监管部门配备了视频监控技术（CCTV），通过人工监控的方式加大了船舶识别监管力度。但是，无论是AIS系统还是CCTV系统，都是通过视觉获取信息，而人脑处理信息的方式往往会因为决策人自身的疏忽甚至违反相关船舶运输规则而造成船舶事故发生。

为解决AIS存在的缺陷，基于计算机视觉技术的船舶图像识别成为研究重点。配备在船舶上的图像自动识别系统，直接获取船舶间的距离与会遇船只的信息并采取相应的避碰措施，而岸边配备的监管系统也可自动识别出流域船只信息并对其发出相应通告。本文对相关文献进行收集整理，在分析与归纳的基础上，对基于计算机视觉的船舶图像自动识别方法进行论述，以推动船舶自动识别系统进一步发展。

1静态船舶图像处理与识别

1.1基于特征知识库的船舶图像识别

如图1所示，船舶图像识别过程主要包括船舶图像特征分割与抽取、特征知识库构建。其中，特征提取在圖像识别中起着关键性作用，特征应该满足鲁棒性、可拓展性、可区分性和不变性要求。在特征提取阶段，优化算法性能可提高图像识别准确度。为达到识别轮船目的，汪成亮等[1]基于专家知识库的特征抽取算法，提出了FE（featureextract）算法，从不同静态船舶图像中提取4个符合基本条件的特征值，将其收集起来构建船舶类型知识库。知识库主要考虑轮船的大小、长宽比、上下比和复杂度等度量特点，在专家知识的帮助下，构造出基于规则的知识库。综合利用知识库里的数据特征对图像提取的边缘进行判别，实现对船舶目标的进一步识别。将船舶图像识别技术应用于长江水域重庆段，实验结果表明，该方法优于传统的对比单特征法和Adaboost方法。因为特征提取算法结构简单，特征提取数目较少，只能保证识别目标为知识库中已有的船舶记录，无法泛化到船舶种类识别，所以基于特征知识库的船舶图像识别方法有待改进。

1.2基于神经网络的船舶图像识别

为了将图像识别技术集成到传统的船舶导航系统中，2007年金雪丹等[2]引入神经网络算法进行船舶特征的分类处理。神经网络算法模拟人脑思维的算法，由众多神经元可调的连接权值连接而成，拥有大规模运算能力。经过图像处理提取出来的特征用作多层神经网络输入，该神经网络使用BP算法（反向传播算法）进行，将船只分为大型船、中型船、小型船3类。通过实验，发现引入BP算法后的船舶识别率有了显著提高，并且能对船舶种类进行类型区分。魏娜[3]设计了BP神经网络的三层结构用于对船舶类型的识别实验，将BP神经网络所得出的结果与模板匹配结果对比，结果表明利用BP神经网络算法的识别率远高于普通的特征提取识别方法。

引入神经网络算法进行船舶识别，虽然提升了船舶识别的精度，但实验样本多数是静态数据。图像数据在现实作业环境中会受到海上环境、天气、光线变化的干扰，对一定范围内的船只聚集情况、异物遮挡情况作出错误判断，实验算法能否应用于动态数据成为该技术能否推广的重要因素。CCTV系统采集的是动态视频，将不同角度拍摄的动态视频转换为一帧一帧的静态图像进行处理与跟踪，算法需要一定的鲁棒性和适应性。

2复杂环境下的船舶图像处理与识别

复杂环境下采集的船舶图像往往在特征提取方面与理想情况存在许多误差，如夜晚光线昏暗情况下船舶图像采集困难，白天海面光线强烈和雨雾天气对船舶图像的干扰等。实际作业过程中，图像数据采集以视频摄录为手段，这些数据往往包含不同类型的动态数据。曾科伟等[4]提出在内河河道内的不同监测点都安装CCTV系统，通过夜视、红外热成像技术，采集不同明暗光线下的河道船舶数据进行监控，实现对控制河段船舶运行状态的掌握。因此，采集的数据不仅是红外图像，也有夹杂着雨雾等干扰的图像，这需要在原有算法基础上进行多状态适应性改进。

2.1融合背景差分法与最大类间方差法（OTSU）的识别

针对不同天气下行驶的船舶目标进行特征提取，李祎承[5]等研究了一种融合背景差分法和最大类间方差法的船舶目标提取方法，构建了一种新的船舶目标提取方法，见图2。背景差分法是利用图像序列中的当前帧与背景参考模型进行比较检测物体运动状态的方法。最大类间方差法是一种自适应的阈值确定方法。实验先将视频转化为多帧图像并进行预处理，然后用当前帧与背景帧作差分运算，最后用形态学与中值滤波处理确定船舶所在区域。实验结果表明，所得船舶目标轮廓较为清晰，能够适应不同天气的干扰。在此基础上，作者提出了基于圆环划分的特征值算法，用以解决不同角度船舶特征可能存在差异的问题。通过该算法，计算目标的特征值具有旋转、平移及缩放的不变性，能适应不同角度下摄像机的拍摄要求。

2.2基于动静态阈值的船舶图像识别

为解决基于视觉的船舶检测技术易受背景光线变化、遮挡阴影区域及小范围船舶聚集等因素干扰问题，以及在背景更换的阈值判断上存在的不足，睢丹[6]等提出一种改进的船舶图像智能检测方法，通过设置预处理后的二值图像异常比例，对船舶状态进行分析。首先归一化采集图像的前景面积，并引入动态阈值与静态阈值关联，用以判断是否需要更换背景条件。实验结果表明该方法在查准率和查全率等方面均比传统方法有很大提高，进一步优化了复杂环境下特征提取的准确性。

2.3基于多尺度分形特征的红外图像识别

刘俊[7]以红外图像为实验样本，通过研究红外辐射定律与特性，总结出船舶热特性与船型和方位的关系，并以此设置多项实验，对比出不同运动状态、背景以及距离下的船舶红外特征，提取红外图像下的船舶特征进行船舶识别实验。引入基于多尺度分形特征（MFFK）的船舶目标检测方法，实验结果证明了红外图像下的船舶检测可行性，见图3。但红外图像与正常环境下的原图像有明显差异，导致提取的特征值存在差异，因此针对同样类别的船型需要建立两份数据集进行船舶识别，造成资源采集开销。红外图像与可见光图像存在质量上的差异，能否证明用红外图像得出的实验结果优于可见光图像的实验结果还需进一步研究。

3船舶图像识别方法最新进展

传统的船舶图像识别算法虽然可对船舶类型进行简单分类，得出较为精确的结果，但这些结果是在比较小的仿真实验数据集上得到的，结果的泛化性和鲁棒性还需要在更大的数据上进行验证。随着深度学习等人工智能算法的飞速发展，越来越多的人工智能算法应用于工业产品。邓柳[8]等针对高速公路环境下的车型识别问题，引入卷积神经网络（CNNs）理论，对大量的车辆车型进行特征提取，并利用SVM分类器构建识别系统，实现了识别速度和识别率上质的飞跃。如果将船舶航线比作高速公路，船舶比作汽车，将更为强大的人工智能算法应用于船舶类型识别成为研究新方向。

3.1基于深度学习的船舶图像识别

赵亮等[9]提出一种基于卷积神经网络的船舶图像识别算法，使用7层卷积神经网络结构，实现特征的自动提取。同时结合HOG算法和HSV算法分别得到边缘特征和颜色特征，在SVM系統上进行分类识别，实验结果显示平均识别率超过90%。虽然传统识别方法在识别率上也可达到90%的程度，但传统识别方法实验与测试的数据集数量与现实情况有较大出入，而作者的实验采取500张训练样本，310张测试样本，在较为大量的数据集中可达到高于90%的识别率，足以说明卷积神经网络在特征提取方面的鲁棒性和适应性优于传统的识别算法。

3.2基于内容的船舶图像标注与识别

熊勇等[10]基于内容的图像信息标注技术，创新性地引入了标签船舶算法（LPA，一种用于处理数据分类的机器学习方法），将图像、标签与机器学习算法结合起来，建立了GA-LPA算法用于船舶图像识别。通过标签数据的研究方式，对船舶进行识别与分类。虽然该算法可明显提高识别率，但实验样本需要相当大的数量。数据集越大，特征提取越准确，识别率越高。这不仅要求数据能采集到一定程度，还要求图像处理硬件设备能够负载相当大的运算量。

3.3基于多分类器融合的SAR船舶图像识别

除了机器学习等算法概念被引入船舶图像识别领域，一些更为先进的图像数据，如图4所示的合成孔径雷达系统（SAR）也引入到船舶图像识别领域。陈文婷等[11]通过对SAR拍摄的图像进行船舶图像识别，提取船舶高空俯视图的特征值，并将KNN分类器、贝叶斯分类器和神经网络分类器所得出的结果融合船舶特征作为支持向量机（SVM）的输入，得出更为精确的分类结果，实验结果表明该方法对于SAR图像的特征提取与识别效果较好。计算机从卫星视角识别船只类型，加大了船舶自动识别系统由技术向实用的转变。

4不同船舶识别方法对比

将以上多种船舶识别方法分别从环境适应性、实验样本数据量和结果准确度3个角度进行比较，不难看出船舶自动识别领域的研究方向在往大数据量和高精确度目标发展，见表1。在适应性方面表1只是进行了粗略的判断，对于当前热门的机器学习算法能否应用于红外船舶图像识别并且获得较好的实验结果还有待进一步深入研究。

5结语

船舶图像自动识别一直是研究热点。随着无人汽车的研发，无人船舶驾驶和无人艇概念也相继推出。船舶图像自动识别系统为船舶无人驾驶提供了有力的理论基础和技术保证。将船舶自动识别系统与船舶软硬件结合可研发出智能化的船舶产品，但船舶自动识别系统与人工智能相结合仍有很多路要走，需要投入更多的精力研究识别算法，使算法更加稳固，才能满足无人船舶驾驶要求。

参考文献：

[1]汪成亮，汪连伟.基于特征的江面轮船识别算法[J].计算机应用研究，2011，28（6）：2352-2357.

[2]金雪丹，施朝健.图像处理与神经网络识别技术在船舶分类中的应用[J].上海海事大学学报，2007（1）：11-16.

[3]魏娜.模板匹配和BP神经网络在船舶识别中的应用[J].舰船科学技术，2016，38（20）：133-135.

[4]曾科伟，刘作飞，蒋明贵，等.长江上游控制河段船舶识别及通行指挥技术探讨[J].水道港口，2014，35（5）：563-566.

[5]李祎承，胡钊政，初秀民.基于图像处理的内河船舶目标提取与特征值计算[J].交通信息与安全，2015，33（3）：1-8.

[6]睢丹，陈卫军.船舶视觉图像优化检测方法研究[J].舰船科学技术，2015，37（8）：157-160.

[7]刘俊.基于红外图像的内河运动船舶目标检测和跟踪技术研究[D].重庆：重庆大学，2008.

[8]邓柳，汪子杰.基于深度卷积神经网络的车型识别研究[J].计算机应用研究，2016，33（3）：930-932.

[9]赵亮，王晓峰，袁逸涛.基于深度卷积神经网络的船舶识别方法研究[J].舰船科学技术，2016，38（15）：119-123.

[10]熊勇，张俊丽，黄立文.基于GA-LPA算法的船舶图像识别方法研究[J].广西大学学报：自然科学版，2016，41（2）：554-561.

[11]陈文婷，刘南通，计科峰，等.基于多分类器融合的SAR图像船舶识别[J].遥感信息，2014，29（5）：90-95.