基于视频信息的港口滞留船舶检测研究

倪慧洋

(江苏航运职业技术学院，江苏南通 226010)

0 引言

港口是船舶密集区域，极易发生交通事故[1]。在港口安装视频采集设备，采集港口船舶的视频信息，对所采集的视频信息，通过图像处理等技术，检测港口滞留船舶，确定船舶滞留时间等信息。港口滞留船舶检测过程中，容易受到周围环境影响[2]，海天线环境提升了港口滞留船舶的检测难度。对采集的港口视频信息进行图像处理时，需要重视图像的背景干扰去除性能，快速定位滞留船舶目标。摄像头等设备采集港口视频信息时，容易出现噪声[3,4]，港口的海面波浪和海水漩涡等因素，均对船舶检测存在一定影响。

目前已有众多学者针对船舶监测进行研究。于楠晶等[5]将多头自注意力方法应用于船舶检测中，该方法可以准确检测复杂背景下的船舶。但是存在检测过程过于复杂，检测实时性较差的缺陷。周慧等[6]将Mask-FPN 模型应用于船舶监测中，该方法利用多任务损失函数，提升船舶检测精度。该方法在背景简单、灰度相差较小时，可以有效检测船舶目标，但是图像背景起伏较大时，船舶目标检测效果并不理想。针对以上方法在船舶监测中的缺陷，本文研究基于视频信息的港口滞留船舶检测方法，通过对港口视频信息进行形态学滤波等处理，提升视频信息中港口滞留船舶检测性能，具有较高的应用性。

1 港口滞留船舶检测

1.1 港口视频信息的多结构形态学滤波

数学形态学是由形态学代数运算组成的方法。利用形态学滤波算法，对港口视频信息简化处理，保持港口视频信息的基本形状特性，去除港口视频信息中，与滞留船舶目标不相关的结构，为船舶检测提供基础。形态学滤波选取非线性代数工具作为运算工具，依据图像信号的局部特征[7]，修正图像信号，滤除船舶港口视频信息灰度图像中的噪声。f(n)与g(m)分别为港口视频图像以及结构元素，港口视频图像与结构元素的膨胀运算表达式如下：

港口视频图像与结构元素的腐蚀运算如下：

对港口视频信息进行形态学开运算如下：

通过对港口视频图像开运算处理，磨光图像外边界，去除港口视频图像中细小轮廓的突出部分。对港口视频图像进行形态学开运算后，对原始图像以及处理后的图像作差处理，即对图像实施顶帽变换，图像顶帽变换的表达式如下：

结构体尺寸大小对图像形态学滤波影响较大，图像结构体的尺寸，影响高通滤波效果[8]。图像低频背景在结构体尺寸越小时，滤除效果越优秀，此时保留的滞留船舶尺寸较小。滞留船舶目标尺寸与图像结构图间存在如下近似关系：

式中， max(Ss)与 m ax(So)分别为形态学滤波的图像结构体最大尺寸值以及最小船舶目标在港口视频图像中的二维尺寸最大值。

利用形态学开运算估计港口视频图像的背景分量，将估计结果与原港口视频图像相减，获取不包含背景分量的滞留船舶图像，即港口视频图像的背景抑制过程。港口视频图像中包含多个船舶目标时，各船舶目标尺寸存在较大差异，采用单结构形态学滤波算法，过滤低频背景的同时，可能出现过滤小尺寸船舶目标情况。为了避免发生以上情况，充分考虑滞留船舶与港口视频图像背景信息中几何特征的差异，选取多结构元素对图像进行加权开运算。f(n)与w分别港口视频图像及权重，B1(m1,n1)与B2(m2,n2)分别表示不同大小结构体的开运算，可得多结构形态学滤波如下：

依据滤波处理后港口视频图像的信息熵与原始图像信息熵之比，调整w的值。形态学滤波中，结构元素的选择极为关键。选取十字形结构元素作为结构算子，十字形结构元素可以消除相比于结构元素较小尺寸的亮细节，令港口视频图像中大的亮度区域以及图像灰度值不受滤波影响。

1.2 港口视频信息的局部自适应阈值分割

选取局部自适应阈值分割方法，分割完成滤波处理后的港口视频图像。港口视频图像中，各像素值的二值化阈值伴随周围像素分布变化而变化，依据港口视频图像的船舶目标区域亮度，确定二值化阈值大小。利用局部邻域块均值方法，确定局部自适应阈值。计算像素点在港口视频图像中，大小为p×p区域的加权平均值，将所获取结果与邻域块的最小方差值相减，确定局部自适应阈值。fi,j为完成滤波处理的港口视频图像，mi j与vij分别为港口视频图像的像素均值以及方差，其计算公式如下：

式中：w与p分别为权值以及局部邻域块；t为局部自适应阈值。

依据式(7)和式(8)的计算结果，确定局部自适应阈值的表达式如下：

式中，vmin为 最小方差值。

利用以上过程，确定局部自适应阈值分割的阈值，将港口视频图像划分为背景图像与前景图像。

1.3 基于SSD算法的滞留船舶检测算法

选取SSD(single shot MultiBox detector)算法，检测港口视频信息中的滞留船舶。SSD 算法通过提取船舶特征以及目标分类检测船舶目标。基于SSD 算法检测滞留船舶的结构图如图1所示。

图1 港口滞留船舶检测结构图Fig.1 Structure diagram of detecting stranded shipsat port

可以看出，SSD算法主要包括图像输入、特征提取、生成默认框、目标匹配、预测网络以及损失网络，各部分介绍如下：

1)图像输入

输入通过港口视频图像分割获取的港口前景图像，输入图像船舶坐标位置信息以及类别编号，作为SSD算法的训练样本。

2)特征提取

利用卷积神经网络提取港口前景图像特征，输出从不同卷积层提取的特征图，选取卷积层作为图像的特征提取层。

3)生成默认框

依据所设定的参数，在SSD 算法的特征提取层中，生成默认框，框选船舶目标。

4)船舶目标匹配

依据生成的默认框，利用固定的匹配策略，匹配输入信息的真实框与默认框，将匹配结果传送至预测网络中。

5)预测网络

利用卷积层组成预测网络，利用卷积层依据匹配信息和所提取的特征图，输出船舶训练结果。

6)利用损失函数层，评估船舶检测性能

通过优化损失函数调整SSD算法反向传播的网络权重，选取Softmax 损失函数作为SSD算法的损失函数，提升SSD算法检测港口滞留船舶的精度。

重复以上过程，直至网络收敛，损失值稳定，完成网络训练。将港口视频信息测试样本输入网络中，输出港口滞留船舶检测结果。

2 实例分析

为了验证本文港口滞留船舶检测方法检测港口滞留船舶有效性，选取某港口作为测试对象。该港口管理部门采用港口视频监控系统采集港口视频信息。该监控系统采用长焦高清镜头配合200万像素可见光高清彩转黑摄像机与640×480大口径非制冷热成像摄像机，并辅以重载360°全方位云台，可实现方圆6 000 m范围内昼夜全天视频监控。复杂环境下，仍然可以有效采集港口的视频信息。

将所采集的港口视频信息，作为港口滞留船舶检测的图像基础。

采用本文方法对所采集的港口视频信息进行形态学滤波处理，滤波处理后的港口视频信息如图2所示。可以看出，本文方法通过多结构形态学滤波方法，对所采集的港口视频图像进行有效的滤波处理。滤波处理后的港口视频图像，干扰噪声被有效滤除，提升港口视频图像的清晰度。本文方法采用多结构形态学滤波方法，改善单结构形态学滤波出现的误过滤目标情况，滤波效果良好。

图2 港口视频信息滤波结果Fig.2 Port video information filtering results

采用本文方法对完成滤波处理的港口视频信息进行分割处理，港口视频图像分割结果如图3所示。可知，本文方法可以有效将滤波处理后的港口视频图像，实现图像前景与图像背景的分割。将港口视频图像分割结果，作为港口滞留船舶检测基础。

图3 港口视频图像分割结果Fig.3 Port video image segmentation results

采用本文方法检测港口滞留船舶，检测结果如图4所示。可知，采用本文方法可以有效检测港口滞留船舶，依据所采集的港口视频，对于距离监控摄像头较近的滞留船舶，以及阴天环境下的滞留船舶，本文方法仍然可以精准检测，具有良好的滞留船舶检测性能。

图4 港口滞留船舶检测结果Fig.4 Inspection results of stranded ships in port

为了进一步验证本文方法对港口滞留船舶的检测性能，统计该港口于2020年10月11日−11月17日，监控系统运行7 d 的视频图像中，滞留船舶检测情况，统计结果如表1所示。可知，本文方法可以依据港口视频信息，检测视频信息中的港口滞留船舶，确定港口滞留船舶类型与滞留时间。本文方法在阴天、黑夜等复杂环境下，仍然可以检测港口滞留船舶，具有较高的应用性能，适用于港口管理的实际应用中。

表1 港口滞留船舶检测结果Tab.1 Test results of stranded ships at port

3 结语

选取SSD 算法作为检测港口视频信息内的船舶目标算法，该算法具有实时性强以及检测准确度高的特点，有效提升船舶目标检测精准性。船舶港口背景复杂，海天背景下的港口滞留船舶检测的难度较高，通过对采集的港口视频信息进行形态学滤波处理，有效滤除港口视频信息中的背景噪声，以及港口视频信息中的孤立噪声点，实现滞留船舶的完整性检测，可以作为船舶港口管理的基础。