基于改进EfficientDet算法的可见光遥感舰船目标检测

刘 浪，刘国栋，刘 佳

（重庆交通大学 土木工程学院，重庆 400074）

0 引 言

随着我国经济稳步快速发展，综合国力日益增强，海运贸易量日益增长，同时也给海运交通带来了诸多问题，例如船只误撞率上升、遇险船只搜救耗时长、海上船只管理困难等。因此，急需对海运船只进行准确定位与监测。可见光遥感图像覆盖面积比较广，而船只作为小目标物体，且不同用途的船只种类之间也存在较大的差异，船只场景也是多样性，所以，研究高效、快速而准确的可见光遥感船只目标检测算法对当代的社会发展具有重要意义。随着深度学习技术盛行，基于深度卷积神经网络的目标检测算法被提出[1-2]，其方法可被归为：

1）基于先验区域的两阶段（Two Stage）目标检测算法，包 括Faster R-CNN[3]、Mask R-CNN[4]、Cascade RCNN[5]和Sparse R-CNN[6]等相关算法；

2）基于回归的一阶段（One Stage）目标检测算法，包括SSD[7]、YOLO[8-11]、EfficientDet[12]等。

Two Stage较One Stage具有较高的准确性，但推理速度较慢。基于深度学习的目标检测算法被广泛应用于实际船只检测中。文献[13]将CNN与奇异值分解进行结合对船舶进行检测。文献[14]提出一种新的舰船目标检测结构，即深度森林集成结构来识别舰船目标。文献[15]对Faster R-CNN进行改进，针对多尺度舰船目标的精确定位与检测，构建了一个选择性过滤层。以上文献方法在船舶检测任务上取得了显著的改进，大大提高检测系统的精度。不过没有很好地解决图像中的复杂背景对检测造成的漏检、错检等问题。针对此问题，本文提出一种借鉴细粒度思想改进EfficientDet卷积神经网络的可见光船只检测算法E-EfficientDet。

1 E-EfficientDet算法

EfficientDet是基于Anchor的One Stage目标检测算法：

1）将图像输入到主干特征提取网络（BackBone Net）进行特征提取；

2）将获取到的高语义特征信息输入到特征金字塔网络BiFPN，融合不同层之间的特征信息；

3）对融合后的特征信息进行分类与回归，定位出目标框及其类别。

为了进一步提高模型检测性能，本文对其针对性改进，改进后的网络框架如图1所示。为了设计出更符合船只目标检测中使用的基准锚框Anchors，利用Kmeans++聚类算法对数据集中船只目标的长宽信息进行聚类分析，以便得到最佳的Anchors。为了针对性对船只目标的特征信息进行提取，主干网络采用改进的EfficientNet-B0、EfficientV2网络并行作为E-EfficientDet算法的骨干网络，分别对输入图像进行下采样特征提取，获取5种不同尺度的特征图。针对可见光遥感船只多尺度以及小目标难以检测的问题，使用改进的BiFPN对5种不同尺度的特征图进行增强特征融合，反复地对深、浅层的特征信息进行循环提取，充分融合不同层之间的语义特征信息。为了解决骨干网络对输入图片进行特征提取下采样的过程中导致的信息丢失问题，增大图像的感受野，引入SPP-Net结构，分别使用大小为13×13，9×9，5×5和1×1的池化核进行最大池化处理，分离出更加显著的上下文特征；然后将特征信息传入到分类网络与回归网络，实现对船只目标的检测。

1.1 Anchor优化

为了更快、更精确地定位出目标框的位置，本文针对船只目标存在的多尺度问题，利用K-Means++聚类算法对船只数据集的长宽信息进行聚类分析，设计出更适合船只目标的Anchors的长宽比例（0.6，1.0，1.8，2.4），其算法步骤为：

1）初始化一个聚类中心；

2）度量样本与最近聚类中心的距离，下一个聚类中心的选定与其值大小成正相关，使用轮盘法选取下一个聚类中心；

3）重复步骤2），选出k个聚类中心；

4）初始点选定后，每个样本划分到最近聚类中心；

5）计算每一簇的均值，作为新的聚类中心，重复步骤4），直至满足条件为止。

1.2 主干网络优化

针对遥感图像中的复杂背景，尤其相似物对船只目标检测的干扰，本文选取近年来表现优异的EfficientNet-B0网络及EfficientNetV2网络并行作为主干特征提取网络来获取遥感图像中船只目标的特征信息。

1.2.1 EfficientNet-B0网络

EfficientNet是一个可以平衡缩放网络输入图像分辨率、网络宽度和网络深度的模型。本文以EfficientNet-B0为主干特征提取网络的一个分支，其核心组成部分主要为多个MBConv（Mobile inverted Bottlenneck Conv）移动翻转瓶颈卷积模块。图2为MBConv模块结构图。

1.2.2 EfficientNetV2网络

本文主干网络的另一个分支是EfficientNetV2网络，它是EfficientNet网络的变种，与EfficientNet-B0网络结构相似，只是将其部分MBConv模块替换成Fused-MBConv模块。图3为Fused-MBConv模块结构。

Fused-MBConv模块与MBConv模块的主要区别在于前者将升维卷积和Depthwise Conv替换成一个普通的Conv3×3，同时在模型结构中更多地使用卷积核大小为3×3的卷积。EfficinetNetV2网络参数量更小，网络运行的速度更快。

1.2.3 ECA模块

为了在表现优异的主干网络上进一步优化其特征提取能力，基于视觉中的注意力思想，在主干网络中构建注意力模块，让模型更专注于学习图像中有效区域的信息，从而提高模型的鲁棒性。本文将MBConv、Fused-MBConv模块中的SENet模块替换成表现优异的ECANet模块，其结构如图4所示，ECANet模块相较于SENet其优势主要表现在如下两方面：

1）更少的参数量减轻了目标检测网络的负担，加快了运行速度；

2）为了提高特征图通道之间的依赖性，ECANet未采用SENet模块中的降维处理，而是让模型在通道维度上关注更有用的通道特征信息，抑制相对不重要的通道特征信息。

1.3 BiFPN网络优化

对于骨干网络获取到不同层之间的特征图，各有其特点：分辨率较高、语义特征较低的信息集中在浅层特征图，适合小目标检测；低分辨率、高语义信息集中在高特征图，适合大目标检测。针对可见光遥感影像中船只目标存在多尺度以及小目标难以检测的问题，对双向特征金字塔网络（Bi-directional Feature Pyramid Network，BiFPN）进行改进，引入3个特征融合分支，如图5中粗箭头所示，达到浅层特征图与深层特征图特征的充分融合。

1.4 SPP-Net

为了解决并用EfficientNet-B0、EfficientNetV2作为骨干网络对输入图片进行下采样时，导致信息丢失的问题，在二者信息融合的特征层引入SPP-Net结构，分别进行4种（13×13、9×9、5×5、1×1）最大池化操作，以得到显著的上下文特征，提高多尺度预测的准确性。SPPNet结构如图6所示。

2 数据集增强及评价指标

2.1 数据集增强

本文的可见光遥感影像数据来源于HRSC 2016年的船只检测数据集，共包含1 070张图像及对应的XML文件，为了满足模型的训练，对数据集进行增强。本文使用Imgaug库对原始图像进行旋转、缩放、添加噪声等数据增强操作，同时对图像对应的XML文件进行相应的改变。数据增强见图7。增强后的数据集共包含6 272张图像，将数据按照8∶2比例分配，5 017张图像作为训练集，1 255张图像作为测试数据集。

2.2 评价指标

本文通过平均精度均值（mean Average Precision，mAP），即各个类别AP（Average Precision）的平均来评价算法的性能，在计算mAP之前首先需要计算查准率P（Precision）和召回率R（Recall）。其算法公式如下所示：

式中：TP为与真实标注框的IoU大于所设阈值的检测框；FP为与真实标注框的IoU小于所设阈值的检测框；FN为没有被检测出的实标注框。

平均精度AP指某一类别目标PR曲线下的面积，AP值越高，表明检测器对该类的检测性能越好。

3 实验方法与结果分析

3.1 实验平台

本文实验硬件平台和参数如下：Ubuntu系统，32 GB内存，RTX2080Ti显卡，使用深度学习框架为Pytorch 1.6，代码运行环境为Python 3.6，迭代步数为15，学习率（Learning Rate）为0.005，动量（Momentum）为0.9，学习率衰减系数为0.000 5。

3.2 实验结果分析

3.2.1 实验1

为了验证本文算法的有效性，选取EfficientDet-D0作为基础网络进行消融实验，其实验结果如表1所示。

表1 各模块之间的消融实验结果

从表1分析可知，本文提出的算法在漏检测率（AR）上比基础网络提高了5.84%，检测精度（AP）提高了8.72%，同时比各模块单独作用于基础网络上的效果都要好，虽然本文算法在检测时间上表现出0.06 s，但AP值可高达90.81%，表明了本文算法的有效性。

3.2.2 实验2

为了进一步验证本文算法的有效性，选取最具代表性的Faster R-CNN、SSD、YOLOv3-SPP算法进行对比实验，所有模型均采用预训练模型的迁移学习进行训练，实验结果如表2所示。

表2 不同算法之间的对比实验

从表2分析可知，本文算法检测时间虽然比Faster R-CNN的检测时间仅快0.01 s，但检测精度上却高出10.57%；与SSD、YOLOv3相比，本文在检测时间上是二者的2倍和3倍，但在漏检率和检测精度上比二者分别高出6.91%，3.79%，8.62%，5.24%，从而进一步验证了本文算法的有效性。为了验证本文算法的检测性能，选取3组示例图进行对比：示例1为复杂背景图；示例2为多尺度图；示例3为密集排列图，其检测结果如图8所示。

图8中左侧为优化前的方法的检测结果，右侧为本文方法的检测结果。从3组检测结果分析得出，本文算法无论是在复杂背景、多尺度以及密集排列场景下的舰船目标检测，其检测效果都比优化前算法有较高的提升，从而验证了本文算法在实际应用中的有效性。

4 结 语

本文针对可见光遥感船只影像错检、漏检问题，提出一种基于细粒度思想的卷积神经网络遥感船只检测算法E-EfficientDet。K-means++聚类设计出的Anchor对船只目标更具有针对性，提高了模型的定位精度、检测速度；双主干特征提取网络降低了相似物对船只目标的检测干扰；改进的BiFPN网络进一步增强特征融合，提高了多尺度及小目标预测；SPP网络模块增大了图像感受野，很好地解决主干特征提取网络存在的信息丢失问题。实验结果表明，本文提出的E-EfficientDet算法对可见光遥感船只进行检测，AP达到90.81%，推理时间为每张0.06 s，满足可见光遥感船只高效、准确检测的需求。