复杂场景下自适应特征融合的多尺度船舶检测

罗芳，刘阳，何道森

复杂场景下自适应特征融合的多尺度船舶检测

罗芳1*，刘阳1，何道森2

（1.武汉理工大学 计算机与人工智能学院，武汉 430070； 2.香港恒生大学 供应链及资讯管理学系，香港 999077）（ ∗ 通信作者电子邮箱luof@whut.edu.cn）

受台风、大雾、雨雪等复杂天气以及遮挡、尺度变化等影响，现有船舶检测方法存在误检和漏检问题。针对上述复杂场景问题，在YOLOX-S模型的基础上，提出一种自适应特征融合的多尺度船舶检测方法。首先，在主干特征提取网络中引入特征增强模块，抑制复杂背景噪声对船舶特征提取的干扰；其次，考虑深浅层次特征融合比例问题，设计自适应特征融合模块，充分利用深浅层次特征，提高模型的多尺度船舶检测能力；最后，在检测头网络，将检测头解耦，并引入自适应的多任务损失函数，平衡分类任务和回归任务，提高船舶检测的鲁棒性。实验结果显示，所提方法在公开船舶检测数据集SeaShips和McShips上的检测平均精度均值（mAP）分别达到了97.43%和96.10%，检测速度达到每秒189帧，满足实时检测的要求，验证了所提方法在复杂场景下仍能对多尺度船舶目标实现高精度检测。

多尺度船舶检测；YOLOX；自适应特征融合；特征增强；多任务损失函数

0 引言

随着深度学习技术的发展，智慧水上交通运用智能化技术管理船舶，将计算机视觉技术应用于监控船舶行驶，可以有效降低航运监管成本，提高重点敏感区域的智能监管能力。目前，基于深度学习的目标检测方法在智慧港口的建设中获得了突破性的进展，但由于船舶尺度差异大，成像中小尺寸船舶携带的信息较少，导致现有的目标检测算法对船舶的检测存在误检和漏检的情况。此外，不同光照条件、天气、遮挡等复杂场景也影响了船舶的可视化特征，对船舶目标检测造成干扰，这些因素都对目标检测算法的实用性和鲁棒性提出了更高的要求。

近年来，已有学者对于解决复杂场景下的多尺度船舶检测问题展开研究。例如，为了增强模型对船舶的特征提取能力，王培玉等［1］引入Canny算子对水岸边界线建模，抑制水岸边界线对船舶目标的影响，获得了较好的船舶检测结果；Ren等［2］对颜色特征进行分解，实现了更准确的船舶检测；黄致君等［3］使用ResNet50提取船舶特征，提高了主干网络的特征提取能力和船舶检测精度；李佳东等［4］在YOLOv5主干网络中引入通道注意力机制加强船舶特征感知，优化了网络对船舶特征的提取能力。在特征融合上，姚婷婷等［5］利用双阶段特征自适应融合策略提高网络对不同尺度大小船舶的感知力，实现了多尺度船舶高精度检测；王文亮等［6］基于YOLOv5结合多路径聚合网络提高特征融合能力，并结合SimAM（Simple， parameter-free Attention Module for convolutional neural networks）和Transformer增强高阶语义信息，提高了模型对海域不同尺寸船舶的检测能力；Huang等［7］在特征金字塔中添加了一系列层与层之间的跳跃连接，以改善模型的多尺度特征表达能力，同时引入注意力机制增强特征通道间的信息交互，提高了网络对船舶的特征描述力。除此之外，李辉［8］将Faster R-CNN（Faster Regions with CNN）与暗通道去雾算法结合以提高检测模型在大雨、浓雾等复杂天气情况下的抗干扰能力；聂鑫等［9］为解决海域环境复杂而造成模型检测精度不高的问题，采用大气散射模型模拟雾天和低光照环境，并且使用完全交并比 （Complete Intersection over Union， CIoU）修改损失函数，以解决模型应用于复杂环境的问题。上述方法通过特征增强、加强特征融合以及提高模型的泛化能力的方式提升了船舶目标检测的性能，表明基于深度学习的目标检测方法比传统目标检测的方法更具优势。

然而，在实际的应用场景中，在大雾、雨雪、光照条件弱，以及遮挡、船舶多尺度等复杂场景下进行实时船舶目标检测时，仍存在漏检和误检的问题。首先，在船舶的特征提取阶段，利用深层次特征提取网络虽然能增强船舶的特征感知，但是会影响模型的推理速度，增加网络的复杂度；而使用注意力机制既能保证模型的速度，又能在一定程度上消除背景噪声干扰，提高主干特征提取网络对船舶特征的感知能力，因此模型逐渐使用注意力机制实现船舶的特征增强。但是将注意力机制模块直接应用于主干特征提取网络会弱化特征图响应输出，影响船舶的特征融合。其次，在特征融合阶段，先前研究大都通过增加特征层之间的连接来增强不同层次的特征融合，提高模型对多尺度船舶的检测精度，却没有权衡深浅层特征之间融合的比例。大量增加特征层之间的连接，一方面会增加模型训练的负担，另一方面会造成特征层中特征融合冗余，影响模型的检测效果。再者，通过修改模型损失函数虽然可提高模型对船舶的分类和定位能力，但传统检测头中分类任务和回归任务的耦合会造成任务不平衡问题，影响模型的泛化能力。

为提升模型在台风、大雾、雨雪、遮挡等复杂场景下对多尺度船舶目标的定位精度和检测准确率，本文选择兼具速度和精度的YOLOX-S模型［10］作为基础，提出自适应特征融合的多尺度船舶检测方法，通过将深层特征自适应线性变换之后再与浅层特征进行融合，有利于补充浅层特征缺乏的高级语义信息，提高多尺度船舶的检测精度。

本文的主要工作如下：1）为充分提取船舶特征信息，在特征提取主干网络中加入特征增强模块，通过设计携带残差的注意力机制模块，在提高模型感知船舶特征能力的同时，能有效防止梯度消失，生成高响应特征图；2）在特征融合网络中，充分融合深浅层特征，利用自适应特征融合模块，平衡特征图中深层特征和浅层特征的比例，融合丰富的高级语义信息，弥补小目标缺失的高级语义特征；3）为了准确实现船舶分类和边界框回归，将检测头解耦，消除分类任务与回归任务之间的干扰，并在损失函数中加入贝叶斯模型，引入多任务损失函数，有效解决定位误差大和漏检的问题，提高模型泛化能力。实验结果表明，本文提出的船舶目标检测方法在不良天气条件和不同通航情况下满足实时性的同时，均取得了较好的检测精度。

1 自适应特征融合的多尺度船舶检测

本文提出的自适应特征融合的多尺度船舶检测方法构建的网络结构如图1所示。

图1　自适应特征融合的多尺度船舶检测网络结构

为增加船舶训练数据的多样性，在提取船舶特征之前，先将输入图像尺寸调整为640×640，输入数据增强模块，使用Mixup［11］和Mosaic方法［10］弥补训练中船舶数据的缺失，对输入图像随机进行裁剪拼接，丰富训练数据。

科研经费支撑着整个高校科研项目的正常运行，科研经费投入多少也决定了科研项目开展规模的大小和持续的时间，科研活动贯穿于科研项目的审批立项、实施执行，最后到结题验收的整个过程，各个高校必须加强对科研经费的管理工作。但在实际工作中，高校科研经费管理制度并不完善，还存在很多的问题。这些问题在一定程度上影响了高校科研经费的高效使用，给高校科研经费发挥最大作用带来一些阻碍和难题，接下来就对高校科研经费的问题进行阐述。

在特征增强提取网络中，使用Focus［10］模块扩展通道数，使用Resblock_body［10］防止网络加深导致的梯度消失问题。同时，提出特征增强模块抑制背景信息对船舶检测的干扰，提升网络对船舶特征的感知能力。在特征增强提取网络提取的深浅层次特征基础上，引用特征金字塔网络（Feature Pyramid Network， FPN）［12］结构，充分考虑深浅层次特征的优点，调整深层特征和浅层特征的融合比例。其中，在与浅层特征融合前，对上采样后的深层特征作自适应线性变换，生成多尺度特征图，平衡特征图中深层高级语义信息和浅层空间位置信息，提高模型对多尺度特征的学习能力。

1.1　船舶特征增强

在船舶通航环境中，船舶成像受尾浪、大雾、船舶之间的遮挡等噪声影响，严重干扰船舶的定位和分类。鉴于注意力机制可增强图像的有效信息、抑制背景等无关信息，强化船舶特征，本文设计了基于注意力机制的特征增强模块，在坐标注意力（Coordinate Attention， CA）机制［13］模块基础上加入残差网络，既增强了主干网络的特征提取能力，也保证了网络的易训练性。CA模块旨在增强网络的特征表达能力，同时获取通道间和方向相关的信息，有助于模型定位和识别目标。但是，在特征提取主干网络中直接使用CA模块会导致特征图的输出响应弱。因此，本文使用携带残差的CA模块，可以有效抑制噪声并保持特征图的高响应输出，如图2所示。

图10和表7给出了CDF曲线和总线86291-14006中的线路流量的结果。根据PPF结果，所提出的调度策略在限制过载概率方面表现更好。经济调度降低了运营成本，但不能用于控制线路过载问题。

2.3.2基于McShips数据集验证

图2　改进的基于CA的特征增强模块

课后，与科学教师交流，她不是纯粹的台湾籍教师，是本地人但在这所学校工作多年，或多或少地有点我国大陆教师的味道。

本文重点讲述的电力负荷的预测方法，就是将城市空间负荷分成多个单元区块，并对各个单元区块中负荷的类型和性质进行定义，然后，在这个基础之上进行电力负荷的预测。这种预测方法可以实现对城市中任意的区块在任意的预测年份进行电力负荷的预测，在配电网规划中适应性较强。与传统的电力负荷预测方法相比，空间负荷预测方法得到的结果更加精确，但同时还应看到的是，它对于各个单元区块中的信息需求程度也更大。

本文将特征增强模块嵌入YOLOX-S模型原始主干特征提取网络中，改进后的主干网络如表1所示。通过将特征增强模块插入主干特征提取网络，提高模型对船舶的感知能力，抑制背景噪声干扰，获取更多语义信息，提高网络检测效果。

1.2　自适应特征融合

为了验证本文方法的有效性，与Faster-RCNN［17］、SSD（Single Shot multibox Detector）［18］、YOLOv3［19］、YOLOv7［20］、YOLOX［10］五种经典目标检测方法在SeaShips和McShips数据集上进行实验对比。Faster-RCNN为经典的区域建议双阶段检测方法，通过区域建议网络生成候选框，再进行船舶分类和边界框回归。SSD、YOLOv3、YOLOv7、YOLOX为经典单阶段检测算法，SSD通过在多尺度特征层上进行目标检测，有效提高小尺寸目标的检测精度；YOLOv3和YOLOv7通过引入锚框机制，进一步提高目标回归率；YOLOX使用无锚框机制，提高模型运算速度的同时保持检测精度。

YOLOX-S采用FPN结构，利用不同层次尺度特征进行并行预测。FPN利用了深浅层次特征的优点，将低分辨率、语义强的深层特征上采样后与高分辨率、语义弱但空间信息丰富的浅层特征融合，使用高分辨率的浅层特征检测小尺度目标，低分辨率的深层特征检测大尺寸目标。然而，该结构未考虑生成的特征图中高级语义信息和空间位置信息的比例问题，仅拼接（Concat）上采样后的深层特征无法为浅层特征提供充足的语义信息。

表1　改进的主干特征提取网络结构

因此，本文对特征融合网络进行改进，如图3所示，基于YOLOX-S模型添加两个自适应线性变换模块。通过在深层特征与浅层特征层中插入自适应线性变换模块，将深层特征上采样后进行线性变换，自适应调整权重再与浅层特征层拼接，可以有效平衡生成特征图中高级语义特征和空间位置信息比例，提高模型检测小尺寸船舶的感知能力。

自适应特征融合的流程如下：首先，最深层特征增强模块输出的特征图1（20，20，512）经过一次卷积缩减通道得到特征图8，特征图8再2倍上采样后，经过一次特征的自适应变换，和上一个特征增强模块输出的特征图2（40，40，256）进行拼接，经过CSPLayer生成特征图4；随后通过一次卷积缩减通道，再2倍上采样后得到特征图5；特征图5通过自适应线性变换后，再与第一个特征增强模块输出的特征图3（80，80，128）拼接后，通过CSPLayer生成特征图6； 特征图6下采样后与特征图5进行拼接，通过CSPLayer生成特征图7；特征图7经过相同的操作与特征图8进行拼接，通过CSPLayer生成特征图9；最后将特征图6、7、9输入检测头中得到3个不同尺度的特征预测图。

应用SPSS18.0统计学系统进行分析,数据以(±s)表示,差异性比较用t检验,计数资料采用X2检验,P<0.05代表差异具统计学意义。

图3中两个自适应线性变换模块是分别与特征图2和特征图3尺度相同的两个矩阵，通过在梯度回传中调整两个矩阵的参数自适应寻找深层语义特征和浅层空间特征融合的最佳权重，在深层特征上采样后与浅层特征融合前进行线性变换，如式（7）所示：

自适应特征融合网络输出三