基于时空关联深度学习框架的船舶特征识别方法

2022-01-15胡梦琪

中国新技术新产品 2021年21期

胡梦琪

（广东南方海岸科技服务有限公司，广东广州 510000）

0 引言

在复杂的海洋气象环境下，各种船舶特征受天气原因、拍摄角度以及载货情况等因素的影响，传统视频提取技术与方法难以完成相关任务。在海域视频监控场景中，船舶图像、视频经常存在运动模糊和对焦不准等情况，从而导致错误分类的问题。由于拍摄角度、光照变化等因素的影响，在不同数据集内即使是同一种类的特征，也并不具有同一分布。这就使在一个数据集上训练的深度神经网络没办法直接在其他数据集上获得较高的准确率。

该方法采用深度学习的技术手段，在岸边水面比较复杂的环境下，通过神经网络对前端设备采集的视觉图像进行处理，具备精准识别目标、目标分类以及目标文字检测等多种检测和识别能力。

1 技术框架

基于迁移学习的思路，该文用分类网络结合对抗生成网络解决迁移学习的问题。通过分类网络与判别器进行对抗，通过训练使判别器不能区分原数据集与迁移数据集，借此学习迁移数据集提取优秀特征的能力；同时，通过原数据集标签训练检测网络，使特征提取网络提取特有特征的能力不被退化，准确识别船舶特征。该技术的船舶深度学习框架如图1所示。

图1 船舶深度学习框架

1.1 建立针对海域监控场景的船舶特征标注训练集

在针对船舶特征的数据集中，强标签需要对图像中船舶的各种特征进行标注，包括船舶类型、船名、装载情况和吃水线等。半监督使用的标签指部分数据样本有标注，同时存在部分数据样本是无标注的情况。为深度学习算法在不同环境、不同光照条件下的实际应用提供了可能。

1.2 研究基于船舶ROI的特征分类方法

采用图像特征分类的深度残差网络是卷积神经网络的先进架构，深度残差网络通过引入残差模块，能够自适应地调整学习能力，降低过拟合的风险。同时，残差模块使反向传播的信号更容易传播，因此使训练比以往更深、更强大的卷积神经网络成为可能[1]。

1.3 基于迁移学习的跨场景船舶特征的实时分类方法

由于拍摄角度、光照变化等因素的影响，在不同数据集内即使是同一种类的特征也并不具有同一分布，这就使在一个数据集上训练的深度神经网络不能直接在其他数据集上获得较高的准确率。因此，先把数据映射到特征空间，获得特征向量，然后在这个新的特征空间下加入约束，减少2个域特征之间的分布差异。结合分类网络与判别器设计半监督分类框架，通过对抗训练降低判别器对原数据集与迁移数据集的分辨力，从而获得迁移数据集提取优秀特征的能力；同时，通过原数据集标签训练检测网络，使特征提取网络提取特有特征的能力不被退化。半监督分类框架图如图2所示。

图2 结合分类网络与判别器的半监督分类框架图

1.4 研究基于半监督学习的船舶特征的实时分类方法

该方法结合了半监督与弱监督算法，主要通过多实例算法应用弱标签数据样本对网络进行训练，再用强标签数据样本对深度神经网络进行调优。这种做法可以通过少量强标签数据样本训练得到深度神经网络，具有一定的特征提取能力与分类能力。同时，结合聚类算法、弱标注数据以及无标注数据有效地对深度网络进行训练，进一步强化深度神经网络的表达能力，使其具有较高的准确率。

1.5 研究基于时空关联深度学习网络的船舶特征识别

将YOLO网络与递归神经网络或3D卷积神经网络结合起来，同时改进相关网络结构，加入更有利于训练的损失函数与监督策略，提高在小尺度多目标、严重遮挡目标等复杂场景下的检测精度，减少递归神经网络和3D卷积神经网络的计算复杂度。

卷积神经网络能很好地提取图像特征，但当处理序列信息时，需要带有记忆能力的神经网络，循环神经网络（RRecurrent Neutral Networks，RNN）能循环使用过去的序列信息，形成一种记忆效果。长短期记忆网络（Long Short Term Memory Networks，LSTM）是一种特殊结构的RNN，能选择性地记忆或遗忘过去的序列信息，解决RNN的“长依赖”问题。图3是3个重复连接的LSTM单元，每个LSTM单元包括遗忘门、输入门和输出门3个门控和1个cell细胞单元。细胞单元用来储存信息状态，门控单元用来控制细胞状态的更新。Ft作为t时刻的采集输入图片。

图3 结合YOLO和LSTM网络的时空关联检测框架

遗忘门接受前一个时间序列的隐藏层信息ht-1和当前序列的输入信息Xt，通过Sigmoid函数输出1个值在0～1的向量ft，从而选择性地记忆前一个序列的细胞状态信息Ct-1（0表示全部遗忘，1表示全部记忆），遗忘门如公式（1）所示。

式中：σ为Sigmoid 函数；Wf为遗忘门的权重矩阵；bf为遗忘门的偏置项。

输入门也接受隐藏层信息ht-1和当前序列输入信息Xt，通过sigmoid函数输出1个值在0～1的向量it，选择性记忆当前序列的信息，并和Ct-1共同更新当前细胞状态Ct，如公式（2）～公式（4）所示。

式中：Ct为输出向量。

输出门接受隐藏层信息ht-1和当前序列输入信息Xt，通过Sigmoid函数输出1个值在0～1的向量Ot，选择性地输出当前细胞状态信息。输出门如公式（2）、公式（3）所示。

式中：WO为权重矩阵；b0为偏置项；ht为输出向量；tanh（·）为双曲正切函数。

2 算法设计

基于时空关联的船舶特征识别技术，针对这一特定场景，该技术从时间和空间2个维度有效地提取船舶的特征。

2.1 基于边缘感知级联网络的单图反射去除算法

强光的反射也会造成难以识别船舶的图片。因此，系统提出了一种去反射的方法来消除强烈光照所带来的影响。将带反射的图像分解为背景图像和反射图像，结合用户交互标注和边缘信息，通过引入一个级联的可以进行图像修补的增强网络，构建了一个能够快速处理图像的用户引导的单图反射去除网络，输入带有不期望反射的图像，经过用户交互程序、背景-反射分解和背景细节修补后，输出不带反射的背景图片，实现了最优的反射去除效果。

2.2 融合注意力多尺度空洞卷积特征的显著性目标检测算法

基于空洞卷积（Dilated Convolution）能够在增大特征感受的同时不损失特征的空间分辨率的特性，系统提出了一种融合注意力多尺度空洞卷积特征的显著性目标检测算法（AADF-Net），该算法能够从背景复杂的照片中提取目标船舶的有效特征，如图4所示。

图4 融合注意力多尺度空洞卷积特征的显著性目标检测算法网络框架

普通卷积产生的特征层Dm是经过空洞卷积以及非局部化产出的特征层，分别将特征层经过多分支并行空洞卷积结构及非局部化结构，得到新的特征层AG和AL。新的特征层经过过滤，与原始特征图DK进行合并与卷积，获得目标特征DK，实现目标检测。

2.3 基于双金字塔网络的显著性目标检测算法

此外，系统还设计了另外一种基于双金字塔网络的显著性目标检测算法[2]。通过在空间和通道维度将自注意力机制融入局部区域的上下文中，集成不同空间局部区域上下文和通道局部区域上下文，能够在增强全局上下文信息的同时，不损失特征的空间分辨率，从而增强显著性物体检测的效果[3]。

2.4 基于样本重要性进行重采样的无监督域适应方法

在不同场景下对大量标注船舶数据的依赖制约了深度学习模型的应用，因此将无监督领域自适应海量已标注源域数据集学习到的知识迁移到未标注的目标域是十分重要的。因此，该文提出了一种基于异常样本筛选的无监督领域自适应图像分类方法，根据每个样本的重要程度来衡量样本对领域自适应对齐的贡献。使用网络的特征范数和预测熵来对主流样本和异常样本进行建模，通过特征的重要度引导特征空间和预测空间中样本训练梯度的调控。通过这种方式减轻异常噪声样本对域的数据统计分布估计的影响，同时在领域对齐期间增强了相应的重要样本，从而显著地增强了无监督图像分类的效果。

2.5 基于定位优化的域适应目标检测算法

该文提出了一种基于定位优化的无监督域适应目标检测框架，框架中采用了基于残差二分支结构的域适应特征提取网络，以增强网络的域适应能力。此外，框架也采用了伪标签训练策略来解决无监督域适应检测方法在物体定位上表现能力不足的问题，提高了检测精度、网络域适应能力以及域适应检测网络定位的准确性。

2.6 基于上下文感知和尺度不敏感的时序重复动作计数算法

基于上下文感知和尺度不敏感的时序重复动作计数算法（如图5所示），实现了从粗糙到细致的重复模式循环长度修正，该算法减少了由于重复模式循环长度多变而带来的计数误差，在时域重复模式计数任务上的表现更优且鲁棒性更强。该算法将视频的上下文信息和循环长度改善信息作为样本引入上下文网络感知回归网络中学习，强化其判别能力，通过图像帧差均值评估目标状态并自适应调节模型更新的学习率。