基于时频分析和迁移学习的舰船尾流检测方法

刘 罡,李永胜,刘礼文,王晨宇

(中国船舶集团有限公司 第705 研究所,陕西 西安,710077)

0 引言

尾流是舰船航行时由螺旋桨空化、舰船壳体与水的摩擦、卷入水中的空气搅拌破碎等因素共同作用下,在船体后方区域内形成的一条含有气泡的湍流[1]。尾流自导技术是指水下航行器利用尾流区域内发生了较明显变化的水声、温度、电磁与光学等物理场性质进行制导,以实现检测和跟踪目标的目的。相比于其他目标特性,尾流场的物理尺寸大、持续时间长、不易复制或消除,且与舰船航行轨迹高度重合,尤其针对声尾流自导技术的理论研究和工程实践应用最广泛,使声尾流自导方式具备了高命中率等优势,例如美国MK45-F和俄罗斯56 型鱼雷使用的顶视尾流声自导以及侧视尾流声自导[2]。然而,现有尾流检测方法都是通过检测尾流区域内气泡对声脉冲多次反射产生的回波脉冲展宽特性实现的,主要基于人工提取的时域特征,过分依赖经验,人为主观因素影响过大,环境适应性较差,不符合未来设备智能化发展的趋势,而深度学习方法则可以解决这一问题。

深度学习[3-4]通过模拟生物大脑神经网络,具备数据驱动、自主学习、提取目标特征的特点,避免了人工特征的缺陷。近年来,利用深度学习理论进行水下目标检测与识别方面的研究不断深入。王强等[5]结合深度置信网络(deep brief net,DBN)和有限长单位冲激响应 (finite impulse response,FIR)滤波器证明了深度学习模型在水下目标特征提取方面的可行性。宋达[6]采用时频分析图像和深度学习模型实现了对水下蛙人目标的正确识别。吕海涛等[7]利用卷积神经网络(convolutional neural network,CNN)对舰船辐射噪声进行分类,分类结果优于传统识别方案。

但是,在水下目标识别领域中,尤其是针对舰船检测和识别问题,无法获取深度学习所需要的海量训练数据,导致深度学习模型训练效果不佳。作为深度学习的一个分支,迁移学习可以将神经网络从源领域学习到的知识迁移至目标领域,有效解决训练样本不足的问题,在降低人力、物力消耗的同时保证了较好的训练效果。近年来迁移学习技术[8-9]在水下目标检测和识别领域发展迅速。朱兆彤等[10]利用预训练好的AlexNet 模型实现了对仿真声呐图像的精确识别。邓晋等[11]则利用迁移VGG 模型和梅尔频谱图完成了对舰船噪声信号的有效分类。付同强等[12]通过结合迁移学习和优化二维变分模态分解方法,完成了对ShipsEar数据集中5 类水中目标的分类测试,表现出良好的特征提取能力和噪声抑制能力。将迁移学习策略应用于水下目标检测、识别领域的模型中,可以在样本数量不足的情况下迅速使深度学习模型获得目标领域的检测和识别能力。然而,目前在水下方面应用研究较多的迁移模型主要是卷积神经网络,对声尾流回波信号并不适用。因此,如何在尾流信号上迁移预训练的CNN 模型仍需要进行深入研究。

基于以上研究进展及问题,文中提出了一种基于时频分析和迁移学习的舰船尾流检测方法。该方法通过对舰船尾流回波进行短时傅里叶变换,得到尾流时频图作为迁移模型训练样本,进而完成对CNN 模型的迁移;通过对比迁移学习和传统检测算法之间、不同迁移学习策略之间以及4 种迁移模型之间的识别性能和时间成本差异,验证了所提方法的有效性。

1 舰船尾流特性

1.1 尾流回波声学模型

尾流回波信号是一种由尾流内部气泡对声脉冲散射结果相互叠加产生的混响,因此,可将尾流回波类比于海水混响处理。根据声波在气泡层中散射的能量学理论可知,自导系统接收到的尾流回波声压可表示为[13]式中:p0为距离发射基阵1 m 处的声压;r为气泡散射点和接收基阵之间的距离;β为衰减系数;mkc为尾流散射系数;H为舰船尾流厚度;c为水中声速;τ为发射声脉冲宽度;b(θ,φ)和b′(θ,φ)分别为发射和接收基阵按照压力的指向性系数。

由式(1)可知,舰船尾流的声学特性主要由尾流散射系数mkc决定

式中:R为气泡半径;n(R)为气泡分布函数;fr为气泡谐振频率;f0为发射声脉冲频率;δ为气泡谐振的阻尼系数,δ ≈KR=2πf0R/c。

因为尾流回波信号是由尾流区内部的大量气泡散射产生的,所以mkc取决于气泡群的声学特性,如大小、数量和谐振频率等。

舰船尾流与正常海水的声学特性区别主要由气泡的半径和密度体现,即

式中,u(R)为单位体积内半径相等的气泡体积之和。

气泡谐振频率计算过程则可以简化为

又知r=ct/2,则尾流回波信号的声压公式为

若从0 时刻开始发射探测信号,水下航行器航行深度为HT,则航行器接收到尾流信号的开始时间为

则由式(5)和(6)可知,航行器接收到的舰船尾流回波为

其中

1.2 时频特性

通过对上述舰船尾流回波声学模型进行仿真,进而完成尾流信号的时频域特性分析。

如图1 所示,假设舰船航速为10 kn,尾流年龄约3 min,尾流层厚度H为6 m,宽度W为36 m,内部气泡半径范围为8 ∼200 μm,水中声速1 530 m/s,衰减系数为0.1 dB/m,水面风速为3 m/s。假定航行器在舰船尾流正下方,航行深度为10 m,以等时间间隔垂直向上发射固定频率的单频信号。

图1 尾流探测示意图Fig.1 Diagram of wake detection

若声线按照直线传播,根据上述条件得到的尾流仿真数据与实测数据的对比结果如图2 所示。根据图中结果可以看出,虽然由于实际水文与尾流厚度等条件变化导致仿真数据与实测数据在尾流持续时间、噪声强度等方面具备一定的差异性,但是二者的慢变包络比较相似,在体积混响之后都紧跟着尾流反射信号,具备很明显的时域展宽现象。

图2 实测与仿真数据对比Fig.2 Comparison between measured data and simulation data

水下航行器工作在尾流区及非尾流区的回波信号仿真结果如图3 所示。从仿真结果可知,当水下航行器工作在非尾流区域内时,回波信号中仅包含了海水体积混响和海面混响;当水下航行器工作在舰船尾流区域时,探测脉冲较难透过尾流层,因此回波信号主要由体积混响和尾流的反射信号组成。从图3 中可以看出,尾流回波在时域上具有明显的展宽,与非尾流信号有着明显的差异。然而在实际应用中,尾流回波的时域特征易受到环境的影响,适应性不足。

图3 尾流回波与非尾流回波对比Fig.3 Comparison between wake echo and non-wake echo

尾流信号的时间展宽是无法确定的,且容易受到强混响的干扰。因此,可以利用短时傅里叶变换(short-time Fourier transform,STFT)对尾流信号进行时频分析,观察尾流回波在时频域分布特性,获取更加稳定的特征,结果如图4 和图5 所示。

图4 无尾流回波时频图Fig.4 Time-frequency map of non-wake echo

与图4 结果相比,图5 的信号在近距离上存在着较强的尾流反射信号,不但具备明显的时域展宽效应,而且也表现出很强的频率扩展,远大于无尾流区。因此,与混响相比,舰船尾流信号在回波强度、时域及频域展宽方面都有着明显的差异。

舰船尾流检测可以看作一种特殊的二分类问题。由于回波信号的时频域结果可以作为图像处理的输入,所以能够利用图像识别的方法进行舰船尾流检测。

2 模型与迁移策略设计

2.1 卷积神经网络

CNN 指在网络的结构中至少使用一层卷积代替一般矩阵运算的神经网络,专门用于处理类似网格结构的数据,在网络输入为图像格式时具备显著的效果,是目前在图像识别领域应用最成功的深度学习模型。

经典的CNN 结构基本由卷积层、池化层和全连接层组成,如图6 所示。CNN 通过卷积层实现特征学习,池化层对卷积层的学习结果进行抽象和降维,降低运算压力。通常利用卷积层和池化层的交替叠加提升模型的学习能力,提取输入图像的层次化特征,叠加层数越多,模型的特征学习能力越强。最终由若干个全连接层对输入特征进行加权组合,映射至各类别空间完成目标识别。

在训练样本、超参数等条件一致的情况下,不同的CNN 模型对同一问题的识别效果是不同的,因此选择模型时需要全面考虑识别精度和训练效率的问题。文中共选择了4 个经典的CNN 模型进行对比,分别是AlexNet、Inception-v3、ResNet-50以 及ShuffleNet。对比试验结果可知,AlexNet 模型效果最佳。

AlexNet 是一种典型的CNN 模型,曾经在ImageNet 数据集上共1 000 个类别的图像识别问题中取得了优异的成绩[14]。标准的AlexNet 共有8 层网络结构,前5 层为卷积 层(Layer1～ Layer5),后3 层为全连接层(Layer6～Layer8),最后一个全连接层输出连接到softmax 分类器,最终得到输入样本分布在1 000 个类别的概率。

2.2 迁移学习

一个标准的CNN 模型经常具有复杂的结构和庞大的参数量,训练一个包含如此多参数的模型需要海量的样本数据作为支撑,耗时耗力。然而,水下目标识别数据集样本较少,无法支持CNN模型有效训练,容易发生过拟合问题,导致网络性能下降,因此引入迁移学习模型来解决数据不足问题。

迁移学习的本质是知识的迁移再利用,其定义如下:给定源域Ds和目标域Dt,其中,D={X,P(X)},并且给定源任务T s以及目标任务Tt,其中,T={Y,P(Y|X)}。在Ds≠Dt并且T s≠Tt的情况下,利用来源于Ds和Ts的信息学习得到目标域Dt中的条件概率密度分布P(Yt|Xt)。迁移学习是深度学习理论在缺少大量标注数据的任务中规模化应用所必需的。

根据文献[15]结论,CNN 模型的浅层结构在不同任务中的特征学习过程具备较高相似性,即具备可移植性,深层结构才体现出不同任务的差异性。因此,可以将在其余任务中完成预训练的CNN 模型作为特征提取器,迁移至目标数据集,结合其浅层结构搭建合适的网络模型。

2.3 基于迁移学习的尾流检测方法

基于迁移学习的舰船尾流检测方法主要分为2 个部分:舰船尾流检测框架和基于CNN 模型的迁移学习策略。尾流检测的设计流程如图7 所示,首先采集尾流试验数据作为初始样本;然后对初始样本数据进行离散时间傅里叶变换(discrete-time Fourier transform,DTFT),得到时频图作为待检测样本集;其次,迁移AlexNet 等预训练CNN 模型,在时频图上进行二次训练;最终得到尾流检测结果,完成试验性能对比分析。

图7 舰船尾流检测框架Fig.7 Ship wake detection framework

基于CNN 模型的迁移学习主要基于参数冻结和模型微调方法实现。如图8 所示,迁移CNN模型的特征提取层,重新构建全连接层与softmax层形成新的模型对舰船尾流进行检测,具体步骤包括:1) 选定已完成预训练的CNN 模型;2) 迁移模型的底层结构及相关参数至目标模型中;3) 调整模型的高层结构,移除最后一个全连接层,在目标模型中替换成节点数为2 的全连接层,构成新的模型;4) 在目标数据集中重新训练模型,完成整个CNN 模型的迁移学习过程。

图8 基于CNN 模型的迁移学习策略Fig.8 Transfer learning strategy based on CNN model

3 性能分析

3.1 数据准备和训练环境

为验证该方法的有效性,采用某海域下实航数据对迁移学习结果进行验证,试验条件如下:试验船只航行速度为15 kn,吃水深度6 m,航行器航行深度10～15 m,航速50 kn,1 级海况。样本数据共2 500 组,其中620 组为尾流数据,其余为非尾流数据,按照8∶2 的比例划分训练集和验证集。由于迁移CNN 模型输入尺寸与时频图原始结果具有差异,在输入时需对目标时频图进行缩放。

训练环境:Inter(R) Core(TM) i9-9900K CPU@3.60 GHz 3.60 GHz,内存32 G,程序在windows10系统下Matlab2019 软件下运行。模型学习率参数为1×10−4,为加快训练速度,将新添加层的权重学习率因子设置为10。

3.2 不同样本量下迁移学习性能

为了测试迁移学习对于训练样本量的需求,文中设计了对比试验,在迁移模型参数及训练超参数不变的情况下,观察训练样本占总样本量30%～80%下的模型泛化能力,试验结果如图9 所示。

图9 不同训练样本条件下迁移学习性能对比Fig.9 Performance comparison of transfer learning methods based on different training samples

根据图中结果可知,随着训练样本的增加,迁移学习检测性能缓慢提升。当仅使用30%训练样本时,验证集的检测正确率在94.17%,损失为0.196 1;当训练样本达到80%时,验证集检测正确率提升至97.16%,增加了约3%,损失为0.105 7。从试验结果上讲,增加训练样本可以提升尾流检测的效果,但是,迁移学习方法即使仅使用少量的训练样本同样能够达到较好的检测性能。

3.3 迁移学习与非迁移学习性能对比

如上所述,传统的舰船尾流检测方法主要依赖于尾流时域回波的展宽效应。为了对比传统算法与迁移学习方法之间的性能差异,文中设计了时域检测、时频图+深度学习与时频图+迁移学习3 类方法的对比仿真试验。其中人工方法无训练过程;深度学习方法使用与AlexNet 模型相同的结构,随机初始化模型内部参数值后进行训练;迁移学习方法则使用已完成预训练的AlexNet 模型,采用上节中描述的迁移策略重新训练模型,3 种尾流检测方法的结果如表1 所示。

根据表1 中算法性能的对比结果可知,文中所用的时频图+迁移学习的尾流检测方法正确率在96.37%左右,比传统时域检测的方法正确率提升了10%左右,高于单独深度学习模型88.45%的正确检测率。时频图+迁移学习方法的虚警率与漏警率均在4%以下,远低于传统时域检测方法和深度学习方法。此外,深度学习方法和传统时域检测方法的虚警率、漏警率和正确率比较接近,即2 种方法之间不存在明显的性能差异。

表1 3 种算法性能对比Table 1 Performance comparison among three methods

迁移学习与深度学习的训练过程对比如图10所示。由图中的结果可知,迁移学习方法在经过20 多次迭代训练后验证集检测正确率迅速达到95%左右,损失降低至0.3 附近,之后拟合程度缓步提升;而深度学习模型的拟合速度则远低于迁移学习模型,经过100 多次的迭代训练后,其拟合程度与迁移学习的差距才慢慢缩小,但拟合程度一直低于迁移模型。此外,结合表1 中结果,深度学习模型的泛化能力同样不足。因此,针对文中问题,相比于常规深度学习模型,迁移学习的泛化能力和训练效率均占优势。

图10 迁移学习与深度学习训练过程对比Fig.10 The training process comparison between transfer learning and deep learning

3.4 不同迁移策略性能对比

在迁移模型训练的过程中,需要对网络内部参数进行训练,通常可以采用冻结参数和微调的方法对网络参数进行调整。一般情况下,可以冻结所有的迁移结构参数,仅对新添加的层进行训练,也可以对整个模型的参数进行重新训练。

为比较不同迁移策略下检测性能,文中基于AlexNet 模型设计了以下3 种对比试验:1) 冻结所有迁移层(Layer1～Layer7)参数,只对全连接层Layer8 进行训练;2) 冻结所有卷积层(Layer1～Layer5)参数,训练全连接层Layer8,同时对前两层全连接层参数进行微调;3) 不冻结参数,训练全连接层Layer8 的同时对模型的其余参数进行微调。3 种对比试验的训练过程和最终性能分别如图11和表2 所示。

由图11 中3 类方法下迁移学习的重新训练过程可知,模型的冻结参数量越少,拟合结果越好。在预训练模型的参数基础上,只需要经过数10 次的迭代训练,迁移模型就可以快速收敛,其损失函数和拟合状况都能达到一个较好的状态。

图11 不同冻结参数方法训练过程对比Fig.11 The training process comparison between different freezing parameter methods

根据表2 中性能对比结果可知:冻结所有迁移层需要重新训练的参数最少,其运算时间最少,为204 s。与其时间成本相对的是,由于可调参数数量下降,其测试正确率也是最低的。随着参数冻结数量的减少,3 类方式的正确率和运算时间也逐步提升,最终可达96.37%和266 s。对比方式1、2 与方式2、3 之间的性能差异可知,虽然方式2、3 之间解冻的参数数量更多,但是性能提升幅度却小于方式1、2 之间的差异。此现象说明Layer1～Layer5 之间的卷积层在源数据域上已经得到了充分的训练,可以较好地学习图像的通用特征,微调卷积层参数对文中问题的性能提升不明显,与Yosinski[15]提出的CNN 浅层结构在不同数据集上具备高度相似性的论点相符。

表2 不同冻结参数方式性能对比Table 2 Performance comparison of different freezing parameter methods

3.5 不同迁移模型性能对比

为了对比不同模型的尾流检测性能,选取AlexNet、ShuffleNet、ResNet-50 以 及 Inception-V3 等4 种预训练模型进行对比试验,试验结果如图12 所示。

根据图12 结果可知,各种迁移网络模型均能够在较低的迭代次数后对训练样本达到较高的拟合程度。相比其他3 类模型,由于AlexNet 模型的深度较浅且结构相对简单,所以拟合度在4 类模型中最低。

图12 不同迁移学习模型训练过程对比Fig.12 The training process comparison between different transfer learning models

由表3 结果可知,所有参与对比试验的CNN模型测试正确率都达到了95%以上,优于传统尾流检测方法。其中,采用Inception-V3 模型的迁移学习性能最高,正确率达到了97.49%,但耗费时间较多,运算时间为6 749 s;AlexNet 模型的重新训练所需的时间最短,运算时间为266 s,正确率为96.37%。总体而言,迁移AlexNet 模型是最优的选择。

表3 不同迁移学习模型泛化能力对比Table 3 Generalization ability comparison between different transfer learning models

4 结束语

通过STFT 获取尾流信号时频图构建目标数据集,提出了一种基于时频分析和迁移学习的舰船尾流检测新方法,并利用实航数据验证了所提方法的有效性。试验结果表明,文中方法可以实现对尾流信号时频特征的有效提取,结合迁移学习策略能够在小样本条件下达到较高的识别正确率,性能超过传统识别方法10%以上;通过对比试验比较不同训练策略和迁移模型的时间成本和正确率差异,结果表明,综合时间成本和识别性能,AlexNet 模型为最佳选择,采用第3 种训练方式迁移AlexNet 模型可以达到最优的识别性能,正确率为96.37%,但运算时间有少量增加。综上所述,基于时频分析和迁移学习的方法可以有效地实现舰船尾流检测,兼顾了时间成本低、样本需求量低和识别性能高等优点,相比传统尾流检测算法具有明显优势。通过实航数据测试,验证了深度学习模型以及迁移学习策略在声尾流检测中的可行性,在水下目标回波检测和识别任务中具有广阔的应用前景。未来工作中将对此方法进行改进,尝试对更加复杂的水下目标进行检测和识别。