AUV移动探测下基于U-Net网络的本体噪声去除
2022-01-19李黎明张微之季子良庞国富宋三明
李黎明,张微之,季子良,景 严,庞国富,王 力,宋三明
(1.中国科学院沈阳自动化研究所 机器人学国家重点实验室,辽宁 沈阳 110016;2.中国科学院机器人与智能制造创新研究院,辽宁 沈阳 110169;3.中国科学院大学,北京 100049;4.沈阳工业大学人工智能学院,辽宁 沈阳 110870;5.沈阳化工大学信息工程学院,辽宁 沈阳 110142)
0 引言
水下机动目标在航行时会向水中辐射噪声。因此,可以通过水听器接收到的噪声信号对航行器的桨叶数、螺旋桨转速、吨位数以及推进器类型等运动和物理特性等进行监测[1]。通常情况下,采用舰船搭载舷侧阵或拖曳阵采集目标噪声[2-3]。随着水下无人系统技术的日渐成熟,采用水下机器人如AUV搭载水听器(阵列)对目标进行探测开始成为可能(图1)。
但是,基于AUV的移动探测任务至少面临如下2方面的挑战:1)由于本体尺寸的原因,AUV搭载的舷侧阵尺寸和孔径要小得多;2)由于能源和动力的限制,拖曳阵的阵元数规模和孔径不仅相对较小,而且更加靠近本体,导致目标噪声淹没在本体噪声中。因此,AUV移动探测的一个核心任务是如何消除或者降低本体噪声的影响,提高目标探测和识别的效率。
针对移动平台的自噪声去除问题,现有的研究主要基于自适应滤波和带通滤波的思想展开。文献[3]、文献[4]分别提出了基于自适应噪声消除和自适应波束形成的算法,用于移动AUV拖曳平台和拖曳船的本体噪声消除。文献[5]根据平台噪声和目标噪声之间的频谱差异进行带通滤波,去除本体噪声,提高目标探测能力。文献[6]针对矢量舷侧阵,根据本体噪声的方向选择性设置通、阻带得到空域矩阵,通过空间滤波抑制本体噪声的干扰。这些研究均将本体噪声视为噪声成分,通过抵消或抑制策略消除或减弱其影响。但是,从声源的角度看,本体噪声也是一个声源,因此自噪声抑制问题也可以视为声源分离(一般称为盲源分离)任务。盲源分离算法在水声信号处理中主要用于多声源场景下的分离任务。Smaragdis等提出了一种基于短时傅里叶谱的Infomax盲源分离算法,在2个声源卷积混合条件下实现了声源分离[7]。Gaeta 等对噪声信号进行局部白化处理,提出了基于神经网络的盲源分离算法,实现了浅水信道盲源分离[8]。在考虑多水声信道多途效应的基础上,文献[9]开展了多输入多输出通道模型的盲源分离研究,在频域上采用最小化二阶统计量对源信号进行估计。截止目前,水声信号盲源分离算法多基于模型驱动,根据混合噪声模型设定合适的分离准则,通过优化求解分离矩阵获得单一声源数据。且现有研究多基于阵列信号,基于单水听器信号的盲源分离较为少见。本文将在单水听器和声源分离的框架下开展本体噪声去除研究。
滤波法需要目标噪声与干扰声源和背景噪声之间具有统计独立性,当本体噪声或目标噪声具有非常相似的倍频特性且存在部分重叠时,滤波法的性能将急剧下降,为此,本文提出了一种基于U-Net[10]深度网络的本体噪声去除算法。首先,对水听器采集到的噪声信号或仿真信号作短时傅里叶变换(Short Time Fourier Transform,STFT)提取混合噪声的时频特征;其次,利用U-Net网络对时频谱的幅度谱(以下简称频谱)进行分割,即从混合谱中提取出目标噪声的频谱;最后,结合相位信息,经逆变换(Inverse STFT,ISTFT)获得分离后纯净的目标噪声。训练深度网络需要大量标定好的数据,但真实噪声数据往往比较稀缺,因此,为了测试算法的可行性,本文首先采用仿真数据集开展水下噪声分离研究。后续,将进一步通过湖试和海试数据对网络进行优化,提高系统的实用性和准确性。
本文的主要贡献如下:
1)面向移动探测场景,在AUV本体噪声与水中目标噪声频谱特性和倍频关系极其相似的情形下,提出了一种可行的本体噪声抑制方案;
图2 AUV本体噪声去除算法流程图Fig.2 Flow chart of AUV self-radiated noise removal algorithm
2)基于单通道水听器信号,开展了水下目标噪声仿真和基于 U-Net深度学习网络的水下目标噪声分离研究,实现了目标噪声与AUV本体噪声的分离,大幅度提高了目标噪声的信噪比;
3)通过一系列仿真实验,测试了算法在不同转速、桨叶数以及信噪比条件下的性能。
1 算法处理流程
1.1 噪声信号仿真
为了测试算法的可行性,并获得深度网络的初始权值,我们利用现有的舰船噪声模型生成仿真数据,合成训练网络所需要的混合噪声和目标噪声。文献[11]指出,从声源角度来说,舰船辐射噪声主要由水动力噪声、机械噪声和螺旋桨噪声3大部分组成,这几部分决定了组成舰船辐射噪声频谱的成分主要有线谱、连续谱和调制谱。这里选用与文献[12]中相一致的方法生成辐射噪声仿真数据,其时域信号表述为
式中,gX(t),a(t),gl(t)分别为连续谱分量、调制波形和线谱分量。图3(a)和图3(b)分别给出了一段仿真信号的时域波形和频谱。
图3 舰船辐射噪声仿真Fig.3 An example for the ship-radiated noise simulation
基于上述模型,通过设定船只的桨叶数和转速,我们可以获取到不同转速、不同桨叶数条件下舰船噪声的时域仿真信号。为模拟混合噪声,引入线性瞬时混合模型。记目标船只辐射噪声信号为st(t);母船辐射噪声信号为ss(t);则混合噪声的时域表达式记为sm(t)=ss(t)+ηst(t),η表示目标噪声的相对权值。训练数据由混合噪声和与之对应的目标噪声信号组成,采样频率Fs=8 192 Hz,训练数据包括3 276段混合噪声和目标噪声,其中验证集占20%,单段信号的时长2 s左右。
1.2 时频特征提取
在水下环境中,当目标距离水听器较远时,其传播过程中的能量衰减会很明显,这就导致目标噪声的频谱在混合噪声的频谱中不够突出,淹没在了背景噪声之中。通过时频变换,可以通过统计的方式对特征频谱进行增强。短时傅里叶谱是最原始的频谱特征。出于简化特征提取和测试网络可行性的考虑,本文直接通过STFT变换提取短时傅里叶谱。式(2)给出了STFT的定义:
式中:s(t)为源信号;w(t)为窗函数。变换窗长取8 192,步长为64,单段信号频谱帧数取 128,最终频谱大小取为4 096× 128。
1.3 U-Net网络
本文将U-Net网络用于本体噪声去除任务,图4给出了网络的详细结构。降采样部分采用卷积层和池化层来减小输入图像的尺寸并增加特征通道数,从而方便捕获全局信息;升采样部分采用转置卷积来增加图像尺寸并减少特征通道数,用于精确定位。
图4 U-Net网络结构图Fig.4 Network structure of U-Net
U-Net网络配置如下:降采样部分的二维卷积每层卷积核大小为3× 3、步长为2,激活函数采用ReLU,引入批归一化策略加速网络的收敛;升采样的每层使用与降采样层对称的卷积核大小和卷积步长从而保证输入输出维度一致,其中卷积层采用的是反卷积,或称转置卷积。我们舍弃了文献[10]中的 Dropout层,因为批归一化的引入可以在一定程度上抑制过拟合的出现,不需要额外引入 Dropout。网络经最后的 Sigmoid层输出时频掩模。
网络训练的目标是获取准确的时频掩模。任意给定混合噪声的频谱,经过“编码–解码”之后输出掩模矩阵的维度与输入一致,将时频掩模与混合噪声频谱做点积便可获得去除本体噪声后的频谱。记输入混合信号的频谱为M,期望输出目标噪声的频谱为T。训练过程的优化器选用Adam,损失函数为输出频谱与期望频谱差值的L1,1范数:
式中:f(M,Θ)为输入频谱;权重参数为Θ时对应输出的掩模;⊙表示按位相乘。
2 评价指标
混合信号经短时傅里叶变换后获得的频谱作为输入特征,网络对输入频谱进行编解码后获得时频掩模矩阵,其与输入混合频谱做点积之后即可获得期望的目标噪声频谱,再经ISTFT即可获取到时域目标信号。
为了对本体噪声去除效果进行评估,我们引入盲分离中常用定量评价指标SDR[13],用以评估分离结果的优劣[14]。记se为经算法处理过后输出的噪声信号,其可以看作目标信号与多种干扰信号之间的混合,即
式中:starget表示目标噪声;einterf,enoise,eartif分别为干扰、噪声和伪影误差。SDR定义为
分离前后目标噪声SDR的差值可以反映本体噪声的去除效果,该指标记为
式中:sr为目标噪声的参考值;sm为混合噪声。这里SDR的具体计算基于mir_eval工具箱[16]。进一步,为了衡量整体的分离效果,定义 GNSDR(Global NSDR):
3 实验
为了测试上述算法在本体噪声去除中的可行性和有效性,我们开展了以下3个实验:
1)母船与被探测船只桨叶数相同、转速不同情形下的本体噪声去除实验。该实验考察网络分离2个不同转速目标的能力。在桨叶数相同的情况下,两船转速越接近,其频谱的重合度越高,因此分离难度会随转速差的大小发生变化。
2)母船及被探测船只转速均固定、桨叶数不相同情况下的本体噪声去除实验。该实验考察网络分离2个不同桨叶数目标的能力。转速固定时,随桨叶数的变化目标的频谱特征也会发生变化,且桨叶数差异越大,其频谱特征变换也越大。
3)固定频率、固定桨叶数,目标噪声信噪比不同情形下的本体噪声去除实验。该实验考察网络分离2个噪声强度不同的目标的能力。当目标与母船相距较远时,目标噪声在传播过程中会有一定程度的能量损失,合成混合信号时可通过调整η值改变混合噪声中目标噪声的信噪比。
3.1 不同转速差下分离效果评估
图5给出了一个混合频谱分割结果的例子。由于高频部分包含的频谱信息较少,这里只展示了512 Hz以下的频谱。图5(a)为混合噪声的频谱,混合噪声由桨叶数均为Nblades=3的2段噪声信号叠加而成,其中母船的转速为RS=4r/s,目标转速为RT=13r/s,目标噪声信噪比0。图5(b)为本文算法取得的结果,图5(c)为参考目标噪声的频谱。分析图5不难看出来,在桨叶数相同、转速差为dR=9r/s的情况下,本体噪声的频谱成分得到了有效去除。
图5 算法效果示例Fig.5 An example for target noise separation
频谱基频对应目标螺旋桨的转速。从图5可以看出,分离混合噪声频谱时,由于目标和本体2大主要声源均为舰船辐射噪声,均具有倍频特性且存在部分重叠。因此,本体噪声去除的质量与两船的转速差直接相关。图6给出了不同转速差下本文提出的算法在本体噪声去除上的性能,此时两船桨叶数为NS=NT=3叶,给定母船转速RS=4r/s,目标转速从RT={12,13,14,15,16}r/s各值中选取从而设定不同转速差,信噪比设为0。给定转速差下各生成20组测试数据,验证算法性能。
图6 不同转速差情况下本体噪声去除性能Fig.6 Performance of self-noise removal under different rotational speed difference
从图6可看出,在转速差从dR=8r/s增加到dR=10r/s过程中,GNSDR指标明显提升,即转速差越大,分离效果越好。在转速差继续增大至dR=12r/s过程中,分离指标值逐渐下降,这是因为此时目标噪声基频愈发靠近本体噪声的倍频,导致二者频谱产生重叠,给分离带来了一定挑战。
3.2 不同桨叶数差下分离效果评估
不同桨叶数对应不同的叶频特征,两船转速固定时,桨叶数对频谱的影响主要体现在叶频上。图7给出了不同桨叶数差下本文算法去除本体噪声的性能,实验在两船转速固定条件下展开。本体和目标转速分别对应为RS=8r/s和RT=11r/s,母船桨叶数NS=3叶,目标桨叶数在NT={4,5,6,7}各值中选取从而设定不同桨叶数差,信噪比设为0。给定桨叶数差条件下,分别生成20个片段的测试数据。图7的结果表明,随着桨叶数差的增加,本体噪声的分离效果不断改善。这是因为随着桨叶数差的增加,两噪声成分的叶频特征的区分愈发明显。
图7 不同桨叶数差条件下本体噪声去除性能Fig.7 Performance of self-noise removal under different blade number difference
3.3 不同信噪比条件下分离效果评估
在给定探测场景下,当目标和本体船只桨叶数和转速确定后,影响分离效果的另一主要因素当属目标信号的信噪比。当混合谱中二者强度相差不大时,声源分离更容易开展,而实际场景中目标信号强度一般较低。因此,对二者进行混合时,可以设定不同的信噪比,验证低信噪比条件下算法去除本体噪声的性能。图 8给出了目标信号不同信噪比条件下算法去除本体噪声的性能。图9给出了信噪比为–10 dB时分离效果的一个实例,图9(a)表示的混合谱中目标信号几乎被完全淹没,图9(b)为本文算法输出的目标噪声的频谱,其与图9(c)表示的目标噪声真实频谱在特征谱线处基本一致。
图8 不同信噪比条件下分割效果的对比图Fig.8 Performance of self-noise removal under different signal-to-noise ratio
图9 目标信号信噪比为-10 dB条件下本体噪声去除效果示例Fig.9 An example of target noise separation when the SNR of target noise is -10dB
实验结果表明,在目标信号信噪比不低于–10 dB的条件下,应用本文算法可以取得良好的本体噪声去除效果。需要指出的是,网络训练阶段所用数据中目标信号信噪比均为0(η=1),这也表明本文算法在低信噪比条件下具有一定的鲁棒性。
4 结束语
本文面向水下移动探测场景,开展了AUV本体噪声去除算法研究。提取噪声信号的时频谱,输入U-Net深度学习网络,实现了单水听器噪声信号下的盲源分离,初步达到了去除本体噪声的目标。不同实验条件下的仿真结果表明,在母船与目标船只特征存在细微差异的情形下,本文的算法可以很好地对本体噪声进行去除,且该算法在低信噪比条件下表现良好。
尽管实验结果初步验证了算法的可行性,但是无论是特征提取、网络结构还是数据集都还需要开展进一步的研究。后续,将主要在以下3个方面开展工作:
1)尽管 GNSDR指标可以在一定程度上对盲源分离效果做定量说明,但是实际应用中我们无法获取目标的真实噪声数据,无法使用该指标对结果进行评估。因此,在后续工作中我们考虑将采集到的混合噪声在去除背景噪声前后分别输入到识别模块中,通过对比识别精度进一步验证本体噪声去除效果。
2)基频信息是表征目标特性的重要参数,其对声源分离有着一定指导作用。后续工作中将引入多任务学习策略,实现声源分离与基频检测的同步完成。
3)多目标情形是AUV移动探测中不可避免的场景,该条件下的盲源分离算法也是之后研究的重点。后续考虑使用聚类或及独立成分分析的方法处理多目标场景下的盲源分离任务。