基于降噪自编码器的水声信号增强研究
2019-11-03殷敬伟罗五雄李理韩笑郭龙祥王建峰
殷敬伟,罗五雄,李理,韩笑,郭龙祥,王建峰
(1.哈尔滨工程大学水声工程学院,黑龙江 哈尔滨 150001;2.中国船舶工业综合技术经济研究院,北京 100081)
1 引言
在日趋激烈的水下对抗领域中,声呐探测担任着重要任务,而实现声呐探测的关键是信号检测。但是,噪声污染在实际探测过程中是无法避免的,例如在传输系统受到的外界干扰时,以及在数据采集过程中都会给实验数据代入噪声[1]。
研究表明,水下目标辐射噪声信号都具有很强的非线性特征,当水下目标辐射噪声信号的最大李雅普诺夫指数是正值时,表明该辐射噪声信号是混沌的[2],这给非线性降噪提供了依据。在信号处理过程中,由于噪声的影响使远距离探测和微弱信号处理变得非常困难,降噪成为长期困扰研究者的一个课题,也是对信号进行有效分析必不可少的过程。在传统的信号处理方法中,降噪是通过滤波来完成的。在使用线性滤波方法时,根据信号在频域中的分布特点,只要时间序列足够长,对于周期和准周期信号中的噪声是可以彻底消除的。但是对于非线性系统产生的噪声,由于信号与噪声在频谱上表现均为宽带连续谱,使传统方法的滤波效果大大降低,这就需要探索新的适用于非线性信号的降噪方法。
随着计算机技术的发展,神经网络算法得到了广泛应用。深度学习是由Hinton 等[3]于2006 年提出的具有多层学习结构的神经网络,虽然网络结构中每一个隐藏层一般只使用了简单的非线性变换,但是多层网络的非线性组合就可以产生非常复杂的非线性变换,因此深度学习具有强大的特征学习能力,可以发掘出数据中内在的变化规律。深度学习自提出以来,引起了国内外诸多学者的广泛关注,不仅在理论算法上不断推陈出新,在图像识别、图片降噪、语音信号处理、模拟人脑等[4]实际场合的应用也日益增多。
本文将深度学习的方法应用于主动声呐探测系统,对声呐回波信号中噪声的参数不做任何前提性假设,通过神经网络的学习不断调整网络权重与偏置,从而去除带噪信号中的噪声分量,使输出信号有较好的目标特性。
2 联合自编码器
本文训练网络采用降噪自编码器(DAE,denoising automatic-encoder)与卷积自编码器(CDAE,convolutional denoising automatic-encoder)相结合的联合自编码器(DAE+CDAE)方式,其过程如图 1 所示。在预训练阶段,将训练集(train_clean)加上噪声称为加噪信号(train_noise),train_noise 作为DAE 网络的输入信号,train_clean作为DAE 网络的目标信号,通过反向调优训练好DAE 网络,将train_noise,test_noise 输入DAE,得出新的训练集(train1),新的测试集(test1),预训练阶段结束。将train1作为CDAE 的输入信号,train_clean 作为CDAE 的目标信号,通过反向调优训练CDAE 网络,在训练完成之后,对test1进行网络测试,得到最终的去噪信号,完成整个训练过程。
2.1 DAE
DAE 是在自动编码器(AE,automatic-encoder)的基础上改进而来的[5],是一种执行数据压缩的网络结构,利用神经网络对样本数据进行学习,可以通过自动学习得到压缩函数与解压函数。DAE 的主要思想是首先训练一个自动编码器,能够在该编码器输入层手动添加随机噪声,在输出层重建输入数据;然后,通过训练后的编码器模型能够对输入数据进行压缩与解压,在这一过程中实现降噪,从而为后续的探测任务生成更好的特征表示。
带有丢弃结构的DAE 基本网络结构如图2 所示,其中X为原始信号,为带噪信号,Y为隐含层,为输出层。
DAE 以x∈R的向量作为输入层,通过加入噪声,并以一定的概率λ随机丢弃网络中的神经元,从而得到映射后的输入层,如式(1)所示。
其中,N 是由原始输入层和加入x的随机噪声的类型确定的一种分布。然后通过向量值函数Φ将映射到隐含层y,如式(2)所示。
其中,W为映射到隐含层网络的权重参数,b为映射到隐含层网络的偏置项。
图1 DAE+CDAE 的训练过程
图2 带有丢弃结构的DAE 基本网络结构
通过随机丢弃的方法来进行优化训练过程中,隐含层中的神经元也以概率q被随机丢弃。随机丢弃的方法对复杂结构的神经网络训练的优化是非常有效的,因为网络是跟随迭代次数更新的,在每次迭代中都会由于随机丢弃某些隐含层的神经元而产生一个唯一的训练网络[6]。
经过随机丢弃神经元的隐含层特征向量y被反向映射,最后重构出与原始信号相同的输出层,如式(3)所示。
其中,W′为映射到输出层网络的权重参数,b′为映射到输出层网络的偏置项。
然后由随机梯度下降法[7]对整个网络的权重参数进行更新,求解出目标函数的最优解。降噪自编码器算法首先初始化权值与偏置参数,然后迭代更新求出最优解,具体算法步骤如下。
步骤1随机初始化。对所有的l,设ΔW(l)=0,Δb(l)=0。
步骤2迭代次数i=1,2,…,m。
步骤3更新权重参数。
2.2 全卷积自编码器
全卷积自编码器在DAE 的基础上发展而来[8]。CDAE 是一个无监督的神经网络,它利用了传统自编码器的无监督学习方式,并结合了卷积神经网络的卷积和池化操作,从而实现特征提取。CDAE 主要由编码(encoder)和解码(decoder)两部分组成,通过分层训练来优化总体结构。
CDAE 的基本网络结构如图3 所示。输入层的干净信号首先经过白化层白化,并对其进行加噪处理,然后发送到DAE 的输入层。该DAE 网络呈现对称结构,这种结构在前两卷积层中先将输入信号进行编码,将特征信息压缩至低维空间,在后两层卷积层中将隐含层进行解码,从而将低维特征信息解压成干净信号。
图3 CDAE 基本网络结构
每个卷积层的输入均是3 维特征数据,滤波器、池化、上采样都采用2 维算子,在每个卷积层中,CDAE 通过学习的去噪变换,将输入信息映射到更抽象、稳健性更强的特征。CDAE 中的编码器部分由多个卷积层、激活层和池化层组成,卷积层由一组滤波器组成,这些滤波器从它们的输入层中提取特征,本文中的激活层是对特征图施加非线性的修正单元。在池化层中,池化函数选择最大池化函数(max-pooling),max-pooling 通过映射特定空间范围内的最大值的常数因子,对激活层进行下采样并生成具有降维的新映射空间。在解码部分是由卷积层、激活层和上采样层(up-sampling)组成,上采样层是通过对前面的激活层进行上采样,生成高维的新层。
CDAE 网络的第一层为输入层,输入层为时域信号,记作x,长度为N,第二层是卷积层,第i个卷积滤波器算子序列为fi,共使用K个长度均为M的滤波器,通过第一层卷积运算后的特征信号为
在卷积层与卷积层之间包含有激活层和池化层,激活函数g(z)选 择 tanh 函 数,即第三层为池化层,对激活层进行不重叠的max-pooling 下采样,网络参数的集合可以表示为,通过输入层和输出层可以定义网络误差为
使用随机梯度法来更新整个网络的参数。例如,连接自动编码器的权值更新如式(8)所示。
其中,α是学习率,并且随着迭代次数的增加而减小。学习速率的更新方法如式(9)所示。
其中,n是迭代次数,γ和t是提前设置的标量。在本文训练过程中设置初始学习率为0.1,γ=0.1,t=1,每当完成一次迭代,便更新学习率,采用此方法的目的是为了加速模型收敛的速度,同时能防止网络出现梯度消失或梯度爆炸等现象。
3 仿真与性能分析
考虑到实验过程中水声信道属于不平整双界面随机不均匀介质信道,因而发射信号经过水声信道传播过程中时变、空变及多途径扩展严重,接收信号波形发生畸变[9]。水声信道具有多途径扩展的特性,发射信号经过不同途径的声线先后到达接收水听器,最后的接收信号是经各个声线传播到达信号的干涉叠加。设发射信号为x(t),接收端高斯噪声干扰为n(t),则接收信号r0(t)为
其中,等号右侧第一项是直达声,第二项是多途径信号,参数N为通过接收点的本征声线的数目;Ai、iτ分别为第i途径到达接收点信号幅度及相对于直达声信号的时延值。
单频矩形脉冲信号和线性调频信号(LFM,linear frequency modulated)是主动声呐探测过程中经常使用的2 种波形。如图4 所示,本文采用未受污染的LFM 作为目标信号,首先确定带宽为2~8 kHz,在48 kHz 的采样率下,生成10 ms 的LFM信号,然后随机插入某个时间点中来模拟目标回波出现的位置,生成一段具有1 200 个采样点的目标信号,共生成200 500 个这样的目标信号,其中200 000 个信号作为训练集,剩余500 个作为测试集;在目标信号的基础上,设本征线数为3,信号幅度依次为区间[0.9,0.6)、[0.6,0.3)、[0.3,0.1]的某个随机值,时延值依次为(rand×100)个采样点,随机加上信噪比为 -20~5 dB 的高斯白噪声,直接将其时域信号作为输入信号,能够更好地保留输入信号的相位信息。
3.1 信号增强效果的评价标准
信噪比(SNR,signal-to-noise ratio)是指在某段信号中目标信号能量与噪声信号能量的比值,在一定程度上能够反映信号的质量,通常用于信号检测领域。一般来说,信噪比越大,表明混杂在该信号中的噪声越少。SNR 计算式为
本文选用信噪比作为信号的评价指标,通过输出信号信噪比与目标信号信噪比的对比,从而验证神经网络增强算法的有效性,并能从数值上定量地分析,调整神经网络的结构与参数,达到更好的信号增强效果。
图4 线性调频信号
3.2 仿真信号性能分析
在使用自动编码器学习时,网络的深度、压缩的最小维度(Dmin)、迭代次数能直接影响到最后的增强效果,为了寻找较优的网络结构与参数,对DAE 的网络进行多组实验,并以信噪比作为其评价指标。网络深度设置为1、2、3、4、5,压缩的最小维度设置为200、250、300、350、400,迭代次数设置为20、40、60、80、100。将DAE 与DAE+CDAE进行对比实验,测试信号的信噪比SNRtest=-7.06dB,其降噪效果如图5 所示。
由图5 可知,随着网络深度和迭代次数的增加,网络参数优化效果更佳,能够更好地提取出输入信号的主要特征,从而达到更好的增强效果。另一方面,随着Dmin的减小,网络能够更好地提取出输入信号的主要特征,忽略噪声信号特征,这也同样能带来性能的提升。然而,在实验结果中也可以发现,当训练数据不够大,或者输入信号复杂度有限时,盲目地增加网络深度和迭代次数,只会增加运算能耗,同时产生过拟合现象,并不能使性能得到显著提升;而当Dmin过小时,又会出现主要特征丢失的现象。
经过大量对DAE 与DAE+CDAE 的实验对比后,本文发现在当前的实验设置下,迭代次数达到80 次时,本文所提算法的性能能够达到最优。如图5(c)和图5(d)所示,DAE 中输出信号的信噪比为12.99 dB,而DAE+CDAE 的信噪比高达18.77 dB。由图5(e)和图5(f)可知,单独使用DAE 已经能够达到比较好的降噪效果,但是无法达到局部的最优效果,例如,DAE 无法使无信号区域更平坦,不能将主要信号区域的局部特征得到更优的映射。DAE 与CDAE 网络进行结合,既能发挥DAE 对输入信号整体降噪的优势,同时又能结合CDAE对信号局部降噪的优化,从而能得出高信噪比的输出信号。
因此,如何使网络参数的复杂度和性能达成统一,使实际应用价值得以提升,在本文的网络结构中,DAE 的网络深度为 4 层,压缩最小维度Dmin=350,迭代次数为80 次;CDAE 的网络深度为4 层,每层滤波器16 个,上下采样均为2,迭代次数为80 次。为了更好地保留数据符号与相位信息,DAE 与CDAE 的激活函数均采用tanh函数,损失函数均采用mse 函数,优化器采用Adam 函数[10]。
各种方法对LFM 的去噪指标如表1 所示。由表1可知,在传统方法中,对于低信噪比的LFM 信号,奇异值分解方法(SVD,singular value decomposition)降噪比较效果明显,小波分解与带通滤波均表现欠佳;在深度学习与传统方法的对比中,DAE 与CDAE比传统方法有着显著优势,本文方法结合了DAE 与CDAE 两者的优势,处理后效果更好。
4 实际信号的检测分析
为了进一步验证本文所提方法的可行性和有效性,进行了松花江冰下信号传输实验。发射信号采用的是LFM 信号,LFM 信号脉宽为10 ms、带宽为2~8 kHz。将接收信号输入本文网络中得到恢复信号,对恢复前后的信号进行时频分析与分数阶傅里叶变换(FRFT,fractional Fourier transform),得到其分析结果如图6 所示。
图5 神经网络参数、结构与SNR
表1 各种方法对LFM 的去噪指标
从图6 所示的时频图可以发现,恢复后的背景噪声明显减小,在目标信号的时间段内,信号更加集中在应有频带范围内,这与理论仿真的结果是一致的。从图6 中的FRFT 二维搜索图可见,恢复前的接收信号多径影响严重,恢复后的信号能明显看到多径影响大幅度减弱。由于实验信号难以与发射信号对齐,无法计算其准确信噪比,本文通过将无信号段近似噪声信号,有信号段近似为目标信号,计算其能量均值,可以得出信号恢复前的信噪比为3.75 dB,恢复后信噪比为17.56 dB。
图6 信号恢复前后对比
通常匹配滤波能抑制其他干扰,从而提高声呐检测的能力。一般在白噪声情况下,匹配滤波是最优的线性检测系统,匹配滤波能够对目标信号进行能量集中,以便于在时域波形上观测目标。LFM 信号在恢复前后分别与发射信号做匹配滤波的结果如图7 所示。
图7 恢复前后的匹配滤波
图7(a)为信号恢复前的匹配滤波,图7(b)为信号恢复后的匹配滤波,取前2 个匹配滤波的包络并求其绝对值,可得图7(c)。由图7(c)可以得出,经过匹配滤波后,恢复信号的旁瓣比带噪信号的旁瓣明显减少,能量明显比恢复前更集中,相关系数的峰值也有显著的提高。
5 结束语
本文结合DAE 的降噪优势与CDAE 能提取局部特征的特点,提出了一种关于信号增强的深度学习算法。该算法首先通过DAE 和CDAE 的联合训练,不仅能够去除信号中的加性噪声,还能去除由声信道不理想引起的多径效应,使输出信号的整体特征与局部特征都能够得到显著优化。
LFM 信号是目前水声通信领域内广为使用的同步信号,有着较好的自相关特性,并且在水声信道中有着较好的抗干扰能力和同步性能。本文通过深度学习的方法增强了水中的LFM 信号,充分利用DAE 与CDAE 的特性,实现了LFM 在低信噪比下的增强,能够为水声通信实现高精度的同步捕获提供基础,并能提高水下目标探测、定位导航中的同步系统的抗噪能力。