基于深度学习特征融合和联合约束的单通道语音分离方法

孙林慧 王 灿 梁文清 李平安

(南京邮电大学通信与信息工程学院 南京 210003)

1 引言

在日常生活中，语音是人类沟通的重要媒介之一。当两个说话人同时在讲话时，人类可以准确分辨他们各自说了哪些话；但对于智能机器来说却不是一件轻松的事情，这可能导致人机交互的体验变差。单通道语音分离是指将目标语音从单个通道混合语音信号中分离出来，属于盲源分离[1-3]的一个分支。经典的基于短时谱估计的单通道语音分离算法有谱减法[4]、维纳滤波法[5]等。随着AI席卷全球学术研究的各个领域，深度学习得到了迅猛的发展。近年来，深度人工神经网络凭借其优秀的建模能力、高度抽象的预测能力以及优秀的关系映射能力，成为当下计算机领域的宠儿。近几年来，基于深度学习的单通道语音分离算法在语音分离领域中被广泛的应用和研究[6-10]。

根据预测目标的不同，基于深度学习的语音分离方法可分为基于时频(T-F)掩蔽的方法和基于频谱映射的方法。基于时频掩蔽的方法旨在学习从混合信号到时频掩蔽的映射，然后使用估计的掩蔽和混合信号计算得到分离后的语音。Wang[11]于2005年提出了一种理想二值掩蔽(Ideal Binary Mask,IBM)作为训练目标，用于听觉场景分析。IBM将语音分离问题抽象为一个二分类问题，如果一个时频单元的信噪比超过了阈值就判定为1，否则为0。Kim等人[12]于2009年利用高斯混合模型(Gaussian Mixture Model, GMM)来学习目标和干扰的概率分布，然后用贝叶斯分类器来估计IBM。Han等人[13]用支持向量机来估计IBM，实验得出用支持向量机估计IBM比基于GMM的效果要好。由于IBM是一种硬判决，很多时候会造成目标语音信息丢失。因此，文献[14]于2006年提出了一种比值型的训练目标，即理想比值掩蔽(Ideal Ratio Mask, IRM)，该训练目标可以基于能量、幅度、功率等的比值。大量的研究发现，相比于IBM，IRM能够更好地保留分离目标的语音信息。Zhang等人[15]提出一种利用组合学习(Deep Neural Network, DNN)来预测IRM的方法，该方法层层叠加多个深度神经网络DNN，多层DNN联合估计，这使得估计的IRM更加准确。Huang等人[16]构建了一个用于语音分离的循环神经网络(Recurrent Neural Network, RNN)，IRM作为一个处理层嵌入到网络的输出层，实验验证了该方法优于NMF(Nonnegative Matrix Factorization)方法。基于频谱映射的方法是一种从混合语音当中直接学习目标语音频谱的估计方法。Du等人[17]利用输入语音信号的信噪比正负性分别训练正负DNN，用于估计目标语音的幅度谱，在分离系统后接入语音识别系统用来判断分离语音质量，实验验证该方法比基于GMM-HMMs模型的效果好。在此之后，Wang等人[18]又提出一种基于性别检测的多DNN的无监督单通道语音分离算法。首先利用DNN进行性别组合检测，然后在各个子类中选择相应的DNN分离模型用于估计目标语音幅度谱，分离语音的质量得到了提升。由于在一般场景中基于频谱映射比基于时频掩蔽的方法性能要差，目前基于深度神经网络的单通道语音分离算法大多基于时频掩蔽方法。

基于深度学习的语音分离算法是在损失函数约束下实现深度神经网络参数训练的，损失函数设置的好坏对系统性能有直接的影响。Li等人[19]提出了一种基于语音频谱变化感知损失函数的DNN语音分离算法，该算法的损失函数与语音频谱变换相关，并引入了增益函数，使得分离语音质量比传统方法要高。我们团队[20]提出了一种基于双输出DNN的单通道语音分离联合约束算法，该算法的损失函数不仅约束了双输出的掩蔽误差，还约束了双输出分离信号掩蔽的联合关系，使得分离语音的性能得到了提升。传统的基于掩蔽的单输出语音分离算法的损失函数只考虑了预测掩蔽值和真实值的误差，这使得分离后的语音与纯净语音之间误差较大。本文提出了一种新的联合约束损失函数，该损失函数不仅约束了预测掩蔽值和真实值的误差，还惩罚了预测值对应幅度谱和目标语音幅度谱之间的误差。需要强调的是，文献[20]针对的是双输出分离系统，约束了双输出信号掩蔽间的联合关系。而本文针对更常用的单输出分离系统，联合约束了掩蔽和幅度谱的预测误差，并且引入正则系数α调节二者的约束力度。另外，在单通道语音分离算法中，常常利用混合语音幅度谱作为输入特征来训练分离模型，由于输入特征单一，模型的分离效果有限。为了解决该问题，本文提出一种基于深度学习特征融合和联合约束的单通道语音分离方法，该方法首先基于具有融合功能的卷积神经网络(Convolutional Neural Network, CNN)得到融合特征，然后在联合损失函数约束下训练语音分离模型来提升单通道语音分离效果。

2 基于深度学习的单通道语音分离

2.1 语音分离模型

根据语音混合方式常用的语音分离模型分为两种：线性混合语音模型和卷积混合语音模型。线性混合语音模型是指将多个语音信号线性加权叠加形成混合信号，这个过程不考虑语音信号之间的相关性和时延。卷积混合语音模型则是由各语音信号相互卷积而混合的信号模型，可能存在时延。本文研究的信号分离模型为线性混合模型，可以表示为

2.2 基于深度学习的单通道语音分离架构

深度神经网络具有强大的数据挖掘能力，可以很好地映射网络输入输出间的非线性关系。与传统基于现代信号处理理论的单通道语音分离算法相比，基于深度学习的单通道语音分离算法在语音分离模型的构建上更加准确，语音分离也更加有效。基于深度学习的单通道语音分离主要学习混合语音到预测目标的映射关系，该映射关系由深度神经网络的参数决定。常用的深度神经网络有DNN, CNN和RNN等。CNN的卷积层提取小块区域特征，可以很好地保留语音特征的空间信息，另外池化层对冗余信息进行筛选，可以减少计算量，CNN具有更为出色的语音特征映射能力。以两个源语音混合信号的分离为例，基于CNN网络的单通道语音分离系统框图如图1所示。

图1 基于CNN的单通道语音分离系统框图

基于CNN网络的语音分离包含两个阶段：训练阶段和分离阶段。在训练阶段，提取两个源语音信号的声学特征以及两源语音混合后信号的声学特征，对其进行归一化等处理后，利用这些特征和预测目标在损失函数的约束下训练CNN。在测试阶段，首先提取混合语音的声学特征，然后将其作为训练好的CNN的输入得到分离语音的预测目标，结合相位信息得到频域信号，最后通过短时傅里叶逆变换得到重构语音的时域波形。

3 基于CNN特征融合的单通道语音分离联合约束算法

3.1 具有融合功能的CNN分离模型

在基于传统CNN结构的语音分离中，当输入单一特征时得到的分离语音质量有限。主要由于CNN对语音特征信息进行高度抽象化，导致部分全局信息丢失。为了提高分离语音的质量，本文提出了一种含特征融合层的CNN结构，该结构在传统CNN基础上增加了特征融合层，利用CNN提取多通道输入特征的深度特征，在融合层中将深度特征与声学特征融合，该融合特征用于训练语音分离模型。

受图像信号RGB处理方式启发，本文将语音多种声学特征以多通道形式作为CNN的输入，提取语音更加全面的深度特征。在基于深度学习的单通道语音分离中，混合信号的幅度谱是最常见的输入特征[17]；另外，由于本文最终需要重建目标语音幅度谱，输入多种与幅度谱相关的特征可以捕捉到多元化的目标语音信息，便于高质量重建分离目标。基于这两方面的考虑，本文将归一化后语音信号的幅度谱特征、功率谱特征以及对数功率谱特征作为CNN的3通道输入用于提取深度特征。这里的多通道输入语音的多个特征，其实也是一种在特征维度方面的融合，可以使提取的高度抽象深度特征具有更丰富的表征能力。

为了充分利用多种特征的互补性，本文在传统的CNN架构中加入了一个特征融合层，用于将CNN提取的语音深度特征和语音的幅度谱特征进行融合。这样做不仅可以弥补CNN多层特征提取造成的全局特征信息丢失，而且让分离模型的特征更加丰富。这里选择幅度谱特征与深层特征融合是有考究的，首先所使用的特征必须具有表征语音信号全局信息的能力，幅度谱特征具备此能力；其次所选取的特征必须与深层特征有相关性，由于语音的幅度谱特征也是CNN的输入之一，所以与深层特征一定相关；另外，模型的输出IRM是为了重构目标语音的幅度谱，因此相对于在幅度谱基础上计算得到的功率谱和对数功率谱特征，幅度谱特征与重建目标更具有直接相关性。本文提出的含融合层的CNN语音分离模型结构框图如图2所示，该图展示了含有2个卷积层、2个池化层、1个融合层和1个全连接层的用于语音分离的卷积神经网络。首先提取语音的多种声学特征，以多通道的方式输入到CNN中，然后通过多组的“卷积+池化”操作提取输入特征的深度特征。经过CNN提取的深度特征进行拉平操作后得到1维特征，然后在融合层将深度特征和混合语音的原始输入特征融合作为全连接层的输入，最后得到分离语音的掩蔽或幅值。

图2 含融合层的CNN语音分离模型

含融合层的CNN结构具体设计：为了挖掘语音信号帧间的空间信息，首先将每个通道相邻2帧512维的信号合并成1024维，再将其转化为32 ×32的特征，最后形成3通道的3 × 32 × 32的声学特征。然后选取2个卷积层和2个池化层，对输入的3通道特征提取深层特征。第1层的3个卷积核的大小是3 × 3，池化核的大小是2 × 2的，步长是1。因为采用了padding操作，输出特征的大小变为1 ×32 × 32。第2层卷积核的大小是1 × 1，池化核的大小是2 × 2，步长是2，输出特征大小为1 × 16 ×16。得到深层特征后，利用flatten操作将其转化为大小为256 × 1的特征。然后将深层特征和512 ×1的混合语音幅度谱特征在融合层进行融合得到768 × 1的融合特征，作为全连接层的输入。全连接网络的结构是768-1024-1024-512。需要说明的是，由于挖掘空间信息时打破了语音信号的时序性，因此深度特征与幅度谱特征融合既可以利用空间信息又可以保证时序性信息不丢失。

3.2 具有联合约束作用的损失函数

在大多数基于深度学习的单通道语音分离算法中，由于语音分离任务是一种线性回归的深度学习预测过程，一般采用最小均方误差(Minimum Mean Squared Error, MMSE)作为损失函数的误差测量标准。通用的损失函数可以表示为

CNN分离模型的训练包含两个过程，即前向传播(Forward Propagation, FP)和反向传播(Backward Propagation, BP)。CNN的FP阶段是通过随机初始化权重和偏置粗略估计输出的过程。输入特征利用每层网络参数进行线性加权运算，在激活函数作用下得到该层的输出。再依次向后面的网络层传播，最后得到输出层的预测值。BP与FP阶段的差别在于计算的起点不同，BP从输出层出发，从后向前反向运算，控制反向调参的主体是损失函数。通过梯度下降算法对损失函数进行寻优，使目标损失函数尽可能接近最小值。每个训练周期不断调整各层网络的权重和偏置逐步完成整个网络的训练。本文CNN分离模型的全连接层在MMSE准则下每帧信号的损失函数为

3.3 基于CNN特征融合的单通道语音分离联合约束算法

本文提出的基于CNN特征融合的单通道语音分离联合约束算法包含3个阶段：训练阶段、分离阶段和语音重构阶段，以估计第1个目标信号为例，具体流程见表1。在训练阶段，首先提取语音的多个幅度相关声学特征，作为CNN的多通道输入来提取深度特征；然后与语音信号幅度谱特征在融合层进行融合，将融合后特征作为全连接网络的输入；最后以IRM为目标在联合约束损失函数(式(3))的约束下，利用整合优化算法寻优语音分离模型。IRM的计算公式可以表示为

表1 基于CNN特征融合的单通道语音分离联合约束算法流程

在分离阶段输入测试混合语音的3通道特征，经过训练好的具有融合功能的CNN网络，得到分离语音的IRM估计值。在语音重构阶段，将IRM估计值与混合语音的幅度谱相乘得到估计的目标幅度谱：

4 实验仿真

本文采用的语音库是GRID[21]，该语料库的语种是英文，由34个说话人(18位男性和16位女性)组成，每个说话人录有1000条语句，每条语句的持续时间大概为1～2 s左右。实验的训练集、测试集、验证集都来自此语料库。整个实验的任务是对两个说话人的混合语音进行分离，因此基于性别进行划分可分为男-男组合、男-女组合、女-女组合，因此至少需要2位男性和2位女性。实验中，从整个语料库中随机选取2位男性和2位女性的语音，每2个人的语音以混合系数为1进行叠加构成混合信号1000条。在这1000条混合语音中，随机选取500条语句作为训练集，然后在余下的500条语句中选择100条语句作为验证集，剩下的400条语句中随机选择50条语句作为测试集，实验结果是50条语句结果的平均值。每条语音的采样率为25 kHz，这里将语音的采样率下采样到16 kHz，通过512点STFT获得语音的幅度谱，窗函数使用的是窗长为512的汉明窗，帧移为1/2的窗长。

本文采用多个语音指标来衡量所提算法的准确性和有效性，包括PESQ, SDR和STOI，这些指标的数值与语音分离性能都是正相关的。

4.1 实验超参数设置

(1)损失函数的正则化系数对于分离性能的影响。由于不同性别组合联合约束的约束程度不同，本小节分析正则项系数α对3种性别组合的影响程度。从语料库中随机选取2男2女的语料混合作为实验对象，这里可划分成3个性别组合，分别是男-男(M-M)、男-女(F-M)和女-女(F-F)。α的取值范围为[0,1]，每次递增0.1。这里以分离后语音的PESQ为例讨论正则项系数α对语音分离性能影响，实验结果如图3所示。

从图3可以看出，本文提出的联合约束的正则项对语音分离性能提升有明显作用。当α=0时就是传统损失函数的分离性能，当α>0时是联合损失函数的分离性能，增加的正则项对损失函数的约束起到了很好的提升效果。当α<0.5时，3种组合的分离语音PESQ都是随着α的增大而增加，在FM组合下增长速度最为明显，这表明在一定范围内，这个正则项对损失函数都是有约束作用的，约束程度随着α的调节而改变。但α并不是越大越好，在F-F组合中，当α>0.7之后，分离语音质量降低；在F-M组合中，当α>0.5之后，分离语音质量降低；在M-M组合中，当α>0.7之后，分离语音质量降低。这表明，不同性别组合语音特征的差异性使得最佳约束力度不相同。因此在不同的性别组合分离实验当中设置不同的正则化系数，F-M组合时α=0.5， F-F和M-M组合时α=0.7。

图3 不同正则化系数对应的分离语音PESQ

(2)CNN超参数设置。本小节从卷积层的个数和池化层的池化方式角度分析CNN的超参数设置。在这两个参数对比实验中，以F-F组合实验结果为例进行展示。

首先通过实验验证了当CNN结构中含有两个卷积层时，语音分离的效果较好。CNN卷积层的个数分别为1, 2和3时的实验结果如图4所示。实验中使用1层卷积的卷积核大小是3 × 3；使用两层卷积时第1层卷积核大小也为3 × 3，第2层卷积核设置为1 × 1的大小，这样可以保持特征的维度不变；使用3层卷积时，第1层卷积核的大小是3 × 3，第2层和第3层卷积核大小都为1 × 1。从图4可以看出，以SDR为指标时，两个卷积层的分离效果比单个卷积层要高1.54 dB；然而使用3个卷积层比2个卷积层的分离性能略微有些下降，这是因为卷积层过多容易造成全局特征信息过度丢失。因此，后续实验中的CNN结构都使用两个卷积层来提取深度特征。

图4 选取不同卷积层数的性能比较

然后考察池化层池化方式对分离语音性能的影响。池化核的大小选取要得当，否则在进行均值池化或者最大值池化时，会造成语音信号特征的信息由于压缩降维产生信息丢失的问题。实验中使用池化核的大小为2 × 2，步长大小为1。使用的两种池化方式的实验结果如图5所示。可以看到，在使用平均池化时比使用最大值池化时，分离语音的效果要好，在SDR, PESQ和STOI指标上分别高了0.70 dB,0.15和0.08。因此，本文后续实验使用均值池化方式。

图5 池化方式的性能比较

4.2 与单输入和无融合层的算法对比

(1)与单通道单一输入特征CNN分离算法对比。为了解决在单一特征输入时语音分离模型的分离性能提升有限的问题，选择多种与幅度谱相关的声学特征作为CNN的输入。用于对比实验的两个含有融合层的CNN除了输入特征不一样外，其他部分的设置相同。输入特征都是归一化声学特征，单通道输入是512点幅度谱特征，多通道输入是幅度谱特征、功率谱特征以及对数功率谱特征构成的3 ×512的多特征。实验结果如图6所示。

从图6可以看出，多通道的多输入特征在每个性别组合实验中的分离性能都表现得比单通道的单一输入特征的分离性能要好，最明显的差异是在SDR这个指标上，在M-M, F-M, F-F这3个性别组合中分别高了1.14 dB, 1.76 dB, 0.80 dB，也可以看出本算法针对F-M性别组合分离的能力更出色一些。实验结果验证了使用多通道多特征用于提取深度特征的效果比单通道单一特征的效果要好，主要因为输入单一的幅度谱特征包含的语音信息相对较少，导致高度抽象的深度特征表征的语音信息不丰富，后续实验使用多通道多特征。另外，无论输入的是单一特征还是多通道特征，F-M组合的分离效果要比其他两个性别组合的分离效果要好，说明异性相对同性更容易区分；M-M性别组合的分离效果稍微比F-F组合差一点，由于两说话人是随机选取的，两说话人的语音相似度可能导致不同性别组合分离性能不一。

图6 多通道多特征与单通道单一特征性能对比

(2)与不含特征融合层的CNN语音分离算法对比。对本文提出算法与没有特征融合的CNN分离算法进行性能对比，验证在传统的CNN结构中加入特征融合层的有效性。两个网络模型都使用3通道特征作为输入，使用的卷积核与池化层的设置相同，CNN最后的拉平操作的维度都是256维，最后的全连接网络层的设置也相同。区别主要在全连接层的输入，一个是深度特征和声学特征的融合特征，一个是深度特征。实验的结果如图7所示。

从图7可以看出，本文提出的含有特征融合层算法在分离性能上比没有特征融合的CNN分离算法的性能要好。无论是哪种性别组合下没有特征融合的CNN分离算法的分离效果都非常得不理想。特别在F-M实验中本文算法在SDR, PESQ, STOI上与对比算法相比分别提升了4.45 dB, 1.01, 0.27。基于传统的CNN架构的算法中，CNN能够提取到语音信号的深度特征，但是在卷积层提取特征时一些浅层的声学特征信息被丢失了，从而损失了语音的一些全局信息特征。另外，语音分离任务是预测分离后的语音或者比值掩蔽，较少维数的深度特征不能准确地表征语音信号的所有信息，导致分离模型的性能较低。本文方法将深度特征与浅层声学特征相融合，可以弥补信息丢失问题，使得语音分离模型能够更加准确地分离和重构语音。

图7 有无特征融合层的CNN分离效果对比

4.3 与其他算法的对比实验

(1)与基于联合约束DNN架构的语音分离方法比较。本文方法与文献[20]中DNN架构方法进行对比。为了更好地验证在本文提出的联合约束下使用CNN来提取语音信号的融合特征是优秀的，单输出的DNN架构的单通道语音分离模型也采用本文的联合约束损失函数。基于联合约束DNN架构的单通道语音分离的输入特征是归一化的混合语音幅度谱，采用的DNN结构是512-1024-1024-1024-512，即输入输出层有512个神经元节点，有3个隐层，每个隐层的神经元节点个数是1024。本文方法利用CNN提取功率谱、对数功率谱和幅度谱的深度特征，然后再与语音的幅度谱融合作为全连接层的输入。实验所得到的结果如表2所示。

从表2可以看到，对于3种性别组合方式，基于CNN特征融合的单通道语音分离算法都比基于DNN的单通道语音分离算法的表现要好。F-M性别组合实验的效果是最好的，因为男性语音信号和女性语音信号的差异性较大，他们混合之后的幅度谱的贴合没有同性别组合的那么紧密，因此相对于同性别组合来说更容易分离。本文提出的基于CNN特征融合的方法相比于基于DNN的方法的分离性能，在SDR, PESQ以及STOI指标上F-M组合分别提升了1.7 dB, 0.26和0.08，F-F组合中分别提升了1.1 dB, 0.26和0.08，M-M组合中分别提升了0.9 dB,0.27和0.06。这说明，利用CNN提取的语音信号深层特征和幅度谱特征的融合起了效果，使得分离语音的质量得到了提升。整体算法在短时客观可懂度(STOI)上有提升但不大，主要是因为该值的范围就是在0和1之间。本次选取的两个女性组合的实现效果比较好，最主要的原因是两个选取的说话人语音之间的相似度比较低，比较容易区分，因此分离的效果比较好，而选择的两位男性说话人的语音相似度比较高，因此分离的效果略低于女性别组合方式。可以发现同性别下信号相似度影响语音分离性能。但整体来说，所提出的算法优于基于DNN的算法，分离语音性能有了进一步的提升。另外，从男女混合信号中恢复的语音信号的时域波形图如图8所示，可以看出，与基于DNN的单通道语音分离算法相比，无论是男生语音还是女生语音，本文方法恢复的语音信号波形与纯净语音波形的包络更加接近。

图8 本文方法和文献[20]时域波形对比

表2 本文方法与基于DNN方法性能对比

(2)与其他损失函数和其他训练目标的性能比较。首先对文献[15]使用的损失函数和本文的联合约束损失函数进行语音分离实验，并对它们的分离性能进行比较分析，来验证所提的联合约束损失函数可以提高分离语音的质量。然后将本文所提算法用于文献[17]中以TMS为目标的语音分离，来观察本文算法在不同的训练目标下的分离性能差异。实验结果如表3所示。

表3 不同损失函数和训练目标性能对比

从表3可以观察到不同的损失函数对于本文所提算法的分离性能的影响是很大的，所提出的联合约束函数对于本文算法的网络结构的参数训练有很强的指导作用。当以IRM为目标时，本文基于联合约束损失函数的分离效果比文献[15]损失函数的分离效果要突出，在F-F性别组合下SDR, PESQ和STOI上分别高了1.44 dB, 0.22和0.06。在F-M性别组合下SDR, PESQ和STOI上分别高了0.93 dB,0.23和0.07。在M-M性别组合下SDR, PESQ和STOI上分别高了1.09 dB, 0.12和0.07。由于STOI指标的范围在0到1之间，性能提高数值表现上相对不太明显。另外，3种性别组合下以IRM为训练目标比文献[17]以TMS为训练目标的分离效果要好。而且TMS对于在F-F和M-M这两组性别实验中得到的分离效果基本相近，但在以IRM为训练目标的这两组性别实验中，F-F的分离性能是要优于M-M的分离性能的，这是因为TMS是直接预测分离目标的幅度谱，对单通道两分离语音信号之间的相似度比较敏感，容易受其影响。总之，在本文提出的具有联合约束关系的损失函数的指导下，训练出来的分离模型的分离性能要比其他损失函数的优越。本文提出的基于CNN特征融合和联合约束的单通道语音分离算法是非常优秀的。

5 结束语

本文针对输入单一特征和基于传统损失函数训练分离模型时分离语音质量提升有限的问题，提出了基于CNN特征融合的单通道语音分离联合约束算法。该算法在传统的损失函数基础上，通过增加一个正则项对网络参数进行联合约束，不仅使预测的比值掩蔽接近理想值，而且使恢复出的目标信号幅度谱和实际的幅度谱接近，从而提高了分离模型的准确性。另外，该算法充分利用CNN在提取深层次特征时的出色能力，首先提取了多通道声学特征的深度特征，然后再将混合信号的幅度谱特征与深度特征在融合层进行融合来训练分离模型。由于输入的特征所包含的语音信息更加丰富，因此语音分离系统性能进一步得到了提升。实验结果表明，本文所提算法可以有效提升分离语音的清晰度和可懂度。