基于稀疏自编码的深度故障诊断方法与研究*

张海天，陈 斌，刘 程，瞿珊瑚

（海军工程大学 电子工程学院，湖北 武汉 430033）

0 引 言

短波发信机是短波通信系统的重要组成部分。发信机的工作状态会影响整个通信系统的运行。它包括低频放大器、调制解调器、倍频器、功放、发射天线等组成部分。每一个部分的故障都会影响发信机的工作。目前，对于通信装备的故障诊断方法大多采用基于专家系统或基于BP神经网络的有监督学习算法。例如：谭连群等利用模糊推理将通信设备的故障信息模糊化，然后与模糊知识库进行匹配，利用精确的故障信息进一步与知识库进行比对，从而实现故障的定位与诊断[1]；江志农等采用CBR与RBR串行方式进行推理，优先通过案例匹配方式寻求诊断结果，在不适用情况下转入通用性规则推理，并将诊断结果反馈给知识库进行优化，提高了故障诊断的速度[2]；胡丽等采用BP神经网络对通信设备进行故障分类，大大缩短了诊断周期[3]。以上方法均获得了较高的诊断识别率，但是基于专家系统的诊断方法缺乏自主学习能力，存在知识获取困难、不灵活等问题，不适用于复杂系统或经验不足系统的故障诊断；BP神经网络属于监督学习，需要大量的标签数据和人为的特征提取，且需要的数据为通信设备的相关指标而非实际信号，对于处理大量的实际信号，难以保证正确率，增加了数据获得的难度与要求。

目前，深度学习理论被广泛应用在各个领域。钱彬等采用稀疏自编码对路面图片进行特征提取，再采用softmax分类器进行分类，有效检测出图像的裂缝区域[4]；曾安等采用稀疏自编码对数据进行特征提取，并将稀疏自编码获得的权值与偏置对DBN神经网络进行初始化，大大提高了训练效率和准确率[5]。稀疏自编码的无监督学习方法，从无标签的数据中提取内在特征，减少了人为提取特征的过程，提高了精度，在故障诊断[6]、语音识别、图像识别[7]中取得了很好的效果。

本文通过稀疏自编码和神经网络两种学习策略，提出了一种基于稀疏自编码深度神经网络的短波发信机故障诊断方法。首先，利用稀疏自编码的自主学习能力，自动提取学习发信机信号的特征，将获取的权值与偏差对深度神经网络进行初始化，再将归一化后的发信机信号数据分为样本数据与测试数据，对深度神经网络进行训练和测试，通过对混频模块、功放模块故障以及正常信号的识别与分类，证明提出的稀疏自编码深度神经网络算法能够有效识别发信机故障。

1 稀疏自编码原理

自编码网络是一种无监督的学习算法，能够在无标签的数据中提取出内在特征，使用反向传播的算法使得目标值等于输入值，即yi=xi。它的结构如图1所示（图1中ˆix即为输出值yi）。

图1 稀疏自编码结构

自编码器由输入层、隐含层和输出层组成。输入层为原始数据，隐含层是对输入数据进行编码，输出层是对隐层数据的解码以及对原始数据的重构。其中，+1为偏置项的系数。当隐含层神经元的个数远小于输入层时，隐含层数据的获得过程相当于对原始数据的压缩表示。对于完全随机的数据，学习压缩表示十分困难。但是，如果输入特征间彼此相关，则自编码算法可发现其相关性。对于隐含层个数多于输入层时，可以对隐含层加入稀疏性限制的方法来发现输入数据间的相关性。

对于采集的短波发信机信号数据：

其中，Sl是第l层的神经元总数。

用a(2)j(xi)表示第i组样本输入xi时隐藏层第j个神经元的输出值，则第j个神经元的平均激活度表示为：

其中，m表示输入层单元的个数；

为使大多数神经元被抑制，ˆjρ需等于一个接近于0的常数ρ，ρ称为系数常数。为实现这一限制，将会在优化目标函数中加入一个额外的惩罚因子，而这一惩罚因子将惩罚ˆjρ和ρ显著不同的情况，从而使得隐藏神经元的平均活跃度保持在较小范围内。选用KL散度作为惩罚项PN的表达式：

式中：S2为隐层的个数。

KL散度的数学表达式为：

式中：λ是权值衰减常数；nl为神经网络层数。

因此，总体代价函数可表示为：

式中β为系数惩罚系数。

2 基于稀疏自编码器的深度神经网络

采用无监督学习获得网络参数并初始化网络的方法，一定程度上解决了BP算法反向微调易陷入局部最优的问题[8]。预训练获得的网络权值能更好地表达输入数据结构，提高网络的特征表达能力和泛化能力。而稀疏自编码器能够将原始数据与高维的特征空间进行相互映射，起到降维的作用，并能很好地发现输入数据内部结构间的相关性和特征。因此，本文采用稀疏自编码的无监督学习算法预训练样本数据，将隐层获得的最优特征表达权值W和偏差b用来对深度神经网络进行初始化，然后对深度神经网络进行训练和反向微调，以进一步改善局部最优问题，并提高模型的分类精度和训练效率。

具体的试验方法流程如图2所示。

步骤1：采集短波发信机正常状态、混频故障状态、功放故障状态的信号数据，将数据分为训练数据与测试数据两部分。

步骤2：对数据进行归一化处理，使其在每个维度上均值为0、方差为1。

步骤3：建立单隐层稀疏自编码模型，用训练数据对稀疏自编码模型进行训练，采用随机梯度下降的方法获得最优的权值W和偏差b。

步骤4：使用稀疏自编码器获得的最优权值W和偏差b作为深度神经网络隐层参数的初始值，对深度神经网络进行初始化。

步骤5：使用训练样本对深度神经网络进行训练，并使用BP算法进行反向微调，完成整个网络的训练。

步骤6：使用有标签测试数据对训练好的神经网络进行测试，以验证整个网络的有效性。

图2 实验流程

3 仿真实验及分析

3.1 实验数据来源与特点

以某型短波发信机为例，说明算法在实际中的应用。

首先，由于功放发生故障时，信号存在不同程度的失真，因此先设定两种故障状态，分别表示为功放模块1故障和功放模块2故障。其中，正常状态为正弦信号，故障1为平顶失真，故障2为干扰失真。

其次，对两种故障状态和正常状态3种状态的信号进行采集，每种状态获得20组数据，每组数据获取10240个采样点，共60组数据。在每种状态的数据中随机抽取一种数据，得到如图3所示的图形。

图3 短波发信机3种状态波形

由图3可以看出，正常状态下，信号为正弦信号，但由于噪声的存在，信号存在毛刺；在故障1状态下，信号顶部存在微弱失真，在噪声的叠加下，信号的失真被覆盖，不易区分；在故障2状态下，信号存在较明显失真，但同样存在噪声对信号判断产生的影响。

其次，对数据进行再采样，实现对样本数据的扩充。具体做法：每组数据随机抽取10个点，并以此为样本的起始点，获取大小为512个采样点的样本数据10组，每组数据进行相同处理，得到600组样本数据。

最后，将样本数据选出300组数据作为训练样本，300组数据作为测试样本。采用训练样本对模型进行训练，采用测试样本验证算法的准确率。

3.2 仿真结果及分析

构建稀疏自编码网络，完成对发信机信号内的特征提取，稀疏自编码网络的结构为：512-256-512；设置迭代次数为400次，用训练样本进行训练，提取数据的特征，获得隐层连接的权值W1以及偏置项b1，将最优权值与偏置值作为深度神经网络的参数，对深度神经网络进行初始化。深度神经网络的结构为512-256-3。设置神经网络的迭代次数为900次，再使用训练数据对深度神经网络进行训练，用测试数据进行测试。

利用matlab进行仿真实验，本文提出的测试结果如图4所示。

由图4可知，本文方法的准确率高达100%，验证了算法的可行性，并画出损失值随迭代次数的变化曲线如图5所示。

图4 稀疏自编码深度神经网络测试结果

图5 损失值随迭代次数下降曲线

由图5可知，当迭代次数达到470次左右时，函数逼近最优，达到收敛。

为验证本方法的有效性，本文实现了4个其他模型与本文提出模型进行对比。

（1）单隐层BP算法；设置网络结构，学习算法，激活函数，与深度神经网络相同，设置迭代次数为1 000次。

（2）sofemax分类器；设置softmax分类器的迭代次数为100次。

（3）利用稀疏自编码对数据进行特征提取，再将隐层输出后的数据用softmax分类器进行分类；稀疏自编码的迭代次数设为400次，结构与本文提出方法的稀疏自编码层结构相同，softmax分类器的迭代次数为100次。

（4）稀疏自编码器与深度神经网络级联。先利用稀疏自编码压缩信号，将得到的压缩后的特征信号输入到深度神经网络进行分类。其中，稀疏自编码与深度神经网络与本文完全相同。

同时，为减少随机因素的影响，每种算法实验重复进行10次，得到如表1所示结果。

表1 10次实验结果 /（%）

可以看出：

（1）单隐层算法的识别率在40%～52%，诊断的准确率波动较大，且诊断率较低。原因是BP算法在运行过程中容易陷入局部最优，训练的误差维持在较高的水平，导致准确率较低。

（2）采用softmax分类器直接分类采集的信号，由于特征不够明显，导致分类器的效果很差，准确率维持在30%～40%，无法达到分类的效果。

（3）对比加入稀疏编码器后的softmax分类器，准确率提升到了63%～72%，提升了近30%，提升明显，说明稀疏自编码器的无监督学习算法能够有效提取短波发信机信号的内在特征，从而提高对发信机信号的故障诊断准确率。

（4）本文稀疏自编码器深度神经网络的方法准确率达到100%，对比BP算法以及加入稀疏自编码器的softmax分类器，分别提升了近50%、30%，体现出本文方法的高识别率。同时，从10次实验准确率的波动范围可以看出，本文算法具有很好的稳定性。

（5）本文方法还进行了与稀疏自编码提取压缩后的特征信号再输入到深度神经网络的方法的对比，可知在准确度上两种方法相差不大，但本文方法具有更好的稳定性。分析两者的误差下降曲线，稀疏自编码与深度神经网络级联的误差下降曲线如图6所示（本文方法的误差下降曲线见图5）。

图6 稀疏自编码与深度神经网络级联损失

由图6可知，当迭代次数达到600次左右时，函数逼近收敛，最终的损失值为0.006，接近于0。对比图5可以看出，将稀疏自编码得到的权值与偏置项对深度神经网络的隐含层第一层进行初始化，误差下降速度更快，大大缩短了程序运行的时间。因此，本文提出的方法具有更好的优越性。

4 结 语

根据稀疏自编码对数据具有较好的特征提取能力，提出利用稀疏自编码获得权值与偏差对深度神经网络初始化的方法，同时通过实验验证了方法能够有效提取短波发信机信号特征，可对发信机故障特征进行有效诊断。同时，通过与其他几种方法的对比表明，该方法能够在一定程度上克服陷入局部最优的弊端，有效降低误差，提高诊断故障的准确率和稳定性。如何对更复杂的通信系统进行故障诊断以及在保证精度的情况下使得算法更具有智能化，将是后续研究的重点。