基于双通道特征融合的CNN-LSTM轴承故障诊断方法

唐红涛，李 冰，高晟博

(1.武汉理工大学 机电工程学院，湖北 武汉 430070；2.数字制造湖北省重点实验室，湖北 武汉 430070)

在传统的故障诊断算法中，特征提取是对多个传感器在时域、频域和时频域收集的原始数据信号进行处理和转换，并提取有用的代表性特征用于后续故障识别[1-2]。这种方法存在的问题有：①在特征提取时，需要将时域信号转化成频域信号或者时频域信号处理，增大了工作量，费时费力。②在特征选择时，主成分分析和独立成分分析容易丢失一些重要的特征，造成过拟合，泛化能力差。

近年来，随着深度学习在计算机视觉、声学识别等领域的广泛成功应用，利用深度学习方法解决故障诊断逐渐成为一个研究热点[3-5]。卷积神经网络(convolutional neural network,CNN)由于具有优异的自动局部空间特征提取能力而得到了广泛的应用，万齐杨等[6]利用深度卷积自编码器对直升机自动倾斜器滚动轴承研究时，达到了一个较高的诊断准确率。为了快速确定网络参数，Chen等[7]提出了利用PSO(particle swarm optimization)优化算法对CNN网络结构进行优化，成功缩短了故障诊断时间，提高了故障诊断准确率。这种方法虽然实现了轴承故障诊断，但是仅考虑到振动数据的空间特征而忽略了振动数据的时序特征。Pan等[8]对滚动轴承故障诊断研究时，将CNN的输出作为LSTM(long short-time memory)的输入进而识别轴承故障类别。Pang等[9]对风电机组故障研究时，将多核融合卷积神经网络提取的空间特征输送给LSTM学习时间特征，诊断结果优于单神经网络诊断结果。这种方法虽然考虑到时间特征的重要性，但是LSTM得到的数据是时序性特征破坏后的数据，重要的时序特征可能会丢失，因此并没有充分发挥LSTM在提取时序信号的性能优势。

综上所述，单通道的CNN和CNN-LSTM没有充分提取原始振动数据的特征，可能造成重要特征的丢失，影响故障诊断的准确性。故笔者提出双通道特征融合的CNN-LSTM故障诊断方法，将原始数据同时输入到CNN网络层和LSTM网络层，充分发挥CNN提取原始振动数据的空间特征和LSTM提取原始振动数据时序信息特征的能力，将提取到的特征信息进行融合，最后将融合后的特征输入到softmax分类器完成故障分类。

1 深度学习理论

1.1 卷积神经网络

卷积神经网络(CNN)是一种具有卷积计算和深层结构的前馈神经网络，最早应用于图像识别领域，典型的CNN[10]通常由输入层，卷积层、池化层、全连接层，输出层组成。卷积层的主要作用是对输入数据进行特征提取，该层包含卷积核、卷积层参数和激活函数。卷积核定期扫描输入数据，与感受野中对应的数据进行乘法求和，并叠加偏差。最大池化是最常见的池化操作，通过降采样只保留突出的特征，从而避免过拟合。在池化层之后，利用全连接层将池化层所提取的重要特征全部连接起来，将输出值传送给分类器，输出每个样本对应的类别。

1.2 长短期记忆神经网络

长短期记忆神经网络(LSTM)作为一种时间循环网络，可以利用特殊的“三门结构”捕获大范围时间序列数据的相关性并提取最优特征。其在循环神经网络(recurrent neural network,RNN)的基础上引入记忆细胞可以解决梯度爆炸及消失的一种时间循环网络[11]。每一LSTM层作为一个LSTM网络模型,如图1所示。每层由若干个LSTM细胞组成，每个LSTM细胞的内部结构如图2所示，方框Ⅰ代表遗忘门，方框Ⅱ代表输入门，方框Ⅲ代表输出门。

图1 单层LSTM结构

图2 LSTM单元结构

遗忘门的作用是决定丢弃哪些信息，通过sigmoid查看ht-1和xt信息，输出一个0～1向量，从而决定Ct-1中的信息哪些保留哪些丢弃。输入门先通过激活函数sigmoid决定更新哪些函数，然后利用tanh层查看ht-1和xt信息得到新的信息Ct,Ct为当前LSTM核的状态。其本质就是通过遗忘门选择遗弃一部分旧信息，再通过输入门添加一部分新的信息。输出门决定输出哪些信息状态特征，首先通过sigmoid激活函数得到一个判断条件然后与Ct经过tanh激活函数处理后的结果进行点乘，也就是该LSTM核的最终输出。遗忘门、输入门和输出门的数学表达式如下：

ft=σ(Wf[ht-1,xt]+bf)

(1)

it=σ(Wi[ht-1,xt]+bi)

(2)

ot=σ(Wo[ht-1,xt]+bo)

(3)

(4)

(5)

ht=ot*tanh(Ct)

(6)

2 双通道特征融合的故障诊断模型

在以往的研究中，大多数学者在利用卷积神经网络研究轴承故障诊断时，仅考虑故障信息的空间特征，忽略了数据间的时序特征，可能会造成故障信息提取不完整，故笔者提出双通道特征融合的CNN-LSTM故障诊断模型，可同时考虑数据的空间特性和时间特性。该模型主要由长短期记忆神经网络LSTM、卷积神经网络CNN、特征融合层和输出层softmax 4部分组成，其结构如图3所示。传统CNN是将一维振动数据转化为二维图像，这种方法不仅增大了工作量，同时也分割了时间序列数据的连续性。为了避免破坏振动数据的原始性，采用一维CNN提取原始一维振动数据空间特征信息；传统LSTM获得的数据是经CNN卷积池化后的数据，这些数据已经丧失原始数据时序特征序列，因此利用LSTM直接处理原始振动数据，以获取原始振动数据的时序信息特征；特征融合层的作用是将振动数据的时间特征和空间特征进行融合，融合层采用的Concatenate融合机制；输出层是根据融合后的特征判断相应的故障类型。

图3 双通道特征融合的CNN-LSTM故障诊断模型

经过卷积池化后的数据维度降低，为了充分提取该数据中所隐藏的特征，采用3个卷积层对故障信息进行特征提取。网络模型的具体参数如表1所示。为了减少训练时间以及避免梯度消失和梯度爆炸问题，本模型在卷积层之后采用了批标准化进行处理。通常在分类层前是全连接层，但是全连接层的参数超多，会使模型变的非常臃肿，甚至产生过拟合，因此利用全局平均池化代替全连接层，实现降维的同时又极大的减少了网络参数，提高了模型收敛速度。

表1 双通道特征融合的CNN-LSTM模型结构参数

具体故障诊断步骤如下：

步骤1获取滚动轴承的原始振动数据，并将数据样本随机划分成训练集和测试集。

步骤2初始化CNN、LSTM权重以及偏置项，将训练集的数据分批次同时输入到LSTM和CNN中进行故障特征的学习，选择合适的学习率、LSTM单元个数以及迭代次数等参数。

步骤3利用CNN和LSTM分别提取振动数据空间特征信息和时序信息特征，并进行特征融合，将融合后的特征输入到softmax层。

步骤4利用softmax实现对滚动轴承的状态分类，根据损失值和准确率的变化，对模型参数进行微调。

步骤5当模型训练完成后，将测试集数据输入到该模型，根据预测分类的输出结果，计算预测的分类准确率。

3 实验验证

本文实验数据处理的运行环境为Windows10操作系统，Tsensorflow2.0深度学习框架、Python语言编程、PyCharm编译环境、Intel(R) Core(TM) i5-8265U CPU @ 1.60 GHz,8.00 GB的运行内存。为了保证实验结果的可信度，所有实验结果均为10次实验的平均值。

3.1 数据说明

所采用的数据来自凯斯西储大学数据中心的数据，该数据被大多数学者用于轴承故障诊断研究，也是世界公认的轴承诊断标准数据集。轴承振动数据采集实验平台如图4所示。该平台主要由电机、扭矩传感器、功率测试仪以及其他电子控制设备组成，其中扭矩传感器主要采集转速和功率数据。该实验平台采用电火花加工技术，振动数据由放置在驱动端的加速度传感器进行采集。

图4 轴承振动数据采集实验平台

实验的数据样本均在采样频率48 kHz,电机负载工况为2/hp，转速为1 730 r/min的工况下获得，滚动轴承数据集详细信息如表2所示。被检测的轴承总共有3种故障类型，分别是内圈故障、外圈故障和滚动体故障。每种故障类型有3种故障尺寸，再加上健康状态总共有10种工作状态。每种工作状态共有400个样本，每个样本的采样点是1 024，按7：3的比例随机将样本分为训练集和测试集，训练集样本共有2 800个，测试集共有1 200个。

表2 滚动轴承振动数据

3.2 实验结果及分析

为了测试提出模型的性能，在使用相同数据集的前提下，将所提出的模型分别与具有相同参数、相同结构的CNN-LSTM单通道模型、CNN模型和LSTM模型进行故障诊断对比。当学习率和迭代次数的初始化参数分别是0.01和30时，为了对比该模型融合特征的性能，分别获取CNN-LSTM、LSTM、CNN所提取的特征信息，利用t-SNE(t-distributeel stochastic neighbor Embedding)技术对高维数据进行可视化显示，具体结果如图5所示。

图5 特征可视化

从图5可知，其他3种方法不同特征之间虽然有很好的区分度，但是个别状态特征之间存在交叉，容易造成分类错误。而笔者所提的方法在不同状态特征之间的边界更加明显，同种状态紧密聚集，提取的特征更易于区分。

滚动轴承分类混淆矩阵如图6所示。从图6可知，所提模型对每种故障类别都具有很高的分类精度，最影响该模型诊断准确率的是该模型可能将外圈故障尺寸为0.021的故障类型识别为滚动体故障尺寸为0.007的故障类型。

图6 滚动轴承分类混淆矩阵

4种模型的准确率和稳定性如图7所示。从图7可知，所提的故障诊断模型对滚动轴承故障诊断准确率高于其他3个模型的诊断准确率，所提模型的标准差低于其他3个模型的标准差。因此，所提模型具有更好的诊断性能。

图7 不同模型的准确率和稳定性

3.3 模型泛化性能验证

在实际工业生产活动中，传感器所采集到的振动数据不可避免会受到噪声干扰，因此通过对原始信号添加不同信噪比SNR(signal noise ratio)[12]的高斯白噪声模拟不同的噪音强度，以验证所提方法在噪音环境下的故障诊断性能。

在结构参数不变前提下的4种模型在不同噪声背景下的故障诊断准确率如图8所示。从图8可知，所提方法和CNN-LSTM方法在不同噪声条件下诊断性能明显优于其他两种网络模型。当SNR<4时，所提方法比CNN-LSTM方法更加优越，因此当原始数据遭到噪声污染时，所提的方法具有更好的诊断性能。

图8 4种模型在不同噪声背景下诊断结果

4 结论

首先，提出了双通道特征融合的CNN-LSTM故障诊断方法，可直接以原始振动数据作为输入，充分利用CNN提取空间特征和LSTM提取时序特征的优势，在丰富故障特征信息的同时，也避免了将时域信号转化为频域或时频域的过程，减少了故障诊断的工作量；其次，分别在卷积层之后和输出层之前采用了批标准化处理以及用平均池化层代替全连接层，可以避免过拟合和提高模型收敛速度；另外，经过实验证明，所提方法分别与同结构、同参数的CNN-LSTM、CNN和LSTM相比，其诊断的准确度最高；最后，为了验证所提模型的抗噪性，针对不同噪音背景下的噪声数据，该方法仍能显示出优异的故障诊断稳定性，故障诊断准确率可达95%以上。