基于分层特征注意力解耦的农机轴承故障诊断

邢清桂 吴凯 周洪斌

摘要：鉴于农机设备实际运行中的工况具有时变性，提出一种基于分层特征注意力解耦的农机轴承故障诊断算法。利用长短时记忆神经网络改进的Transformer网络作为主干网络，并按照Transformer的Multi-head机制构造农机轴承故障数据的分层特征集；利用交叉注意力机制挖掘不同层特征间的关联关系，强化农机轴承故障特征的表达能力；借助农机轴承故障诊断多标签将混合特征解耦为多个独立的轴承故障特征集，并利用解耦后的特征预测对应的标签，实现待测农机轴承故障类型的诊断。结果表明，所提出的模型可以实现平均96.58%的识别精度，并且可以细粒度地对多种轴承故障进行诊断。

关键词：农机轴承；故障诊断；分层特征；交叉注意力；特征解耦

中图分类号：TP391

文献标识码：A

文章编号：2095-5553 （2024） 05-0140-07

收稿日期：2023年7月22日  修回日期：2023年8月19日*基金项目：国家自然科学基金（51575498）

第一作者、通讯作者：邢清桂，女，1982年生，河北唐山人，硕士，高级讲师；研究方向为农业机械工程、智慧农业。E-mail： xingqgui@sina.com

Fault diagnosis of agricultural machinery bearing based on hierarchical

feature attention decoupling

Xing Qinggui1， Wu Kai2， Zhou Hongbin3

（1. Hebei Locomotive Technician College， Tangshan， 064000， China; 2. Hebei Light Structural Equipment

Design and Manufacturing Technology Innovation Center， Qinhuangdao， 066004， China;

3. School of Mechanical and Power Engineering， Zhengzhou University， Zhengzhou， 450001， China）

Abstract：

In view of the time-varying working conditions in the actual operation for agricultural machinery equipment， a fault diagnosis algorithm of agricultural  machinery bearing based on hierarchical feature attention decoupling was proposed. Firstly， a Transformer network improved by Long Short-Term Memory （LSTM） neural network was used as the backbone network， and a hierarchical feature set of agricultural machinery bearing fault data was constructed according to the Multi-head mechanism of Transformer. Then， a cross-attention mechanism was employed to explore the correlations between different layers of features， and enhance the expression ability of agricultural machinery bearing fault features. Finally， by employing the multi-label diagnosis of agricultural  machinery bearing faults， the mixed features were decoupled into multiple independent sets of bearing fault features. The decoupled features were used to predict corresponding labels， and achieve the diagnosis of various types of agricultural machinery bearing faults. The experimental results showed that the proposed model can achieve an average recognition accuracy of 96.58% and can diagnose multiple types of bearing faults in a fine-grained manner.

Keywords：

agricultural machinery bearings; fault diagnosis; hierarchical feature; cross-attention; feature decoupling

0 引言

農业机械作为现代农业的重要支撑装备，运行可靠性和稳定性对整个农业生产具有至关重要的意义。农机设备故障诊断技术成为农机维修和保养的重要环节，而农机轴承故障是导致农机设备损坏的主要原因之一［1， 2］。近年来，随着人工智能技术的快速发展，利用人工智能技术实现农机轴承故障的自动诊断得到广泛关注［3， 4］。然而，农机设备在实际运行中的工况有时变性，传统使用混合特征难以精确识别出每一种故障，使得现有的农机轴承故障诊断算法面临很大的挑战。因此，利用人工智能技术实现农机轴承故障的自动诊断对推动农业信息化建设、智慧农业发展具有重要的研究意义与实际应用价值。

传统的农机轴承故障诊断主要借助专家经验，通过听音、观察和检查等方式进行故障诊断［5， 6］。然而，该类方法具有很大的局限性，不仅容易误判和漏判，而且专家维修费用高昂，且难以推广应用。近年来，随着深度学习相关理论与技术的快速发展，利用深度学习相关技术解决农机轴承故障成为智慧农业领域新的研究热点。如刘振华等［7］针对信息利用不充分的问题，提出了一种结合不同尺度的滚动轴承故障诊断新方法，通过提取轴承振动信号的全局和局部特征建立决策模型，在开源的多个数据集上进行测试，试验结果也验证了所设计模型的有效性。赵小强等［8］针对传统卷积神经网络提取的特征鲁棒性不强问题，提出了一种多特征融合的机械轴承故障诊断方法，主要借助Swin Transformer提取了轴承在局部空间中的特征。类似地，徐硕等［9］从特征提取角度改善现有机械轴承故障诊断效果不佳的问题。苏树智等［10］借助全局和局部特征来增大不同类之间的距离，缩小类间距离，有效提高了特征表达的鲁棒性，通过在开源数据集上进行测试，试验结果也验证了所设计模型的有效性。Bian等［11］借助熵理论提出了一种基于度量学习的农机轴承振动信号复杂性和随机性方法，通过缓解振动信号的噪声干扰，有效增强了特征的鲁棒性，通过在多个数据集上进行测试，验证了所设计模型的高效性，并且该方法在轴承故障诊断中得到了广泛应用。

虽然，上述模型可以有效检测出农机轴承的故障，并辅助人工进行故障类型的诊断；然而，该类基于深度神经网络的故障诊断模型主要利用混合特征集建立诊断模型，并且仅对故障与健康状态进行二分类，极易导致故障漏报或误报。

为此，本文针对上述混合特征噪声干扰大导致的诊断精度不佳问题，提出一种基于分层特征注意力解耦的农机轴承故障诊断新方法。首先，利用长短时记忆神经网络改进的Transformer网络为主干网络，将农机轴承故障数据映射到深度特征空间；然后，利用Transformer的Multi-head机制建立分层特征集，并采用注意力机制强化特征的表达的鲁棒性；最后，根据农机轴承故障诊断多标签将混合特征进行解耦，并利用解耦特征预测对应的农机轴承故障类型。

1 农机轴承故障诊断方法

本文提出基于分层特征注意力解耦的农机轴承故障诊断模型主要包括特征提取、关联特征挖掘、特征解耦合故障诊断模块。其中，在特征提取阶段采用长短时记忆神经网络（Long Short-Term Memory， LSTM）改进的Transformer网络作为主干网络，并借助Multi-head机制构造分层特征集；关联特征挖掘模块利用注意力机制挖掘分层特征的上下文语义关联，强化特征表达的鲁棒性；特征解耦模块借助农机轴承故障诊断多标签将混合特征分离为多个单一特征，并利用单一特征预测对应的标签；故障诊断模块利用softmax函数输出对应故障的概率，并利用交叉熵损失函数优化网络模型。

1.1 特征提取

1.1.1 Transformer

Transformer是一种可以直接处理时间序列的神经网络结构，较好地缓解了长距离依赖编码的问题［12］，在机器翻译、情感分析和问答、长短期交通流预测等任务中取得了显著的成效。受Transformer网络在处理时序数据中的成功启发，此处采用Transformer作为主干网络，并借助Multi-head机制［13］构造分层特征集，网络结构如图1所示。

Transformer网络由多个编码块堆叠而成，每个编码快包含多头注意力机制（Multi-head）。此处，利用每个编码块的单头注意力机制的输出特征构造分层特征集，具体计算如式（1）和式（2）所示。

zl=pos+En（el）

（1）

Fol=FFN（LN（zl））

（2）

式中：

pos——位置编码；

En（·）——编码块；

el——农机轴承故障信号映射特征。

1.1.2 LSTM

得益于輸入门、输出门和遗忘门的设计，长短时记忆神经网络LSTM在时序信号处理方面具有显著的优势［14， 15］，图2给出了长短时记忆神经网络LSTM的内部结构。

2.2 试验环境

所有试验均在11th Gen Intel（R） Core（TM） i7-11700 @ 2.50GHz Windows 10操作系统上进行，编程语言采用Python，编辑器采用Pycharm，显卡为NVIDIA RTX 3090 Ti 24GB。模型基于Pytorch深度学习框架，初始学习率为0.001，每迭代训练50次学习率下降0.000 5，优化器采用Adam。

此外，为了分析不同Batch、Multi-head头数、迭代次数对模型整体性能的影响，进行了对比试验如图6、图7所示。可以看出，当Batch为12、head数为8、迭代次数为400时，模型的综合诊断精度最佳，为此，后续所有试验均设定Batch为12、head数为8、迭代次为600。

2.3 结果与分析

2.3.1 二分类结果

为验证所提出模型的有效性，在相同的数据集和评价指标下与当前主流的基于时间序列的农机轴承故障诊断模型进行对比试验，详细结果如表2所示。

由表2可知，所提出模型相较于当前主流的基于时间序列的农机轴承故障诊断模型，在精准率Precision、召回率Recall和F1值方面，综合优势明显。具体地，在Precision方面，相比Transformer模型，提升了3.47%；在Recall方面，提升了4.08%；在F1方面提升了2.86%。究其原因是：（1）所提出模型不仅集成了Transformer网络在位置编码阶段的优势，而且采用长短时记忆神经网络LSTM改进了Transformer，进一步强化了模型在时间序列属性上的特征捕获能力，这有助于强化模型捕获农机轴承振动信号的上下文时序特征；（2）所提出模型分别提取了每个注意力头的特征，这有助于丰富轴承故障特征的表达；（3）采用特征解耦的方式缓解了混合特征噪声大导致的误报和漏报问题。

2.3.2 故障多分类结果

为了进一步验证所設计模型在多种农机轴承故障数据集上的诊断效果，分别选择当前经典的时间序列轴承故障诊断模型LSTM、GRU、RNN、BiLSTM、CNN和Transformer网络进行对比试验，详细结果如表3～表5所示。

可以看出，所提出模型对外圈损坏（W）、保持架损坏（B）、滚动体损坏（G）、内圈损坏（N）和正常状态（Z）的诊断精度均保持在95.00%以上，尤其是对于正常状态的诊断效果最佳。主要原因是正常状态的噪声信息对模型的干扰较小，并且正常状态的特征与故障特征的类间差异性较大。

此外，为了直观展示所提出模型对于5种农机轴承状态的诊断效果，给出图8所示的混淆矩阵。

2.4 消融试验

为分析不同组件在所提出的农机轴承故障诊断模型综合性提升中扮演的角色，设计表6所示的消融试验。此处，将仅利用LSTM网络并利用Softmax函数组建的模型作为基线模型，所有试验均基于正常与故障二分类数据集。

1） 在序号1-2、3-4、5-6、7-8和9-10组对比试验中可以看出，特征解耦模块对模型整体识别性能的提升效果显著，主要原因是原始混合特征噪声干扰较大，导致提取的混合特征鲁棒性和泛化性能不强；解耦后的每维特征代指故障和正常状态明确，有效缓解了噪声的干扰。

2） 虽然使用单一LSTM或Transformer网络可以诊断出部分农机轴承的故障，但仅考虑轴承振动信号的上下文时序或位置信息不足以充分表示轴承当前状态信息，进而影响轴承诊断的性能。

3） 相比单头注意力，多头注意力更进一步地考虑不同Patch块编码特征间的上下文关联，这有助于建立更鲁邦和泛化的特征表示，增强模型细粒度地捕获农机轴承的故障信号特征。

3 结论

本文探究基于时间序列机制的LSTM改进Transformer网络对农机轴承故障特征的提取能力，并分析混合特征解耦对农机轴承故障诊断性能的影响，旨在缓解传统农机轴承故障诊断模型提取的特征噪声干扰大，导致诊断效果不佳的问题。通过在经典的滚动轴承6205-2RS数据集上进行测试。

1） 在经典的滚动轴承6205-2RS数据集上，所提出模型在二分类任务上可以实现97.58%的诊断精度；在轴承故障多分类任务上可以实现95.59%以上的诊断精度。

2） 所提出模型利用LSTM改进Transformer网络，在保留农机轴承振动信号相邻位置编码的同时，强化模型对时序信号长距离建模的能力。

3） 虽然混合特征可以实现农机轴承故障与正常状态的分类，但混合特征解耦的细粒度特征有助于提升模型对多种故障类型的诊断精度。

在未来工作中，将尝试改进Transformer网络，构造轻量级的主干网络；利用因果卷积提取农机轴承故障在空间维度的时序特征，并利用时序特征和空间时序特征构造多尺度特征，进一步增强特征表达的鲁棒性。

参 考 文 献

［1］ Sadoughi M， Hu Chao. Physics-based convolutional neural network for fault diagnosis of rolling element bearings ［J］. IEEE Sensors Journal， 2019， 19（11）： 4181-4192.

［2］ Choudhary A， Mian T， Fatima S. Convolutional neural network based bearing fault diagnosis of rotating machine using thermal images ［J］. Measurement， 2021， 176： 109196.

［3］ Iunusova E， Gonzalez M K， Szipka K， et al. Early fault diagnosis in rolling element bearings： Comparative analysis of a knowledge-based and a data-driven approach ［J］. Journal of Intelligent Manufacturing， 2023， 4（2）： 1-21.

［4］ 张志宇， 章翔峰， 姜宏. 基于MCKD-NMD的滚动轴承故障诊断［J］. 组合机床与自动化加工技术， 2023， 592（6）： 93-96， 101.

Zhang Zhiyu， Zhang Xiangfeng， Jiang Hong. Research on fault diagnosis method of rolling bearing based on MCKD-NMD ［J］. Modular Machine Tool & Automatic Manufacturing Technique， 2023， 592（6）： 93-96， 101.

［5］ 李梦男， 李琨， 吴聪. 基于IWAE的不平衡数据集下轴承故障诊断研究［J］. 机械强度， 2023， 45（3）： 569-575.

Li Mengnan， Li Kun， Wu Cong. Research on bearing fault diagnosis under unbalanced data set based on IWAE ［J］. Journal of Mechanical Strength， 2023， 45（3）： 569-575.

［6］ Jun Zhu， Nan Chen， Changqing， et al. A new deep transfer learning method for bearing fault diagnosis under different working conditions ［J］. IEEE Sensors Journal， 2019， 20（15）： 8394-8402.

［7］ 刘振华， 吴磊， 张康生. 基于多尺度特征交叉融合注意力的滚动轴承故障诊断方法［J/OL］.轴承： 1-8［2024-05-11］. http：//kns.cnki.net/kcms/detail/41.1148.th.20230526.1718.002.html.

［8］ 赵小强， 郭海科. 多特征融合的滚动轴承故障诊断［J］. 农业工程学报， 2023， 39（13）： 80-88.

Zhao Xiaoqiang， Guo Haike. Fault diagnosis of rolling bearing using multi-feature fusion ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2023， 39（13）： 80-88.

［9］ 徐硕， 邓艾东， 杨宏强， 等. 基于改进残差网络的旋转机械故障诊断 ［J］. 太阳能学报， 2023， 44（7）： 409-418.

Xu Shuo， Deng Aidong， Yang Hongqiang， et al. Rotating machinery fault diagnosis method based on improved residual networks ［J］. ACTA Energiae Solaris Sinica， 2023， 44（7）： 409-418.

［10］ 苏树智， 张茂岩， 方贤进， 等. 基于全局—局部欧拉弹性判别投影的旋转机械故障诊断方法［J］. 振动与冲击， 2023， 42（11）： 65-74.

Su Shuzhi， Zhang Maoyan， Fang Xianjin， et al. Fault diagnosis method of rotating machinery based on global-local Euler elastic discriminant projection ［J］. Journal of Vibration and Shock， 2023， 42（11）： 65-74.

［11］ Bian Jun， Jing Laixing， Liu Yanqiu. Application and optimization of entropy in diagnosis for agricultural machinery bearing fault ［C］. International Conference on Agri-Photonics and Smart Agricultural Sensing Technologies （ICASAST 2022）. SPIE， 2022， 12349： 112-119.

［12］ Liu Wenkai， Zhang Zhigang， Zhang Jiarui， et al. A novel fault diagnosis method of rolling bearings combining convolutional neural network and transformer ［J］. Electronics， 2023， 12（8）： 1838.

［13］ 王譽翔， 钟智伟， 夏鹏程， 等. 基于改进Transformer的复合故障解耦诊断方法［J］. 浙江大学学报（工学版）， 2023， 57（5）： 855-864.

Wang Yuxiang， Zhong Zhiwei， Xia Pengcheng， et al. Compound fault decoupling diagnosis method based on improved Transformer ［J］. Journal of Zhejiang University （Engineering Science）， 2023， 57（5）：855-864.

［14］ Wang Yuxiang， Zhong Zhiwei， Xia Pengcheng， et al. Compound fault decoupling diagnosis method based on improved transformer ［J］. Journal of Zhejiang University （Engineering Science）， 2023， 57（5）：855-864.

［15］ Jin Guoqiang， Zhu Tianyi， Akram M W， et al. An adaptive anti-noise neural network for bearing fault diagnosis under noise and varying load conditions ［J］. IEEE Access， 2020， 8： 74793-74807.

［16］

Sun Haibin， Fan Yueguang. Fault diagnosis of rolling bearings based on CNN and LSTM networks under mixed load and noise ［J］. Multimedia Tools and Applications， 2023，