基于l2正则化回声状态网络的模拟电路故障诊断*

王 洪,牛晓灵

(平顶山工业职业技术学院计算机系,河南 平顶山 467001)

基于l2正则化回声状态网络的模拟电路故障诊断*

王 洪*,牛晓灵

(平顶山工业职业技术学院计算机系,河南 平顶山 467001)

为了提高模拟电路故障诊断的准确率,提出了一种基于l2正则化回声状态网络(l2-RESN)的模拟电路故障诊断方法。l2-RESN在ESN的约束优化函数中引入l2正则化因子,推导带正则化因子的ESN输出权重计算公式,避免传统的ESN算法因矩阵奇异而降低模型泛化能力。实验结果表明,相比于支持向量机(SVM)和标准ESN,l2-RESN的诊断准确率分别提高1.11%和18.34%。证明l2-RESN能够有效提高模拟电路诊断的准确性。

模拟电路;故障诊断;神经网络;拉格朗日函数

模拟电路因存在着模型的非线性、器件的容差性以及故障模式的多样性等因素,传统的故障诊断方法已经不适合对其进行准确的诊断。近些年来,随着人工智能技术的快速发展,神经网络[1-2]、支持向量机[3-4]、D-S证据理论[5]等智能算法先后应用于模拟电路的故障诊断,取得了一定的研究成果。其中,回声状态网络(ESN)作为一种新型的递归神经网络,其隐含层的权值通过随机方式预先生成,而只有输出层权值系数需要训练得到,具有稳定性好、网络结构简单、训练速度快和非线性映射能力强等优点,已经在时间序列预测[6-8]、话务量预测[9]、故障预测[10]等领域得到了应用。目前,回声状态网络在模拟电路故障诊断方面还处于初步研究阶段,相关研究成果相对较少。文献[11-12]分别将集成思想和时间窗函数引入ESN,并将其应用于模拟电路故障诊断中。

对于ESN而言,过少的隐节点会造成欠拟合现象,降低ESN模型预测的准确性,因此需要增加ESN的隐节点数目,但是过多的隐节点会造成过拟合现象,引起输出权值矩阵出现奇异,从而导致求解无效现象,降低ESN模型的泛化能力。理论和实验已经证明[13-14],l2正则化能够有效地避免过拟合问题。为此,本文将l2正则化因子引入ESN输出权重矩阵计算公式中,标准测试电路的实验结果证实了改进方法在模拟电路故障诊断中的有效性。

1 l2正则化回声状态网络

1.1 ESN模型

ESN的状态方程可以表示成如下形式:

u(k+1)=f(Winx(k+1)+Wuu(k))

(1)

t(k+1)=βu(k)

(2)

式中:x(k)∈RM、u(k)∈RL和t(k)∈R分别表示输入变量、状态变量和输出变量。Win∈RL×M、Wu∈RL×L和β∈RL分别表示输入矩阵、储备池内部连接矩阵和输出权重矩阵,L表示内部连接层节点数。Win和Wu通过随机方式产生并保持常数不变。

式(2)可以表示成矩阵形式为,

Hβ=T

(3)

式中:

H=[u(1)u(2) …u(N)]T

(4)

T=[t(1)t(2) …t(N)]T

(5)

式中:N表示状态变量数量,式(3)中的权重矩阵β可以按式(6)计算,

(6)

式中:H†表示H的Moore-Penrose广义逆矩阵[15]。

1.2l2-RESN

为了解决ESN学习中的过拟合问题,避免出现奇异矩阵,需要在经验风险和结构风险中寻求折衷,为此,需要对ESN进行如下约束优化:

(7)

式中:p=1,2,…,N,λ为l2正则化因子,用于调节经验风险和结构风险。βi为连接内部层第i个节点的权重,β=[β1β2…βN]T。ε=[ε1ε2…εN]T为误差。为了求解上述式(7)的优化问题,需要建立如下拉格朗日函数,

(8)

式中:w=[w1w2…wN]为拉格朗日权值,H和T如式(4)和式(5)所示。

对式(8)中的各变量求偏导,然后令偏导数为零,则得到如下结果,

(9)

对于被预测样本x的二分类问题,决策方程为

(10)

对于被预测样本x的多分类问题,决策方程为

(11)

式中:gi(x)为第i个输出节点的输出,且g(x)=[g1(x),…,gm(x)]T。

整理后,得l2-RESN算法流程为:

步骤2 随机产生输入矩阵Win和储备池内部连接矩阵Wu。

步骤3 计算内部层输出矩阵H。

H=[u(1)u(2) …u(N)]T

(12)

(13)

步骤5 当有新的输入变量x到来时,按照式(1)计算h(x)。

h(x)=u(Nx)

(14)

步骤6 将h(x)代入式(10)或式(11)得到分类结果。

2 基于l2-RESN的模拟电路故障诊断

模拟电路的故障诊断主要包括故障特征提取和故障类型分类两部分,则基于l2-RESN的模拟电路故障诊断流程整理如下:

步骤1 采集模拟电路输出的原始信号,利用小波分解等方法提取能够反映电路故障的特征。

步骤3 利用训练好的l2-RESN诊断电路故障。

3 故障诊断实例

3.1 实验数据

以模拟和混合信号测试标准电路中的CTSV滤波电路作为诊断实例,电路如图1所示。

图1 CTSV滤波电路

电路中每个无源器件的标称值如图1所示,电阻和电容均具有±5%容差。假设电路中的无源器件发生单故障,故障模式包括硬故障和软故障两种,对于软故障,设定元件偏离其标称值的±50%。设置电路出现的硬故障种类为9种,软故障种类为8种,连同电路无故障时的状态,则17种故障状态Fi(i=1,2,…,17)和无故障状态F0如表1所示。

表1 电路故障类型(F0无故障)

采用Pspice仿真待测电路,给电路输入端施加一幅度为1 V,频率为1 kHz的正弦电压信号。设置采样频率为40 kHz,对每种故障状态进行71次蒙特卡洛仿真,对每次响应输出采集512个数据点,进行4层db5小波分解,利用近似系数和细节系数的能量构成五维特征向量,作为故障特征参数集合。

将样本分为3部分,前31次蒙特卡洛仿真得到的558个样本作为训练样本集,另20次蒙特卡洛仿真得到的360个样本作为参数优化样本集,用于优化故障诊断模型的参数,最后20次蒙特卡洛仿真得到的360个样本作为测试样本集。

3.2 参数选择

为了证明本文提出方法的有效性,利用支持向量机(SVM)和标准回声状态网络(ESN)作为对比方法,其中SVM采用OSU-SVM工具箱提供的函数。

图2 识别准确率

对于SVM,惩罚参数C和核参数γ影响着故障诊断的准确率,对于ESN,储备池内部神经元个数L需要人为确定,对于l2-RESN,正则化因子λ和储备池内部神经元个数L影响着识别准确性。为此,利用网格搜索法确定不同方法的最优参数,对于SVM,分别令C和γ={2-24,2-23,…,224,225},根据网格搜索法求出每一对C和γ对应的用于优化模型参数样本的识别准确率。同理,对于ESN,令L={100,200,…,2 000},对于l2-RESN,分别令λ={2-24,2-23,…,224,225}和L={100,200,…,2 000},计算识别准确率。则SVM、ESN和l2-RESN 3种方法对参数优化样本的识别准确率如图2所示,参数寻优结果如表2所示。

表2 参数寻优结果

3.3 实验结果

对于SVM、ESN和l2-RESN 3种方法,利用训练样本和表2所示的参数建立故障诊断模型,对测试样本进行测试,3种方法对测试样本的分类准确率如表3所示。

由表3可以看出,ESN方法的平均诊断准确率为75.83%,SVM和l2-RESN的平均诊断准确率分别为93.06%和94.17%,本文提出的l2-RESN的诊断结果优于ESN和SVM,尤其对于故障F1、F2、F9,RESN的诊断准确率最高,说明将正则化因子引入ESN后,可以有效提高ESN诊断模型对不同故障的识别准确率,从而证明本文方法的有效性。

表3 不同方法的诊断正确率 单位:%

4 结论

本文提出了一种新的模拟电路故障诊断方法。为了解决传统ESN诊断法容易产生奇异矩阵,继而影响模型泛化能力,降低故障诊断准确性的问题,提出了一种基于l2-RESN的模拟电路故障诊断方法。对标准滤波电路进行测试诊断,相比于SVM和传统的ESN,本文提出的l2-RESN方法的诊断结果优于ESN和SVM,实验结果证明了本文提出方法的有效性。

[1] Zhao Dongsheng,He Yuzhu. A Novel Binary Bat Algorithm with Chaos and Doppler Effect in Echoes for Analog Fault Diagnosis[J]. Analog Integrated Circuits and Signal Processing,2016,87(3):1-14.

[2] 周柏清,王刘涛,任勇军. FMM神经网络结合CART的感应电动机故障诊断方法[J]. 电子器件,2016,39(4):993-999.

[3] Hongzhi Hu,Shulin Tian,Qing Guo. The Application of HIWO-SVM in Analog Circuit Fault Diagnosis[J]. International Journal of Pattern Recognition and Artificial Intelligence,2015,15(1):1-10.

[4] 冯志刚,王茹,田丰. 基于MVRVM回归和RVM二叉树分类的自确认气动执行器故障诊断算法[J]. 传感技术学报,2015,28(6):843-849.

[5] Hong Zhu. Fault Diagnosis for Analog Circuits Based on D-S Evidence Theory and PSO Neural Network[J]. Computer Measurement and Control,2013,13(1):1-6.

[6] Shu Xian Lun,Xian Shuang Yao,Hong Yun Qi. A Novel Model of Leaky Integrator Echo State Network for Time-Series Prediction[J]. Neurocomputing,2015,159(3):58-66.

[7] Lun S X,Lin J,Yao X S. Time Series Prediction with an Improved Echo State Network Using Small World Network[J]. Acta Automatica Sinica,2015,41(9):1669-1679.

[8] Xiaomin Xu,Dongxiao Niu,Ming Fu. A Multi Time Scale Wind Power Forecasting Model of a Chaotic Echo State Network Based on a Hybrid Algorithm of Particle Swarm Optimization and Tabu Search[J]. Energies,2015,8(11):12388-12408.

[9] Filippo Maria Bianchi,Simone Scardapane,Aurelio Uncini. Prediction of Telephone Calls Load Using Echo State Network with Exogenous Variables[J]. Neural Networks,2015,71(3):204-213.

[10] Simon Morando,Samir Jemei,Daniel Hissel. Predicting the Remaining Useful Lifetime of a Proton Exchange Membrane Fuel Cell using an Echo State Network[J]. International Discussion on Hydrogen Energy and Applications,2014,1(1):1-9.

[11] 彭喜元,郭嘉,王建民. 基于随机子空间与多储备池的分类方法[J]. 仪器仪表学报,2011,32(11):2487-2492.

[12] 郭嘉,雷苗,彭喜元. 基于相应簇回声状态网络静态分类方法[J]. 电子学报,2011,39(s1):14-18.

[13] 张文林,张连海,牛铜. 基于正则化的本征音说话人自适应方法[J]. 自动化学报,2012,38(12):1950-1957.

[14] José M Martínez-Martínez,Pablo Escandell-Montero. Regularized Extreme Learning Machine for Regression Problems[J]. Neurocomputing,2011,74(17):3716-3721.

[15] Huang Guangbin,Zhu Qinyu,Siew Chee Kheong. Extreme Learning Machine:Theory and Applications[J]. Neurocomputing,2006,70(1):489-501.

AnalogCircuitFaultDiagnosisBasedonl2RegularizationEchoStateNetwork*

WANGHong*,NIUXiaoling

(Department of Computer,Pingdingshan Industrial College of Technology,Pingdingshan Hen’an 467001,China)

In order to improve analog circuit fault diagnosis accuracy,an analog circuit fault diagnosis algorithm based onl2regularization echo state network(l2-RESN)is proposed.l2regularization factor is introduced into ESN constrained optimization function. ESN output weight computation formula with regularization factor is deduced,which avoids the problem of reducing the model generalization ability due to singular matrix. Experiment result shows that,comparing with support vector machine(SVM)and standard ESN,l2-RESN fault identification accuracy rate increases 1.11% and 18.34% separately. The result indicates thatl2-RESN improves analog circuit diagnosis accuracy effectively.

analog circuit;fault diagnosis;neural network;lagrange function

10.3969/j.issn.1005-9490.2017.05.044

项目来源:河南省科技厅重点科技攻关项目(152102310463)

2016-07-18修改日期2016-09-09

TN710

A

1005-9490(2017)05-1283-04

王洪(1975-),女,副教授,主要研究方向为计算机控制与仿真,whteacher@163.com。