基于改进Elman神经网络的电子元件性能预测

吕卫民，肖阳，徐珂文，江式伟

(海军航空工程学院a.七系; b.研究生管理大队，山东 烟台 264001)

基于改进Elman神经网络的电子元件性能预测

吕卫民a，肖阳b，徐珂文a，江式伟a

(海军航空工程学院a.七系; b.研究生管理大队，山东 烟台 264001)

为提高传统Elman神经网络的动态性能，通过增加输出层与承接层之间的反馈环节，提出了一种新的改进的Elman神经网络模型，利用梯度下降原理对其学习算法进行了推导。同时引入附加动量和变学习率算法，建立了基于改进Elman神经网络的预测方法，并将其应用于电子元件性能参数的预测中。仿真实验证明，相比于BP和传统Elman神经网络，改进后的Elman神经网络训练速率快，预测精度高，具有良好的动态性能。由此可见，改进的Elman神经网络模型在对具有非线性时序特征参数的预测中，具有良好的应用前景。

Elman神经网络；梯度下降；动态性能；反馈环节；学习算法；预测

0 引言

电子元件在长期的贮存过程中，由于受到温度、湿度以及化学等外界应力的影响，其内部材料会发生腐蚀、老化等物理或化学变化，其性能参数的变化是一个复杂的非线性过程[1]，用一般的预测方法难以对其达到精确预测的目的。人工神经网络模拟人的大脑活动，具有极强的非线性逼近、大规模并行处理、自训练学习、自组织和容错能力等优点[2-3]，为解决复杂的非线性问题提供了有力工具，已应用于电子元件性能方面预测。比如，杨少华[4]和孙凤艳[5]分别利用BP(back propagation)神经网络，对电容器的性能参数进行了预测，平均相对误差较小，预测效果显著；王绅宇[6]在提取动车电力电子电路主要元器件特征参数的基础上，基于RBF(radial basis function)神经网络，对电力电子电路的工作状态进行了预测，具有较好的非线性状态跟踪效果；邹心遥等人[7]基于BP神经网络，对恒电流应力作用下MOS(metal-oxide semiconductor)电容的介质击穿(time-dependent dielectric breakdown, TDDB)加速寿命试验故障数据进行了预测，较好地预测出MOS电容在电流作用下的失效时间；为提高印刷电路板(printed circuit board, PCB)钻孔工艺，在研究孔偏成因的基础上，孙远明[8]提出了基于通过建立RBF神经网络模型，对钻孔偏移量进行了预测，提高了PCB的工艺参数。

综上所述，基于神经网络的电子元件性能预测大多采用BP,RBF等前馈式神经网络[9-11]。前馈式神经网络学习收敛速度慢、训练困难且对外部噪声敏感，不能保证收敛到全局最小点，网络的学习和记忆具有不稳定性[12]。相比之下，作为典型的反馈神经网络，Elman网络有预测可靠准确、收敛迅速、学习记忆稳定和动态特性好等优点[13-14]。因此，针对具有非线性时间序列特征的元器件性能参数，本文提出一种基于改进Elman神经网络的电子元件贮存性能预测模型，通过增加输出层与承接层之间的反馈环节，提高了网络的逼近精度和动态映射能力。仿真实验证明，改进的Elman神经网络具有更好的动态性能，预测精度高，收敛速度快，克服了BP神经网络计算复杂度高和训练时间长等缺点，同时也避免了传统Elman神经网络容易陷入局部最优和收敛速度慢等问题。

1 Elman神经网络

1.1 Elman神经网络结构

Elman神经网络是一种动态的反馈网络，它由输入层、隐含层(中间层)、承接层和输出层组成。其中输入层、输出层和隐含层的连接类似于前馈式网络[15]，输入层负责外部信号的传入，输出层起线性加权作用[12]。隐含层单元的传递函数可选用线性或非线性函数，承接层用来存储隐含层单元以前时刻的输出值，可认为是一个延时算子，它使得系统具有适应时变特性和动态记忆的能力，其结构如图1所示。

图1 Elman神经网络结构示意图Fig.1 Illustration of Elman neural network structure

Elman神经网络的特点是隐含层的输出通过承接层的延迟与存储[15]，自联到隐含层的输入，这种自联方式使得它对历史数据具有敏感性，内部反馈网络的加入大大增强了网络本身处理动态信息的能力，从而达到动态建模的目的[16]。此外，对于任意非线性映射，Elman网络能够以任意精度进行逼近，且无需考虑外部干扰对系统造成的影响，只要给出系统的输入-输出数据对，就可以对系统进行建模分析。

1.2 Elman神经网络学习过程

设Elman网络输入层、隐含层和输出层节点数分别为M，L，N，承接层节点数与隐含层节点数相等，则Elman神经网络的非线性状态空间表达式为

j=1,2,…,L，

(1)

(2)

i=1,2,…,M;z=1,2,…,L，

(3)

(4)

(5)

2 改进Elman神经网络

2.1 改进Elman神经网络结构

由Elman神经网络结构可以看出，承接层节点实际上起到了存储隐含层节点历史信息的作用[17-18]。输入信息首先由隐含层传输到承接层，然后再由承接层反馈到隐含层，二者的连接实际上形成了一种实时反馈机制，使得Elman神经网络既可以存储当前时刻的信息，又可以存储过去某个时刻的信息，从而增强了网络处理动态信息的能力。所以，为进一步提高Elman神经网络的收敛速度和动态特性，就要充分利用承接层节点的输出[19]。受到王常虹等人提出的改进的Elman神经网络模型[19]的启发，并对时小虎等人提出的OIF Elman人工神经网络[20-21]进行简化，提出了一种新的改进的Elman神经网络模型，具体结构如图2所示。

相比于传统Elman神经网络，改进后的Elman网络增加了输出反馈环节，从而将输出层的信息反馈给承接层，使得承接层不仅可以记忆隐含层当前k时刻以及过去k-1,k-2,…,k-n时刻的信息，还可以记忆输出层当前k时刻与过去某些时刻的信息。由此观之，改进后的Elman神经网络在结构上将输出层的输出反馈和隐含层的状态反馈有机地结合起来，进一步提高了网络的动态映射能力。

图2 改进Elman神经网络结构示意图Fig.2 Illustration of modified Elman neural network structure

2.2 改进Elman神经网络模型及算法

q=1,2,…,N.

(6)

所以改进Elman神经网络模型为

(7)

设Yq(k)为k时刻网络的期望输出，则在[0,T]时间段内，网络的目标函数即逼近误差函数为

(8)

对于Elman神经网络连接权值修正量的Δw的计算，采用梯度下降原理[22]，如式(9)所示

(9)

式中：η为学习率。

综上所述，可以得到改进Elman神经网络算法如下：

(10)

(11)

当t=k时，有

(12)

(13)

所以

(14)

同理，可以得到

(15)

(16)

3 基于改进Elman神经网络的预测方法

基于改进Elman神经网络的时间序列预测步骤如下：

(1) 样本的选取

S= {(x1,x2,…,xs),(x2,x3,…,xs+1),

…,(xn,xn+1,…,xn+s-1)}，

则对应的n个目标向量集合为

式中：s为时间序列数据的周期。

从而可以得到n组样本数据(Si,Ti),i=1,2,…,n。取(Si,Ti),i=1,2,…,m作为训练样本，(Si,Ti),i=m,m+1,…,n作为测试样本。

(2) 网络结构初始化

网络结构初始化主要包括确定网络的输入层、输出层和隐含层的节点数以及隐含层数。特别地，由于隐含层的节点数对Elman网络的性能影响较大，因此在进行参数预测前，首先通过对比不同隐含层节点所对应的Elman网络的训练性能，选择收敛速度快、逼近精度高的网络所对应的隐含层节点数作为预测网络的隐含层节点数。

(3) 网络参数初始化

在网络进行学习训练之前，要对各层间的连接权值进行初始化。根据多位学者和经验专家的试验探索[15]，当w初始值取(-0.3,+0.3)内的随机数时，网络能够正常进行训练并处于良好状态。

此外，在训练过程中，为保证网络趋于稳定，引入变学习速率算法，如式(17)所示。

(17)

式中：SSE为网络输出误差和；初始学习率η(0)一般取为0.1。

同时，为了防止连接权值w的修正陷入能量最小的困境，引入附加动量法，即令

w(k)=w(k-1)+Δw(k)+

(18)

式中：a为动量学习率；Δw(k)利用式(10)～(16)求得。

在网络的训练过程中，动量学习率a也在变化，如式(19)所示：

(19)

(4) 样本归一化

由于激活函数的饱和特性，需要对输入、输出样本进行归一化处理。利用式(20)将输入样本转化为[0,1]区间的值。

(20)

式中:xmax,xmin分别代表样本的最大值和最小值，工程应用中一般取1.1xmax和0.9xmin。

(5) 网络的训练

利用改进Elman神经网络，计算各层神经元输出及训练误差，直到网络收敛于一定的学习目标；否则，根据训练误差，重新调整连接权值，直至达到训练目标。

(6) 预测性能分析

为了更好地度量神经网络的预测效果，需要从不同的角度度量网络的预测性能。经综合考虑，采用相对误差(relative error, RE)和收敛到训练目标时的迭代次数(number of iterations, NIT)作为评判算法优劣的标准，其中RE的计算公式为

(21)

式中：Yq为期望值；yq为预测值。

4 实例仿真

TR402ST09型整流二极管采用塑料封装，安装于某型装备检控器电路板上。其工作原理是利用PN(positive and negative)结的单向导电特性，把交流电变成脉动直流电。

长期贮存过程中，所承受的主要环境应力为温度和湿度，二者虽然量级不高，但作用时间长。在长期温、湿度作用下，塑性封装材料发生老化，密封性降低，导致封腔内水汽含量增加，PN结发生金属腐蚀，P区、N区掺杂不均匀，引起电阻率不均匀，电阻率低的部分，正向压降较小，易被击穿。

选取正向压降作为二极管性能参数，其具有非线性时间序列特性，故可用本文提出的方法对其正向压降值进行预测。在TR402ST09型整流二极管贮存过程中，每季度都随机抽取100个样品，对其正向压降值进行检测。收集该二极管近5年内正向压降检测值并进行归一化处理，如表1所示。

表1 二极管正向压降检测值归一化结果

以连续7个季度的检测值作为输入向量，第8季度的检测值作为目标向量。这样可以得到13组数据，如表2所示。取前9组数据作为训练样本，后4组数据作为测试样本，通过预测值与期望值对比进行误差分析。

表2 网络训练样本和测试样本

由于单隐含层Elman网络能够以任意精度逼近一个连续函数[23]，故采用三层网络结构：输入层节点数M=7，输出层节点数N=1，则理论上隐含层的节点数L=15。由于隐含层节点数很大程度上影响着网络的预测性能，故依次取隐含层的节点数L为7，11，15，18，然后根据网络性能确定隐含层节点数的最优值。

设网络训练次数T=2 000，训练目标为0.001，w初始值取(-0.3,+0.3)内的随机数，η(0)=0.1，a=0.9，f(*)Sigmoid函数，利用Matlab进行仿真，得到不同隐含层节点数所对应的Elman网络的训练误差曲线及预测误差曲线，如图3～4所示。

图3 不同隐含层节点数所对应的训练误差曲线Fig.3 Training error curve of different hidden layer nodes

图4 预测误差曲线Fig.4 Curve of prediction error

通过对比发现，当隐含层节点数L=11时，网络的收敛速度最快，只需进行653次迭代就使得均方误差达到0.001，并且预测误差最小，故神经网络的结构取为7-11-1，即输入层节点数为7，隐含层节点数为11，输出层节点数为1。为验证改进Elman神经网络的预测性能，以2014年检测数据作为期望输出，分别采用改进Elman神经网络、传统Elman神经网络以及BP神经网络，对2014年TR402ST09型整流二极管各季度的正向压降值进行预测。利用Matlab软件仿真，得到3种模型的训练误差及预测结果曲线，如图5～6所示。

3种模型的预测结果如表3所示，其中，训练速率用NIT表示，预测精度用RE表示。

图5 不同模型训练误差对比Fig.5 Training error comparison of different models

图6 不同模型预测结果曲线Fig.6 Prediction curve of different models

观察图5～6及表3可知，在预测精度方面，改进Elman神经网络的输出值与实际值的拟合度较高，网络的预测平均相对误差为1.32%，而传统Elman神经网络和BP神经网络的预测平均相对误差分别为3.26%和4.37%；在训练速率方面，改进Elman神经网络迭代次数较少，只需进行513次迭代就使得均方误差达到0.001，而传统Elman神经网络却需要1 029次，BP神经网络需要1 443次。由此可见，改进后的Elman神经网络收敛速度快、逼近精度高，具有更好的动态映射能力。

表3 2014不同模型预测结果对比

5 结束语

本文通过对传统Elman神经网络进行分析与研究，提出了一种新的改进的Elman神经网络模型，并将其应用于电子元件贮存性能参数的预测中。仿真实验证明，相比于BP和传统Elman神经网络而言，改进后的Elman神经网络训练速率快，预测精度高，具有良好的动态性能。此外，由于引入了附加动量法和变学习率算法，使网络趋于稳定，同时克服了BP和传统Elman神经网络易于陷入局部极小点的缺点。

下一步的工作主要针对改进Elman神经网络的鲁棒性和收敛性进行分析与研究，进一步提高网络的稳定性和自适应性。

[ 1] 徐廷学, 甄伟, 陈红. 基于Bayes理论的导弹贮存可靠性试验研究[J]. 海军航空工程学院学报, 2006, 21(6): 672-674. XU Ting-xue, ZHEN Wei, CHEN Hong. Experimental Study on the Reliability of Missile Storage Based on the Bayes Theory[J]. Journal of Naval Aeronautical and Astronautical University, 2006, 21(6): 672-674.

[ 2] 胡守仁, 于少波, 戴葵. 神经网络导论[M]. 长沙: 国防科技大学出版社, 1993: 10-14. HU Shou-ren, YU Shao-bo, DAI Kui. Introduction of Neural Networks[M]. Changsha: National University of Defense Technology Press, 1993: 10-14.

[ 3] PAYA B A, ESAT I I. Artifical in Neural Network Based Fault Diagnostics of Rotating Machinery Using Wavelet Transforms as Preprocessor[J]. Mechanical Systems and Signal Processing, 1997, 11(5): 751-765.

[ 4] 杨少华. 电子元器件的贮存可靠性研究[D]. 广东: 广东工业大学, 2006. YANG Shao-hua. Research on the Storage Reliability of Electronic Components[D]. Guangzhou: Guangdong Industrial University, 2006.

[ 5] 孙凤艳. 电力电子电路故障预测关键技术研究[D]. 南京: 南京航空航天大学, 2010. SUN Feng-yan. Research on Fault Prediction Method of Power Electronic Circuit[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2010.

[ 6] 王绅宇. 动车组电力电子电路微小故障预测方法研究[D]. 上海: 上海应用技术学院, 2015. WANG Shen-yu. Research on Incipient Fault Prediction of CHR Power Electronic Circuits [D]. Shanghai: Shanghai Applied Technology Institute, 2015.

[ 7] 邹心遥, 姚若河. 基于BP神经网络的电子元器件寿命预测[J]. 微电子学与计算机, 2009, 26(1):52-54. ZOU Xin-yao, YAO Ruo-he. Lifetime Prediction of Electronic Devices Based on Forecast System of Back Propagation Neural Network[J]. Microelectronics and Computer, 2009, 26(1):52-54.

[ 8] 孙远明. 基于RBF的人工神经网络在PCB钻孔工艺中的应用[D].上海：上海交通大学, 2011. SUN Yuan-ming. Application of RBF Neural Network in PCB Drilling Process[D]. Shanghai: Shanghai Jiaotong University, 2011.

[ 9] SU Jing, ZHONG Zhi-hua. A Study on Prediction of Vehicle Critical Follow Distance Based on Driver’s Behavior by Using BP Neural Network[C]∥2013 Fifth Conference on Measuring Technology and Mechatronics Automation, Hong Kong, 2013: 114-118.

[10] LI Song, WANG Jing, LIU Bo. Prediction of Market Demand Based on AdaBoost_BP Neural Network[C]∥2013 International Conference on Computer Sciences and Applications, Wuhan, 2013: 305-308.

[11] MALATHI P,SURESH G R. Recognition of Isolated Words of Esophageal Speech Using GMM and Gradient Descent RBF Networks[C]∥2014 International Conference on Communication and Network Technologies (ICCNT), Paris, 2014: 174-177.

[12] 陈小明, 洪军, 阎海红, 等. 基于Elman神经网络的振镜扫描系统误差校正技术研究[J]. 西安交通大学学报, 2006, 40(5): 587-590. CHEN Xiao-ming, HONG Jun, YAN Hai-hong, et al. Study on Error Correction in Dual Galvanometer Scanning System Based on Elman Recurrent Neural Network[J]. Journal of Xi’an Jiaotong University, 2006, 40(5): 587-590.

[13] NARENDRA K S, PARTHASARATHY K. Identification and Control of Dynamical Systems Using Neural Networks[J]. IEEE Trans. on Neural Networks, 1990, 1(1): 4-27.

[14] 汤宝平, 习建民, 李锋. 基于Elman神经网络的旋转机械故障诊断[J]. 计算机集成制造系统, 2010, 16(10): 2148-2152. TANG Bao-ping, XI Jian-min, LI Feng. Fault Diagnosis for Rotating Machinery Based on Elman Neural Network[J]. Computer Integrated Manufacturing Systems, 2010, 16(10): 2148-2152.

[15] 任丽娜. 基于Elman神经网络的中期电力负荷预测模型研究[D]. 兰州: 兰州理工大学, 2007. REN Li-na. Research on Medium-Term Electrical Load Forecasting Model Based on Elman Neural Network[D]. Lanzhou: Lanzhou University of Science and Technology, 2007.

[16] 党小超, 郝占军. 基于改进Elman神经网络的网络流量预测[J]. 计算机应用, 2010, 30(10): 2648-2652. DANG Xiao-chao, HAO Zhan-jun. Prediction for Network Traffic Based on Modified Elman Neural Network[J]. Journal of Computer Applications, 2010, 30(10): 2648-2652.

[17] 刘华春. 基于Elman神经网络的股市决策模型[J]. 计算机应用, 2009, 29(6): 152-254. LIU Hua-chun. Stock Market’s Decision-Making Model Based on Elman Neural Network[J]. Journal of Computer Applications, 2009, 29(6): 152-254.

[18] 徐留兴, 梁川, 秦远清. 基于改进Elman模型在紫坪铺月径流预测中的应用[J]. 四川大学学报, 2006, 38(3): 38-41. XU Liu-xing, LIANG Chuan, QIN Yuan-qing. The Monthly Runoff Prediction of Zipingpu by Improved Elman Model[J]. Journal of Sichuan University, 2006, 38(3): 38-41.

[19] 王常虹, 高晓智, 徐立新, 等. 一种改进的Elman神经网络模型[J]. 电子科学学刊, 1997, 19(6): 739-744. WANG Chang-hong, GAO Xiao-zhi, XU Li-xin, et al. A New Modified Elman Neural Network Model[J]. Journal of Electronics, 1997, 19(6): 739-744.

[20] SHI Xiao-hu. Improved Elman Networks and Applications for Controlling Ultrasonic Motors[J]. Applied Artificial Intelligence, 2004, 18(7): 603-629.

[21] 时小虎, 梁艳春, 徐旭. 改进的Elman模型与递归反控制神经网络[J]. 软件学报, 2003, 14(6): 1110-1119. SHI Xiao-hu, LIANG Yan-chun, XU Xu. Improved Elman Model and Recursive Neural Network Control[J]. Journal of Software, 2003, 14(6): 1110-1119.

[22] ZANELLA A, CHIANI M, WIN M Z. Statistical Analysis of Steepest Descend and LMS Detection Algorithms for MIMO Systems[J]. IEEE Trans. on Vehicular Technology, 2011, 60(9): 4667-4672.

[23] 侯福均, 吴祈宗. BP神经网络在铁路客运市场时间序列预测中的应用[J]. 运筹与管理, 2003, 12(4): 21-26. HOU Fu-jun, WU Qi-zong. Application of BP Neural Network in the Sequence Prediction of the Market of Railway Passenger Traffic[J]. Operations Research and Management Science, 2003, 12(4): 21-26.

Prediction for Electronic Component Performance Based on Modified Elman Neural Network

LÜ Wei-mina，XIAO Yangb，XU Ke-wena, JIANG Shi-weia

(Naval Aeronautical Engineering Institute, a. The 7th Department; b. Graduate Student’s Brigade, Shandong Yantai 264001, China)

In order to improve the dynamic performance of traditional Elman neural network, a modified Elman neural network is proposed by adding the output feedback link between output layer and context layer, and its learning algorithm is deduced by using the theory of gradient descent. A prediction method based on modified Elman neural network is built with the additional momentum and variable learning speed algorithm, and it is applied in the prediction of electronic component performance parameters. The simulation experiments show that the modified model has good dynamic performance compared with back propagation (BP) and traditional Elman neural network, and it has faster training speed and higher precision. Thus, the modified Elman neural network model has a good application prospect in the prediction of nonlinear and time series parameters.

Elman neural network; gradient descent; dynamic performance; feedback link; learning algorithm; prediction

2016-02-26；

2016-04-25 作者简介：吕卫民(1970-)，男，山东莱州人。教授，博士，主要研究方向为系统工程。

10.3969/j.issn.1009-086x.2017.01.026

TP183

A

1009-086X(2017)-01-0153-08

通信地址：264001 山东省烟台市芝罘区二马路188号七系 E-mail：lwm_yt@sina.com