基于神经网络的储粮测控专家系统的研究与应用

张兴红,甄 彤,包 晖,丁 伟,张俊兰

(1.河南工业大学信息科学与工程学院,河南郑州 450001;2.中央储备粮曹县直属库,山东曹县 274400)

基于神经网络的储粮测控专家系统的研究与应用

张兴红1,甄 彤1,包 晖1,丁 伟1,张俊兰2

(1.河南工业大学信息科学与工程学院,河南郑州 450001;2.中央储备粮曹县直属库,山东曹县 274400)

将神经网络应用于专家系统中,利用神经网络系统的学习功能解决传统专家系统在知识获取、推理能力、自学习能力上的缺陷,与粮情测控系统相结合,提出了一种改进BP算法.该算法加入动量项,然后对自适应算法进行了一些适当改进,进而给出了该算法的理论推导和具体实现步骤.与未改进的BP算法相比,该方法协调了训练次数多而引起的学习效率和收敛速度之间的矛盾,提高了BP算法的熟练速度和收敛速度.实验结果也说明了该方法的快速性、有效性、稳定性.

神经网络;BP算法;专家系统;储粮测控

0 引言

我国是世界上最大的粮食生产国,也是最大的粮食消费国,粮食是关系国计民生的重要战略资源.为了保证仓储质量,将先进的现代电子技术和储粮相结合,设计开发储粮方面的专家系统,对粮食安全储藏具有重大意义.传统的专家系统对于知识库的维护比较困难,而且推理方法简单,控制策略不灵活,推理实现比较难,因此不能准确及时地测量和控制储粮仓,致使我国每年有数亿斤的粮食在储藏过程中霉烂变质,造成巨额损失.

作者引入神经网络算法,神经网络的特性[1]:(1)并行分布处理.神经网络具有高度的并行结构和并行实现能力,因而有较好的耐故障能力和较快的总体处理能力,这特别适于实时和动态控制.(2)通过训练进行学习.神经网络是通过所研究系统过去的数据记录进行训练的,一个经过训练的神经网络具有归纳全部数据的能力,因此神经网络能够解决那些由数学模型或描述规则难以处理的问题.(3)适应与集成.神经网络能够适应在线运行,并能同时进行定量和定性操作,神经网络的强适应和信息融合能力使得网络过程可以同时输入大量不同的控制信号,解决输入信息间的互补和冗余问题,并实现信息集成和融合处理.神经网络由于其学习和适应、自组织、函数逼近和并行处理能力,为专家系统的研究开辟了崭新的途径.

1 BP算法的原理和模型

反向传播(Back Propagation,BP)算法的网络称为 BP网络,是由非线性变换单元组成的多层前馈网络,其基本思想是:工作信号正向传播,误差信号反向传播,两种信号流通方式,是目前应用最广泛的神经网络模型[2-3].BP算法属于 Delta学习规则,是一种有导师的学习算法,它在给定目标的情况下,以其实际输出与目标值之差的平方和为目标函数,以调节权值使目标函数达到最小值为最终目的.

BP算法步骤包括两个阶段,第一阶段是计算实际输出,这是从输入到输出的计算与修改,得出神经元的输出.第二个阶段是对权和阈值的修改,这是从输出层向下计算和修改,即已知最高层的误差修改与最高层相连的权,然后修改各层的权,两个过程反复交替,直到达到收敛为止[4].

BP网络模型如图 1所示[5].

图1 BP网络模型

式中:Nk-2表示第 k-2层的节点数;表示第k -1层第 j个基点输入加权和;表示第 k-2层第 i个节点与 k-1层第 j节点间的连接权值;表示第 k-2层第 i个节点的输出值.因此,第 k-1层第 j个节点的输出为:

为了对网络进行训练,首先要确定一个目标函数.目标函数一般设为输出与给定目标之差的平方和,如下所示:

式中:Tp为输出层第 p个节点的目标值,这个值是训练者提供的.训练的目标是找到合适的权值使目标函数 E达到最小,即全局最优.可采用梯度下降法求优化权值.首先求出目标函数沿着多个权值的变化梯度,并按梯度值大小的比例快速向目标值靠近,最后收敛于某一目标值.该权值从输出层开始修正,然后再修正前一层网络的权值,目标函数对输出层某一权值的梯度为:

因此要使第 k-1层权值向最优权值靠近,k -1层权值应作如下修正:

式中:η为学习速率,目标函数与再前一层(即 k-2层)之间某一权值的梯度为:

因此 k-2层权值的修正量为:

其中

BP网络由数据流正向传播和误差信号的反向传播两个过程构成.通过这两个过程的交替进行,在权向量空间执行误差函数梯度下降策略,动态迭代搜索一组权向量,使网络误差函数达到最小值,从而完成信息提取和记忆过程.

2 模型改进

BP算法用于具有非线性传输函数的三层前馈网络,可以任意精度逼近任何非线性函数,但是标准的BP算法在应用中存在一些内在缺陷:易形成局部极小而得不到全局最优;训练次数多使得学习效率低,收敛速度慢.作者提出一种改进的BP算法来解决以上问题.

2.1 加入动量项

BP网络在具体的应用中,标准 BP算法的步长η的选择很重要.选择步长η大则收敛快,但过大则可能引起不稳定,η最大不能超过,λ

max为输入向量x的自相关阵的最大特征值;η小则可避免振荡,但收敛速度慢,解决这一矛盾的最简单方式是加入动量因子α.即使

式中:第 3项是记忆上一时刻权的修改方向,而在时刻 t(n0)的修改方向为 t(n0-1)时刻的方向与t(n0)时刻方向的组合.将公式改写为[6-7]:

式中:0＜α＜1,建议在η(n0)时进行调整.如果ΔE＞0,η要减小时,让α减小甚至等于0,然后调节η增加使α恢复.应用结果表明,该方法对于提高BP算法的熟练速度十分有效,收敛速度变快.

2.2 自适应学习

标准BP网络收敛速度缓慢的一个重要原因是学习速率选择不当,学习速率选得太小,收敛太慢;学习速率选得太大,则有可能会过拟合,导致振荡甚至发散.调整的基本指导思想是:在学习收敛的情况下,增大η以缩短学习时间;当η偏大致使不能收敛时,要及时减小η,直到收敛为止.

由于L-M(Levenberg-Marquardt)算法比梯度下降法更快,所以选择如下的 L-M学习规则[8]:

式中:e为误差向量;J为网络误差对权值导数的雅可比(Jacobian)矩阵;μ为标量.当μ很大时上式接近于梯度法,当μ非常小时上式变成了 Gauss -Newton法.在这种方法中,也是自适应调整的.综合考虑,拟采用L-M学习规则和动量法分别作为神经网络的训练函数和学习函数.

3 测试结果及统计分析

在中央储备粮曹县直属库对该粮库储存小麦温度、湿度、水分、害虫数进行检测,将2000—2005年的样本作为训练样本,将2006—2009年样本作为测试样本.在网络训练之前,将原始数据进行归一化处理.

3.1 网络训练

由于3层BP网络可以逼近任意函数,因此选择 3层结构的网络.选用均方误差(MSE)作为网络评价的标准[9-10]:

式中:m为输出节点的个数;p为训练样本数目;^ypj为网络期望输出值;ypj为实际值.根据如下经验公式选择隐含层节点数:

式中:n为输人节点个数m,为输出节点个数,a为1～10之间的常数.输入层神经元个数为 3,输出层神经元个数为 1,所以 n1取值为 3～12.

借助于MATLAB6.5神经网络工具箱来实现多层前馈BP网络.经过调试,隐含层和输出层传递函数分别采用 tan-sigmoid型和 log—sigmoid型传递函数.训练结果如图 2所示.

图2 隐含层神经函数与误差关系图

由图 2看出:增加隐含层节点数可以减少训练误差,但超过 8以后测试误差产生波动,即泛化能力发生变化.综合比较隐含层节点数为 8与 9的训练误差和测试误差,决定隐含层节点数选用8.网络结构确定后,进入仿真环节.

3.2 仿真结果

将数据代入训练好的网络中进行仿真.为了消除仿真结果的波动性,求取 5次仿真的平均值作为最终结果 (表 1).仿真结果的MSE较小,说明仿真的效果很好,可以用于粮食安全的预测.

给出 5次训练的权值及阈值的平均值,见表2.表中的序号 1～8分别表示隐含层的 8个神经元, iw l,iw2和 iw3分别表示输入层神经元与隐含层神经元之间的权值,b1表示隐含层神经元的阈值,1w2表示隐含层神经元与输出层神经元之间的权值.

表1 仿真结果

表2 权值及阈值平均值

4 结论

改进的BP算法协调了训练次数多而引起的学习效率和收敛速度之间的矛盾,而实验仿真结果证明,将基于神经网络的改进 BP算法应用于粮情检测是有效可行的,模型建立后能够达到预期的精度,可以用作粮情检测的仿真及预报.模型具有操作简单、适应性强等特点.它是由 Sigmoid函数连接而成的多层次网络结构,不需要先验的设定模型,对不完全信息、带噪音的信息具有良好的适应性,能很好地解决非线性问题.

[1] 蔡自兴,约翰·德尔金,龚涛.高级专家系统:原理、设计及应用[M].北京:科学出版社,2005.

[2] 甄彤,范艳峰.基于支持向量机的储粮害虫分类识别技术研究[J].计算机工程,2006, 32(9):167-169.

[3] 甄彤,马志,张秋闻.多传感器信息融合技术在粮情测控中的应用[J].河南工业大学学报:自然科学版,2008,29(4):56-59.

[4] 冯定.神经网络专家系统[M].北京:科学出版社,2006.

[5] 程伟良.广义专家系统[M].北京:北京理工大学出版社,2005.

[6] Murata N,Yoshizawa S,Amari S.Ne twork’s informationcriterion-deter mining the number of hidden units for an artifi-cial neural network model[J]. IEEE Trans,Neural Networks,l997,5(6):865-872.

[7] 赵玉,宋自奋,祁春节.基于人工神经网络的中国粮食安全仿真研究[J].贵州农业科学,2008,36(5):198-200.

[8] 袁曾任.人工神经元网络及其应用[M].北京:清华大学出版社,1999.

[9] 徐敏,施化吉.基于神经网络集成的专家系统模型 [J].计算机工程与设计,2006,27 (7):1216-1219.

[10]张瑞春,金保华.枣树虫害防治智能决策双向推理机的设计[J].微计算机信息,2006, 5(2):160-162.

RESEARCH AND APPL ICATION OFMEASUREMENTAND CONTROL EXPERT SYSTEM FOR GRA IN STORAGE BASED ON NEURAL NET WORK

ZHANG Xing-hong1,ZHEN Tong1,BAO Hui1,D INGWei1,ZHANG Jun-lan2
(1.School of Infor m ation Science and Engineering,Henan University of Technology,Zhengzhou450001, China;2.Caoxian Grain Depot D irectly under Central Grain Reserves,Caoxian274400,China)

The paper applied neural network into an expert system to overcome the disadvantagesof the conventional expert system on knowledge acquisition,reasoning ability and self-learning ability based on the learning function of the neural network.By combining the neural network with the grain measurement and control system,the paperput for ward an improvedBP algorithm.By introducing amomentum term into the algorithm and improving the self-adaptive algorithm,the paper provided the theory derivation and the specific steps of the algorithm.Compared with the unimproved BP algorithm,the method solved the contradiction be tween the learning efficiency and the convergence speed caused by the frequent training so as to improve the skilled speed and the convergence speed of theBP algorithm.The results show that themethod has high speed,high validity and high stability.

neural ne twork;BP algorithm;expert system;measurement and control for grain storage

TS210;TP18

B

1673-2383(2010)03-0076-04

2010-03-15

“十一五”国家科技支撑计划 (2006BAD08B01);河南工业大学校科研基金资助(08XPT003)

张兴红(1985-),女,河南开封人,硕士研究生,主要从事计算机安全及系统工程研究.