基于人工蜂群算法的Elman网络板形预测
2012-01-08张秀玲赵文保李少清
张秀玲,赵文保,李少清,徐 腾
(1.燕山大学河北省工业计算机控制工程重点实验室,河北秦皇岛 066004;2.国家冷轧板带装备及工艺工程技术研究中心,河北秦皇岛 066004)
基于人工蜂群算法的Elman网络板形预测
张秀玲1,2,赵文保1,2,李少清1,2,徐 腾1,2
(1.燕山大学河北省工业计算机控制工程重点实验室,河北秦皇岛 066004;2.国家冷轧板带装备及工艺工程技术研究中心,河北秦皇岛 066004)
针对常规Elman网络泛化能力差的缺点,以及工业生产中对高精度板形预测模型的需要,用人工蜂群算法(ABC)代替误差反传算法训练Elman网络,建立了一个基于Elman网络的板形预测模型.神经网络的隐层节点数通过经验公式和仿真试验来确定.通过仿真验证,用人工蜂群算法训练的Elman网络在同等条件下比常规Elman网络具有更强的泛化能力,其板形预测精度更高.
人工蜂群算法;Elman网络;板形预测模型;泛化能力
神经网络是一种可以用来进行预测和控制的有效工具.经过数十年的发展,已有很多不同的种类[1],它们的训练方法大多是误差反传算法.经误差反传算法训练的神经网络,在数据处理上虽具有容错性、非线性等优点,但也有易落入局部极小点、泛化能力弱等缺点.近期,研究人员对一些生物利用群体行为处理问题发生了兴趣[2],人工蜂群算法就是其中一个.这种算法主要是受到蜜蜂——这种社会性昆虫群体处理问题行为的启发,进而建立具有良好适应性、鲁棒性的算法或系统[3].Dervis Karaboga等学者经过研究对比发现,在不对算法做任何改进的前提下,人工蜂群算法可以达到好于或接近遗传算法、粒子群算法以及微分进化算法的水平,而且用到的参数比较少[4],同时,这种算法具有极强的搜索能力,能以较大的概率避开局部极小点[5-6].而中国的田谦益发现:人工蜂群算法具有辨识精度高、寻优能力强的特点[7].正是因为人工蜂群算法更擅长全局搜索,能以更大的概率得到全局最优解,因此,它已被应用在数值函数优化等领域[8-9].随着板形控制的发展,工业生产需要预测精度更高、泛化能力更强的板形预测模型来进行研究.所以,本文运用人工蜂群算法来训练神经网络,希望得到功能更强大的板形预测模型,来满足生产实际的需要.
1 Elman网络
Elman网络是一种局部反馈网络.它在前馈网络结构的基础上增加了状态层,这个结构特点可使它通过存储内部状态获得适应时变特性的能力[10],导致Elman网络可识别和产生时间模式[11],因此充分考虑到了先前数据在网络训练中的作用,比常规前馈神经网络拥有更高的历史敏感性.Elman网络的拓扑结构如图1所示.
图1 Elman网络Fig.1 Elman network
2 人工蜂群算法
人工蜂群算法的工作过程如下所示:
①对解的群体进行初始化,问题解可以用食物源来表示.用A代表食物源数量,有A个D维向量,其中第i个解为
守望蜂与专业工蜂的数量也是A;
②评估群体中每个解的适应度;
③开始进入循环;
④专业工蜂根据式(1)由群体中的解xi产生新解
vi=vi1,vi2,…,viD
(),i=1,2,…A,并对其进行评估,
式中,k∈{1,2,…,A},j∈{1,2,…,D},k是被随机确定的,但不能与i相同,cij是[-1,1]之间的随机数.
⑤根据适应度值对vi和xi用贪心选择法进行选择,生成新的食物源群{x1,x2,…,xA};
⑥对新的食物源群根据式(2)计算概率,
式中,fiti为第i个食物源的适应度值.守望蜂根据A个概率值对解进行选取,再一次生成新解,生成新的食物源群{v1,v2,…,vA};
⑦如果一个解不能在事先设定的循环次数内有所改进,那么就成为放弃解,若有此类解存在,按式(3)产生新解并替换掉旧解;
式中,min为适应度最小的解,max为适应度最大的解,j∈{1,2,…,D};
⑧将目前的最优解记录下来,进入下一轮循环.
3 人工蜂群算法与Elman网络的结合
由于常规Elman网络采用的是误差反传算法进行训练,因此导致网络训练结果易落入局部极小点.而人工蜂群算法拥有出色的全局搜索能力,能以较大的概率避开局部极小点.因此,将具有容错性与非线性映射能力的神经网络和具有强大的全局搜索能力的人工蜂群算法结合起来,可以得到很好的效果.具体做法是:首先确定Elman网络的结构,由式(4)确定:
式中,a为隐层节点数,b为输入神经元个数,c为输出神经元个数,d为1~10之间的常数[12],神经网络的结构越简单,训练就越快,因此,在可以保证测试效果的前提下,常数d尽量小;其次,将神经网络的所有权值、阈值进行编号排列,并初始化A组随机数与之对应,作为人工蜂群算法的食物源群;最后,对这几组食物源群进行人工蜂群算法的操作,在循环结束时记录下最优解,神经网络的训练就结束了.
4 板形预测
由人工蜂群算法训练的Elman网络性能优劣,可以通过板形预测来进行检验.在对板形控制方案进行研究时,由于所建机理模型总要建立在一定的假设之上,使得所建模型无法完全等同于真实系统,这是传统解析方法无法回避的缺点.而人工智能方法在这一领域就显示出了它的强大.对于预测模型,它的预测精度才是我们应该关注的重点[13].人工神经网络恰能达到这一要求,它通过自学习不断修正权值和阈值,完全凭借实际数据来建模.因此,用神经网络来做板形的预测模型非常合适.而传统的误差反传算法,一旦初始权值和阈值被确定,就要用梯度下降法进行求解,在进行神经网络训练时,难免会落入局部极小点,训练后得到的神经网络结构无法满足板形预测的要求,其泛化能力非常低.相比较而言,人工蜂群算法在运算时初始化的是一个群体,这本身就增加了找到全局最优点的概率,再加上在后面的过程中不断在每个个体周围以及适应度最高和最低者之间进行的随机搜索,更增加了避开局部极小点的可能.通过这种方法训练出的Elman网络拥有较强的泛化能力,能应付未学习过的数据,并能对存在一定干扰的数据进行准确地识别,所以说,用人工蜂群算法训练出的Elman网络是一种预测能力更强的板形预测模型.本文建立的神经网络板形预测模型拓扑结构定为15-6-3,如图2所示.这15个输入是影响板形值的一些主要因素,分别为:板材入口厚度、出口厚度、弯辊力、轧制压力、前张力、后张力、中间辊横移量、工作辊辊径、中间辊辊径、支撑辊辊径、来料板宽、温度、泊松比、弹性模量、摩擦系数.3个输出分别为一次、二次、四次的板形值,其符号代表板形缺陷的种类,数值代表浪形的大小.
图2 板形预测模型结构Fig.2 Structure of flatness prediction model
5 仿真研究
仿真试验这样进行:在两种神经网络结构相同的情况下,对同组数据进行学习.以实际输出与标准输出的欧氏距离作为误差.首先,用学习过的数据对两种网络进行仿真测试,记录下误差;其次在数据内加入随机噪声,对二者分别进行测试.在神经网络学习的过程中,两个神经网络学习的次数设置都是1 000次.人工蜂群算法需要确定的参数为:解群体的数量,即食物源的数量,定为50;被淘汰解的极限训练次数,定为40.以上参数由对比试验确定.表1是这两个网络的仿真对比试验结果,其中,b1、b2、b3代表3个板形值,e代表误差,为了比较两种方法训练出的网络的泛化能力,将学习过的数据加入0~0.1的随机噪声,这是两种神经网络都没有学习过的.图3是两种网络对于学过的样本的测试误差对比图,图4是对未学过样本的测试误差对比图,图5是人工蜂群算法在每次运算中,解群体中最优解的学习误差,定义为30个样本输出误差的和的平均值,也可称为进化曲线.从结果中可以看出,二者在对学过的数据进行测试时效果相差不多,但对于未学过的数据,用人工蜂群算法训练的网络,其泛化能力要明显强于常规Elman网络.因为,加入干扰的数据是网络在学习时没有见过的,神经网络的泛化能力越强,它从学习数据中提炼规律的能力就越强,对于加入一点干扰的输入数据,泛化能力强的网络应该能得出与未加干扰的输入相差不多的结果.仿真结果表明,用人工蜂群算法训练的网络,其输出要比常规Elman网络输出更接近于未加干扰时的输出,说明前者较后者能更精确地逼近轧机模型.而且,在仿真中发现,常规Elman网络的输出不如用人工蜂群算法训练的网络输出稳定,每次仿真结果,尤其是对于加干扰的数据,前者总不如后者精度高,这说明前者经常陷入局部极小点,同时也表明人工蜂群算法具有强大的全局搜索能力,能以较大的概率避开局部极小点,求得全局最优点.从算法上来解释,对于初始化的食物源群,人工蜂群算法根据适应度对其进行选择,在可行解周围寻找更优解的操作在算法中进行过两次,搜索比较彻底.即使这样,算法还用第⑦步中的操作对解进行了搜索.可以说,从解初始化到算法结束,人工蜂群算法进行了两次小的跳跃操作,一次随机搜索操作.虽然这三次操作都与旧解有一定关系,但是操作的范围可调,可以根据板形预测结果的好坏来进行改动.通过仿真结果可以看出:人工蜂群算法较误差反传算法能以更大的概率避开局部极小点,达到更高的板形预测精度.
表1 仿真结果Table 1 The results of simulation
图3 学习过数据测试误差Fig.3Errors of data having been trained
图4 未学习过数据测试误差Fig.4Errors of data having not been trained
图5 蜂群算法的进化曲线Fig.5 Evolution curve of ABC algorithm
6 结 论
通过对人工蜂群算法的分析以及仿真试验可以发现,对于误差反传和人工蜂群两种神经网络的训练方法,在对未学过的数据进行测试时,前者的效果远没有后者好,误差反传算法训练出的预测模型无法有效应付加了小范围随机扰动的数据,其预测精度无法与人工蜂群算法训练出的预测模型相比.这充分说明了人工蜂群算法具有强大的全局寻优能力.而且,通过本文的分析与仿真可以看出,在板形控制精度要求日益提高的今天,人工蜂群算法与人工神经网络的结合可以为板形预测开辟出一条新路.
[1]施彦,韩力群,廉小亲.神经网络设计方法与实例分析[M].北京:北京邮电大学出版社,2009:1.
[2]Quijano N,Passino K M.Honey bee social foraging algorithms for resource allocation:Theory and application[J].Engineering Applications of Artificial Intelligence,2010(23):845-861.
[3]李海生.一类基于蜜蜂采集模型的智能算法[J].计算机与现代化,2010(1):7-11.
[4]Karaboga D,Akay B.A comparative study of Artificial Bee Colony algorithm[J].Applied Mathematics and Computation,2009(214):108-132.
[5]Xu Chunfang,Duan Haibin,Liu Fang.Chaotic artificial bee colony approach to Uninhabited Combat Air Vehicle(UCAV)path planning[J].Aerospace Science and Technology,2010(14):535-541.
[6]Zhu Guopu,Kwong Sam.Gbest-guided artificial bee colony algorithm for numerical function optimization[J].Applied Mathematics and Computation,2010(217):3166-3173.
[7]田谦益.基于群体智能算法的非线性系统参数辨识[J].佳木斯大学学报:自然科学版,2010,28(4):502-505.
[8]Zhang Changsheng,Ouyang Dantong,Ning Jiaxu.An artificial bee colony approach for clustering[J].Expert Systems with Applications,2010(37):4761-4767.
[9]Xu Chunfan,Duan Haibin.Artificial bee colony(ABC)optimized edge potential function(EPF)approach to target recognition for low-altitude aircraft[J].Pattern Recognition Letters,2010(31):1759-1772.
[10]谢庆国,万淑芸,赵金.一种Elman回归网络的设计方法[J].华中科技大学学报:自然科学版,2002,30(3):22-24.
[11]李国勇.智能控制及其MATLAB实现[M].北京:电子工业出版社,2005:48.
[12]周会锋.板形识别预测和控制仿真的智能方法研究[D].秦皇岛:燕山大学,2005.
[13]田霞.板形预测的神经网络方法的研究[D].秦皇岛:燕山大学,2008.
Flatness Prediction based on Elman Network with Artificial Bee Colony Algorithm
ZHANG Xiuling1,2,ZHAO Wenbao1,2,LI Shaoqing1,2,XU Teng1,2
(1.Key Laboratory of Industrial Computer Control Engineering of Hebei Province,Yanshan University,Qinhuangdao 066004,China;2.National Engineering Research Center for Equipment and Technology of Cold Strip Rolling,Qinhuangdao 066004,China)
Because the ability of generalization of routine Elman network is poor,and the need of industry for flatness prediction model with high precision is eager,a flatness prediction model based on Elman network that is trained by artificial bee colony(ABC)algorithm instead of error back propagation algorithm is presented.The number of the hidden node is determined by experiential formula and simulation experiments.The results of simulation show that the model trained by ABC has a more powerful ability of generalization than routine Elman network under the same conditions and the accuracy of flatness prediction is higher.
artificial bee colony algorithm;Elman network;flatness prediction model;the ability of generalization
TG 334.9
A
1008-9225(2012)03-0038-05
2011-12-21
国家自然科学基金资助项目(50675186).
张秀玲(1968-),女,山东章丘人,燕山大学教授,博士.
李 艳】