氧乐果合成过程的PSO-回归BP网络建模方法

冯冬青，杨书显

(郑州大学 电气工程学院 河南 郑州 450001)

氧乐果合成过程的PSO-回归BP网络建模方法

冯冬青，杨书显

(郑州大学 电气工程学院 河南 郑州 450001)

为了提高模型效率，更好地反映实际系统的动态特性，根据氧乐果合成过程特点确定了PSO-回归BP网络结构.采用惯性权重动态调整的粒子群算法进行初始寻优，并基于改进的BP算法对优化的网络权阈值进一步精确优化，建立了氧乐果合成过程的PSO-回归BP网络模型.仿真结果表明，所建模型误差小、收敛速度快、网络泛化能力强，能更好地反映实际对象特点.

粒子群算法； 回归BP网络； 氧乐果合成； 温度对象

0 引言

氧乐果是农业生产中广泛使用的一种农药，其质量的优劣对农业生产有很大的影响，为其生产过程建立较为精确的数学模型，将有利于改善控制效果，提高产品质量与经济效益.氧乐果合成过程是典型的间歇生产过程，反应釜温度对象具有多变量、非线性、时变、分布复杂等特点，因此利用传统方法建模非常困难.

以往的氧乐果合成过程建模研究中，曾在BP网络的基础上加上TDL环节，建立了回归网络模型，采用BP算法进行学习训练[1-2].文[3]基于遗传算法优化的神经网络模型，用遗传算法对BP神经网络进行优化取得了较好效果，但仍避免不了一些缺点.粒子群优化(particle swarm optimization，PSO)算法采用速度位移模式[4-5]，保留全局搜索策略，概念简单，具有计算复杂度低、收敛速度快，仅有少量参数需要调整，操作简单、易实现等特点，作为一种全局优化算法为神经网络的优化问题提供了便捷高效的解决方法，并已在实际问题的应用中显示出极大的优越性[6-7].本文将粒子群优化算法与回归BP网络相结合，建立氧乐果合成过程的PSO-回归BP网络模型，并用历史数据对网络进行训练和测试，结果表明所建模型误差小、网络泛化能力强.

1 氧乐果合成过程特性分析

氧乐果合成反应是一个剧烈的放热反应，反应物是一甲胺和精酯，反应产物是氧乐果粗原油，反应设备主要包括计量罐、反应釜、冷却系统等.氧乐果的合成反应过程对温度和一甲胺投料速度均有较高的要求.

生产过程中通常先将精酯装入外壁缠有冷却盐水管道的反应釜中，将其冷却到-20 ℃以下，之后计量罐中的一甲胺开始滴注到反应釜内并进行均匀搅拌，在冷却系统的作用下实现合成反应.反应初期由于反应釜中精酯含量较高，投入的一甲胺还比较少，所以反应产生的热量很快被吸收，温升较慢.随着一甲胺投入量的增加，反应釜温度开始迅速攀升，此时要减小一甲胺流量，抑制合成反应的放热量和放热速度，从而使反应温度的上升趋势放缓，防止由于温升速率过高造成温度超标.当反应釜温度上升到-14～-12 ℃时，应当保持适当的投料速度，使系统处于热平衡状态，反应温度在小范围内变化.当一甲胺的剩余量较少时，由于反应釜内的精酯大部分已经被消耗掉，反应釜温度不会快速攀升，在温度不超过-12 ℃的前提下尽快完成一甲胺投料.

该反应过程受到很多干扰因素的影响，具有多变量特性.其中一甲胺流量、反应进行时间、冷却盐水温度、一甲胺累积投料量对反应釜温度的影响较为显著.此外，精酯含量、一甲胺含量、冷却系统热交换的好坏等对反应釜温度也有一定的影响.通过对生产过程的特性分析知道该反应过程还具有明显的非线性和时变特性.针对此类复杂系统，无法采用传统方法建立精确的模型，因此有必要研究智能建模方法.

2 氧乐果合成过程建模

近年来动态回归网络受到了人们的普遍关注，回归网络的一个最显著特点就是它的输出端信号通过延时环节或者一阶惯性环节的反馈机构连接到输入端.其代表是Hopfield网络和Elman网络,此类网络在建立动态系统模型方面有其长处，但同时应指出它采用的是动态反传算法，其运算量比静态BP算法大得多.因此，一些研究者尝试将BP算法中采用的梯度下降法推广到回归网络中，由此产生了回归BP网络.

氧乐果生产过程中的温度是每隔一分钟采样一次，前一分钟的温度对当前时刻的温度可能产生重大影响.所以我们要采用回归BP网络，将温度输出变量延时一拍作为神经网络的一个输入，使网络同时具有前馈和反馈机制，可以充分利用输入输出数据的动态信息，使其一开始就能够跟踪对象的特性，以期获得更为精确的温度对象模型.

2.1确定回归BP网络模型结构

影响反应釜温度的主要因素有4种，它们之间关系可以表示为

Tfyf=f(Fyja,Tlqs,sumyja,tfy)，

(1)

其中，Fyja为一甲胺流量；Tlqs为冷却盐水的温度；sumyja为一甲胺的总投料量；tfy为反应进行时间.

那么，网络的输入变量就为影响反应釜温度的4个主要因素及反应釜前一时刻的温度Tfyf(t-1)；输出变量为反应釜温度Tfyf；网络隐含层节点数先由经验公式确定为12个，后经试验方法验证12个较为理想.故本文采用的神经网络结构就为5×12×1，输入层为5维的输入向量和一个阈值结点，该阈值的存在保证了网络的收敛特性.中间层有12个神经元和一个阈值结点，输出层只有一个神经元,为反应釜温度输出.相邻两层神经元之间以全连接的方式相连.

2.2优化网络参数的PSO算法

对BP模型的初始权阈值先采用一定的策略进行优化，然后再采用BP算法进行二次优化确定最终权阈值可以提高模型的运行效率[8].PSO算法的特点使其在神经网络参数优化方面已获得较为广泛的应用[9-10].

杨伟东毕业于位于江苏南京的河海大学中文系，并不出众的学历，加上又是在海归远“吃香”于土鳖的外企，他还是在2009年到2011年，从一名普通职员一路升到了诺基亚大中国区市场营销总监。之后，杨伟东等人创立了麦特文化，一只脚踏进了文娱圈。

PSO算法是基于群体的，最初是为了在二维空间图形化模拟鸟群优美而不可预测的运动[11]，从这种模型中得到启发并用于解决优化问题，后来将其推广到D维空间.每个优化问题的解就是搜索空间中的一只鸟，鸟被抽象为没有质量和体积的微粒点,鸟在搜索空间中以一定的速度飞行，这个速度根据它本身的飞行经验和同伴的飞行经验来动态调整.第i个微粒在D维空间的位置矢量表示为xi(xi1,xi2,…,xiD)T，速度矢量表示为vi=(vi1,vi2,…,viD)T.每个粒子都有一个被优化的函数决定的适应值，它经历过的最好位置(有最好的适应值)记为pi=(pil,pi2,…,piD)，也称为pbest，这个可看作粒子本身的飞行经验.群体所有微粒经历过的最好位置用Pg表示，也称为gbest，这个可看作是粒子同伴的飞行经验.PSO算法是一种基于迭代的优化工具，对于每一代，它的第d维(1≤d≤D)根据方程(2)、(3)进行变化：

vid(t+1)=w(t)×vid(t)+c1×r1×(pid(t)-xid(t))+c2×r2×(pgd(t)-xid(t)),

(2)

xid(t+1)=xid(t)+vid(t+1).

(3)

其中，i=1,2,…，M，M为该群体中粒子总数；d=1,2,…,D，D为解空间维数，即自变量的个数；w为惯性权重函数，通常在进化过程中线性递减；t为进化代数；c1和c2为位移变化的限定因子，通常为2；r1和r2为两个在[0,1]范围里变化的随机值.此外，微粒的速度vi被一个最大速度vmax所限制，控制粒子的位移不至过大，如果当前对微粒的加速导致它在某维的速度vid超过该维的最大速度vmax,d，则该维的速度被限制为最大速度vmax,d.迭代终止条件一般选为最大迭代次数或满足较好的适应值.

2.3数据预处理

从现场采集的历史数据中取出4组，其中Fyja，T1qs和Tfyf是可以直接测量的数据；sumyja可由计量罐液位计算得到，反应时间tfy由反应时刻t计算得到.因为输入输出数据存在测量噪声，系统本身也存在动态干扰，故在系统辨识之前有必要对原始数据进行预处理.首先应对数据进行坏值剔除，消除粗差；其次将数据进行随机误差与系统误差预处理；最后按(4)式进行归一化处理.

(4)

式中y,y′分别为归一化前后的数据，ymin,ymax分别是所有采样数据中的最小值和最大值.

将归一化后的数据取3组作为训练样本，另一组作为测试样本.其中Fyja，T1qs，sumyja,tfy,Tfyf构成输入矩阵P，反应釜温度构成目标矩阵Q.

基于PSO算法的优点，将其与BP算法结合起来形成混合算法，对回归BP神经网络的权阈值进行优化.首先我们根据已确定好的回归BP网络结构计算粒子群神经网络的维数；然后将神经网络的全体权值和阈值向量映射为粒子群搜索空间中的位置元素；其次采用粒子群算法寻找模型的初始权值与阈值；最后再采用改进的BP算法训练经过粒子群算法寻优的初始权值与阈值，得到最终模型.

建模过程用matlab程序实现，具体流程如下：

Step1根据已确定好的回归BP网络结构5×12×1，计算粒子群神经网络的维数n=(5+1)×12+(12+1)×1=85.

Step2确定粒子群规模及迭代次数.对于粒子个数m，通常在10～50之间取值，文中取为40.将神经网络的全体权值和阈值向量映射为粒子群搜索空间中的位置元素，则粒子搜索空间的维数即为85.迭代次数Tmax=150.

Step3惯性因子w的设置.惯性权重用来控制粒子以前速度对当前速度的影响，它将影响粒子的全局搜索能力和局部搜索能力，较大的w有利于跳出局部极小点，较小的w有利于算法收敛.但由PSO微粒的搜索特征不难发现[12]，线性减小策略中w保持较大值和较小值的时间都很短，不能很好满足开始搜索速度快些、搜索后期速度慢些的要求.本文w采取(5)式按余弦规律递减的策略，使w由0.9动态递减至0.1.

(5)

式中，Tmax为最大迭代次数；t为当前迭代次数；wmax=0.9；wmin=0.1.

Step4确定适应度评价函数.文中适应度函数取为训练均方误差函数，

(6)

Step5速度与位置初始化[13].随机生成m个个体，每个个体由两部分组成，第一部分为粒子的速度矩阵，第二部分代表粒子的位置矩阵.由于BP 神经网络的权值与阈值一般初始化为[-1,1] 之间的随机数，故将粒子群中每个粒子位置参数均取为[-1,1]之间的随机数作为PSO 算法的初始解集.

Step6输入训练样本的输入矩阵和目标矩阵，计算网络的输出，并根据(6)式评价每个粒子在神经网络训练样本下的适应度.

Step7进行极值更新.比较每个粒子的适应值和pbest，若粒子当前适应度优于pbest,pbest被当前位置替换；若所有粒子的当前最优适应值优于gbest,gbest被当前最优位置替换.

Step8根据(2)、(3)和(5)式进行粒子速度和位置的更新，即调整神经网络的权值与阈值.

Step9检验是否符合结束条件，如果当前的迭代次数达到了预先设定的最大次数(文中设为150次)或达到最小误差要求，则停止迭代，转Step10，否则返回Step6继续进行迭代.

Step10算法停止迭代时，Pg对应的值即为训练问题的最优解，即回归BP网络的权值与阈值.

Step11回归BP神经网络模型中隐含层传输函数取为“tansig”，输出层传输函数取为“logsig”；网络训练目标误差取为0.000 1.将Step10得到的最优解代入回归BP神经网络模型中，采用改进的BP算法(添加动量项与自适应学习率相结合)进行二次训练学习，最终形成所需的对象模型.

3 模型验证与分析

保存得到的最终对象模型，取出测试样本(与训练样本经过相同预处理)对训练好的神经网络模型进行验证.为对比起见，我们也建立了BP网络模型进行验证，验证结果如图1和图2所示.从图中可以看出，BP网络模型误差较大，通过计算得到BP网络模型最大误差高达12.4% .这些误差比较大的点出现在合成反应的温度上升阶段，这个阶段合成反应的总体放热效果开始超过系统的冷却效果，系统的热平衡被打破，反应温度开始快速增长.而PSO-回归BP网络具有反馈机制，充分利用了输入输出数据之间的关系，较好地跟踪对象特性，尤其是在温度上升阶段误差明显减小，更好地模拟了温度过程的变化，曲线拟合精度更高，最大误差只有4.9%，最小误差还不足0.03%.

图3所示为PSO寻找回归BP网络模型参数的最优适应度变化曲线，由图可知经过100余次迭代粒子群算法已找到初步最优解，在此基础上采用改进的BP算法继续学习训练，只用9步就达到了训练目标，网络收敛很快，训练误差曲线如图4所示，而单独采用改进的BP算法经过2 000余次迭代还远达不到训练目标.这主要是由于PSO算法通过动态递减的惯性权重协调了全局搜索与局部搜索，既能以较大的概率保证最优解，克服BP算法局部最优的缺陷，又可以提高局部区域的收敛速度，避免在局部区域搜索过程中的收敛停滞现象.

图1 基于BP网络的温度输出验证曲线Fig.1 Verifying curve of temperature output based on BP network

图2 PSO-回归BP网络的温度输出验证曲线Fig.2 Verifying curve of temperature network output of PSO-recurrent BP network

图3 PSO最优适应度曲线Fig.3 Curve of fitness of PSO

图4 PSO-回归BP网络训练误差曲线Fig.4 Curve of training error of PSO-recurrent BP network

4 结论

PSO优化算法对神经网络模型的训练操作简单，计算复杂度低，它能有效地搜索到神经网络的最优权值和最佳阈值，而回归网络能更好地体现系统的动态特性.本文将二者相结合，建立了氧乐果合成过程温度对象的PSO-回归BP网络模型，仿真结果表明该模型结合了粒子群算法的全局寻优能力和 BP神经网络算法的局部搜索优势，更体现了实际系统的动态性能，较真实地反映了氧乐果合成反应的温度特性，具有较高的精度、较好的性能，可以用来研究氧乐果合成过程温度自动控制系统的优化控制算法，为实现综合优化控制提供有力的依据.

[1] Yang J M, Kao C Y.A robust evolutionary algorithm for training neural networks[J].Neural Computing and Application,2001,10(3):214-230.

[2] 冯冬青，张新征，费敏锐.基于回归神经网络的氧乐果合成过程建模与仿真[J].系统仿真学报，2005,17(6):1522-1524.

[3] 王晓沛.基于神经网络的智能控制方法研究[D].郑州：郑州大学，2007.

[4] Yang Shuxia.Neural network forecast under the organic hybrid model of genetic algorithm and particle swarm algorithm[C]//Proceedings of the 2008 International Conference on Wavelet Analysis and Pattern Recognition.Hong Kong, 2008:30-31.

[5] AlRashidi M R， El-Hawary M E.A survey of particle swarm optimization applications in electric power systems[J].IEEE Transactions on Evolutionary Computation,2009,13(4):913-918.

[6] 田丽，夏新运，蒋慧，等.基于PSO-BP混合算法的短期电力负荷预测[J].自动化与仪器仪表,2009(2):40-41.

[7] 孙世昶，刘洪波，林鸿飞，等.一种离散粒子群算法在对等网络邻接选择问题中的应用[J].郑州大学学报：理学版，2009,41(1)：86-89.

[8] 岳琳，张宏伟，王亮.粒子群优化算法在城市需水量预测中的应用[J]天津大学学报：自然科学版，2007,40(6):742-746.

[9] 梁本亮, 王增忠, 孙富学.基于PSO的结构损伤检测应用研究[J].郑州大学学报：理学版，2006,38(4):93-97.

[10] 杨光友，刘琼.前向神经网络粒子群优化学习算法研究[J].广西师范大学学报：自然科学版，2008，26(3):151-156.

[11] Kennedy J, Eberhart R C.Particle swarm optimization [C]//IEEE International Conference on Neural Networks. Piscataway, 1995:1942-1948．

[12] 陈国初，俞金寿.增强型微粒群优化算法及其在软测量中的应用[J].控制与决策：2005，20(4)：377-381.

[13] 王海军，白玫，贾兆立，等.基于粒子群神经网络的期货价格预测[J].计算机工程与设计,2009，30(10)：2428-2430.

ModelingMethodofPSO-recurrentBPNetworkforOmethoateSynthesisProcess

FENG Dong-qing, YANG Shu-xian

(SchoolofElectricalEngineering,ZhengzhouUniversity,Zhengzhou450001,China)

In order to improve the model efficiency and show dynamic characteristic of the system, the modeling method of PSO-recurrent BP network for omethoate synthesis process was studied.Firstly, the structure of PSO-recurrent BP network was determined according to the features of the object.Secondly, PSO algorithm was used to optimize the weight and threshold of BP neural network.Finally, the improved BP algorithm was used to train the pre-optimized weight and threshold for getting further accurate parameters of the model.The simulation results showed that this model not only had small error, fast convergence speed and strong ability of network generalization, but also show characteristics of the actual object well.

PSO algorithm； recurrent BP neural network； omethoate synthesis； temperature object

TP 391.9

A

1671-6841(2011)03-0113-05

2010-05-12

国家自然科学基金资助项目，编号60774059.

冯冬青(1958-),男,教授,主要从事智能控制理论与应用研究，E-mail:dqfeng@zzu.edu.cn；通讯作者：杨书显(1983-),女,硕士研究生, 主要从事智能控制理论与应用研究.