一类基于Multi-Agent的实时进化算法

王健

（大庆华科股份有限公司 聚丙烯分公司，黑龙江 大庆 163316）

一类基于Multi-Agent的实时进化算法

王健

（大庆华科股份有限公司 聚丙烯分公司，黑龙江 大庆 163316）

实时进化（Real-Time Evolutionary，RTE）策略解决了传统实时优化（Real-Time Optimization， RTO）方案中等待稳态的缺点，受RTE思想的启发，论文提出了一种基于Multi-Agent的实时进化算法。首先将粒子群算法与Multi-Agent机制相结合，每一个Agent相当于粒子群算法中的一个粒子，通过和其邻居进行竞争、合作以及学习，能够迅速、准确的找到全局最优解；然后，根据RTE思想，将基于Multi-Agent的粒子群算法应用于RTO的解决方案。通过对 Williams-otto反应器的实例研究，证明了所提算法的有效性。

Multi-Agent；RTE；RTO

0 引言

Multi-Agent是由多个具有感知能力和自学习能力的智能体组成的系统，可以在其定义的局域环境中与其邻居进行竞争与合作，并且可以自主的进行自学习，以完成复杂的控制任务或解决复杂的问题，因而被广泛应用于优化算法中。Zhong等[1]提出了多Agent遗传算法，用于解决全局数值优化问题；Cardon等[2]则将多目标遗传算法应用到多Agent系统中，寻找分配问题——车间生产调度方案，以减少延迟时间；Ackchai等[3]结合多目标进化算法与Agent系统建立了联合货运枢纽定位的优化模型，寻找一个好的定位方案；我国学者杨萍等[4]提出了一种基于遗传算法(GA)协调进化算法；丁辉等[5]则提出了一种求解约束多目标优化问题的Agent进化算法；宿翀等[6]则通过对Agent传统的BDI结构进行扩展，提出了一类面向交互式进化计算的情感学习Agent等。然而，上述粒子群算法中均没有涉及实时优化思想，从而导致了模型在收敛速度和稳定性上的不足。

本文结合粒子群算法和Multi-Agent机制，提出了一个基于Multi-Agent的粒子群优化算法；结合RTE思想，构造了一个解决进化式实时优化中的设定点优化问题的方案；通过对Williams-otto反应器进行仿真研究，表明了所提算法具有收敛速度快、计算精度高等优点。

1 基于Multi-Agent的实时进化算法

本文通过将基于Multi-Agent的粒子群算法引入RTE思想之中，使该算法在真正意义上实现了对过程的在线优化，从而提高了搜寻最优解的收敛速度以及精度。

图1 给出了基于Multi-Agent的实时粒子群优化算法中一种 “拟稳态”区间的流程。

RTE中△t的值较高的时候将会阻碍系统的性能，但是△t也应足够大以允许模型进行优化计算。作为一个初步的定义，△t值大约占一个稳态优化过程时间的1%～7%为宜。

图1 基于Multi-Agent的实时粒子群优化算法Fig.1 The process of Multi-Agent based realtime PSO algorithm

2 实例分析

在该部分，本文利用阶跃扰动和连续正弦扰动两种方式，结合工业优化过程中典型的反应器——Williams-otto反应器对传统粒子群算法和基于Multi-Agent的实时粒子群优化算法的效用进行比较。

2.1 问题描述

图2 Williams-otto反应器Fig.2 Williams-otto reactor

如图 2所示，Williams-otto反应器为带夹套的连续搅拌反应器。反应器温度为Tr；A、B为进料。经过下式的反应，出口物料R中含有六种组分A、B、C、E、P、G。并且，反应器中有三个二级的不可逆反应：

其中，k1,k2和k3分别为三个反应的反应系数。之后，给出该反应器的经济目标方程：

式中：Xi—相应组分的质量分数；Fr—出口物料流率；过程的主要扰动来自于A的进料流率Fa；过程的设定值是反应器的反应温度Tr和组分B的流量Fb。该反应器的目的即为令IFO值最大化。

基于已有的相关文献，可知当 Fa为 1.83kg/s时，最佳操作点为Fb=4.89kg/s和Tr=89.7℃。

2.2 阶跃扰动

由于目标函数IOF为瞬态目标函数值，为了使该试验更有实践意义，引入平均目标函数（MOF）对结果进行评估。MOF可定义为：

式中，t0和t分别代表初始时刻和当前时刻。之后，利用阶跃扰动对该算法进行试验分析。在优化操作条件下，在300s时对系统加入一个阶跃干扰 （Fa=1.83kg/s减小到Fa=1.7 Kg/s）。

阶跃扰动中两种算法下的反应器系统中各参数的变动情况中分别如图3和图4所示。

图3 阶跃扰动中传统粒子群算法下各参数变动情况Fig.3 The fluctuation of parameters within the traditional PSO algorithm in step disturbance

图4 阶跃扰动中基于Multi-Agent的实时粒子群优化算法下的各参数变动情况Fig.4 The fluctuation of parameters within the Multi-Agent based real-time PSO algorithm in step disturbance

从图3和图4可以看出，针对于Fb参数，传统粒子群算法寻优并不稳定，直至800s仍旧没有收敛到稳定状态；而本文提出的新型算法则在约400s处就已经达到最优值，并且在之后无波动发生。并且，Tr参数部分也出现了类似的情况。

而比较IOF参数的数据时发现：基于Multi-Agent的实时粒子群优化算法所用时间要稍长于传统粒子群算法（约为0.0003s），这可能是由于算法中间隔时间△t的选取或程序随机性等因素造成的。另外，两种算法中 IOF参数的数据也显示了基于Multi-Agent的实时粒子群优化算法的收敛速度要优于传统粒子群算法。

综上所述，基于Multi-Agent的实时粒子群优化算法的效用要优于传统粒子群算法。

2.3 连续sin扰动

本文对该部分进行如下规定：干扰为连续sin干扰，Fa=1.83-0.13sin（t/1000），仿真时间0～2500，整个过程始终都存在干扰。连续sin扰动中两种算法下的反应器系统中各参数的变动情况中分别如图5和图6所示。

图5 连续sin扰动中传统粒子群算法下的各参数变动情况Fig.5 The fluctuation of parameters within the traditional PSO algorithm in continuous sin disturbance

从整体上看，基于Multi-Agent的实时粒子群优化算法在稳定性和收敛速度都要明显优于传统粒子群算法，尤其以Fb和IOF参数最为明显。

3 结论

本文将粒子群算法、Multi-Agent技术和实时优化机制进行结合，构造了一个新的优化算法——基于Multi-Agent的实时粒子群优化算法，从而对进化式实时优化中的设定点优化问题进行解决。 之后， 通过对Williams-otto反应器中的优化问题进行仿真，比较传统粒子群算法和该算法的效用，实验结果表明，基于Multi-Agent的实时粒子群优化算法不仅在稳定性和收敛速度上都要优于传统粒子群算法，而且该算法还提高了过程的实时性，使系统无需等待过程稳态，从而令整体优化性能有了大幅度增强。然而，由于本文中所使用的检验环境过于简单，无法验证该算法在复杂工业系统中的效用，因此，引用更为复杂的系统对该算法进行检验将是我们下一步的研究主题。

图6 连续sin扰动中基于Multi-Agent的实时粒子群优化算法下的各参数变动情况Fig.6 The fluctuation of parameters within the Multi-Agent based real-time PSO algorithm in continuous sin disturbance

[1]Alain C，Thieny G B，Vacher J P.Genetic algorithms using multiobjectives in a Multi-Agent System[J].Robotics and Autonomous System，2000，33.

[2]Sirikijpaniehku1 A，Van D K H，Ferreira L，Lukszo Z.Optimizing the Location of Intermodal Freight Hubs:An overview of the Agent Based Modeling Approach[J].Journal of Transportation Systems Engineering and Information Technology，2007，4.

[3]杨萍，刘卫东，毕义明.基于分布式协商进化算法的多Agent目标冲突消解[J].系统工程与电子技术，2009，8.

[4]丁辉，李宏光.一种求解约束多目标优化问题的Agent进化算法[J].吉林大学学报，2011，41(S1).

[5]宿翀，李宏光.基于情感学习Agent的交互式进化计算方法[J/OL].计算机集成制造系统，2012，18.

[6]赵波，曹一家.电力系统无功优化的多智能体粒子群优化算法[J].中国电机工程学报，2005，5.

A Real-time Evolutionary Algorithm Based on the Multi-Agent Theory

WANG Jian
（Daqing Huake Company Limited，Daqing Heilongjiang 163316，China）

The Real-Time Evolutionary（RTE）can be utilized to address the demerit of the traditional Real-Time Optimization(RTO)which is the requirement for waiting the steady.Based on this conception,this paper proposed a real-time evolutionary algorithm regarding the Multi-Agent theory.Firstly,a combination between the Particle Swarm Optimization（PSO）algorithm and the Multi-Agent theory is demonstrated,in which each Agent can be treated as a particle within the PSO,which can quickly and accurately find the global optimal solution through competition,cooperation,and learning with their neighbors.Then,derived from the conception of RTE,the Multi-Agent based PSO algorithm is applied on the RTO problem.In the end,the effectiveness and availability of this algorithm are confirmed by the empirical test of Williams-otto reactor.

Multi-agent；RTE；RTO

TP317

：Adoi:10.3969/j.issn.1002-6673.2014.01.005

1002－6673（2014）01－015－03

2013－12－16

王健（1975-），女，1998年7月毕业于大庆石化总厂职工大学生产过程自动化专业。曾长期在生产一线从事仪表过程控制工作，积累了大量而宝贵的实际生产经验。