自适应的分数阶达尔文粒子群优化算法

郭通，兰巨龙，李玉峰，陈世文

(国家数字交换系统工程技术研究中心，河南 郑州 450002)

1 引言

粒子群优化（PSO, particle swarm optimization）算法是一种基于群体智能的随机全局优化计算方法[1]。该算法以其建模简单、收敛速度快且易于实现等优点，在组合优化[2]、多目标辨识[3]、任务分配[4]、聚类分析[5]、神经网络训练[6]等领域得到了广泛的应用。类似于其他全局优化算法，PSO算法在实际应用中也表现出了一些有待改进的问题，即算法在搜索初期往往收敛较快，但在后期粒子群会趋向同一化(失去了多样性)，使得收敛速度明显变慢，搜索精度降低，算法容易陷入局部最优，因此很多学者致力于提高PSO算法的性能。

Naka等[7]将遗传算法中的选择操作引入到PSO中，提出了混合粒子群优化(HPSO, hybrid particle swarm optimization)算法，对每次迭代产生的新的粒子群依照一定选择率复制较优个体，在提高收敛速度的同时保证了一定的全局搜索能力。Krohling[8]将高斯函数引入PSO算法中，用于引导粒子的运动，进而提出了高斯粒子群优化（GPSO, Gaussian particle swarm optimization）算法，GPSO不再需要惯性权重，且加速系数由服从高斯分布的随机数产生，以克服传统PSO搜索能力和收敛性能严重依赖加速系数和惯性权重设置的不足。Jason等[9]提出了一种利用自然选择进化思想的达尔文粒子群优化（DPSO, Darwinian particle swarm optimization）算法，动态地将种群分为若干个子群，每个子群相对独立地展开搜索，以提高粒子的多样性，增强算法的全局寻优能力。Xu等[10]提出了一种新的混沌粒子群优化（NCPSO, new chaos-particle swarm optimization）算法，将混沌融入到粒子运动过程中，使粒子群在混沌与稳定之间交替向最优点靠近，能够跳出局部最优，提高了算法的收敛速度和精度。

作为应用自然科学中的一种有用的数学工具，分数阶微积分（FOC, fractional order calculus）理论在水文建模、统计力学、图像分割、模式识别、信号处理等实际工程领域的应用越来越广泛[11～14]。最近，Pires等[15]将分数阶微积分引入到PSO中，提出了分数阶粒子群优化（FO-PSO）算法，通过对粒子群的原始速度进行重新排列来修正速度导数的阶数，以便于控制算法的收敛率。在此基础上，Micael等[16]给出了一种分数阶达尔文粒子群优化（FO-DPSO）算法，用于控制DPSO算法的收敛速度，实验结果表明，FO-DPSO算法在计算精度和收敛速度上均要优于传统的PSO、DPSO以及FO-PSO算法。但同FO-PSO算法一样，FO-DPSO算法的收敛性能也直接依赖于分数阶次α，当α值增加时，粒子群的收敛速度就变慢，而当α值减小时，种群陷入局部最优的概率就变高。

针对此不足，本文受文献[17]提出的自适应粒子群优化（APSO, adaptive particle swarm optimization）算法的启发，并在此基础上改进，结合FO-DPSO算法，提出了一种自适应的分数阶达尔文粒子群优化（AFO-DPSO）算法。对几种典型函数的测试结果表明，相比于现有的粒子群优化算法，本文的AFO-DPSO算法能够避免陷入局部最优，收敛速度、稳定性和精度都有了显著提高，进一步提高了全局寻优能力。

2 PSO和DPSO算法概述

2.1 PSO算法基本原理

设在一个D维的目标搜索空间中，有N个粒子组成一个群落，其中，第i个粒子的位置表示为向量Xi=(xi1,xi2,…,xiD)，速度为向量Vi=(vi1,vi2,…,viD)，第i个粒子“飞行”历史中的过去最优位置为Pi=(pi1,pi2,…,piD)，整个粒子群搜索到的最优位置Pg=(pg1,pg2,…,pgD)。将Xi代入目标函数计算其适应值，每个粒子的速度和位置更新策略分别为

其中，i=1,2,…,N；d=1, 2,…,D；在式(1)中，w是惯性加权；c1、c2是加速系数；r1d、r2d为[0,1]之间的随机数；pid为粒子本身所找到的最优解，即个体极值；pgd是整个粒子群目前找到的最优解，称之为全局极值。应用式(1)和式(2)对种群中每个粒子群循环更新，可使整个种群逐步逼近全局最优解。

2.2 DPSO算法基本思想

DPSO是一种进化算法，其基本思想[9]如下所示。

1) 一个粒子群存在的时间越长，它产生后代（构造一个新的粒子群）的机会也就越大，当其产生后代时，后代还会继承一些适应度较好的粒子。

2) 一个粒子群可以通过找到更好的适应值来延长其寿命，同时还可以增加新的粒子来加快搜索速度。

3) 粒子群如果没能找到更好的适应值，它的寿命将会缩短，同时也可能删除群中那些性能较差的粒子，当粒子的数量减少到一定阈值时，该粒子群被销毁。

在DPSO算法中，为了追踪粒子群适应值没有改变的次数，设置一个搜索计数器为SC，如果搜索计数器超过最大门限，将该粒子从群中删除，而创建一个粒子群时，SC置为0。在删除粒子后，SC值并不置为0，而是按照式(3)重置为一个接近的值。

其中，Nkill为在适应值没有任何改善的一段时期内从粒子群中所删除的粒子数目。在产生一个新的粒子群之前，粒子群中必须没有任何粒子被删除，并且粒子群数量不能超过其最大数目。尽管如此，创建新的粒子群概率也仅仅为

其中，f为[0,1]范围内的随机数，Ns为粒子群数目。

3 自适应分数阶达尔文粒子群优化算法

由文献[16]可知，在绝大多数情形下，当分数阶次 α在[0.5,0.8]范围内时，算法能够获得更快的收敛速度，并给出了如下的表达式来调整α。

其中，t为当前迭代次数，算法最大迭代次数为200。

然而，式(5)中的α却会随着迭代次数的增加而线性减小，这无疑增大了种群陷入局部最优的概率。为了能有效避免算法的早熟收敛问题，同时能加快算法的收敛速度，本文提出一种根据粒子的状态信息来动态调整分数阶次α的自适应控制策略，并在算法中引入变异操作的处理方式，在此基础上给出了自适应的分数阶达尔文粒子群优化（AFO-DPSO）算法。

3.1 分数阶次α的自适应控制

对于每个粒子i，它与其他粒子的平均距离与平均速率差异分别采用式(6)和式(7)来估计。

其中，N和D分别为粒子群个数和空间维数，dix代表平均距离，div表示平均速率差异。

众所周知，PSO区别于其他进化算法的重要标志就是粒子的进化状态由位置和速度来共同描述，综合式(6)和式(7)，定义一种混合了粒子平均距离与平均速率差异信息的平均进化状态差异dis如下所示。

其中，iiXVρ为位置Xi和速度Vi的皮尔逊相关系数（PCC, Pearson correlation coefficient）。

比较所有的dis，确定粒子进化状态的最大差异值dsmax和最小差异值dsmin。设dsg为全局最优粒子与其他粒子的进化状态差异的平均值，定义进化因子fs为

将fs值通过模糊集映射函数将粒子进化状态分类为探测、开拓、收敛和跃出4种[17]。

基于进化因子fs，给出分数阶次α的调整等式为

α的变化不再与迭代次数相关，而是根据粒子进化状态信息的改变而进行动态调整。

3.2 加速系数自适应控制与粒子状态更新

将式(1)中惯性加权w设置为1，依据分数阶微分的Grünwald-Letnikov定义，粒子速度按式(12)进行更新。

其中，α(fs)即分数阶次。粒子位置按照式(2)进行更新，并根据表1中的规则来调整不同状态时的加速系数，且c1和c2满足

表1中的“微”调采用式(14)来定量定义。

其中，δ为[0.05,0.1]范围内均匀产生的随机数。

表1 速系数c1和c2的调整策略

3.3 基于进化状态的自适应变异处理机制

当粒子群陷入局部最优时，算法将出现早熟收敛。为了克服早熟收敛问题，ALFI[18]在对动态系统的参数进行估计时提出了一种采用自适应变异机制的PSO算法；Chen等[19]在PID控制参数的优化设计中给出了一种变异概率随算法迭代次数逐步减少的新PSO算法。当算法发生早熟收敛时，变异操作可以改变粒子的前进方向，从而让粒子进入其他区域进行搜索，直到最后找到全局最优解，使得算法能够跳出局部最优。

借鉴文献[18]和文献[19]的思想，本文设计了一种随粒子进化状态动态变化的变异算子，根据变异概率pm对满足变异条件的全局最优位置Pg实施变异。

定义1 pm由进化因子fs和迭代次数t共同表示，其选取遵照以下基本原理：

1) 进化状态为探测与开拓阶段时，t占主导地位；

2) 进化状态为收敛和跃出阶段时，fs占主导地位；

3) pm(t,fs)为一致凸函数。

为给出直观的解释，按照定义1选择了一个特殊的pm(t,fs)函数，其计算公式为

对于全局最优位置Pg的变异操作，本文算法将采用增加高斯随机扰动的方法，设gkp为Pg的第k维取值，η是服从Gauss(0,1)分布的随机变量，则

由于0≤fx≤1，0≤tanh(·)≤1，由此可以推断出1≤1+ηtanh(fx)≤2，Pg变异后的第k维取值随进化因子在范围内变化。

3.4 算法的收敛性分析

由式(2)可知

因此，

将式(19)代入式(17)，可得

式(20)可以写成如下矩阵向量乘积形式。

矩阵的特征多项式为

该特征多项式的一个解为 λ=1.0，令其他4个解分别为β、γ、δ和ε，则给出式(17)的当前关系式为

其中，k1、k2、k3、k4和k5均为常数。

考虑x(t)的收敛性，即

明显地，只要 β、γ、δ和 ε满足max(||β||, ||γ||, ||δ||,||ε||)＜1，则

只需证明在任意max(||β||, ||γ||, ||δ||, ||ε||)＞1条件下，特征多项式(21)均不成立即可。假设||β||＞1，代入式(21)可得

由于r1d, r2d在[0,1]范围内，3≤c1+c2≤4，α(fs)在[0.5,0.8]区间内，为单调递减函数，故其最大值为令

则

这就与||β||＞1为z=0的解相矛盾，故假设不成立，β、γ、δ 和 ε始终满足max(||β||, ||γ||, ||δ||, ||ε||)＜1。

因此，本文提出的AFO-DPSO算法在给定的参数范围内是全局收敛的。

3.5 AFO-DPSO算法描述

AFO-DPSO算法的实现步骤可概括如下。

step1 初始化粒子群，确定粒子数N及空间维数D，设定最大迭代代数tmax、加速系数c1和c2，指定位置和速度的上限及下限，随机生成粒子速度Vi和位置Xi。

step2 对每个粒子进行适应度评估，将粒子的个体极值pid设置为当前位置，全局极值pgd设置为初始群体中最佳粒子的位置。

step3 判断算法收敛准则是否满足，如果满足，转向step8；否则，执行step4。

step4 开始迭代，进化代数增加1。

step5 对粒子群中所有粒子执行如下操作：

① 根据式(6)～式(9)得到粒子的平均进化状态差异，根据式(10)获得进化因子，在此基础上，应用式(11)更新分数阶次；

② 根据表1中规则和式(13)、式(14)调整加速系数，在上述参数更新的基础上，应用式(12)与式(2)实现粒子位置与速度的更新；

③ 对更新状态后粒子的适应度值进行评估，如果粒子适应度优于当前的个体极值，则将pid设置为该粒子的位置，且更新个体极值；如果所有粒子的个体极值中最好的优于当前全局极值，则将pgd设置为该粒子的位置，且更新全局极值。

step6 对粒子群的适应度值进行追踪，判断是否需要删除粒子或创建新的粒子群，若删除粒子，则根据式(3)重置搜索计数器值，若构造新的粒子群，则根据式(4)得到产生粒子群的概率；否则，转向step7。

step7 根据式(15)计算变异概率pm。每个粒子设定一个(0,1)间随机数rndi，若rndi＜pm，按式(16)执行变异操作；否则，转向step8。

step8 判断是否满足算法的收敛条件或达到代数最大限制，如果满足，执行step9；否则，转向step4。

step9 输出最终的全局极值pgd与最佳适应度函数值，算法运行结束。

上述算法既继承了FO-DPSO算法的优点，同时又能根据粒子的状态信息来自适应地调整分数阶次 α，从而加快了算法的收敛速度，并降低了种群陷入局部最优的概率。而自适应的变异处理方式在提高粒子多样性的同时也增强了算法的全局寻优能力。

4 实验结果与分析

4.1 测试函数与算法配置

为了考察AFO-DPSO算法的性能，选取6个典型函数进行测试，它们是在群智能优化算法中广泛采用的测试函数（求最小值），即Sphere、Rosenbrock、DeJong F4、Rastrigin、Griewank和Ackley函数，它们的表达式如式(27)～式(32)所示[20]。

Sphere函数

其中，xi∈[-50,50]，i={1,2,…,D}且f*(x)=0.0。

Rosenbrock函数

其中，xi∈[-100,100]，i={1,2,…,D}且f*(x)=0.0。

DeJong F4函数

其中，xi∈[-20,20]，i={1,2,…,D}且f*(x)=0.0。

Rastrigin函数

其中，xi∈[-5.12,5.12]，i={1,2,…,D }且f*(x)=0.0。

Griewank函数

其中，xi∈[-600,600]，i={1,2,…,D}且f*(x)= 0.0。

Ackley函数

其中，xi∈[－32,32]，i={1,2,…,D}且f*(x)=0.0。

这些函数有D=30个参数，且它们的全局极值为f*。在这些函数中，f1，f2，f3为单峰函数，而f4，f5，f6为多峰函数，算法采用实数编码方案。

本文中所用的仿真软件为MATLABR2008b，仿真环境：CPU为Intel Pentium 4 3.20 GHz，内存为2 GB，操作系统为Microsoft Windows XP Professional SP2。选取PSO、HPSO、DPSO、APSO、FO-PSO、FO-DPSO、NCPSO算法与本文提出的AFO-DPSO算法进行比较，并将式(27)～式(32)作为适应度函数。

各PSO算法的初始参数设置如表2所示。为了确保测试的公平性，所有PSO均采用：粒子数N=30，空间维数D为30，最大迭代次数tmax=1 000。

4.2 搜索精度比较

为了减少统计误差，采用各PSO算法对每个函数进行30次测试，取其平均值的结果如表3所示，其中，APSO算法结果来自文献[17]，而NCPSO算法结果来自文献[10]。

对比表3中的结果可以看出，无论是在单峰函数f1、f2、f3上，还是在多峰函数f4、f5、f6上，本文提出的自适应分数阶达尔文粒子群优化算法的测试结果均要明显好于现有的PSO、HPSO、DPSO、APSO、FO-PSO、FO-DPSO与NCPSO算法的测试结果，且本文算法在f5上获得了全局最优值。

4.3 算法稳定性能比较

进一步地，本文引入文献[21]中定义的最优解方差函数来评价算法的稳定性能。设fi为算法第i次运行所得的最优解适应度，favg为算法运行30次的最优解的平均值，fmax为归一化因子，算法最优解方差δ定义为

当∣fi-favg∣＞1时，fmax取值为max(|fi-favg|)，否则取1。表4列出了各PSO算法对6个测试函数进行优化所得到的最优值方差结果。从中可以看出，本文提出的AFO-DPSO算法的最优值方差比其他7种方法均要小。这说明AFO-DPSO算法搜索到的最优解最稳定。

表2 各PSO算法的参数设置

表3 不同粒子群优化算法对6个测试函数的搜索结果比较

表4 测试函数的最优值方差比较

4.4 收敛速度比较

图1为现有DPSO、FO-PSO、FO-DPSO算法与本文提出的改进的分数阶粒子群优化算法对6个典型测试函数进行优化的过程中种群收敛性能的对比。为了便于比较，图1中的纵坐标都采用适应度的对数值表示。

由图1中4种不同粒子群算法在6个测试函数上的收敛性能比较可以看出，相比于DPSO、FOPSO和FO-DPSO算法，本文提出的AFO-DPSO算法具有更快的全局收敛速度，粒子群在经过若干次迭代运算后仍具备从局部最优中跳离出来的能力，即使是在多模空间，由于采用了自适应参数调整策略，也能够快速地搜寻到潜在的最优极值，从而极大地提高了对最优值的全局搜索能力，并有效避免了现有粒子群优化算法中存在的早熟收敛问题。

综上所述，与现有的7种PSO算法相比，AFO-DPSO算法展示出更令人满意的整体优化性能，其收敛速度、稳定性和搜索精度都得到了显著提高。

4.5 算法的计算复杂度分析

按照“天下没有免费的午餐（NFL, no free lunch）”理论[22]，一种算法不可能在每一个方面或在每一个问题上都能够提供比其他所有算法更好的性能。在本文的实验结果中也观察到了这点。考察8种算法在1 000次的迭代次数内对上文6个函数的平均计算复杂度，对各函数分别进行30次实验，每种算法所需的平均计算时间如图2所示。

图1 4种粒子群算法在不同测试函数上的收敛性能比较

从图2中可以看出，AFO-DPSO算法的算法复杂度要明显高于其他算法，FO-DPSO算法与DPSO算法次之，其主要原因为：DPSO算法需要根据粒子群的适应度值删除粒子或创建新的粒子群，导致算法运算时间过长，FO-DPSO算法对粒子速度的分数阶运算进一步增加了时间复杂度，本文的AFO-DPSO算法由于利用了粒子的位置和速度信息来动态调整分数阶次，使得粒子每次更新都要增加O(2(N-1)D+N)的计算复杂度。这表明，AFO-DPSO算法具有的较高搜索精度、较快收敛速度和较好稳定性是以牺牲一定计算复杂度为代价获得的，并进一步验证了文献[22]中NFL理论的正确性。

图2 8种不同算法的计算复杂度比较

4.6 算法参数的自适应性分析

为了观察进化因子fs与分数阶次 α的变化情况，在单峰函数f1上运行AFO-DPSO算法，并绘制出随迭代次数变化的fs值和α值，分别如图3与图4所示。从图3中可以看出，在1 000次的迭代次数中，进化因子fs值在早期阶段（大约10代内）很大，然后迅速减少（直至100代），紧接着可以发现AFO-DPSO处于跃出状态，并导致fs突变至一个较大值，在此之后，fs值迅速下降直至一个收敛状态（在135代时）；大约经过150代后，粒子群从该局部最优中跃离出来，期间（在300～700代内）经历多个“搜寻－收敛－跳离”阶段后，达到全局（1 000代内）最优收敛状态。在整个进化过程中，fs值始终在[0,1]范围内变化，且较为明晰地展示出了粒子群的进化状态信息。

图3 测试函数f1上进化因子fs所显示的进化状态信息

由图4中可以看到，分数阶次α值随着进化因子fs的改变而在[0.5,0.8]区间内动态变化，这表明分数阶次α能够依据粒子群的进化状态进行自适应调整。为了验证算法的通用性，在函数f2～f6上重复这一实验，进化因子与分数阶次变化情况展现出与在函数f1上类似的模式，在此不再赘述。

图4 测试函数f1上的时变分数阶次α

为了追踪变异概率pm的变化，类似地，图5给出了对f1函数进行测试时，在1 000次的迭代次数内pm的变化曲线。可以看出，在起始阶段由于粒子群在探测最优值，混合进化因子f值还较大，在一定代数内，AFO-DPSO算法会维持一个大的变异概率pm；随着f的急剧减小，pm值降至接近于0；当f发生跃变时，pm也随之产生一定的波动；至粒子群搜索达到收敛状态后，pm基本保持在0值附近。

图5 f1上变异概率pm的变化曲线

为了追踪加速系数的变化，图6给出了在f1上1 000次的迭代次数内c1和c2的变化曲线。

笔者发现：在起始阶段，由于粒子群在探测最优值，在一定代数内，c1在增加的同时c2在减少；然后在开拓收敛状态时，c1和c2倒转了它们的变化方向；跃出状态也能够被检测出来，其中，c2的值在增加而c1的值却在减少。

图6 测试函数f1上加速系数的自适应变化曲线

综上，进化因子、分数阶次、加速系数和变异概率的搜索行为表明经过改进后的FO-DPSO算法能够识别出粒子的进化状态，并能根据粒子的状态信息来自适应地调整控制参数。同时，这也说明本文提出的AFO-DPSO算法是有效且可行的。

5 结束语

为了能有效解决分数阶达尔文粒子群优化算法的收敛性能严重依赖于分数阶次α取值这一问题，同时进一步加快算法的收敛速度，本文提出一种根据粒子的状态信息来动态调整分数阶次α的自适应控制策略，并引入自适应的加速系数控制准则和变异处理机制，在此基础上给出了AFO-DPSO算法。对几种典型函数的测试结果表明，相比于现有的PSO、HPSO、DPSO、APSO、FO-PSO、FO-DPSO与NCPSO算法，本文的AFO-DPSO算法的搜索精度、收敛速度和稳定性都有了显著提高，全局寻优能力得到了极大提升。此外，对进化因子、分数阶次、加速系数和变异概率的搜索行为分析进一步验证了本文提出算法的有效性和可行性。下一步研究方向是如何确保收敛性能不变的同时降低AFO-DPSO算法的计算复杂度。

[1] KENNEDY J, EBERHART R. Particle swarm optimization[A]. Proc IEEE International Conf on Neural Networks[C]. 1995.1942-1948.

[2] CHEN, W N, ZHANG. A novel set-based particle swarm optimization method for discrete optimization problem[J]. IEEE Transactions on Evolutionary Computation, 2010, 14 (2): 278-300.

[3] ZHANG T, HU T S, ZHENG Y, GUO X N. An improved particle swarm optimization for solving bi-level mulitiobjective programming problem[J]. Journal of Applied Mathematics, 2012, 2(4): 1-13.

[4] HO S Y, LIN H S, LIAUH W H, etal. OPSO: Orthogonal particle swarm optimization and its application to task assignment problems[J].IEEE Transactions on Systems, Man, Cybernetics A: Systems, Humans, 2008, 38(2):288-298.

[5] NIE F, TU T, PAN M, etal. K-Harmonic Means Data clustering with PSO Algorithm[M]. Springer Berlin Heidelberg, 2012.67-73.

[6] VARSHNEY S, SRIVASTAVA L, PANDIT M. Parameter tuning of statcom using particle swarm optimization based neural network[J].Intelligent and Soft Computing, 2012, 130(3): 813-824.

[7] NAKA S, GENJI T, YURA T, etal. A hybrid particle swarm optimization for distribution state estimation[J]. IEEE Trans on Power Syst,2003,18(1):60-68.

[8] KROHLING R. Gaussian particle swarm with jumps[A]. Proc IEEE Congr Evol Comput[C]. 2005.1226-1231.

[9] TILLETT J, RAO T, SAHIN F, etal. Darwinian particle swarm optimization[A]. Indian International Conference on Artificial Intelligence[C]. 2005.1474-1487.

[10] 胥小波, 郑康锋, 李丹等. 新的混沌粒子群优化算法[J]. 通信学报,2012, 33(1): 24-31.XU X B, ZHENG K F, LI D, etal. New chaos-particle swarm optimization algorithm[J]. Journal on Communications, 2012, 33(1): 24-31.

[11] GUTIÉRREZ R E, ROSÁRIO J M, MACHADO J T. Fractional order calculus: basic concepts and engineering applications[J]. Mathematical Problems in Engineering, 2010, 2010:1-19.

[12] MACHADO J A T, JESUS I S, BARBOSA R, etal. Application of fractional calculus in engineering[J]. Dynamics, Games and Science I,Springer Proceedings in Mathematics, 2011, 1: 619-629.

[13] BENSON D A, MEERSCHAERT M M, REVIELLE J. Fractional calculus in hydrologic modeling: a numerical perspective[J]. Water Resources, 2013,51:479-497.

[14] GHAMISI P, COUCEIRO M S, BENEDIKTSSON J A, etal. An efficient method for segmentation of images based on fractional calculus and natural selection[J]. Expert Systems with Applications, 2012,39(16): 12407-12417.

[15] PIRES J A, MOURA P B, OLIVEIR A M, etal. Particle swarm optimization with fractional-order velocity[J]. Nonlinear Dynamics, 2010,61(1-2): 295-301.

[16] COUCEIRO M S, ROCHA R P, FONSECA FERREIRA N M, etal.Introducing the fractional-order Darwinian PSO[J]. Signal, Image and Video Processing, 2012,6(3):343-350.

[17] ZHAN Z, ZHANG J, LI Y, etal. Adaptive particle swarm optimization[J]. IEEE Transactions on Systems, Man, Cybernetics B: Cybernetics, 2009,39(6):1362-1381.

[18] ALIREZA A. PSO with adaptive mutation and inertia weight and its application in parameter estimation of dynamic systems[J]. Acta Automatic Sinica, 2011, 37(5):541-549.

[19] CHEN X, ZHANG Y. Optimum design of PID controller parameters by improved particle swarm optimization algorithm[J]. Computer Science and Information Engineering, Lecture Notes in Electrical Engineering, 2012, 2(2):79-84.

[20] BERGH F V, ENGELBRECHT A P. A study of particle swarm optimization particle trajectories[J]. Inf Sci, 2006, 176(8): 937-971.

[21] 周殊, 潘炜, 罗斌等. 一种基于粒子群优化方法的改进量子遗传算法及应用[J]. 电子学报, 2006, 34(5):897-901.ZHOU S, PAN W, LUO B, etal. A novel quantum genetic algorithm based on particle swarm optimization method and its application[J].Acta Electronica Sinica, 2006, 34(5):897-901.

[22] WOLPERT D H, MACREADY W G. No free lunch theorems for optimization[J]. IEEE Trans Evol Comput, 1997, 1(1):67-82.