考虑距离因素与精英进化策略的平衡优化器
2022-07-05张伟康刘升黄倩郭雨鑫
张伟康,刘升,黄倩,郭雨鑫
考虑距离因素与精英进化策略的平衡优化器
张伟康,刘升*,黄倩,郭雨鑫
(上海工程技术大学 管理学院,上海 201620)(*通信作者电子邮箱 ls6601@163.com)
针对平衡优化器(EO)存在寻优精度低、收敛速度慢、容易陷入局部最优的不足,提出一种考虑距离因素与精英进化策略的平衡优化器(E-SFDBEO)。该算法首先在平衡池候选解的选择中引入距离因素,通过自适应权重平衡适应度值和距离,调节算法在不同迭代时期的探索和开发能力;其次引入精英进化策略(EES),以精英自然进化和精英随机变异两种方式提升算法的收敛速度和精度;最后使用自适应t分布变异策略对部分个体施加扰动,并以贪心策略对个体进行保留,使算法能够有效跳出局部最优。在仿真实验中对所提算法与4种基本算法和2种改进算法在10个基准测试函数进行比较,并对算法进行Wilcoxon秩和检验,结果表明所提算法具有更好的收敛性和更高的求解精度。
平衡优化器;距离因素;精英进化策略;自适应权重;全局优化
0 引言
全局优化问题广泛存在于经济、数学、医学以及工程等领域,解决此类问题的方法一般可分为传统数学优化算法和元启发式算法。传统数学优化算法(如牛顿法、共轭梯度法、二次规划法等)具有完善的数学理论基础,能够快速准确地求解单极值问题;而对于具有高维、非线性多极值等特点的复杂问题,元启发式算法(如粒子群优化(Particle Swarm Optimization, PSO)算法、鲸鱼优化算法(Whale Optimization Algorithm, WOA)、麻雀搜索算法等)则具有更好的求解能力。元启发式算法不涉及导数信息或其他数学特性(如连续性、凸性等),是一种模拟自然界生物行为和现象的算法,具有良好的适应性和自主探索能力。然而,大多数元启发式算法存在对控制参数敏感以及由于陷入局部最优而无法保证收敛到最优的状况。
平衡优化器(Equilibrium Optimizer, EO)[1]是一种基于物理的元启发式算法,它受到控制容积的动态质量平衡启发,模拟了控制容积中非活跃成分进入、离开和生成的过程,以不同浓度的粒子作为搜索种群,其中每个粒子的浓度代表一种优化问题的解决方案。EO具有结构简单、适应性强以及灵活性高的优点,目前已有学者将其应用到电网优化设计[2-3]等工程问题中,进一步证实了算法的优越性。然而算法中种群位置方式始终依赖于平衡状态方程,使得算法容易陷入局部最优,且缺乏跳出局部最优的有效策略,限制了算法的寻优能力[4];同时,在构建EO特有的平衡池阶段时,候选者完全根据适应度值大小进行选取,这使得所选取的个体具有极大的相似性,增加了算法陷入局部最优的风险。针对以上缺陷,国内外学者相继对EO进行改进。杨柳庆等[5]提出一种基于莱维飞行改进的EO(Equilibrium Optimizer based on Lévy flight, LEO),为算法提供了一种跳出局部最优的思路。Gupta等[6]利用高斯变异和基于种群划分与重构概念的探索机制改进EO(modified EO, m-EO),丰富了EO的寻优策略。Too等[4]针对EO平衡池阶段的缺陷,引入一般学习思想,使得个体能够从不同维度向平衡池中的候选者进行学习,有助于算法避开局部最优。Wunnava等[7]提出了一种基于当前适应度值的自适应位置更新策略,用以改善EO过于依赖平衡状态方程的问题。Sayed等[8]利用10种混沌映射对EO中平衡全局探索和局部开发能力的参数进行自适应更新,提高了算法的稳健性。Abdel-Basset等[9]等通过线性化简分集技术使较差的个体向最优个体学习,以提高EO的收敛速度;同时为了防止个体多样性降低,通过局部极小消去法随机选择的两个个体边界或问题本身的边界作为当前解,提高了算法的勘探能力。
以上对EO的改进或是直接增加策略,或是集中于算法的某个缺陷,而本文针对EO的缺陷进行了更加全面的分析和改进,提出了一种基于精英进化与自适应平衡适应度和距离改进的平衡优化器(Equilibrium Optimizer with Elite evolutionary and Self-adaption Fitness-Distance Balance, E-SFDBEO)。该算法引入了两种较为新颖的改进策略:在EO中平衡池候选者选取阶段,考虑距离因素的影响,并引入自适应权重平衡适应度值和距离,调节算法在不同迭代时期的探索和开发能力;其次引入精英进化策略(Elite Evolutionary Strategy, EES),以精英自然进化和精英随机变异两种方式提升算法的收敛速度和精度。其中,距离因素是由Kahraman等[10]率先提出,以适应度-距离平衡(Fitness-Distance Balance, FDB)方式选取候选者,并成功应用于共生生物算法,能提高算法的寻优性能;Duman等[11]进一步提出了一种轮盘赌适应度-距离平衡(Roulette Fitness-Distance Balance, RFDB)选择方法,然而该方法采用的是固定比例平衡适应度和距离,本文对其作了进一步的改进,通过一种自适应余弦因子进行调节,在迭代初期使距离因素占比更高,后期则使适应度占比更高。EES则是由Li等[12]提出并成功应用于哈里斯鹰算法,该策略以进化方法的核心原理为基础,通过精英个体的进化和变异操作提高算法的寻优能力。此外,为了增强算法跳出局部最优的能力,本文使用自适应t分布变异策略对部分个体施加扰动,并以贪心策略对个体进行保留。
1 平衡优化器
EO是一种基于控制容积内质量动态平衡物理现象启发的优化算法,其具体寻优流程如下:
1)随机初始化。与大多数元启发式算法相似,EO使用初始种群来启动优化过程。初始状态是根据粒子的数量和规模在搜索空间中随机均匀构造的,如下式所示:
2)平衡池和候选解。平衡池中汇集了当前解中适应度值排名前四位的粒子以及这四个粒子的平均值,作为更新公式的候选解,如下式所示:
5)更新公式。经过对原物理理论的抽象和改进后,EO的更新公式确立为:
2 平衡优化器的改进
2.1 精英进化策略
为丰富EO的位置更新策略,本文首先采用一种多种群技术将种群划分为两个部分以便引入不同的策略,从而丰富解的多样性,使种群尽可能地搜索更多的解空间[13-14]。将1/2的个体按照EES进行寻优,剩下的个体则仍然保持原始EO的策略。EES主要受到遗传算法和差分进化(Differential Evolution, DE)算法的启发,包括了精英自然进化和精英随机突变两个阶段,能够有效提高算法的收敛速度和跳出局部最优的能力[12]。
2.1.1 精英自然进化
精英自然进化的核心原则是基因交叉和基因局部突变,主要包括以下三个步骤:
2.1.2 精英随机突变
精英随机突变是在搜索范围内对某些精英个体进行变异,主要包括以下两个步骤:
1)随机突变:在搜索空间内生成一个全新的个体,如式(14)。
2)基因交叉重组:将随机突变产生的个体与精英个体进行交叉重组,具体实现方式如式(15)。
2.2 考虑距离因素的平衡池构建策略
启发式算法一般可以分为两部分:一是根据一定准则在总体中选择候选解(即搜索空间中的相关位置);二是对选择出来的候选解采用各种策略进行搜索操作。因此,算法的收敛速度和收敛精度不仅取决于算法所采取的搜索策略,很大程度上也受到所采用的候选解选择方法的影响。目前常用的选择方法有随机选择法、基于适应度值的顺序选择法、基于适应度值的概率选择法以及组合选择法[10]。这些方法大多数都以适应度值作为选择依据,而仅考虑适应度值会使得所选结果很大概率落在相似区域,这会使得算法容易陷入局部最优。尤其对于结构简单、位置更新策略单一的算法而言,受到相似候选解的主导影响,算法快速向局部最优值靠近,导致早熟早收敛。
EO在平衡池候选解选择的过程中采用的是基于适应度值的顺序选择法,这种方法使算法极易落入局部最优,影响算法的寻优效果。因此,本文提出一种自适应权重平衡适应度值和距离的选择方法,将距离因素引入候选解的选择中,并通过自适应权重调节不同迭代时期适应度值和距离的比重。具体实现步骤如下:
1)计算候选解与最佳解的距离:在这一步可以采取欧氏距离、曼哈顿距离以及闵可夫斯基距离等距离度量方式。本文采用欧氏距离,具体计算方式如下:
3)确定候选解:根据个体得分大小确定最终的候选者。
2.3 自适应t分布变异策略
2.4 E-SFDBEO的流程
E-SFDBEO的具体执行流程如图1所示。
图1 E-SFDBEO流程
2.5 计算复杂度分析
因此,EO总体时间复杂度可以表示为:
故改进算法的计算复杂度与原算法保持一致,并没有增加计算负担。
3 仿真实验与结果分析
3.1 仿真实验环境
本文的仿真实验基于Intel Core i7-7500U CPU @ 2.70 GHz 2.90 GHz,12 GB内存,以及Windows 10操作系统,仿真软件为Matlab R2018b。
3.2 对比算法和参数设置
本文选取的对比算法包括:基本EO、PSO算法[16]、DE算法[17]、灰狼优化(Grey Wolf Optimization, GWO)算法[18]、WOA[19]、LEO[5]以及m-EO[6]。为保证实验的公平性,所有算法的种群规模为30,迭代次数为200,其他参数设置见表1。
表1 各算法的实验参数
3.3 测试函数
表2 基准测试函数
3.4 与其他智能算法对比分析
将所有算法分别在13个基本测试函数上独立运行30次,其中非固定维度函数的维度定为30(即=30),用于分析本文算法相较于其他群智能算法在寻优性能以及稳定性方面的优势,结果如表3所示。
表3 测试函数实验结果
以上分析表明E-SFDBEO通过对两个种群执行不同的搜索策略,提供了多样的寻优思路和解决方案,并以自适应t分布变异策略对最优个体进行扰动,使得算法具备快速跳出局部最优的能力,提高了算法的寻优能力和鲁棒性。
图2 测试函数收敛曲线
Fig 2 Convergence curves of test functions
3.5 Wilcoxon秩和检验
3.6 所提改进策略有效性分析
表4 Wilcoxon秩和检验结果
表5 不同策略改进的EO对测试函数实验结果
3.7 E-SFDBEO求解大规模问题可行性分析
在实际应用中大规模问题普遍存在,为了检验本文E-SFDBEO算法在求解大规模问题中的可行性,将其在3.3节中非固定维数的测试函数上进行测试,函数维度分别设为500和1 000,相关参数同3.2节,共运行30次取平均值,结果如表6所示。
表6 大规模测试函数实验结果
4 结语
本文提出一种考虑距离因素与精英进化的平衡优化器,通过精英进化策略,改善了EO在位置更新过程中过于依赖平衡状态方程的问题;针对EO中平衡池构建过程中仅考虑适应度值,导致候选解过于集中的缺陷,提出一种自适应平衡适应度值和距离的选择方法,将距离因素考虑到候选解的选择中,提高了候选解的多样性和质量;另外,通过自适应t分布变异,使算法有机会跳出局部最优。基准测试函数实验及Wilcoxon秩和检验显示,改进算法具有较强的跳出局部最优的能力、更快的收敛速度和更高的收敛精度。下一步考虑将E-SFDBEO应用到实际问题中,如机器学习中超参数的优化等,以扩展本文算法的应用范围。
[1] FARAMARZI A, HEIDARINEJAD M, STEPHENS B, et al. Equilibrium optimizer: a novel optimization algorithm[J]. Knowledge-Based Systems, 2020, 191: No.105190.
[2] 杨蕾,李胜男,黄伟,等. 基于平衡优化器的含高比例风光新能源电网无功优化[J]. 电力系统及其自动化学报, 2021, 33(4):32-39.(YANG L, LI S N, HUANG W, et al. Reactive Power optimization of power grid with high-penetration wind and solar renewable energies based on equilibrium optimizer[J]. Proceedings of the CSU-EPSA, 2021, 33(4):32-39.)
[3] KHARRICH M, KAMEL S, ABDEEN M, et al. Developed approach based on equilibrium optimizer for optimal design of hybrid PV/wind/diesel/battery microgrid in Dakhla, Morocco[J]. IEEE Access, 2021, 9:13655-13670.
[4] TOO J, MIRJALILI S. General learning equilibrium optimizer: a new feature selection method for biological data classification[J]. Applied Artificial Intelligence, 2021, 35(3): 247-263.
[5] 杨柳庆,杨婷婷,王鹏飞,等. 一种基于莱维飞行的新型改进平衡全局优化算法[J]. 宇航计测技术, 2020, 40(5): 62-69.(YANG L Q, YANG T T, WANG P F, et al. A new improved equilibrium global optimization algorithm based on Lévy flight[J]. Journal of Astronautic Metrology and Measurement, 2020, 40(5):62-69.)
[6] GUPTA S, DEEP K, MIRJALILI S. An efficient equilibrium optimizer with mutation strategy for numerical optimization[J]. Applied Soft Computing, 2020, 96: No.106542.
[7] WUNNAVA A, NAIK M K, PANDA R, et al. A novel interdependence based multilevel thresholding technique using adaptive equilibrium optimizer[J]. Engineering Applications of Artificial Intelligence, 2020, 94: No.103836.
[8] SAYED G I, KHORIBA G, HAGGAG M H. A novel chaotic equilibrium optimizer algorithm with S-shaped and V-shaped transfer functions for feature selection[J]. Journal of Ambient Intelligence and Humanized Computing, 2022, 13: 3137-3162.
[9] ABDEL-BASSET M, MOHAMED R, MIRJALILI S, et al. Solar photovoltaic parameter estimation using an improved equilibrium optimizer[J]. Solar Energy, 2020, 209:694-708.
[10] KAHRAMAN H T, ARAS S, GEDIKLI E. Fitness-Distance Balance (FDB): a new selection method for meta-heuristic search algorithms[J]. Knowledge-Based Systems, 2020, 190: No.105169.
[11] DUMAN S, KAHRAMAN H T, GUVENC U, et al. Development of a Lévy flight and FDB-based coyote optimization algorithm for global optimization and real-world ACOPF problems[J]. Soft Computing, 2021, 25(8):6577-6617.
[12] LI C Y, LI J, CHEN H L, et al. Memetic Harris hawks optimization: developments and perspectives on project scheduling and QoS-aware web service composition[J]. Expert Systems with Applications, 2021, 171: No.114529.
[13] BARSHANDEH S, PIRI F, SANGANI S R. HMPA: an innovative hybrid multi-population algorithm based on artificial ecosystem-based and Harris hawks optimization algorithms for engineering problems [J/OL]. Engineering with Computers, 2020(35)[2021-04-13]. https://doi.org/10.1007/s00366-020-01120-w.
[14] CHEN H, HEIDARI A A, CHEN H L, et al. Multi-population differential evolution-assisted Harris hawks optimization: framework and case studies[J]. Future Generation Computer Systems, 2020, 111:175-198.
[15] 周方俊,王向军,张民. 基于分布变异的进化规划[J]. 电子学报, 2008, 36(4):667-671.(ZHOU F J, WANG X J, ZHANG M. Evolutionary programming using mutations based on theprobability distribution[J]. Acta Electronica Sinica, 2008, 36(4):667-671.)
[16] KENNEDY J, EBERHART R. Particle swarm optimization[C]// Proceedings of the 1995 International Conference on Neural Networks. Piscataway: IEEE, 1995: 1942-1948.
[17] STORN R, PRICE K. Differential evolution — a simple and efficient heuristic for global optimization over continuous spaces[J]. Journal of Global Optimization, 1997, 11(4):341-359.
[18] MIRJALILI S, MIRJALILI S M, LEWIS A. Grey wolf optimizer[J]. Advances in Engineering Software, 2014, 69:46-61.
[19] MIRJALILI S, LEWIS A. The whale optimization algorithm[J]. Advances in Engineering Software, 2016, 95: 51-67.
Equilibrium optimizer considering distance factor and elite evolutionary strategy
ZHANG Weikang, LIU Sheng*, HUANG Qian, GUO Yuxin
(,,201620,)
Aiming at the shortcomings of Equilibrium Optimizer (EO) such as low optimization accuracy, slow convergence and being easy to fall into local optimum, a new EO in consideration with distance factor andElite Evolutionary Strategy (EES) named E-SFDBEO was proposed. Firstly, the distance factor was introduced to select the candidate solutions of the equilibrium pool, and the adaptive weight was used to balance the fitness value and distance, thereby adjusting the exploration and development capabilities of the algorithm in different iterations. Secondly, the EES was introduced to improve the convergence speed and accuracy of the algorithm by both elite natural evolution and elite random mutation. Finally, the adaptive t-distribution mutation strategy was used to perturb some individuals, and the individuals were retained with greedy strategy, so that the algorithm was able to jump out of the local optimum effectively. In the simulation experiment, the proposed algorithm was compared with 4 basic algorithms and 2 improved algorithms based on 10 benchmark test functions and Wilcoxon rank sum test was performed to the algorithms. The results show that the proposed algorithm has better convergence and higher solution accuracy.
Equilibrium Optimizer (EO); distance factor; Elite Evolutionary Strategy (EES); adaptive weight; global optimization
This work is partially supported by National Natural Science Foundation of China (61075115,61673258), Shanghai Municipal Natural Science Foundation (19ZR1421600).
ZHANG Weikang, born in 1996, M. S. candidate. His research interests include business statistics, intelligent computing.
LIU Sheng, born in 1966, Ph. D., professor. His research interests include artificial intelligence, machine learning.
HUANG Qian, born in 1995, M. S. candidate. Her research interests include intelligent computing, business statistics.
GUO Yuxin, born in 1996, M. S. candidate. Her research interests include intelligent computing, technical economic management.
TP301.6
A
1001-9081(2022)06-1844-08
10.11772/j.issn.1001-9081.2021040574
2021⁃04⁃13;
2021⁃06⁃28;
2021⁃06⁃29。
国家自然科学基金资助项目(61075115,61673258);上海市自然科学基金资助项目(19ZR1421600)。
张伟康(1996—),男,山东临沂人,硕士研究生,主要研究方向:商务统计、智能计算;刘升(1966—),男,湖北黄石人,教授,博士,主要研究方向:人工智能、机器学习;黄倩(1995—),女,江苏常州人,硕士研究生,主要研究方向:智能计算、商务统计;郭雨鑫(1996—),女,山东潍坊人,硕士研究生,主要研究方向:智能计算、技术经济管理。