基于GA的BP神经网络在多目标优化中的应用

苏宇逍

(中国空空导弹研究院总体部，河南洛阳 471009)

几乎每个决策和预测问题上都要在考虑不同约束的同时，处理若干相互冲突的目标，这些问题均涉及多个数值目标在给定区域上最优化问题，这就是多个目标优化问题(Multi－objective Optimization Problem，MOP)［1－2］，但这些约束并不是独立存在的，其通常是互相竞争、相互束缚的。这些约束具有不同的物理意义，对其中任何一个约束的优化必须以牺牲其他约束作为代价，且每个约束的单位又是不一致的。因此，多目标优化问题的关键之处在于寻找一组既能满足全部约束条件同时又可使目标函数能够达到最优的约束变量取值［3－5］。传统的多目标优化问题求解方法是将各个子目标函数集合成一个加权和的单目标函数，然后采用单目标优化算法求解，这样会导致出现每个单目标函数的系数决定带有较大的主观性，且各子目标互相竞争、相互约束，使得加权目标函数的拓扑结构复杂［6－7］。随着人工智能进化算法(Evolutionary Algorithm，EA)在多目标优化领域应用的深入，遗传算法成为迄今为止进化算法中应用最多的算法，在解决工业工程领域中复杂优化问题有着巨大潜力。本文主要介绍改进型的遗传算法与和人工智能密切相关的神经网络算法［8－10］。

1 多目标遗传算法

1.1 多目标遗传算法

多目标遗传算法(Multi Objective Genetic Algorithm，MOGA)是近几年兴起的利用遗传算法处理多目标优化问题的算法，其不但能处理大规模问题，不受问题性质的限制，且能搜索获得问题的全局最优解［11－12］。遗传算法(Genetic Algorithms，GA)是一种受生物进化启发的学习方法，在本质上是一种不依赖具体问题的直接搜索方法，其通过变异和重组当前已知的最好假设来生成后续的假设。在模式识别、神经网络、图像处理、工业优化控制和生物科学等领域遗传算法都得到了广泛应用。遗传算法研究的问题是搜索候选假设空间并确定最佳的假设，“最佳假设”被定义为是使适应度最优的假设，适应度是为当前问题预先定义的数字度量［13］。遗传算法的实现主要有6个因素:参数的编码、初始种群的设定、适应度函数的设计、遗传操作、算法控制参数的设定和约束条件的处理，其构造步骤如图1所示。

图1 遗传算法的构造过程

基于Pareto最优概念的多目标遗传算法是当前进化计算领域的研究和应用热点。多目标遗传算法的研究目标主要是使算法快速收敛，且均匀分布在问题的非劣最优域。这里在MOGA设计时要考虑如何实现适应度分配与选择，算法收敛性能的改善，如何保持多样性以及提高多目标演化算法的求解效率等。

1.2 多目标遗传算法

求解多目标问题的遗传算法的基本结构与求解单目标问题的遗传算法的基本结构大致相似。主要包括向量评估遗传算法(VEGA)、多目标遗传算法(MOGA)、基于距离的Pareto遗传算法(DPGA)、小生境Pareto遗传算法(NPGA)、非劣分类遗传算法(NSGA)。本文主要考虑优化小生境Pareto遗传算法(NPGA)。

2 BP神经网络算法

在多目标优化过程中，由于各个学科不同的目标，这些目标往往相互制约。在系统综合设计时，不可能找到能使所有目标均同时达到最优的设计方案，只有非劣意义上的最优。进化BP神经网络算法是一种以非数学模型为基础的优化方法，其能快速、简便且可分段地找到Pareto最优解。为了获取多目标优化问题的有效解集，通常将其转化为单目标优化问题，应用标量优化算法进行求解。然而，由于非线性标量优化问题的求解在众多情况下仍较为困难，尤其是对于不可微、不连续问题更是如此。因此，应用BP神经网络模型代替相应的子目标函数，可较好地解决上述问题。

2.1 神经元网络模型

神经元网络是BP神经网络的关键组成部分。根据神经元之间连接的方式不同，神经元网络可分为前向网络和相互结合型网络，其中前向网络由输入层、中间层(隐层)和输出层组成。

2.2 BP神经网络算法

神经网络算法是以人脑的智能功能为研究对象，研究人类大脑的信息处理能力的方法，特别是研究人类大脑的智能信息处理能力相关的信息处理理论方法。BP神经网络算法其基本思想是最小二乘算法，其采用最小梯度搜索技术来使目标函数的实际输出值与期望输出值的误差均方值达到最小;该算法采用Sigmoid型可微函数作为传递函数，实现了输入和输出间的非线性映射，具有工作状态稳定和可操作性强等特点，被广泛地应用于函数逼近、模式识别、数据压缩等领域。如图2所示。

图2 神经元和BP神经网络模型结构

图2(a)为反馈神经网络模型。根据对能量函数的极小点利用的情况可分为两类:第一类是所有极小点均起作用，主要用于各种存储器;第二类只利用全局极小点，主要用来求解最优化问题;图2(b)中，隐层可有若干层，每一层的神经元只接受来自前一层神经元的输出。反馈型神经网络中的任意两个神经元间都可以有连接，包括神经元到自身的反馈。

3 改进遗传算法其与BP神经网络融合

智能计算问题的优化是最近几年优化算法研究的热门课题。遗传算法和神经网络是该领域研究的两个方向，但其基于不同的机理，其研究的大部分成果和思路只是应用在各自的领域中，因此这两种优化算法的互相融合已成为探讨的一个重要课题。借助遗传算法与神经网络自身的优点，如果将遗传算法对寻优问题有较好的自适应与神经网络算法的自适应学习能力相结合，便可实现彼此的相互优化，从而获得更高效的解决实际问题能力。

3.1 GA－BP神经网络融合

本文采用3层BP网络来初步确定解空间，首先设定网络的训练次数n以及网络的训练误差ω;在训练样本误差ω和检测样本都相对满意时，将连接权值中的最大值和最小值分别记为ωmax与ωmin，设连接权值的基本解空间为［ωmin－ δ1，ωmax+ δ2］，其中，δ1，δ2为调节参数。适应度函数是神经网络的误差计算，误差越大，适应度越小。设定输入种群规模、交叉概率Pc、变异概率Pm、网络层数、每层的神经元数，使用GA反复优化神经网络的权值，直到平均值不再有意义地增加为止，此时解码得到的参数组合已经充分接近最佳，再用BP算法在这些小的解空间中对网络的连接权和阈值再次寻优，搜索出最优解。

3.2 GA－BP算法设计

基于遗传算法的BP神经网络融合算法(GABP)的流程图，如图3所示。

图3 GA－BP算法的流程图

首先初始化BP网络模型，确定输出与输入个数X，Y，网络的层数L、网络的训练次数N等;顺序级联输入层与隐含层权值和阈值和隐含层与输出层的，形成初始化种群;计算种群的适应度，获取子代种群;判断是否到达最大迭代次数，若符合则根据解码确定BP，否则返回上步继续执行;根据最优个体按编码顺序解码，获取BP网络的初始权值和阈值;计算全局误差，并判断是否符合要求，如果符合则结束网络学习，否则修改阈值继续上述步骤。

4 改进算法的性能测试与结果

为了测试改进的融合遗传算法和神经网络算法的性能，选择用C++语言与Matlab将改进的并行混合遗传算法完全实现，用此程序产生多目标优化的结果，通过将改进的遗传算法与BP神经网络融合后的算法应用于车间动态调度中，证明本文提出的GA－BP算法的可行性与有效性。遗传－神经算法(GA－BP)充分利用了遗传算法的全局搜索能力和BP网络的局部搜索能力。由图4可明显看出，遗传－神经算法与纯BP算法在性能上的差异。

图4 BP网络与GA－BP的收敛曲线比较

5 结束语

本文提出的基于遗传算法的BP神经网络算法，

不仅利用了BP神经网络的通过样本研究完成任意空间局部搜索的优点，又利用了遗传算法可对复杂的、非线性及不可微的函数实现全局搜索的优势，在解决多目标优化问题中，取得了良好的效果。目前智能算法融合技术正处在发展阶段，从多目标优化的发展原则不难看出，智能算法应用在多目标优化领域的研究成果是明显的，进一步研究该算法具有深远意义。

［1］ 崔逊学．多目标进化算法及其应用［M］．北京:国防工业出版社，2006．

［2］ 谢涛，陈火旺，康立山．多目标优化的演化算法［J］．计算机学报，2003，26(8):997 －1003．

［3］ 王志良．人工心理［M］．北京:机械工业出版社，2007．

［4］ 史忠植．智能科学［M］．北京:清华大学出版社，2005．

［5］ 钟珞，饶文碧，邹承明．人工神经网络及其融合应用技术［M］．北京:科学出版社，2007．

［6］ 陈国良，王熙法，庄镇泉，等．遗传算法及其应用［M］．北京:人民邮电出版社，1996．

［7］ Mitchell T M．机器学习［M］．曾华军，张银奎，译．北京:机械工业出版社，2003．

［8］ Bergey P K，Ragsdale C T，Hoskote M．A simulated annealing genetic algorithm for the electrical power districting problem［J］．Annals of Operations Research，2003，121(1 －4):33 －35．

［9］ 武兆慧，张杜娟，刘希玉．基于模拟退火遗传算法的关联规则挖掘［J］．计算机应用，2005，25(5):1009 －1011．

［10］吕军，冯博琴，李波．免疫遗传算法及其应用研究［J］．微电子学与计算机，2005，22(6):221 －224．

［11］ Wei Lingyun，Zhao Mei．A niche hybrid genetic algorithm for global optimization of continuous multimodal functions［J］．Applied Mathematics and Computation，2005，160(3):649 －661．

［12］ Yun Youngsu，Gen Mitsuo．Performance analysis of adaptive genetic algorithms with fuzzy logic and heuristics［J］．Fuzzy Optimizationand Decision Making，2003，2(2):161 －175．

［13］邓莉，鲁瑞华．一种改进的抑制早熟收敛的模糊遗传算法［J］．计算机科学，2007，34(11):150 －153．