权值与结构双确定法的RBF神经网络分类器

2014-10-28张雨浓王茹廖柏林刘锦荣林键煜

计算技术与自动化 2014年3期

关键词：RBF神经网络

张雨浓+王茹+廖柏林+刘锦荣+林键煜

收稿日期：2013-07-07

基金项目：国家自然科学基金项目（61075121和60935001）；教育部高等学校博士学科点专项科研基金博导类课题（20100171110045）

作者简介：张雨浓（1973—），男，河南信阳人，教授、博导，研究方向：神经网络、科学计算与优化、机器人。

通讯联系人，E-mail：zhynong@mail.sysu.edu.cn

文章编号：1003-6199（2014）03-0001-07

摘要：为了解决径向基函数（RBF）神经网络权值与结构难以确定的问题，基于权值直接确定法，及隐层神经元中心、方差、数目与神经网络性能的关系，提出一种边增边删型的网络权值与结构双确定法。在此方法基础之上，构建一种RBF神经网络分类器并探讨其分类性能和抗噪能力。计算机数值实验结果验证所提出的边增边删型的权值与结构双确定法能够快速、有效地确定网络的中心、方差和网络最优的权值与结构，所构造的模式分类器具有优越的分类性能和抗噪能力。

关键词：RBF神经网络；模式分类器；边增边删型；权值与结构双确定法；抗噪性

中图分类号：TP183 文献标识码：A

RBF Neural Network Classifier with Weights and

Structure Determination Method

ZHANG Yu-nong1，WANG Ru1，LIAO Bo-lin1，2，LIU Jin-rong1，LIN Jian-yu1

（1. School of Information Science and Technology， Sun Yat-sen University， Guangzhou，Guangdong 510006， China；

2. School of Information Science and Engineering， Jishou University， Jishou，Hunan 416000， China）

Abstract：In order to solve the difficulties in determining the weights and structure of the radial basis function （RBF） neural network. Based on the weights-direct-determination （WDD） method and the relationship among centers， variances， the number of hidden-layer neurons and the performance of the neural network， a pruning-while-growing-type weights-and-structure-determination （PWGT-WASD） algorithm is proposed. On the basis of the PWGT-WASD algorithm， a kind of RBF neural network classifier is constructed， and its classifying and antinoise ability is further discussed in this paper. Computer numerical experiment results substantiate that the proposed PWGT-WASD algorithm can determine the centers，the variances and the optimal weights and structure of RBF neural network quickly and effectively. The constructed RBF pattern classifier has the superiority in terms of classification and antinoise ability.

Key words：RBF neural network； pattern classifier； pruning-while-growing-type； weights-and-structure-determination algorithm； antinoise ability

1 引言

RBF神经网络（Radial Basis Function Neural Network）是一种单隐层前向神经网络模型；因其具有简单的网络结构、良好的逼近能力和泛化能力的优点[1]，在数据逼近[2]、工业控制[3]、模式识别[4]等领域有着广泛的应用。

决定RBF神经网络性能的主要因素有四个：径向基函数（RBF）的中心、方差、隐层到输出层之间的连接权值以及隐层神经元数目[5，6]。若隐层神经元的中心或方差选取不当，会造成网络的学习误差过大，使得网络的性能下降；神经网络隐层到输出层之间的连接权值的计算也对网络的性能有较大的影响；隐层神经元数目同样可影响网络的性能：数目太少，会使网络学习与逼近能力不足，而数目太多，则会使神经网络反应速度降低，甚至产生过拟合现象[7，8]。因此一般而言，RBF神经网络学习训练过程主要围绕这四个因素进行。关于这些参数的确定方法，笔者曾在文献[9]中提出了正规化网络的方法。此外，其他学者也提出了与遗传算法[10]、蚁群算法[11]相关的确定方法。

针对RBF神经网络的隐层神经元中心、方差以及网络权值和拓扑结构难以确定的问题，本文提出了一种边增边删型的权值与结构双确定法。与传统的迭代学习方法不同，边增边删型的权值与结构双确定法避免了冗长的迭代学习过程；同时也进一步克服了传统方法中网络最优拓扑结构难以确定的缺点。与遗传算法、蚁群算法等方法相比，该方法有着直接、快速的优点。计算机数值实验结果验证了基于所提出的权值与结构双确定法构造的RBF模式分类器的有效性。

值得指出的是，在图像处理[12，13]、语音识别[14]、工业控制等[15]实际应用过程中，数据在采集、传输和转换时常常由于外部环境的干扰而产生噪声，对信号处理或控制效果产生很大的影响。显然，噪声是不可避免的，消除噪声影响，减少误判，在实际工程中具有十分重要的意义。因此本文进一步探讨了所构建网络的抗噪性能并在数值实验中进行了验证。

2 RBF神经网络分类器

RBF神经网络分类器模型由输入层、隐层和输出层组成，其结构如图1所示。输入层获得输入数据并将其传递到隐层，隐层神经元使用的激励函数为径向基函数，输出层神经元的输出结果为隐层神经元输出的加权求和。

假设输入层有M个神经元，则输入向量为x=[x1，x2，…，xm，…，xM]T，其中上标T表示矩阵或向量的转置；输出层神经元数目为K，输出向量为y=[y1，y2，…，yk，…，yK]T。输入层和输出层的激励函数均采用线性恒等函数，输入层和输出层的所有神经元的阈值均设为0。隐层神经元数目设为N，其径向基函数使用最常用的高斯函数，则第n个隐层神经元的激励函数可表示为[1]：

rn（x）=exp-‖x-μn‖222σ2n，x，μn∈RM，σn>0，（1）

其中‖·‖2表示向量的二范数；μn（n=1，2，…，N）代表高斯径向基函数的中心，与神经网络输入x具有相同维数；σn表示高斯激励函数的方差，它决定了该函数围绕中心点的宽度。输入层与隐层神经元之间的连接权值均设为1，隐层与输出层神经元的连接权值为：

W=w11w12…w1K

w21w22…w2K

wN1wN2…wNK（2）

则网络输出层第k个神经元的输出为

yk=∑Nn=1wnkrn（x）=

∑Nn=1wnkexp-‖x-μn‖22σ2n（3）

为了便于下文的讨论，这里先介绍分类器的输入和输出模式。设样本集中第j个样本的格式为（xj，oj），其中xj表示该样本的属性向量（即，网络的输入向量）；oj=[φ1，φ2，…，φk，…，φK]T表示该样本的类型向量（即，输入为xj时网络的期望输出向量），当样本属于第k′类时，φk满足如下关系：

φk=1， k=k′

0， k≠k′，k=1，2，…，K（4）

3 权值与结构双确定法

本节首先以RBF神经网络分类器模型为基础，展示了获得网络隐层和输出层间权值的权值直接确定法，然后结合权值直接确定法，给出边增边删型的网络权值与结构双确定法。

3.1 权值直接确定法

对于RBF神经网络的隐层和输出层之间的连接权值，传统的做法是基于负梯度思想，通过迭代学习而得到。但是使用迭代的方法来训练神经网络存在迭代过程冗长费时的问题[9]。本文采用基于伪逆（或称为加号逆）的权值直接确定法，可直接得到隐层和输出层神经元之间的最优连接权值，权值直接确定法的计算公式由定理1给出。

给出定理前，首先设训练的样本数量为S，则训练样本集的输入矩阵为XL=[x1，x2，…，xs，…，xS]∈RM×S，训练样本集的期望输出矩阵为ΓL=[o1，o2，…，os，…，oS]∈RK×S。

定理1[16-18]如图1所示的三层前向神经网络隐层与输出层间的最优连接权值可直接确定为

W=（QTQ）-1QTΓTL，（5）

其中，（QTQ）-1QT为矩阵Q的伪逆，记为Q+；故（5）式也可表达为：

W=Q+ΓTL （6）

上述公式中，输入激励矩阵Q表示为：

Q=r11r12…r1N

r21r22…r2N

rS1rS2…rSN∈RS×N，（7）

其中

rsn=exp-‖x-μn‖22σ2n

=exp-12σ2n∑Mm=1（xsn-μsn）2，（8）

表示第n个隐层神经元受第s个样本激励的响应值。

不失一般性，我们定义网络的平均输出误差为：

E=‖Γ-Y‖2F/（D×K），（9）

其中，Γ表示网络期望输出矩阵，Y表示网络实际输出矩阵，D表示样本数，‖·‖F表示矩阵的F范数（也即，Frobenius范数）。

3.2 边增边删型的权值与结构双确定法

在利用权值与结构双确定法确定网络的权值与结构时，我们把数据样本分为3个子集：训练数据集、校正数据集和测试数据集。其中训练数据集用于训练神经网络，校正数据集用于检验在权值确定过程中神经网络的输出与期望输出的误差（即，校正误差），测试数据集用于测试训练好的网络分类器的性能。

为了清晰地描述权值与结构双确定法，我们给出了算法的基本步骤。首先对其中涉及的变量作如下说明：

Emin：最小的网络平均校正误差；

Ecur：当前的网络平均校正误差；

i：当前隐层神经元数目；

h：最优隐层神经元数；

f：向前搜索的神经元数量；

c：计数器，初值为0。

权值与结构双确定法包括以下七个步骤。

step 1初始化各参数，其中Emin和Ecur均设为1000，i和h的初始值均设为2，径向基函数中心分别选为第一个训练样本输入x1和最后一个训练样本输入xS，方差σ1=σ2=‖x1-xS‖/2，f设为大于10%训练样本数量的最小整数。

step 2判断条件c

step 3根据训练样本，利用权值直接确定法，即公式（6），计算神经网络的隐层和输出层之间的最优连接权值W。

step 4利用校正样本，计算网络的校正误差Ecur，判断Ecur

Emin←Ecur，

h←i，

c←0；

否则执行如下操作：

删除新加入的神经元，

i←i-1，

c←c+1。

step 5 若所有的训练样本输入都曾被用于作为神经元中心，则跳至step 6。否则，增加一个新的神经元，即i←i+1，其中心在训练样本输入中均匀选取，方差使用公式σ=σ1=σ2=…=σn=Lmax /2i确定[5]，Lmax 表示各中心之间的最大距离（即各中心向量间的最大范数距离）；返回step 2。

step 6RBF神经网络在经过训练后，隐神经元中心，方差，网络结构以及隐层和输出层之间的连接权值W都被确定。可计算得到测试样本输入向量xt对应的网络输出yt，然后对yt进行分类处理：若ytk=max{yt1，yt2，…，ytK}，则取ytk=1，否则，取ytk=0。

step 7判断分类处理后的向量所属的类别。当处理后输出向量为yt=[1，0，…，0]，则属于第一类；当处理后输出向量为yt=[0，1，…，0]，则属于第二类，以此类推。

4 计算机数值实验

为了验证所构建的RBF神经网络分类器的有效性以及抗噪能力，选取了四个UCI分类样本数据集[19]进行实验：1） Iris；2） Wine；3） Ionosphere；4） Cancer。此外，为进一步展现本文所提出的边增边删型权值与结构双确定算法的优越性，实验中对比了本文的方法与文献[9]中算法构建的RBF神经网络的性能。

各实验数据集的参数如表1所示，这些标准样本来均自UCI网站，用于检验分类器的分类性能和抗噪能力。数值实验的硬件配置为Intel（R） Core （TM）2 CPU T6600 （主频2.20GHz）和2GB内存。

4.1 分类器的分类性能

本节通过数值实验验证所提出的RBF神经网络分类器在模式识别中的分类性能。首先，我们将各个数据集按照表1所示分成训练样本集、校正样本集和测试样本集，其中训练样本数目占总样本数目的45%～50%，校正样本数目占10%～15%，测试样本数目占36%～42%。作为对比，我们分别使用两种方法（即，本文探讨的边增边删型权值与结构双确定法与文献[9]提出的算法）对RBF神经网络进行训练，得到的实验结果分别如表2和表3所示，其中，表2的训练误差以及校正误差均由式（9）计算得到。

由表2的实验结果可以看出，经过边增边删型的网络权值与结构双确定法训练的网络分类器的隐层神经元数目较少；四个样本集的测试正确率均在90%以上；且神经网络的训练时间较短。作为对比，表3的数据进一步反映出本文算法的优越性。具体而言，在测试正确率方面，对于Iris和Ionosphere两个数据集，文献[9]的算法略优于本文算法，而对于Wine和Cancer两个数据集，本文算法则优于文献[9]的算法，所以就测试正确率方面，两者均能展现出很好的效果。但是，就隐层神经元数目而言，本文算法确定的分类器远小于文献[9]的算法确定的分类器，后者甚至最大达到前者的23倍（Cancer数据集的实验结果）。这种隐层神经元数目的减少带来了神经网络反应速度的提升，特别是在对学习样本数量较大的Ionosphere和Cancer数据集进行分类时，本文算法比文献[9]算法提升了分别约4倍和7倍的测试速度。另外，隐层神经元数目的减少能够减轻、甚至避免神经网络过拟合的问题，提高分类器的抗噪能力。这一点可以从下一小节抗噪性能的实验对比中看到。

另外，为了更清晰地展示在结构自确定的边增边删阶段神经网络学习能力的变化，图2分别展示了4个数据集平均输出误差随隐层神经元数的变化曲线。可以看到，在边增边删阶段，学习样本误差和校正样本误差整体呈下降趋势。上面的数据和分析表明，该方法能够快速且准确地确定出最优的网络权值和结构（即，最优的隐层神经元数），使得该RBF网络在模式分类上具有较好的分类性能。

4.2 分类器的抗噪性能

为了检验所构造的神经网络分类器的抗噪性能，在输入的样本上叠加随机噪声。噪声由均值为0、服从均匀分布的随机数来产生。其幅度区间为

-Pnoise×（max （X（p，：））-min（X（p，：））），

Pnoise×（max （X（p，：））-min（X（p，：））），

其中Pnoise为噪声大小百分比，即噪声最大幅值占输入的属性参数中的最大最小值之差的百分比，X（p，：）表示样本输入部分矩阵中的第p行，即所有样本第p个属性输入组成的向量。

选取前两个样本数据集（Iris和Wine）进行如下实验：1）在原始标准样本数据集的训练和校正样本中，加入噪声大小百分比为10%、20%、30%、40%和50%的随机均匀噪声，所得数据作为扩充样本数据集；2）使用标准以及扩充样本数据集，通过边增边删型的网络权值与结构双确定法分别构建出两个不同的RBF神经网络分类器；3）对测试数据加入10%、20%、30%、40%和50%的随机均匀噪声后，利用以上所确定的两个神经网络分类器进行分类；4）重复过程3，记录在100次实验中测试正确率的最大值、最小值以及平均值，实验结果如表4和表5所示。

从表4和表5中可以看出，当使用标准样本集进行训练时，在测试噪声大小百分比为20%时，本文提出的RBF神经网络分类器有接近90%甚至90%以上的平均正确率。当使用扩充样本集进行训练时，在测试噪声大小百分比为30%时，本文提出的分类器也仍有接近90%甚至90%以上的平均正确率；即使在噪声大小百分比达到50%的时候，本文分类器平均分类正确率仍可达75%甚至80%。对比两个表格中的本文分类器对标准样本集和扩充样本集的平均分类正确率，可看出后者要比前者高2%～10%。因此可得出，当使用无噪训练数据集时，本文提出的RBF神经网络分类器已具有较好的抗噪性；当使用带噪训练数据集时，本文提出的分类器的抗噪性能更强。

作为对比，表中还展示了文献[9]算法构建的分类器对带噪数据集的分类结果。可以看出本文算法所构造的分类器在不同噪声大小百分比的情况下分类正确率均有明显提高，其抗噪性能更强。具体而言，对于Iris数据集，正确率提高了2%～5%；而对于Wine数据集，正确率的提高更为明显，达到了10%左右。这正是由于隐层神经元数目的减少，较好地避免了神经网络的过拟合，从而使得分类器的抗噪性能得到了明显的提升。

从以上的分析可以看出，在幅度较大的随机噪声的干扰下，基于本文的边增边删型神经网络权值与结构双确定法所构建的RBF神经网络分类器具有良好的抗噪性，可在恶劣的条件中使用。同时，与用标准样本数据集进行训练得到的神经网络分类器相比，扩充样本数据集训练得到的分类器的抗噪性有一定提高，而现实应用中，由于使用环境或条件多变，训练与测试数据都有可能带噪，因此这表明配备有本文所提出的边增边删型的权值与结构双确定法的RBF神经网络分类器可很好地应用于实际中。

5 结论

针对RBF神经网络权值和结构难以确定的问题，本文设计并提出了一种边增边删型的网络权值与结构双确定法，可用于确定RBF神经网络的隐层神经元的中心、方差、数目以及隐层与输出层间的最优连接权值。进一步为了验证网络的分类能力以及抗噪性，本文选取不同的分类数据集对网络进行训练与测试。计算机数值实验结果表明所提出的方法能快速、有效地确定RBF神经网络的最优权值与最优结构，所得到的RBF神经网络分类器有着较高的分类正确率，同时，抗噪实验表明其有良好的抗噪性能以及很高的实际应用性。

表4 使用加性随机噪声的Iris数据集的100次测试分类正确率

表5 使用加性随机噪声的Wine数据集的100次测试分类正确率

参考文献

[1] Satich Kumar. Neural Networks[M]. Beijing： Tsinghua University Press， 2006.

[2] 智会强，牛坤，田亮，等. BP网络和RBF网络在函数逼近领域内的比较研究[J]. 科技通报. 2005， 21（3）： 193-197.

[3] 宋保强，付琼，宋彤. 改进的RBF神经网络及其应用[J]. 计算技术与自动化， 2001， 20（3）： 66-69.

[4] 张秀玲，李海滨. 基于RBF神经网络的数字模式识别方法[J]. 模式识别与人工智能， 2002， 15（1）： 93-97.

[5] 姜显扬. 基于遗传算法优化神经网络的混沌控制方法[D]. 郑州：郑州大学， 2004.

[6] 党开放，杨利彪，林廷圻. 一种新型的广义RBF神经网络及其训练方法[J]. 计算技术与自动化， 2007， 26（1）： 9-13.

[7] 张雨浓. 人工神经网络的面向对象软件实现 [D]. 广州：华南理工大学， 1999.

[8] 王英健，亓雪莲，唐贤瑛. 基于改进自构形学习算法的RBF网络结构优化[J]. 计算技术与自动化， 2002， 21（4）： 16-20.

[9] 张雨浓，李克讷，谭宁. 中心、方差及权值直接确定的RBF神经网络分类器[J]. 计算技术与自动化. 2009， 28（3）： 5-9.

[10]董玲娇，冯冬青. 基于改进遗传算法的模糊RBF神经网络控制器设计[J]. 计算技术与自动化， 2005， 24（4）： 13-15.

[11]梅红，王勇，赵荣齐. 基于蚁群优化的前向神经网络[J]. 武汉理工大学学报. 2009， 33（3）： 531-533.

[12]邓超，张涛，姚清华. 应用小波神经网络处理CCD图像噪声[J]. 光学精密工程， 2008， 16（2）： 345-351.

[13]冯树理，张志广，白净，等. 噪声淹没的X线图像中癌变病灶信息的人工神经网络检测[J]. 医疗设备信息， 2002， 17（1）： 6-9.

[14]董翠英，周长英. 基于RBF神经网络的语音信号的噪声消除[J]. 制造业自动化， 2010， 32（5）： 228-230.

[15]黄仙，王辉. 神经网络在锅炉燃烧特性挖掘中的噪声适应性[J]. 动力工程学报， 2010， 30（10）： 767-771.

[16]张雨浓，杨逸文，李巍. 神经网络权值直接确定法[M]. 广州：中山大学出版社， 2010.

[17]张雨浓，曾庆淡，肖秀春，等. 复指数Fourier神经元网络隐神经元衍生算法[J]. 计算机应用， 2008， 28 （10）： 2503-2506.

[18]ZHANG YU-NONG， LI Wei， YI CHEN-FU， et al. A Weights-Directly-Determined Simple Neural Network for Nonlinear System Identification [C]//Proceedings of 2008 IEEE International Conference on Fuzzy Systems， Hong Kong， China， 2008， 455-460.

[19]FRANK A， ASUNCION A. UCI Machine Learning Repository[EB/OL].http：//archive.ics.uci.edu/ml， 2010.