基于RBF神经网络PCA变换的识别技术*

左 军，周 灵，孙亚民

(1.佛山科学技术学院 电子与信息工程学院，广东 佛山 528000；2.南京理工大学计算机科学与技术学院，江苏 南京 210094)

在许多模式识别系统中，用到最多的分类方法是统计方法，即将从输入模式的统计信息得到的决策理论用来设计分类器。尽管这类方法已经成功地用来解决各种模式分类问题，但如果没有合适的特征选择，它还是很难表示结构信息的。基于神经网络的方法作为一种基于统计和结构化的方法，是实现不同分类器的新方法。由于它具有很好的学习能力和泛化能力，因此在分类方面具有许多优势。近几年来，RBF神经网络在神经网络领域引起了人们广泛的兴趣，并得到了广泛的应用。

1 RBF神经网络与识别技术理论分析

1.1 RBF神经网络的理论分析

一个具有r个输入和一个输出的RBF神经网络，该网络可以看成如下形式的映射f:Rr→Rs：

(1)

其中，X∈Rr是输入向量，Ri(·)是基函数，‖·‖表示输入空间上的欧氏范数，wi(0≤i≤u)是权值，Ci∈Rr(1≤i≤u)是RBF的中心，u是RBF的单元数。为了定义上的简单，这里仅仅考虑了单输出的情形，但很容易推广到多输出的情形[1]。

如果采用高斯函数而不考虑偏置量，则式(1)可以写为如下的函数：

(2)

如果把各高斯函数的输出归一化，则RBF网络可以产生如下归一化的输出响应。

(3)

由于高斯函数具有各向同性，因此以高斯函数作为激活函数的神经网络称为径向基(RBF)神经网络。文献[2]的结论指出：RBF神经网络具有最好的逼近特性，而MLPs则没有。正因RBF神经网络有如此良好的特性，所以本文的研究是基于动态径向基神经网络。

1.2 RBF神经网络权值调整和参数调整

RBF节点参数的调整是一个非线性的过程，而权值w(i,j)的辨识是一个线性问题。尽管可以应用梯度下降算法来找到整个最优参数集，但是这种方法通常很慢而且很有可能陷入局部极小。我们提出混合学习方法，这种混合方法结合了梯度算法和线性最小二乘法来调整参数。

首先是权值调整。令r和s分别表示输入和输出的数量，并且假定对于所有的训练样本，通过上面的聚类算法得到u个RBF单元。对于任何一个输入Pi，系统的第j个输出yj为

(4)

或者

Y=WR

(5)

W*=T(RTR)-1RT

(6)

其中，RT是R的转置，W*=(RTR)-1RT是R的广义逆。

其次是RBF节点参数的调整。这里通过取误差函数El的负梯度来调整节点参数，El定义为

(7)

(8)

对于内部节点，误差率可以通过下面的链式规则得到[3]：

(9)

(10)

1.3 PCA变换和FLD线性判别式

假定一幅人脸图像Zi为一个m×m的二维灰度图像。一幅图像也可以看做是m2维的向量。定义n个人脸图像的训练集为Z=(Z1,Z2,…,Zn)⊂Rm2×n，并且假定每个图像属于c个类中的一个。定义如下的协方差矩阵：

(11)

X=UTZ

(12)

用Fisher线性判别式(FLD)来产生一组最具判别性的特征，使不同类间的训练数据可以尽可能地分开，而同一类的样本尽可能地靠近。PCA方法把训练样本集投影到特征脸空间X=(X1,X2,…,Xn)⊂Rr×n，除了维数减少之外，实际上它不能提供任何的分类信息。因此，在PCA变换的基础上，我们进一步运用FLD方法，为分类找到一个最佳的子空间，使类间距离和类内距离之比最大化[4]。

类间散布矩阵定义为

(13)

类内散布矩阵定义为

(14)

那么，由FLD方法得到的最佳的子空间Eoptimal由下式决定[4]：

(15)

其中，[e1,e2,…,ec-1]是SB和Sw对应于c-1个最大的广义特征值λi,i=1,2,…,c-1的广义特征向量集，即

SBEi=λiSWEii=1,2,…,c-1

因此，对于任何一张测试人脸图Z，在最大判别意义下的特征向量P可以用以下公式计算：

(16)

图1是RBF神经网络用于高维、小样本分类示意图。

图1 RBF神经网络用于高维、小样本分类

2 实验结果与分析

实验在ORL人脸数据库上进行的，该数据库由英国剑桥大学提供。ORL标准人脸库由40人，每人10幅112×92图像组成。这些图像拍摄于不同时间，在光照强度和角度，面目表情，姿态及面部细节等方面均有很大的变化。图2 是识别错误的两幅图像及其训练样本。

下面用不同的分类器对不同的人脸特征进行测试。图3和图4分别显示了用最近邻分类法对PCA和PCA+FLD产生的数据进行分类的情况。可以看到，对PCA方法，更多信息会导致PCA更好的性能。然而，PCA+FLD的性能并不会随着特征维数的增加而单调地提高，而且最佳的性能在PCA+FLD中由于信息的丢失而略有降低。表1列出了不同的人脸特征和不同的分类器所得的识别结果。

图2 识别错误的两幅图像及其训练样本

表1 混合学习过程中的两个通道

Table 1 Two channel hybrid learning process

分类器人脸特征聚类数特征维数误差率/%最近邻分类器PCA401719 01PCA+FLD40249 76RBF神经网络分类器PCA401714 76PCA+FLD40241 93

如前所述，FLD是线性变换，由这种准则产生的特征维数仍然有很大的重叠。因为正如文献[1]所示的，“FLD判别准则并不直接与输出空间的分类正确性直接相关”。因此，非线性判别分析在分类中是必须的，而神经网络是其中使用最广泛的方法之一[3]。

图3 PCA仿真错误率

图4 PCA+FLD仿真错误率

神经网络分类器相比于线性分类器的优势在于神经网络分类器能够减少相邻类间的错误分类。然而，这种能力会随着维数的增加而逐渐减少。可以从表1中看到，用RBF神经网络作为分类器时，PCA+FLD所获得的性能要比PCA好。

有不同的方法来确定高斯函数中心，最简单的方法就是把训练数据作为高斯中心，如文献 [5]，[6]，[7]所示。其中典型的方法有聚类算法或者中值运算[1,8]。如果选择同样的6组由PCA+FLD产生的人脸特征数据，但用其他聚类算法，那么训练样本的初始聚类误差列于表2中。

表2 用其他聚类算法所得聚类误差

从表2中可以看到，许多数据被无监督的K-均值聚类算法和回归聚类方法错误的分类。然而，如果很好地利用样本的类别信息，比如我们所提的由监督的聚类方法，聚类误差将会大大减少，如表3所示。

高斯函数宽度的适当估计对于RBF神经网络的泛化能力非常重要。一般地说，宽度值通常都是通过启发式方法来选择的。一些研究人员把所有训练样本的方差CV或者类內样本方差CRV 作为宽度。最近也有研究人员提出了新的方法来估计宽度[-10]，例如，类內样本方差加上训练样本方差(SCCC)[11]、聚类中心之间的最小距离(即使用σB)[6]、中值运算(MO)[8]或者最优进化(evolutionary optimization)[7]。我们同样使用PCA+FLD产生的6组数据，这些数据的中心由所提出的聚类算法来决定，聚类的数目仍然是40，不同的方法所选择的不同的宽度所产生的初始聚类误差列于表3中，表显示了在ORL数据库上进行测试样本的泛化性能。

表3 用不同的方法选择的宽度训练样本的聚类误差

从表3中可以看到，SCCC方法是描述样本最好的方法。另一方面，MO和CRV方法在学习前的测试非常高，但是学习后的最终性能跟其他方法差不多(CV、SCCC和σW)。理论上，如果学习算法好，那么不管初始参数多少，最终的结果都应该是一样的。这些差异主要是由高维、小样本所导致的过拟合和过训练引起的。

文献[12]报道，当利用多层前馈网络(MLN)分类器，分别采用PCA和SOM(自组织特征映射)方法来提取ORL数据库人脸特征时，其错误率分别为41.2%和39.6%。我们提出的方法不同于MLN，特别是充分利用了样本的信息进行聚类分析和确定RBF神经网络结构与参数，因此，识别效果比MLN、CNN和文献的RBF方法都好很多[12-13]。

采用平均错误率作为指标来评判性能。所谓平均错误率Eave的定义由下式表示[12,14]：

(17)

表4 性能识别比较

3 结 论

提出一种基于训练样本的类别信息的新的聚类算法，所有同类的数据可被聚集在一起，尽量减少不同类数据混杂在一起，同时结构尽可能紧凑的RBF神经网络分类器。用FLD线性判别式来产生一组最具判别性的特征， PCA方法把训练样本集投影到特征脸空间，以减少维数。提出了两个重要的准则来估计RBF单元的初始宽度，这个宽度可以控制RBF神经网络分类器的泛化能力。提出了一个混合的学习算法来训练RBF神经网络，使梯度下降法的搜索空间可以大大减少。实验表明，这个方法无论是在分类的错误率上还是在学习的效率上都能表现极好的性能。

参考文献：

[1]MYOOD J, DARKEN C J. Fast Leaning in network of locally-tuned processing units[J]. Neural Computation, 2011,1: 281-294

[2]GIROSI F, POGGIO T. Networks and the best approximation property[J]. Biological Cybernetics, 2012,63: 169-176.

[3]杨文光. 权值直接确定的三角型模糊前向神经网络[J]. 中山大学学报：自然科学版，2013,52(2)：33-37.

[4]任爱红. 模糊随机过程函数列均方差一致Henstock积分的可积性[J]. 中山大学学报:自然科学版, 2010, 51(4): 41-44.

[5]CHEN S, COWAN C F N, GRANT P M. Orthogonal least squares algorithm for radial basis function network[J]. IEEE Trans Neural Networks, 2011,2:302-310.

[6]Wu S Q, Er M J. Dynamic Fuzzy Neural Networks: A Novel Approach to Function Approximation[J]. IEEE Trans Syst, Man, Cybern: Part B, 2012,30: 358-364.

[7]ESPOSITO A, MARINARO M, ORICCHOI D et al. Approximation of continuous and discontinuous mappings by a growing neural RBF-based algorithm[J]. Neural Networks, 2013,25:651-665.

[8]BORS A G, PITAS I. Median radial basis function neural network[J]. IEEE Trans Neural Networks, 2012,23: 1351-1364.

[9]HAYKIN S. Neural networks, a comprehensive foundation[J]. New York:Macmillan, 2012.

[10]BORS G, GABBOUJ M. Minimal topology for a radial basis functions neural networks for pattern classification[J]. Digital processing, 2012,34:173-188.

[11]HOFFBECK J P, LANDGREBE D A. Covariance matrix estimation and classification with limited training data[J]. IEEE Trans Pattern Analysis and Machine Intelligence, 2013,18:763-767.

[12]LAWRENCE S, GILES C L, TSOI A C et al. Face recognition: a convolutional neural-network approach[J]. IEEE Trans Neural Networks, Special Issue on Neural Networks and Pattern Recognition,2011,8: 114-132.

[13]VIRGINIA E-D. Biometric identification system using a radial basis network[C]. Pro 34ndAnnual IEEE Carnahan Conf on Security Technology, 2011:47-51.

[14]LI S Z, LU J. Face recognition using the nearest feature line method[J]. IEEE Trans Neural Networks, 2012,10: 439-443.

[15]BRENNAN V, PRINCIPE J. Face classification using a multiresolution principal component analysis[J]. Proc IEEE Workshop Neural Network for Signal Processing, 2011:506-515.