基于RLS的特征提取算法研究

王海宾,王展青（武汉理工大学理学院数学系，湖北武汉,430070）



基于RLS的特征提取算法研究

王海宾,王展青*
（武汉理工大学理学院数学系，湖北武汉,430070）

摘要：针对主成分分析在提取特征脸时需要计算各个特征值和对应的特征向量，而导致的计算量大的问题，提出了一种基于递归最小二乘（RLS ）的特征提取算法。该算法每迭代一次，只需计算一个特征值和其对应的特征向量，使得计算量大大减少。实验表明：在一定迭代次数内，选取的主成分越多，RLS算法得到的图像的重构率就越大。

关键词：递归最小二乘;特征提取;人脸重构

0　引言

随着人脸识别技术的发展，相继产生了许多人脸特征提取和识别方法，如主成分分析、独立成分分析（ICA ）、线性判别分析（LDA） 和核方法等。在这些方法中，由于PCA 实现简单，所以它就成为了比较流行的特征提取方法之一。本文先考虑Turk等提出的基于PCA 的人脸识别方法。该方法的思想是将一幅人脸图片转换为一组N×N维的向量，再提取出一组降维后的p 维主成分。但是该方法的计算复杂度很大，不利于特征的提取。

为了解决这一问题，本文在文献[5]的基础上提出了一种改进的方法，直接从训练集中训练出一个只含有输入层的线性机，这样的好处是，一次迭代只需提取出一个特征向量和特征值，从而加快了算法收敛的速度。

1　RLS 算法分析

则重构后的均方最小误差为

为了使J1(n)最小，用RLS 方法可以得出最优的权重向量W1( n)。迭代如下：

为了提取后续的主特征向量，不妨假设第m−1个节点的权重向量Wm−1(n)已经收敛到最优权重向量Wm

o−1，则可以求出第m个节点的权重向量Wm(n )，过程如下：

基于RLS的特征脸提取算法步骤如下：

用公式（13）计算特征值以确定何时停止向第一层添加节点；

2　实验结果分析

本文选取了Yale人脸库中的人脸图像进行实验，从中选出15张进行重构。在用RLS算法进行迭代的过程中发现，当迭代20次左右时，第一个和第二个权重向量基本收敛到其最初的主成分。当迭代次数达到60次时，两个权重向量就已经完全收敛。而估计的特征值也会收敛到特征脸方法得出的特征值，其MSE也基本趋于0，而且收敛的速度也很快。该实验充分表明：与特征脸方法相比，RLS在提取人脸特征时收敛速度更快，减少了计算复杂度。

图1　第1个主成分的MSE和特征值的收敛性

表1　不同的主成分个数得出的重构率的实验结果

3　小结

本文讨论了基于递归最小二乘法的特征脸提取算法。实验结果表明：随着迭代次数的增加，RLS 算法得到的主成分会收敛到与其对应的特征向量，估计的方差也接近于该特征值，表明了RLS 算法在人脸特征的提取上具有较好的优越性。

参考文献

[1] M.Turk,A.Pentland,“Eigenfaces for Recognition”, Journal of Cognitive Neurosicence,Vol. 3, No.1,1991,pp.71-86.

[2] M.S.Bartlett,J.R.Movellan,T.J.Sejnowski, “Face Recognition by Independent Component Analysis”,IEEE Trans. on Neural Networks,Vol.13,No.6,November 2002, pp. 1450-1464.

[3] K. Etemad,R.Chellappa,“Discriminant Analysis for Recognition of Human Face Images”,Journal of the Optical Society of America A,Vol.14,No. 8,August 1997, pp. 1724-1733.

[4] M.H.Yang,“Kernel Eigenfaces vs.Kernel Fisherfaces: Face Recognition Using Kernel Methods”, Proc.of the Fifth IEEE International Conference on Automatic Face and Gesture Recognition, 20-21 May 2002, Washington D. C.,USA, pp. 215-220.

[5] S.Bannour and M. R. Azimi-Sadjadi, Principal component extraction using recursive least squares learning, IEEE Trans. On Neural Networks, Vol.6, No.2, 1995, pp 457-469.

作者简介

王海宾(1989年-)，男，汉族，河南汝南县人，武汉理工大学理学院，在读硕士研究生，研究方向为图像处理；

*通讯作者：王展青（1965年-），男，汉族，湖北咸宁人，武汉理工大学理学院，教授，博士，研究方向为模式识别与图像处理

The Research of Feature Extraction Algorithm Based on RLS

Wang Haibin,Wang Zhanqing
(Department of Mathematics,Wuhan University of Technology,Wuhan,430070,Hubei Province,China)

Abstract：Aiming at the problem of PCA when it is used to calculate various Eigen values and the corresponding eigenvectors which may led to large computational problems,we study the recursive least squares (RLS) method to extract the features.For each iteration,we just to calculate one Eigen value and it corresponding eigenvector, so the calculation will be greatly reduced.The experimental result shows that in a certain number of iterations, the more main component we select,the larger reconstructed rate of face we will get when use the RLS algorithm.

Keywords：Recursive least squares;feature extraction;face reconstruction