基于FLPP的极端学习机人脸识别方法

刘佳奇 闫德勤 何阳

摘 要：极端学习机（ELM）训练速度快、分类率高，已被广泛应用于人脸识别领域，但是在实际问题中由于数据具有较高维数，导致ELM在有限样本下存在学习不充分的问题。传统对数据进行有效维数约简的方法，没有考虑到数据之间判别信息和小样本问题。为此，提出一种强制性保留算法（FLPP），以保持全部样本与局部样本之间的几何结构，同时类间离散度矩阵加入判别信息，因此避免了样本点重叠和小样本问题。实验结果表明，该算法有效提高了极端学习机的泛化性能和分类准确率。

关键词：维数约简；强制性保留；极端学习机；人脸识别

DOI：10.11907/rjdk.172672

中图分类号：TP301

文献标识码：A 文章编号：1672-7800（2018）004-0028-04

Abstract：The extreme learning machine （ELM） has a very fast training speed and high classification rate. It has been widely used in the field of face recognition. However， the ELM has a high dimension that leads to learning sufficiency with limited samples in practice. The traditional method of efficient dimension reduction on data does not take the discriminant information between data and small sample problem into consideration. In view of the above problems， we propose a force-locality preserving projections （FLPP） to maintain the geometric structure between the whole sample and the local sample. In the meantime， we add the discriminant information to between-class scatter matrix， which avoids the sample points overlap and the small sample problem. The results show that the proposed algorithm improves the generalization performance and classification accuracy of extreme learning machines efficiently.

Key Words：dimension reduction； force-locality preserving projections； extreme learning machine； face recognition

0 引言

人臉识别在生物、航空、遥感、公安等领域有着广泛应用，目前已成为人工智能领域的研究热点。但在实际应用过程中，数据通常具有较高的维数，并且分布不均匀，所以通常用神经网络等算法结合维数约简技术以提高识别率。

单隐层前馈神经网络[1]（Single-hidden Layer Feed Forward Networks，SLFNs）具有较好的容错性，网络连接权值和连接方式都可以通过学习得到，网络所学习的内容采用分布式存储方式。但是，传统的SLFNs方法经过多次迭代，利用梯度下降调整权值，收敛慢，容易陷入局部最小解。支持向量机[2]（Support Vector Machine，SVM）全局收敛，有更快的学习速度，其模型结构是找到一个最优的分类超平面区分两类样本。为了找到最优分类面，出现了很多经典算法，如：分解算法[3，4]、序列最小优化算法[5，6]、光滑支持向量机[7，8]。因此，求解不同二次凸规划问题成了支持向量机的关键，算法的复杂性影响其应用。Huang[9]提出一种求解线性方程组的方法——极端学习机（Extreme Learning Machine，ELM），该方法随机产生隐层节点的输入权值和偏置值，不需要迭代，避免了收敛速度慢，不会陷入局部最优解。而且在处理分类问题中，ELM比SVM具有更好的测试精度和更短的训练时间[10]。但ELM在分类过程中没有考虑到数据集对其影响，而维数约简是对数据预处理的一个重要步骤。

传统的线性降维方法：主成分分析（Principal Component Analysis，PCA） [11]尽可能多地保留数据主要成分，最大化总体方差，但没有利用样本点之间的判别信息；线性判别分析（1inear Discriminant Analysis，LDA） [12]是找寻一组最优的鉴别矢量，将原始数据投影到特征空间，该准则在处理多种类样本时，不能找到最佳投影方向，过于重视较大类间离散度矩阵，忽略了小样本问题，可能会出现样本点重叠问题。为了保持原有数据之间的拓扑结构，出现了非线性降维方法。等距映射法 （Isometric Feature Mapping，Isomap） [13]是一种有效保证全局特征的算法，先用近邻图中的最短路径计算出接近的测地线距离，再用MDS [14]算法构建低维坐标，而邻域大小选取不确定性会导致算法不稳定性。Sam等[15]又提出一种新的局部线性嵌入算法（Locally Linear Embedding，LLE），使其保持了数据间的局部几何结构，可是在降维过程中关联较弱的数据集很可能会将相距较远的点映射到近邻点处。为了克服这个缺点，出现了LE（Laplacian eigenmaps）算法，其通过流行的思想把无向有权图嵌入到低维空间[16]。如果数据出现离群值，该算法具有很高的鲁棒性，但其没有考虑到有些数据具有线性关系。因此，He等[17]提出局部保留算法（Locality Preserving Projections，LPP），此算法利用拉普拉斯算子的概念，结合线性数据和非线性数据的特征进行数据降维。为了使数据具有监督性，Yu等[19]提出一种有监督的LPDP算法，降低了噪声干扰和能量转换。

为保留样本点之间的结构信息，提出一种强制性保留算法（Force-Locality Preserving Projections，FLPP），将类间离散度矩阵加入判别信息，用最大化边际准则解决样本点重叠问题，克服小样本问题[19]。为验证方法的有效性，使用Yale、Yale B及ORL等3个数据集进行实验，并且将本文方法与LPP、LPANMM及RAF-GE算法进行对比，实验结果表明该算法显著提高了ELM的识别率。

1 FLPP算法

在特征提取过程中，传统的LPP算法只能提取某些局部差异，如表情、光照、姿势等，忽略了不同人间的差异，如性别、面部形状、种族等。为使不同类样本点在低维空间里被映射得尽可能远，并且还能保持同一类样本点的内部几何结构，因此提出一种新的FLPP算法解决这一问题。

3 实验结果

为了证明本文提出FLPP算法的有效性，用sigmoid作为统一的激活函数，分别在Yale人脸库、Yale B人脸库和ORL人脸库上进行实验。在每组数据库中分别随机选取每类样本点的训练个数为trainnum=（3，4，5，6），其余为测试样本。并且对比了LPP、LPANMM 和RAF-GE方法降至不同维数下的识别率。不同的数据库参数设置如表1所示，所使用的不同人脸库图像如图1所示。

图2-图4分别给出Yale、Yale B及ORL数据集在不同降维算法上的识别率曲线。表2-表4分别给出Yale、Yale B及ORL的具体识别率以及平均识别率和相对误差。从图2-图4可以看出，利用FLPP降维算法的识别率曲线明显高于其它算法，因为FLPP结合ELM算法充分考虑了样本点之间的结构信息，因此图3-图4中FLLP算法的识别率几乎接近100%。虽然在Yale数据集中，每类训练样本个数为4、维度降至60时出现波动，但是从表2可以看出其识别率仍在88.34%左右，明显高于LPP算法、LPANMM算法和RAF-GE算法的识别率。由此实验表明该算法十分有效，同时具有良好的稳定性。

4 结论

本文提出一种显著提高ELM分类率的算法，此算法将类间离散度矩阵加入判别信息，并且采用最大边际准则，避免了样本点重叠和小样本问题。同時在分类过程中，不仅提取了人脸表情、光照、姿势等局部特征，还考虑到人的面部形状、性别、种族等类别特征。由实验结果看出，FLPP算法消除了数据包含的冗余属性，降低了能量转化，提高了ELM的泛化性能。

参考文献：

[1] HUANG G B， ZHU Q Y， SIEW C K. Extreme learning machine： a new learning scheme of feedforward neural networks[C]. Budapest， Hungary： Proceedings of the IJCNN，2004.

[2] CORTES C， VAPNIK V. Support vector networks[J]. Machine Learning，1995，20（3）：273-297.

[3] OSUNA E， FREUND R， GIROSI F. Training support vector machines： an application to face detection[C]. Puerto Rico ： Proc IEEE Conf Computer Vision and Pattern Recognition，1997.

[4] OSUNA E， FREUND R， GIROSI F. An improved training algoirthm for support vector machines[C]. New York： Proceedings of the 1997 IEEE Workshop on Neural Networks for Signal Processing，1997.

[5] PLATT J C. Fast training of support vector machines using sequential minimal optimization[C]. Advance in Kernel Methods： Support Vector Learning，1999：185-208.

[6] PLATT J C. Using analytic QP and sparseness to speed training of support vector machines[C]. Advances in Neural Information Processing Systems 11，1999：557-563.

[7] LEE Y J， MANGASARIAN O L. SSVM： a smooth support vector machine[J]. Computational Optimization and Applications，2001，20（1）：5-22.

[8] LEE Y J， HSIEH W F， HUANG C F. E-SSVR： a smooth support vector machine for e-insensitive regression[J].IEEE Transactions on Knowledge and data Engineering，2005，17（5）：678-685.

[9] HUANG G B， ZHU Q Y， SIEW C K. Extreme learning machine： theory and applications[J]. Neurocomputing，2006，70（1）：489-501.

[10] ZONG W W， HUANG G B. Face recognition based on extreme learning machine[J]. Neurocomputing，2011，74（16）：2541-2551.

[11] TURK M A， PENTLAND A P. Face recognition using eigenfaces[C]. IEEE International Conference on Computer Vision and Pattern Recognition （CVPR），1991：586-591.

[12] BELHUMEUR P， HEPANHA J， KRIEGMAN D. Eigenface vs fisherfaces： recognition using class specific linear projection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19：711-720.

[13] TENENBAUM J B， SILVA V DE， LANGFORD J C. A global geometric framework fornonlinear dimensionality reduction[J]. Science，2000，290（22）：2319-2324.

[14] COX T F， COX M A A. Multidimensional scaling [M]. London： Chapman & Hall，1994.

[15] ROWEIS S T， SAUL L K. Nonlinear dimensionality reduction by locally linearembedding [J]. Science，2000，290（22）：2323-2326.

[16] BELKIN M， NIYOGI P. Laplacian eigenmaps for dimensionality reduction anddata representation [J]. Neural Computation，2003（15）：1373-1396.

[17] HE X， NIYOGI P. Locality preserving projections[C]. Advances in Neural Information Processing Systems 16. Cambridge MA： MIT Press，2004：585-591.

[18] 張海英，闫德勤，杨伊，等.基于流形学习的极端学习机及其在人脸识别中的应用[J].计算机测量与控制，2016，24（12）：158-161.

[19] LI H， JIANG T， ZHANG K. Efficient robust feature extraction by maximum margin criterion[J]. Advances in Neural Information Processing Systems，2003，16：71-78.

（责任编辑：何 丽）