基于自适应FCM—NMF的人脸识别研究

刘伟 侯向丹 顾军华 董永峰 王元全

摘要 非负矩阵分解（NMF）是一种有效提取特征的方法，但算法中参数的随机初始化使得迭代求解速度慢，且易陷入局部极小的问题。针对以上问题，提出了一种自适应FCM-NMF的方法，该方法利用模糊C聚类方法（FCM）获得相似性关系矩阵，能为NMF参数的初始化提供较好的初值，从而有效解决了上述问题。通过在两个人脸库的实验结果显示，收敛速度明显高于随机赋初值的方法，识别率也有所提高。

关 键 词 非负矩阵分解；模糊C均值聚类；相似性；自适应；人脸识别

中图分类号 TP391 文献标志码 A

人脸识别过程可以分为人脸检测、预处理、提取特征和人脸识别4个部分，其中提取特征是人脸识别的关键，受到了国内外学者的广泛关注。特征提取的方法[1]一般分为2类：基于全局特征的方法和基于局部特征的方法。全局特征是从整体上分析人脸的属性，每一个特征向量包含整个人脸的信息，主要方法有主成分分析法（Principal Component Analysis，PCA）[2]、线性判别分析方法（Linear Discriminant Analysis，LDA）[3]等。局部特征充分考虑人脸的细节变化，主要方法有局部二值模式（Local Binary Patterns，LBP）[4]、非负矩阵分解（Non-negative matrix factorization，NMF）等。由于全局特征的方法对光照、姿态等外部条件比较敏感，而基于局部特征的方法更具鲁棒性，能更好的分类，因此局部特征的方法应用更广。

NMF是一种有效的提取局部特征的方法，自1999年Lee和Seung[5-6]在Nature上提出以来已经在诸如图像处理、机器学习、计算机视觉等诸多领域广泛应用。NMF使分解后的所有分量均为非负值，并且实现非线性的维数约减，其构造依据是对整体的感知由对组成整体的部分感知构成的，这也符合直观的解释：部分构成整体。这种解释符合实际的需要，如人脸是由眼睛、鼻子和嘴巴等器官组成的，因此这种算法在某种意义上描述了事物的本质特征。此外，这种非负性的限制使得数据描述更加具有现实的意义，图片的像素值或灰度值如果是负数就失去了意义，因此这种限制的描述使得对数据的解释变得方便与合理。所以NMF逐渐成为各个领域中比较受欢迎的降维处理的研究方法。

为了进一步提高NMF算法的识别率，大量的改进算法被提出。Li等[7]在原有的非负矩阵分解算法的基础上添加稀疏限制，提出了局部非負矩阵分解算法，使得其结果进一步稀疏，从而进一步提高了算法的识别率；Wang等[8]提出了基于Fisher限制的非负矩阵分解算法，从而将判别引入到NMF算法中；Cai等[9]提出了基于流形的非负矩阵分解算法，从而将流形思想引入到NMF中来。虽然这些改进的算法对于识别率有一定程度的提高，但是这些改进算法都是对NMF的目标函数添加限制信息，而对于NMF算法的初始矩阵W、H都是随机给定的，算法运行后使得迭代求解速度慢且易陷入局部极小的问题。因此本文提出了一种基于自适应模糊C均值聚类（fuzzy c-means clustering，FCM）的初始化方法，FCM方法得到的隶属度表示样本属于某个类中心的程度，相似性矩阵代表样本与类中心的相似程度，将两者结合起来得到的最优参数对应的结果作为NMF的初始值，通过该参数的自主选择能实现自动确定初始矩阵的维数，基本的NMF算法是以不同的维数进行尝试，经过计算、比较之后再选择合适的维数，本文提出的自适应FCM-NMF算法提供有效的初值的同时能自动确定矩阵的最佳维数，通过在两种人脸库上的实验结果显示，本文的方法能为NMF算法的参数提供有效的初值，方法行之有效。

1 自适应FCM-NMF算法

本文以NMF算法为基本方法进行特征提取，基于NMF算法的人脸识别流程图如图1所示。首先采集人脸库，共14个对象，包含每个对象10张照片，其中涉及到姿态、表情均有变化的信息采集。将图像进行预处理来改善图像的质量，预处理操作包括大小裁剪为92×112、图片的水平垂直分辨率均设为71以及位深度的设置为8等。然后将样本分为训练样本和测试样本，随机初始化矩阵W、H，将训练样本的初始矩阵X输入到NMF算法，经过多次迭代得到基矩阵，测试样本经基矩阵变换成低维形式，然后与训练样本的低维表示进行比较，获得测试样本的所属类别。NMF算法使得后期处理低维矩阵计算简单，缩短运算时间，起到较好的作用。但由于需要多次随机取值，对不同的随机初始值多次运行NMF算法，然后从算法运行的结果中选取一组最优W和H作为矩阵分解的结果，每一次运行分解算法都需要多次迭代才能达到收敛。因此在NMF算法的基础上，本文提出一种基于自适应FCM-NMF（Non-negative matrix factorization-fuzzy c-means clustering，FCM-NMF）的人脸识别方法，本文的算法流程图如图2所示。

本文提出的自适应FCM-NMF的人脸识别算法主要步骤如下：首先，将样本分为训练样本和测试样本，设置模糊C均值聚类（fuzzy c-means clustering，FCM）的参数C的范围，利用FCM方法获得训练样本的隶属度矩阵和聚类中心，计算各样本与中心的夹角余弦值，获得相似性关系矩阵，判断参数是否收敛，如果没有收敛，调整参数重复上面步骤；如果已经收敛，通过比较相似性程度即可以获得最优的参数值及相应的隶属度矩阵和类中心，将最优结果作为NMF参数的初值，然后进行NMF算法降维，用降维后的低维形式训练分类器，本文采用最简单的分类器最近邻分类器，欧氏距离作为度量标准，获得被测样本的类别。由于W、H中蕴含了输入训练样本的信息，从而有效的解决了NMF算法收敛速度慢和易于陷入局部极小的问题。通过在人脸库上的实验结果显示，收敛速度明显高于随机赋初值的方法，识别率也有所提高。下面将对算法中的几个重点内容进行说明，包括：基本的NMF算法、FCM算法以及相似性关系矩阵的计算方法。

1.1 非负矩阵分解（NMF）

非负矩阵分解[10-13]（NMF）降维处理效果明显，它的主要贡献是高维空间的矩阵X经过非负矩阵分解算法进行降维处理，使X能被非负且低维空间的W和H的乘积W×H近似表示，即X≈W×H。其中W称为基矩阵，H称为因子矩阵或系数矩阵。这样即可达到降低维数的效果，处理低维矩阵计算简单，相比处理高维数据大大缩短的运算时间，起到较好的作用。

为了求得W和H矩阵分解，本文应用的是基于Kullback-Leibler商的误差函数。因此，NMF的目标函数可以描述为公式（1）

[minW，H≥0D（X||WH）=minW，H≥0i，j（XijlogXij（WH）ij-Xij+（WH）ij） 。] （1）

通过求得使得上式最小的W和H即可，得到的迭代公式（2）和（3）分别为

[Wij=Wij∙uHju∙Xiu（WH）iuvHjv]， （2）

[Hij=Hij∙aWai∙Xaj（WH）ajbWbi]。 （3）

NMF算法的非负约束使得得到的基矩阵W和系数矩阵H具有一定的稀疏性，而且加入非负的条件更加符合实际图片对像素值的要求，是降维的有效方法。

1.2 模糊C均值聚类（FCM）

模糊C均值聚类[14-17]（fuzzy c-means clustering，FCM），是用隶属度确定每个数据点属于某个聚类的程度的一种聚类算法。FCM把n个向量xi（i=1，2，…，n）分为C个模糊组，并求每组的聚类中心，使得非相似性指标的价值函数达到最小。用模糊划分，使得每个给定数据点用值在0，1间的隶属度来确定其属于各个组的程度。隶属矩阵U允许有取值在0，1间的元素。不过，加上归一化规定，一个数据集的隶属度的和总等于1。FCM的目标函数就是所有各点隶属度乘以该点与中心的欧氏距离之和，目标函数公式如式（4），其中，m为加权指数[18]，一般设m=2，uik∈[0，1]，且任意的k=1，2，…，n。

[（min）Jm=i=1ck=1numikxk-vi2]， （4）

[i=1Cuik=1]。 （5）

通过使目标函数最小得到迭代公式（6）和（7）。

其中，聚类中心：

[vi=j=1n（uij）mxjj=1n（uij）m，1≤i≤C]。 （6）

隸属度：

[uij=k=1C（xj-vixj-vk）-2m-1，1≤i≤C，1≤j≤n]。 （7）

FCM算法是比较流行的聚类方法，原因主要是加入了模糊的概念，使得分类更具现实意义。隶属度表示样本属于某个类中心的程度，其实可以理解为权值，因此隶属度的和永远是1。

1.3 相似性关系矩阵

余弦相似度，是用向量空间中2个向量夹角的余弦值作为衡量2个个体间差异的大小的度量。如果2个向量的方向一致，即夹角接近零，那么这2个向量就相近。在本文中，即是应用上面步骤1.2小节中得到的结果式（6）和式（7）来计算每个样本与类中心的余弦相似度，采用两者之间的夹角余弦值来表示对象间的差异度。余弦值越接近于1，表示两个对象相似度越高。向量余弦计算公式（8）为

[cosθ=x→∙y→xy]。 （8）

该公式应用在本文中为

[cos（xj，vi）=xjvixjvi=k=1nxjk∙vikk=1nxjk2k=1nvik2]。 （9）

由公式（9）可以得到样本与各个类中心的相似程度，并且隶属度矩阵也用来表示数据元素与类之间的相似程度。因此本文将两个相似性度量矩阵结合，用于更加准确的描述某个样本与类之间的相似程度。

根据FCM算法C值的范围，不断循环FCM过程，会得到不同的聚类结果以及相似性度量矩阵，根据相似度关系实现自动选取FCM方法的最优参数，获得最优参数对应的隶属度矩阵和类中心，然后将隶属度矩阵的转置和类中心分别赋值给NMF的初始矩阵W和H，初始矩阵含有训练样本的信息，为NMF参数的初始化提供了较好的初值，然后应用NMF算法获得基矩阵，本文的算法对于提高识别率和加快收敛速度有明显效果。

本文采用最简单的分类器最近邻分类器，欧氏距离作为度量标准，通过计算测试样本的低维表示和训练样本的低维表示之间的欧氏距离进行分类，将距离最小的训练样本所属类作为测试样本的的类别。最近邻分类器理论简单，易于理解，容易实现，常被用来进行人脸分别。

2 实验与分析

为评价本文算法的有效性，我们在标准ORL人脸库和实验室自己采集的人脸库上分别采用NMF算法和本文提出的自适应FCM-NMF算法进行实验验证。实验均在2.6 GHz CPU，4 GB内存的个人计算机，Matlab2012a环境上实现。

2.1 识别率

2.1.1 ORL人脸库的识别率实验

首先是在标准ORL人脸库上实验，ORL人脸库共有40个对象，每个对象10幅图像，共400幅灰度图像组成，图像尺寸是92×112，背景为黑色。其中人脸部分表情和姿态均有变化。该库是目前使用最广泛的标准数据库。ORL人脸库的部分人脸样本图像如图3所示。在ORL人脸库上，比较了本文提出的算法与其他4种算法识别率的比较，分别是非负矩阵分解（NMF）、局部非负矩阵分解（Local non negative matrix factorization，LNMF）、基于Fisher限制的非负矩阵分解（Fisher non negative matrix factorization，FNMF）、基于图形正则化的非负矩阵分解（Graph regularized non negative matrix factorization，GNMF），其实验结果如图4所示。

由图4可见，在ORL人脸库上的实验表示本文提出的自适应FCM-NMF算法的人脸识别算法的结果要优于基本的NMF算法以及几种改进算法的结果。几种NMF的改进算法相比较基本的NMF算法在识别率上都有提高，但这些算法的初始矩阵都是随机的，本文提出的自适应FCM-NMF算法相比较前面几种算法在识别率上也有一定程度的提高，在ORL人脸库上的识别率最高达到了98.3%，其原因可能是本文算法在矩阵的初始化上有一定优势，由于初值中包含有样本的信息，因此能为初始矩阵提供良好的初值，在迭代完成后能获得效果更好的基矩阵和系数矩阵，进而提高了识别率，使得实验结果优于其他基于NMF改进算法的识别结果。

2.1.2 采集人脸库的识别率实验

为进一步验证本文算法，采集实验室人脸数据库，图片采集来源于手机拍摄，背景为白色，采集了实验室人员共计14个人的样本信息，每个对象10张照片，涉及到人脸表情和姿态的变化，先对图片进行预处理再进行实验。采集的人脸库样本图片如图5所示，应用几种算法取得的最高识别率结果如图6所示。

在实验室采集的人脸库上进行的实验，进一步表明本文提出的自适应FCM-NMF算法相比较基本的NMF算法和其改进算法在识别率上的优势，原因可能是该算法的初始化矩阵中包含有样本的信息，在迭代完成后能获得效果更好的基矩阵和系数矩阵，进而提高了识别率。在实验室自己采集的人脸库上最高能达到95.2%，达到了预期的目的，具有一定的优势，实用性较强。

2.2 收斂效果

NMF问题本身是非凸的，它的分解结果依赖于初始值，并且不是唯一的。初始值W和H的选取直接影响到分解算法的迭代结果。针对NMF算法中参数的随机初始化使得迭代求解速度慢，且易陷入局部极小的缺点，本文提出的自适应FCM-NMF的方法有效地解决了NMF参数初始化的问题，加快了收敛速度，在2个人脸库上的实验结果图分别如图7、8所示。

NMF算法以及许多改进的算法多采用参数随机赋初值的方法，使得迭代求解速度偏慢。实验结果显示，本文提出的自适应FCM-NMF算法比原算法具有一个更小的初值，说明经过本文方法的初始化处理后，目标函数值更接近于收敛值。曲线在趋于平缓之前，自适应FCM-NMF算法比原算法具有更快的下降速度，说明本文算法收敛速度比原算法要快，缩短了收敛时间，说明了自适应FCM-NMF能为NMF参数的初始化能提供较好的初值，使得收敛速度加快，而且由图可以看出本文算法可以使目标函数较快的收敛到一个更小的目标值。

3 结束语

本文考虑到NMF算法中参数的随机初始化使得迭代求解速度慢，且易陷入局部极小的问题，提出了一种自适应FCM-NMF的人脸识别方法，该方法首先对训练样本矩阵应用FCM的方法获得隶属度矩阵和类中心，然后计算每个样本与类中心的夹角余弦关系，通过结合隶属度矩阵和夹角余弦关系得到相似性度量矩阵，利用该方法为NMF参数的初始化提供较好的初值，从而有效的解决了迭代速度和局部极小的问题。经过在人脸数据库上的实验表明本文的算法在识别率和收敛速度都有一定程度的优势。

参考文献：

[1] NAZMEEN B B，SUNILDUTH B. Fusion of local and global features for face recognition [C]// 2015 International Conference on Computing，Communication and Security （ICCCS）. Mauritius：IEEE Conference Publications ，2015：1-8.

[2] EYAD I A，MOHAMMED E S，KHALIDA S R. Face recognition rate using different classifier methods based on PCA[C]// 2017 International Conference on Current Research in Computer Science and Information Technology （ICCIT）. Lebanon：IEEE Conference Publications，2017：37-40.

[3] HUWEDI A S，SELEM H M. Face recognition using regularized linear discriminant analysis under occlusions and illumination variations[C]//2016 4th International Conference on Control Engineering & Information Technology （CEIT），Hammamet，Tunisia，2016：1-5.

[4] ZE L，XU D J，ALEX K. A novel LBP-based color descriptor for face recognition，2017[C]//2017 IEEE International Conference on Acoustics，Speech and Signal Processing （ICASSP）. Shanghai：IEEE Conference Publications，2017：1857-1861.

[5] LEE D D，SEBASTIAN S H. Learning the parts of objects by non negative matrix factorization[J]. Nature，1999，401（6755）：788-791.

[6] LEE D D，SEBASTIAN S H. Algorithms for non negative matrix factorization[C]// Neural Information Processing Systems. 2000：556-562.

[7] LI S，HOU X W，ZHANG H J，et al. Learning spatially localized parts-bases representation[C]// Computer Vision and Pattern Recognition. 2001：1063-6919.

[8] WANG Y，JIA Y D，HU C B，et al. Fisher Non-negative Matrix Factorization for learning local features[C]// In Proc Asian Conf On Comp Vision. 2004：27-30.

[9] CAI D，HE X F，WU X Y，et al. Non-negative matrix factorization on manifold[C]// IEEE International Conference on Data Mining. 2008：63-72.

[10] 刘昱昊. 基于基于非负矩阵分解算法的人脸识别技术的研究[D]. 吉林：吉林大学. 2014.

[11] 杨宏伟. 基于非负矩阵分解的人脸识别研究[D]. 兰州：西北师范大学. 2015.

[12] LI B F，TANG Y D，HAN Z. Research on face recognition algorithm based on improved non negative matrix factorization[J]. Computer Simulation，2016，33（3）：428-432 .

[13] CHEN W S，ZHAN Y，PAN B，et al. Supervised kernel nonnegative matrix factorization for face recognition [J]. Neurocomputing，2016，205：165-181.

[14] BEZDEL J C. Pattern recognition with fuzzy objective function algorithms[M]. New York：Plenum，1981.

[15] WANG W N，ZHANG Y J，et al. 2006 6th World Congress on Intelligent Control and Automation：The Global Fuzzy c-means Clustering Algorithm，2006[C]// Dalian：IEEE Conference Publications，2006：3604-3607.

[16] ZARINBAL M，FAZEL Z M H，TURKSEN I B. Relative entropy fuzzy c-means clustering[J]. Information Sciences，2014，260：74-97.

[17] 鐘毅. 一种基于相关系数的模糊C均值聚类算法[J]. 软件产业与工程，2016（6）：50-53.

[18] PAL N R，BEZDEK J C. On cluster validity for the fuzzy C-means model[J]. IEEE Transactions on Fuzzy Systems，1995，3（3）：370-379.

[责任编辑 田 丰]