基于稀疏表示和支持向量机的人脸识别算法

徐静妹，李 雷

(南京邮电大学，江苏 南京 210023)

0 引 言

自动人脸识别技术是近年来学术界一直关注的焦点，广泛应用于身份认证系统、视频监控系统以及图像检索应用，比如现场监控、城市安全、休闲娱乐等[1]。

人脸识别的基本步骤包括图像预处理，特征选择和提取，分类和评价。从图片或视频传感器中采集的原始图像首先要经过预处理，以便适合于特征提取。特征选择和提取主要分为两种方法：整体方法和局部方法。一般来说，整体方法包括基于主成分分析的方法(PCA)[2-4]、线性判别分析(LDA)[5-7]等；局部方法包括基于小波分析的方法[8-9]、保投影(LPP)[10]等。在关键特征提取完成后，再通过分类获得识别结果。分类识别根据是否学习可分为三种方法：监督学习、半监督学习以及无监督学习[11]。目前监督和无监督聚类方法已被开发应用于人脸识别。其中基于监督学习的分类主要有两种方法，一种是基于贝叶斯理论的方法，包括有参数和无参数两种类型。高斯混合模型、隐马尔可夫模型、主成分分析、多元判别分析(MDA)等都属于参数化方法；最近邻估计(NN)、K-邻近估计(KNN)[12]、最近子空间(NS)等都属于无参数方法。另一种方法是判别分析，又分为线性和非线性方法。针对线性问题，Fisher判别技术和支持向量机(SVM)是已知比较好的方法[13]。近年来，随着压缩感知理论的诞生，Wright等[14]也提出了一种人脸识别中典型的全局线性方法-基于稀疏表示的分类算法(SRC)。

可以看出用于人脸识别的方法有多种，理论上说，一些方法可以组合应用于人脸识别。例如，Gabor，PCA，LPP等往往会与分类方法相结合，比如神经网络、支持向量机、核函数方法等。文中即采用这种组合，由于基于稀疏表示的人脸识别准则是重构残差最小，对于一个测试样本，需要计算其与其他每一个样本的相似度，识别效率低。针对这个缺点，提出将支持向量机作为最后分类的工具，这样就将SRC和SVM组合形成一种新的人脸识别方法，并且，文中对选用的SRC算法又做了一定的改进。

1 基于SRC的人脸识别

1.1 基于稀疏表示的人脸识别模型

SRC是人脸识别中一种典型算法。该算法不考虑样本的局部信息而是考虑整体信息，假设测试样本可近似表示为所有训练样本的线性组合，每个训练样本的像素信息转换成列向量从而组成训练矩阵。由于CS的非自适应性，投影训练矩阵的正交基可以得到稀疏矩阵，并且不会影响原问题的解决。这个稀疏矩阵就是对训练图像的稀疏表示，也称为测量矩阵。SRC算法的步骤如下：

(1)训练样本矩阵A=[A1,A2,…,Ak]∈Rm×n，测试样本y∈Rm作为算法的输入。

(2)对矩阵A的列进行规范化，得到L2范数。

(3)求解L1范数问题。

(1)

或者作替换求解：

(2)

(4)计算残差。

(3)

(5)输出(y)=argminiri(y)。

上述算法是在理想的情况下得到的，而在测试图像被部分损坏或遮挡的情况下，将式(1)修改为：

(4)

其中，e0∈Rm为一个具有非零元素的误差向量。这个误差不可忽略。通常，e0可假设为对一些基Ae∈Rm×n的一个稀疏表示。那么式(4)可修改为：

(5)

方程(5)可以转换为一个扩展的L1范数最小化问题：

(6)

式(3)修改为：

(7)

1.2 SRC的求解方法

1.2.1梯度投影法(GPSR)

梯度投影法[15]属于凸优化方法，采用拉格朗日算法解决式(1)中的最小L1范数问题，其中λ是拉格朗日乘数。则问题可以转化为：

λ‖x‖1

(8)

运用截断牛顿内点方法(TNIPM)即L1LS算法，求解这个二次规划问题。那么，式(8)可以转化为一个不等式约束的二次规划问题：

(9)

其中，通过对数栅栏函数构造约束条件-ui≤xi≤ui的误差部分：

(10)

在(x,u)域上，可以得到最小值(x*(t),u*(t))的凸函数为：

(11)

其中，参数t∈[0,∞)。

利用最小化标准的内点法来计算上式优化后的搜索梯度方向。

(12)

从而可以很容易根据这个优化后的搜索梯度方向再求得稀疏表示的稀疏系数。

1.2.2正交匹配追踪法(OMP)

正交匹配追踪法[16]属于贪婪算法，其主要思路为：在每次迭代过程中，从观测矩阵Φ的列向量中选出与当前冗余向量最相关的列，并将其从测量向量中减去，然后进行下一次迭代，直到迭代次数达到所需的稀疏度为止。在此过程中，所选择的列要尽可能正交。OMP这一特点加速了残差值收敛的速度，并减少了算法迭代的次数。

算法步骤如下：

输入：测量矩阵Φ，采样向量y，稀疏度K

(2)更新索引集Λt=Λt-1∪{λt}，记录找到的测量矩阵中的重建原子集合Φt=[Φt-1,φλt]；

(5)判断是否满足t>K，若满足，则停止迭代；若不满足，则执行(1)。

在具体实现中，OMP算法的运行速度要比基于最小L1范数的凸优化算法的运行速度快，因此文中选取OMP算法求解人脸图像的稀疏表示。

2 基于SVM的多分类方法

2.1 二分类支持向量机

假设已知训练样本为{xi,yi}，其中yi=±l,i=1,2,…,l，xi为向量机输入，l为样本数，yi=1时为正常，yi=-1时为异常。SVM目标就是寻求这样一个最优分类超平面使其w·x+b=0，对于训练样本需要满足：

yi[w·x+b]-1≥0

(13)

式(13)可以转化为二次规划问题：

(14)

其中，C为惩罚因子；ξi为松弛因子。

利用拉格朗日乘数法可将式(14)转化为求它的对偶问题：

(15)

(16)

其中，K(x,xi)表示一个核函数；sgn(g)表示符号函数。

2.2 一对多分类法

“一对多”算法，即第n个分类器为解，由第n类样本集合和剩下的n-1类样本集合全体构成两类问题得到，这样就需要构造n个分类器，然后对于一个测试样本进行分类识别。

该算法的数学模型如下[17]：

(18)

决策函数为：

fi(x)=[(ωi)Tφ(x)+bi],i=1,2,…,M

(19)

2.3 一对一分类法

该算法的数学模型如下：

(20)

决策函数为：

Fij(x)=[(ωij)Tφ(x)+bij],i=1,2,…,M,

j=i+1,…,M

(21)

3 文中方法-基于SRC和SVM的人脸识别

基于稀疏表示分类的人脸识别是将人脸图像数据直接作为稀疏表示的过完备字典，计算量大、冗余信息多。针对这个缺点，文中提出用KPCA提取后的人脸特征信息作为稀疏表示的过完备字典，大大降低了计算成本，但是求解稀疏表示模型的方法选取的是梯度投影方法,发现求得的测试样本稀疏系数中，非零系数会出现在非样本所在类，影响了识别效果。针对这个缺点，提出用正交匹配追踪法(OMP)求解稀疏表示模型。该算法可以通过设置稀疏阈值来控制稀疏系数的稀疏度，在非样本对应类出现的就都是零了；此外，基于稀疏表示分类的人脸识别的识别准则是重构残差最小，对于一个测试样本，需要计算其与其他每一个样本的相似度，识别效率低。针对这个缺点，提出将支持向量机作为最后分类的工具，实验结果表明，可以提高人脸识别的速度和准确率。

综上，提出了结合稀疏表示和支持向量机的人脸识别方法，具体实现流程如图1所示。

图1 人脸识别实现流程

具体步骤如下：

(3)训练：将训练集中的每个样本用A稀疏表示，通过OMP算法求解稀疏系数，作为训练数据集train-s，然后使用Libsvm工具箱中的svmtrain函数进行训练；

(4)测试：将测试集中的一个样本通过上述步骤得到测试样本特征y,用步骤(3)训练得到的SVM，使用函数svmpredict进行预测，得到分类识别结果。

4 实 验

4.1 实验数据及预处理

选取的人脸数据库为ORL数据库，它包含40个不同的人，每个人取十幅不同的图像。分别在不同的时间、不同的照明情况，面部表情(睁/闭眼，笑/不笑)，面部细节(眼镜/无眼镜)下进行图像采集。所有的人脸图像都是在一个黑暗的均匀背景下拍摄的，拍摄的人要坐直，并拍摄他们的正面图像(可以接受一点点侧向移动)。实验环境为64位Win7系统，使用的工具是MATLAB。选取的多分类支持向量机模型为Libsvm工具箱中的一对一分类支持向量机。

采用MATLAB中的小波工具箱，将原来112*92的图片压缩成为28*23的图片，压缩后的部分人脸如图2所示。

根据之前的实验基础，在KPCA特征提取时，选取高斯核函数的效果较好，选取的参数σ2=104。

图2 ORL库压缩后部分人脸图像

4.2 实验结果及分析

实验中，将文中方法与单纯使用SRC方法、单纯使用SVM方法的人脸识别正确率进行对比分析。

(1)特征值数量L对识别率的影响。

理论上说，在KPCA特征提取过程中，提取的L越多，代表的人脸信息就越丰富，人脸识别率也就越高。所以实验选取了不同的L值来观察其对人脸识别率的影响，结果如图3所示。

图3 识别率与特征值数量关系曲线

观察图3发现，从横向上来看，L越大，识别率越高，但是在L=150之后的上升趋势减小，而在125到150之间，识别率有明显的上升，虽然150到200之间的识别率仍有上升，但综合考虑实验运行时间，选取L=150继续后面的实验；而从纵向上来看，可以发现文中方法明显优于稀疏表示分类和支持向量机分类。因此，实验证明文中方法可以提高人脸识别的效率。

(2)稀疏阈值K对识别率的影响。

理论上说，求解稀疏表示模型所得到的稀疏系数中，非零系数应该出现在样本所在类，其他类对应的系数中应该都为零。在选取求解稀疏系数方法时就要考虑这个问题，文献[6]中选取的方法为GPSR法，但在求得的稀疏系数中，非零系数不止出现在样本所在类，这就影响了识别效果。所以文中选取OMP算法求解稀疏表示模型，优点就是可以设置稀疏系数的稀疏度K，使得非零系数尽量只出现在对应类中。这个K值实际上就是所选取的训练样本数，K不同，过完备字典的大小就不同，识别率也就有所不同。因此实验设置了不同的K值来观察稀疏度对识别率的影响，结果如表1所示(此时L=150)。

表1 稀疏度与识别率关系

观察表1可以发现，随着K的增大，过完备字典也越来越大，识别效果也是越来越好。这是因为随着训练样本的增多，过完备字典中的原子也随之增加，每个样本能更充分地表示成过完备字典的线性组合，训练出来的支持向量机识别率更高；因此表明文中方法的识别率有了一定的提高。

5 结束语

文中提出了一种结合稀疏表示和支持向量机的人脸识别方法，探究了特征值数量和稀疏系数的稀疏度与人脸识别率的关系，并与传统的稀疏表示分类方法和支持向量机方法进行了对比。实验结果表明，该方法具有一定的优越性。由于选取的人脸都为静态图像，而实际操作中大多为动态图像或者视频流，因此下一步将对此作进一步的研究。

[1] TIAN Q,WU J.A review on face recognition based on compressive sensing[J].IETE Technical Review,2013,30(5):427-438.

[2] AKBARI R, MOZAFFARI S. Performance enhancement of PCA-based face recognition system via gender classification method[C]//6th Iranian machine vision and image processing.Isfahan:IEEE,2010.

[3] ZHENG M,XU Z,YU T,et al.New modified algorithm of PCA face recognition[C]//IEEE international conference on oxide materials for electronic engineering.Lviv,Ukraine:IEEE,2012:121-124.

[4] MALLIPEDDI R,LEE M.Ensemble based face recognition using discriminant PCA features[C]//IEEE congress on evolutionary computation.Brisbane:IEEE,2012.

[5] LIAO P, LIU J,WANG M, et al. Ensemble local fractional LDA for face recognition[C]//IEEE international conference on computer science & automation engineering.Zhangjiajie:IEEE,2012.

[6] ZHAO X,EVANS N,DUGELAY J C.Semi-supervised face recognition with LDA self-training[C]//IEEE international conference on image processing.Brussels:IEEE,2011.

[7] LI Y.2D face recognition based on RL-LDA learning from 3D model[C]//International conference on uncertainty reasoning & knowledge engineering.Jalarta:IEEE,2012.

[8] 闫 河,王 朴,刘 婕,等.自适应加权多尺度LTP的人脸识别[J].计算机工程与设计,2016,37(4):1027-1031.

[9] 余 嘉,方 杰,许 可.基于加权小波的DCT人脸识别算法研究[J].计算机工程与应用,2012,48(17):199-202.

[10] 刘 君,黄燕琪,熊邦书.融合核主成分分析和最小距离鉴别投影的人脸识别算法[J].计算机工程,2016,42(4):221-225.

[11] 冯 姝.无监督局部特征学习的鲁棒性人脸识别[J].计算机应用,2017,37(2):512-516.

[12] 夏佩佩，张 莉.一种相似性学习算法及其在人脸识别中的应用[J].计算机工程,2014，40(6)：175-179.

[13] 吴 青,梁 勃,王 婉,等.多分类光滑支持向量机的人脸识别方法[J].计算机应用,2015,35:122-126.

[14] WRIGHT J,YANG A Y,GANES H A,er al.Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(2):210-227.

[15] 尹贺峰,吴小俊,陈素根.改进的局部稀疏表示分类算法及其在人脸识别中的应用[J].计算机科学,2015,42(8):48-51.

[16] 石光明,刘丹华,高大化,等.压缩感知理论及其研究进展[J].电子学报,2009，37(5):1070-1081.

[17] 苏晓伟.基于多分类支持向量机的模式识别研究[J].计算机与数字工程,2015,43(7):1202-1206.