基于混合核函数的支持向量机在人脸识别中的应用研究

房 菲，赵犁丰

（中国海洋大学 山东 青岛 266100）

支持向量机（Support Vector Machine，SVM）[1]是由Vapnik等人在统计学习理论的基础之上发提出的一种新型机器学习方法，解决了传统学习方法中的“维数问题”，对样本依赖小，其解全局最优且泛化能力强，在解决非线性、有限样本、回归估计和高维的分类等问题中表现出特有的优势，并且不存在局部最小点问题，解决了神经网络等机器学习问题涉及到的过学习、局部最小点等问题。支持向量机现已被广泛应用于模式识别和预测的领域。

利用支持向量机实现分类，首先要从原始空间中抽取特征，将原始空间中的样本映射为高维特征空间中的一个向量，以解决原始空间中线性不可分的问题，因此，SVM可以处理线性不可分的问题。SVM能够推广到函数拟合等其它机器学习问题中，所以将其作为人脸特征分类器是也是一种合理的选择。但是，在实际应用中，支持向量机的泛化性能取决于其核函数的类型、核函数的参数以及惩罚系数C。所以，核函数的选取成为SVM的技术关键。

人脸识别（Face Recognition）是利用计算机对人脸图像进行特征提取和识别的模式识别技术[2-4]。人脸是非刚体，形变大，而且光照、年龄、毛发等因素使得人脸模式具有很强的高维非线性特性，在实际条件下通常不能采集到大量的图像样本，这决定了人脸识别是小样本、非线性、高维问题。所以，基于SVM的人脸识别算法具有很好的特性。本文主要讨论支持向量机的多项式核函数和高斯核函数及二者构成的混合核函数的参数寻优和对应的识别率，通过对比仿真实验证明混合核函数在人脸识别中具有较高的识别率。

1 支持向量机

SVM方法是在统计学习理论之上的一种机器学习方法，它建立在VC理论和结构风险最小化原理基础上，根据有限样本信息在模型的复杂性和学习能力之间寻求最佳折中，以期获得更好的泛化能力。用SVM算法来估计回归函数时，其基本思想就是通过一个非线性映射φ，把输入空间的数据x映射到一个高维特征空间中，然后在这一高维空间中作线性回归，使得不仅能够把两类分开，而且使两类的分类间隔最大。

设样本集为G={（xi，yi）}，i=1，…，n，其中，x∈Rn是输入向量，对于二分类问题，y∈{-1，1}，约束条件：

这样，（w，b）定义了一个超平面，此时的分类间隔为2/‖w‖2。当此间隔最大等价于最小化‖w‖2/2，同时满足上述约束条件，则体现了SVM最大间隔的思想。

由最佳（w，b）问题归结出的二次规划问题可由Lagrange方法求解，函数如下：

其中，αi为每个样本对应的Lagrange乘子。将上式分别w，b求偏微分，可得：

对于非线性问题，可以通过非线性变换转化为某个高维空间中的线性问题，在变换空间中求得最优分类面，支持向量机对于此类的非线性变换，采用核函数的思想来实现高维空间的点积。式（7）中K（x，xi）称为核函数，核函数的值等于两个向量x和xi，在其特征空间φ（x）和φ（xi）中的内积。任何函数只要满足Mercer条件[5]都可用做核函数，采用不同的函数作为核函数，可以构造实现输入空间中不同类型的非线性决策面的学习机器。

2 核函数

2.1 常用核函数

核函数的引入使SVM得以实用化，因为它避免了显示高维空间中向量内积而造成的大量运算。目前研究最多的核函数主要有4种：

1）高斯核函数

高斯核函数又称为高斯径向基核函数。由于其特征空间为无限维的特点，理论上任何分类数据集总能用高斯核来区分。也正是该原因，高斯核为支持向量机中应用最广泛的核函数。

2）多项式核函数

当λ＞0时称为非齐次多项式核函数；当λ=0时为齐次多项式核函数。多项式核函数的实质是衍生多项式核函数的一种特殊情况。

3）Sigmoid核函数

4）傅立叶核函数

文中主要介绍高斯核函数、多项式核函数及二者构成的混合核函数。

2.2 混合核函数

在支持向量机中，通常所选的核函数必须满足Mercer条件。核函数的类型有许多，归结起来，核函数有两种主要类型，即：局部性核函数和全局性核函数。局部性核函数插值能力较强，比较善于提取样本的局部特性，因此，仅仅在测试点附近小领域类对数据点有影响。高斯核函数属于典型的局部核函数。相对局部核函数而言，全局核函数是一种插值能力较弱，善于提取样本全局特性的函数。多项式核函数就是一种全局核函数。

因为局部性核函数学习能力强、泛化性能较弱，而全局性核函数泛化性能强、学习能力较弱，因此考虑把这两类核函数混合起来构成混合核函数[6]：

其中，Kgauss（x，xi）表示高斯核函数，Kpoly（x，xi）表示多项式核函数。当m=0时，混合核函数退化为多项式核函数，当m=1时，混合核函数退化为高斯核函数。

3 仿真实验

3.1 实验过程

本文实验数据来自MIT-CBCL人脸数据库，实验在MATLAB 7.1平台下编写了基于主成分分析法 （PCA）[7]和SVM的人脸识别系统，并结合libsvm工具包进行实验[8]。实验步骤如下：

1）采集人脸图像，选取训练样本和测试样本；

2）采用主成分分析法对训练样本进行特征提取，同时达到降维的目的；

3）将人脸特征向量作为SVM分类器的输入，利用参数优化后的SVM分类器并进行训练；

4）测试样本进入SVM分类器中进行分类识别。

3.2 参数优化

以高斯核函数为例，设参数gamma=21σ2，对参数gamma和惩罚系数C进行参数优化，得到在gamma=0.1，C=10的条件下，人脸识别率最高达到86%。

3.3 实验结果及分析

本文采用了多项式核函数、高斯核函数和混合核函数构成的3种分类器进行实验，通过参数优化得到了最优参数和对应的最佳识别率如表1所示。从实验数据中可以看出，高斯核函数的训练速度和识别率明显优于多项式核函数。混合核函数插值能力较强，并善于提取样本的全局特性，使得其在人脸识别中的取得了更高的识别率，证明了混合核函数比其他单核函数具有优越性。

表1 3种分类器对应的最优参数和识别率Tab.1 Optimal parameters of three classifiers

图1 参数优化结果3D视图Fig.1 3D view of parameters optimization

图2 参数优化结果等高线视图Fig.2 Contour map of parameters optimization

4 结束语

本文主要采用单核和混合核函数SVM方法进行人脸识别研究，将学习能力强、泛化能力弱的局部性核函数与泛化能力强、学习能力弱的全局性核函数结合起来构成了混合核函数，并将SVM推广到人脸识别中这一典型的多分类问题中，通过仿真实验证明了混合核函数支持向量机在解决小样本及多分类问题上的优越性。

[1]VAPNIK V N.The nature of statistical learning theory[M].New York：Springer Verlag，1995：4－80.

[2]Yang M H，Kriegman D and Senior A N.Detecting faces in images：a survey[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（1）：34－58.

[3]刘向东，陈兆乾.基于支持向量机方法的人脸识别研究[J].小型微型计算机系统，2004，25（12）：2261－2263.LIU Xiang-dong，Chen Zhao-qian.Face recognition based on support vector machines[J].Mini-Micro Systems，2004，25（12）：2261－2263.

[4]Bledsoe W.Man-machine facial recognition[R].Panoramic Research Inc.Palo Alto，CA，1966：22.

[5]邓乃扬，田英杰.数据挖掘中的新方法支持向量机[M].北京：科学出版社，2004.

[6]ZHANG Sheng，LIU Jian，TIAN Jin-wen.A SVM-based small target segmentation and clustering approach[C]//Proceedings of the Third International Conference on Machine Learning and Cybernetics，Shanghai：IEEE，2004：3318－3323.

[7]Turk M，Pentland A.Eigenfaces for Recognition[J].Cognitive Neuroscience J.1991，3（1）：71－86.

[8]libsvm－3.1－FarutoUltimate3.1Mcode[EB/OL].http：//www.matlabsky.com/thread－17936－1－1.html.