基于相关向量机的含噪声人脸图像识别

柳长源，毕晓君，韦 琦

（1.哈尔滨工程大学 信息与通信工程学院，哈尔滨 150001；2.哈尔滨理工大学 电气与电子工程学院 哈尔滨 150080）

目前人脸的特征提取最广泛而有效的方法是利用小波变换结合主成分分析的方法，从国际通用的标准ORL人脸库中提取特征信息，本文也沿用这一方法提取图像数据的分类特征，而对人脸图像识别过程采用了新的算法。

在人脸识别的几种方法当中，基于支持向量机（Support vector machine，SVM）算法的图像模式分类方法是近年来出现的一种行之有效、正确率和泛化性能均优于传统方法的一项技术［1－2］，目前已被广泛采用。但是，由于拍摄条件和设备的局限性，现场采集的待识别图像可能存在着一定的图像噪声，为了满足实际应用中的方便快捷要求，可提供机器学习和训练的人脸数据库中同一个人脸信息也不会太多（通常不超过10个同类图像），当待识别的样本图像存在噪声或训练样本较少时，基于SVM算法的人脸识别方法识别正确率会有显著下降。本文作者提出了一种基于相关向量机（Relevance vector machine，RVM）算法［3］的人脸识别方法，在小样本含噪声人脸图像识别中的准确性明显高于原来的方法。RVM算法在保持SVM算法良好泛化性能的情况下，解的稀疏性明显高于SVM，鲁棒性更好，在处理有噪声模式分类中表现更加良好［3］。RVM算法已在故障检测［4］、高光谱数据分析［5］、农作物生长预测［6］、电力负荷预测［7］、语音信号识别［8］等领域得到了初步应用，而在人脸识别技术中的应用尚未见报道。

本文采用RVM算法进行了人脸识别的研究，并对不同类型和强度下的图像噪声对识别正确率的影响进行了仿真实验分析，验证了新方法的优越性和可行性。

1 RVM算法介绍

RVM算法是Tipping在2000年最早提出的一种基于贝叶斯估计理论的机器学习方法［9］，适用于函数回归和模式分类问题。本文采用RVM算法对人脸图像进行分类，来替代原来的SVM算法。

对于二分类问题，设训练样本集合为 （xn，tn）（n＝1，2，…，N；x∈Rd；t∈ ｛0，1｝是类别标号），RVM的分类函数定义为:

式中:K（x，xi）是核函数；ωi是模型的权值。

将Logistic sigmoid连接函数σ（y）＝1／（1＋e－y）应用于y（x），则数据集的似然估计概率为

式中:t＝ （t1，…，tN）T；w＝ （ω0，…，ωN）T。

在贝叶斯框架下，权值w可通过极大似然法获得，但为避免过学习现象，RVM为每个权值定义了高斯先验概率分布来约束参数:

式中:α为N＋1维超参数。对每个权值引入超参数是RVM的重要特征，最终导致了算法的稀疏特性。

对于分类问题，无法解析计算出权值的后验概率，但可应用拉普拉斯理论作如下近似:对当前固定的α值，求最大可能权值wMP。因为p（w｜t，α）∝p（t｜w）p（w｜α），相当于求使式（3）式最大的wMP值。对式（3）采用二阶牛顿法求得wMP。

式中:yn＝σ｛y（xn；w）｝；A＝diag（α0，α1，…，αN）。

利用拉普拉斯方法，将对数后验概率进行二次逼近。将式（4）两次求导得出:

式中:Φ是N×（N＋1）的结构矩阵，即Φ＝［φ（x1），φ（x2），…，φ（xN）］Τ，φ（xn）＝ ［1，Κ（xn，x1），Κ（xn，x2），…，Κ（xn，xN）］Τ；Β ＝diag（β1，β2，…，βN）是一个对角阵，其中βn＝σ｛y （xn）｝［1－σ｛y （xn）｝］。对式（5）右边取负号再求逆，可得协方差矩阵Σ。

利用Σ和wMP，对超参数α进行更新，直到达到合适的收敛尺度。

式中:γi≡1－αiΣii，其中Σii是式（7）的第i个对角元素。

经过足够多的更新，许多αi会趋于无穷大，其对应的ωi为零，不为零的ωi所对应的训练样本为相关向量（Relevance vector，RV）。相应的基函数因此可以“修剪”，实现稀疏性。由相关向量确定的分类函数是一个高维“超平面”，把待测样本划分成两个区域，从而实现二类别模式识别问题。

2 基于RVM的人脸识别算法

2.1 总体框图

本文中实验样本取自标准ORL人脸库，实际应用中训练样本是根据具体应用提前建立的数据库，测试样本是现场提取的。

图1中小波变换和PCA算法是人脸识别中最典型的图像特征提取方法。

图1 RVM的人脸识别模型Fig.1 Face recognition model

2.2 小波变换

用二维小波变换（2Dwavelet transform）对人脸图像做分解可以得到4个分量:低频分量，高频水平分量、垂直分量和对角分量。其中低频分量集中了原始图像的大部分信息，而噪声分量的主要能量一般集中在对角分量中，因此忽略部分高频分量可以消除噪声［2］。

本实验对原始人脸图像进行2层小波分解，对一层小波分解的低频分量进行量化编码来代替原始人脸图像，将此编码后的矩阵作为特征提取的对象。

2.3 主成分分析

特征提取是人脸识别的重要组成部分之一。主成分分析（Primary component analysis，PCA）又称K－L变换，是一种很有效的图像特征提取方法［10－11］。主成分分析是数学上对数据降维的一种方法，其基本思想是:以最少的信息丢失为前提，将原来众多的具有一定相关性的指标X1，X2，…，XP（比如P个指标）重新组合成一组较少个数的互不相关的综合指标F1，F2，…，FM（M ≤P）。

假设每幅人脸图像由M×N个像素组成，将其每列相连构成一个D＝M×N维的列向量，D就是人脸图像向量的维数。人脸向量构成的样本集为 ｛x1，x2，…，xn｝，其中n是训练样本数，xj（j＝1，2，…，n）是第j幅人脸图像形成的人脸向量。任何一幅人脸图像都可以向特征子空间投影获得坐标系数，称为K－L分解系数。这组系数表明了该图像在子空间中的位置，从而可以作为人脸识别的依据。

2.4 将RVM用于人脸识别的方法

通过小波变换和PCA算法提出的特征向量用于RVM的分类信息，把提取的训练样本的分类信息进行RVM算法的训练，得到相关向量和超平面方程，把相关参数保存在程序文件中。再对待识别样本进行分类判断，输出分类结果，完成识别过程。

标准RVM算法每次只能区分两类样本，而人脸识别是一个多模式分类问题，人脸数据库中有多少个人，就要分多少类。在本文中对人脸库的40类样本进行识别。因此需要设计一种“一对一”分类器。该方法最早出现在SVM分类方法研究中［12］，在这里把它移植到RVM分类中同样有效。该方法是对各模式类中每两类样本都设计一个二分类RVM模型，所有40类样本两两比较区分。这样区分k个类别共需要设计k（k－1）／2个RVM分类器。当需要对一个新的测试样本进行分类时，首先要利用训练样本对所有k（k－1）个RVM模型进行训练，每一个RVM模型训练后立即对测试样本进行判别，对它所隶属的类别更接近两类中的哪一类进行投票。全部比较完毕后累计各类获得票数相加。如果待测试样本属于第i个类别，那么第i类将获得最多的票数，最终将票数最多的类判断为此测试样本的类别。例如，当分类数k＝5时，需要5×（5－1）／2＝10次比较。如图2所示。

图2 “一对一”算法5分类过程Fig.2 Five classifier based on“one against one”algorithm

因为每个类别都参与了k－1次比较，从理论上讲，如果每次判别结果都正确没有误差，那么待测试样本所在的模式类应该得到k－1票。其他类别在与正确类比较时得不到票数，但与其他不相关的类别比较时，得票被分散在各类中，任意两个不相关类得票概率相同，每类平均得票数应该在（k－2）／2左右，当k比较大时，即使有一小部分RVM分类器输出错误结果，也能使正确类别得到最多的投票数。这种方法在类别数很多时也能很好地保证准确性（识别正确率基本不随类别数变化），不仅分类精度高，鲁棒性也很好。

3 实验仿真

3.1 标准ORL人脸库人脸图像识别对比实验

为了验证本文提出的采用RVM算法替代SVM算法进行人脸识别的效果，做了多组仿真实验。所有实验在硬件配置为Intel Centrino Duo，T7250CPU、2G内存、2.7GHz主频的计算机上进行，程序采用 MATLAB 7.6.0（R2008a）编写。

采用 ORL（Olivetti research laboratory）标准人脸库中的图像作为分类识别对象［13］。ORL人脸库是由英国剑桥Olivetti实验室从1992年到1994年期间拍摄的一系列人脸图像组成，共有40个不同年龄、不同性别和不同种族的样本。每个样本由10幅图像组成共计400幅灰度图像，图像尺寸是92×112像素，背景为黑色。其中人脸部分表情和细节均有变化，如笑与不笑、眼睛睁或闭，戴或不戴眼镜等，人脸姿态也有变化，其深度旋转和平面旋转可达20°，人脸尺寸也有最多10%的变化。该库是目前使用最广泛的标准数据库。图3为ORL人脸库图像示例。

图3 ORL人脸库图像示例Fig.3 Example of images of ORL face database

训练样本个数对人脸识别正确率有很大影响，为了便于比较，本实验所有数据均选用每类人脸图像的前5幅作为训练样本，后5幅作为测试样本，即200个训练样本，200个测试样本。每次从测试样本中随机选取一幅图片作为测试图片来进行人脸识别，为保证统计的正确率，取100次识别结果进行一次实验数据统计，记录10次独立实验的正确率，并将实验结果与基于SVM分类器进行的人脸识别分类效果进行了比较，仿真结果见表1。

表1中的实验结果表明，本文算法（小波分解＋PCA＋RVM）的平均识别率是90.1%，高于小波分解＋PCA＋SVM算法的平均识别率（86.7%）。

表1 RVM算法与SVM算法识别正确率的比较Table 1 Correct rate of RVM comparison with SVM

虽然两种算法的最高正确率相差只有一个百分点，但基于RVM算法的10次实验的正确率最大值与最小值偏差为5%，而基于SVM算法的最大偏差为13%。前者的均方误差也比后者小很多。这表明基于RVM识别的鲁棒性明显好于SVM识别的鲁棒性，RVM算法用于人脸图像识别的可靠性更强。

3.2 含噪声人脸图像识别对比实验

有时得到的照片不是可以忽略噪声的标准图像。在图像预处理中采用的小波变换＋PCA算法可以滤除大部分常见的图像噪声，如高斯白噪声。但在后面的仿真试验中可以看到，当随机噪声和椒盐噪声的强度较大时，传统的人脸图像识别方法识别准确性仍会有明显下降。但本文采用的基于RVM算法的新方法则对这类噪声不敏感。

3.2.1 随机噪声对人脸识别的影响

加20%随机噪声前后的图像对比见图4。采用两种不同方法得到的实验数据对比如图5所示。

3.2.2 椒盐噪声对人脸识别的影响

加10%椒盐噪声前后的图像对比见图6。采用两种不同方法得到的实验数据对比见图7。

3.2.3 混合噪声对人脸识别的影响

图4 加入0.2强度的随机噪声的人脸图像Fig.4 Face images with 0.2intensity random noise

图5 加入不同强度的随机噪声的人脸识别实验Fig.5 Face recognition experiment with different intensity random noise

图6 加入0.1强度的椒盐噪声的人脸图像Fig.6 Face images with 0.1intensity salt and pepper noise

同时加10%随机噪声和5%椒盐噪声前后的图像对比如图8所示。采用两种不同方法得到的实验数据对比见图9。

混合噪声实验中的强度数值是两类噪声强度相等时的平均百分比。如强度“0.15”是指同时存在强度为15%的随机噪声和强度为15%的椒盐噪声。

通过上面的三组实验可以发现，基于RVM算法的人脸识别系统与基于SVM算法的人脸识别系统相比，前者的对各类噪声的不敏感程度均高于后者。当噪声强度增加时，新方法在图像识别准确性方面的优势表现尤其明显。

图7 加入不同强度的椒盐噪声的人脸识别实验Fig.7 Face recognition experiment with different intensity salt and pepper noise

图8 加入0.1强度的混合噪声的人脸图像Fig.8 Face images with 0.1intensity mixed noise

图9 加入不同强度的混合噪声的人脸识别实验Fig.9 Face recognition experiment with different intensity mixed noise

4 结束语

把相关向量机理论应用于人脸识别系统，在被识别对象中加入不同类型和强度的噪声并与原有的支持向量机方法进行了比较。大量的仿真实验数据表明，相对于原有的基于SVM算法的人脸识别系统，本文提出的基于RVM算法的人脸识别系统在识别准确率、鲁棒性及对图像噪声的不敏感性等方面均有一定的优势，该方法具有一定的应用价值和可推广性。

［1］谢赛琴，沈福明，邱雪娜.基于支持向量机的人脸识别方法［J］.计算机工程，2009，35（16）:186－188.Xie Sai－qin，Shen Fu－ming，Qiu Xue－na.Face recognition method based on support vector machine［J］.Computer Engineering，2009，35（16）:186－188.

［2］聂会星，梁坤，徐枞巍.基于小波变换和支持向量机的人脸识别研究［J］.合肥工业大学学报，2011，34（2）:208－211.Nie Hui－xing，Liang Kun，Xu Zong－wei.Face recognition based on wavelet transform and support vector machine［J］.Journal of Hefei University of Technology（Natural Science Edition），2011，34（2）:208－211.

［3］Psorakis Ioannis，Damoulas Theodoros，Girolami Mark A.Multiclass relevance vector machines:sparsity and accuracy［J］.IEEE Transactions on Neural Networks，2010，21（10）:1588－1598.

［4］陶新民，徐晶，杜宝祥，等.基于相空间RVM的轴承故障检测方法［J］.振动与冲击，2007，25（12）:1－7.Tao Xin－min，Xu Jing，Du Bao－xiang，et al.Bearing fault detection based on RVM using phase space［J］.Journal of Vibration and Shock，2007，25（12）:1－7.

［5］殷岳萌，冯燕，刘萌萌.基于相关向量机和独立分量分析的高光谱数据分类［J］.现代电子技术，2010（13）:123－126.Yin Yue－meng，Feng Yan，Liu Meng－meng.Classification for hyperspectral data based on independent component analysis and relevance vector machine［J］.Modern Electronics Technique，2010（13）:123－126.

［6］詹环，董玉才，赵海清，等.基于相关向量机的大豆生长发育阶段预测［J］.嘉应学院学报:自然科学，2010，28（5）:27－30.Zhan Huan，Dong Yu－cai，Zhao Hai－qing，et al.Prediction of soybean growth and development sta－ges based on relevance vector machine［J］.Journal of Jiaying University（Natural Science），2010，28（5）:27－30.

［7］刘遵雄，张德运，孙钦东，等.基于相关向量机的电力负荷中期预测［J］.西安交通大学学报，2004，38（10）:1005－1008.Liu Zun－xiong，Zhang De－yun，Sun Qin－dong，et al.Mid－term electric load prediction based on the relevance vector machine［J］.Journal of Xi＇an Jiaotong University，2004，38（10）:1005－1008.

［8］杨成福，章毅.相关向量机及在说话人识别应用中的研究［J］.电子科技大学学报，2010，39（2）:311－315.Yang Cheng－fu，Zhang Yi.Study on speaker recognition using RVM［J］.Journal of University of Electronic Science and Technology of China，2010，39（2）:311－315.

［9］Tipping M.Sparse Bayesian learning and the relevance vector machine［J］.Machine Learning Research，2001:211－244.

［10］Zeng Yang－yan，Ye Bo－long.The face of the feature extraction and detection based on PCA［J］.Computer Knowledge and Technology，2008（4）:742－744.

［11］陶晓燕，刘振霞，王元一.基于小波子带的PCA人脸识别方法研究［J］.空军工程大学学报:自然科学版，2004，5（3）:65－67.Tao Xiao－yan，Liu Zhen－xia，Wang Yuan－yi.Face recognition using PCA based on wavelet subband［J］.Journal of Air Force Engineering University（Natural Science Edition），2004，5（3）:65－67.

［12］Krebel U.Pairwise classification and support vector machines［C］∥Scholkopf B，Burges C J C，Smola A J eds，Advances in Kernel Methods:Support Vector Learning，The MIT Press，Cambridge，MA，1999:255－268.

［13］ORL人脸数据库.［DB／OL］.［2012－09－30］.http:／／download.csdn.net／detail／kyszp123／1583590.