基于Fisher的线性判别回归分类算法

曾贤灏，石全民（.兰州工业学院电子信息工程学院；.兰州工业学院软件工程学院，兰州730050）

基于Fisher的线性判别回归分类算法

曾贤灏1，石全民2
（1.兰州工业学院电子信息工程学院；2.兰州工业学院软件工程学院，兰州730050）

为了提高线性回归分类（LRC）算法的鲁棒性，提出了一种基于Fisher准则的线性判别回归分类算法。利用Fisher准则将类间与类内重建误差的比值最大化，找到线性回归分类的最优投影矩阵；再将训练图像及测试图像投影到各类的特征子空间；求得各训练图像与测试图像间的欧氏距离，最后用K-近邻分类器完成人脸识别。在AR人脸数据库上的实验结果表明，相比其他回归分类算法，算法取得了更好的识别效果。

人脸识别；Fisher准则；线性判别；线性回归分类；K-近邻分类器

0　引言

人脸识别系统[1,2]常使用人脸图像来识别特定身份，已被广泛应用于生物特征认证之中，有视频监控和访问控制等。已有的人脸识别方法基本上都是从静态图像或者视频图像中进行识别，主要有主成分分析(Principal Component Analysis,PCA)[3]、独立成分分析(Independent Component Analysis,ICA)[4]和线性判别分析(Linear Discriminant Analysis, LDA)[5]，这些方法都试图使用降维技术来找到一个低维子空间，从而实现有效人脸识别。文献[6]提出了一种线性回归分类算法（Linear Regression Classification,LRC），假设指定的人脸图像类属于一个线性子空间，利用最小二乘法估算回归系数，由原向量和投影向量间的最小距离决定最终判别值，而未将类间信息考虑进去。而且LRC算法执行前使用PCA最大化总（类内和类间）散列矩阵，不能保证LRC的良好性能。

本文提出了一种基于Fisher准则的线性判别回归分类(Linear Discriminant Regression Classifica⁃tion based on Fisher Criterion,FC-LDRC)算法，以期提高线性回归分类用于人脸分类的鲁棒性。

1　线性回归分类

假设有自第i个类的pi个训练图像i=1,2,...,N，若将图像投影到人脸空间上，用矩阵W表示所有来自N个对象的特征向量，即W=[W1,...,Wi,...,WN]，再将有关类成员列向量wi,j组成集合，对于第i个类，有：

式中，每个向量是大小为L×1的列向量，在训练阶段，第i类用向量空间Wi表示，称为每个对象的预测器。

若y属于第i类，它可由第i类训练图像的一个线性组合表示：

式中，βi∈Rpi×l为回归参数的向量，为误差向量。线性回归的目标是找到最小的误差，即：

线性回归的目的是找到源向量和投影向量间的最小距离，若源向量是类i的子空间，预测向量就是最接近源向量的向量。计算源向量和预测响应向量之间的欧氏距离即可确认类别身份i*，即：

2　识别模型与算法设计

已知一组训练图像M，每个图像的灰度大小为a×b，用vm∈Ra×b表示，m=1,2,...,M。取每个图像的列向量xm∈RL×1，其中，L=a×b。叠加所有xm，所得数据即X=[x1,...,xm,...,xM]∈RL×M，相应的类标签xm记作l(xm∈{1,2,...,c})，其中，c为类的总数。

2.1基于Fisher准则的线性判别回归分类

根据Fisher准则，最大化LRC的类间重建误差(BCRE)与类内重建误差(WCRE)之间的比值后可以找到一个最优的投影，能够使LRC在最优子空间具有较好的分类判别率。因此，可将本文算法最大化给定的目标函数表示为：

式中，U为想要估计的最优投影矩阵，EBC为由LRC引起的类间重建误差，EWC为由LRC引起的类内重建误差。因此，只要找到一个从源空间xm到子空间ym=UTxm的最优映射U=[u1,...,un,...,ud]，再利用特定位于某个线性子空间的对象的采样值设计线性判别回归分类算法，记作l(xm)=l(ym)，用特征向量估计每个类i的特定类投影矩阵

目标函数可变形为：

化简得：

式中，Eb和Eω分别为由LRC得到的类间重建误差矩阵和类内重建误差矩阵，有

因此目标函数可简化为

因为LRC引起的内部类重建误差的每个类的样本数可能会小于样本空间的维度，这通常被称为“小样本”问题，为此加入不影响子空间的项εI，目标函数式(12)变换为

式中，ε为一个很小的正数，I为单位矩阵。在式(13)分母保持恒定的时最大化分子，目标函数可改写为如下约束优化问题：

式中，κ为一个常数。所以式(14)可以使用拉格朗日乘数法求解。通过求解广义特征值问题可以得到变换矩阵U=[u1,...,un,...,ud]：

式中，λl≥…≥λκ…≥λd

2.2识别过程

算法包括训练和测试两个阶段，分别表示如下：

1)训练阶段

步骤1：给定一个人脸图像的向量训练集，利用公式（15）得到一个最优投影矩阵U；

步骤2：利用估计特征向量ym=UTxm将每个训练图像向量转换为特征向量；

步骤3：计算出每个类的特定类投影矩阵Hi。

2)测试阶段

步骤1：利用训练阶段得到的投影矩阵U将每个测试人脸图像向量转换为特征向量；

步骤2：利用公式(4)将特征向量投影到第i类子空间；

步骤3：利用公式(5)计算测试样本到各个训练样本间的欧氏距离；

步骤4：利用K-近邻分类器完成人脸识别。

3　实验

将算法FC-LDRC、本征脸[1]、Fisher脸[5]、LRC[6]、RLRC[7]、IPCRC[8]的性能在著名的人脸数据库AR上进行了比较。实验所用算法在个人计算机上使用MATLAB7.0软件编程实现，个人计算机配置：Win⁃dows XP操作系统、迅驰酷睿2处理器、2.53 GHz主频、4 GB RAM。

AR人脸数据库包含3510张面部照片，有不同的面部表情、光照变化和局部遮挡。照片总共135例(男性76人，女性59人)。每例对象有26个图像，分两部分组成。第一部分有13张图像，包含无表情的、快乐的、愤怒的和尖叫的表情，不同的光照变化和两个实际的带有光照变化的局部遮挡，第二个部分有13张图像，为两周以后通过相同的方式获取所得。

实验从100个对象中挑选出了以下带有不同表情的人脸图像来验证提出方法的有效性，表情包括无表情(N)、快乐(H)、愤怒的(A)和尖叫(S)，如图1所示。

实验中将面部区域裁剪和缩放到30×20像素，使用单一表情策略评估算法性能（例如，如果快乐的表情图像用于训练，则无表情、愤怒和尖叫的表情图像用于测试，这个过程重复多次），本文算法中K-近邻中的K值取3，其他相关算法的参数设置分别参照各自所在文献，在AR数据库四种表情训练时的识别率如表1所示。

表1　各算法在AR人脸库上的识别率(%)

从表1可以看出，本文算法的识别率在每一组实验中均优于其他各个方法。此外，还可以看出，获得最高的识别率的是快乐表情的人脸图像作为训练集，而获得最低识别率的是使用尖叫的人脸图像作为训练集，这是因为尖叫时面部表情变化较大，但本文算法在这种情况下的识别率还是高达90.22%。

4　结论

本文提出的基于Fisher准则的线性判别回归分类算法，在线性回归分类算法中嵌入了Fisher准则，从而可以得到一个最优投影矩阵，提高了LRC在子空间的分类判别能力，改进了LRC的鲁棒性。实验结果表明，相比其他相关算法，本文FCLDRC算法取得了更高的识别率。

[1]徐明，乔宁博，文振焜，等.基于特征识别的三维人脸动画模型自动构造[J].中国图像图形学报，2012，17（12）：1540-1547．

[2]苏煜，山世光，陈熙霖，等.基于全局和局部特征集成的人脸识别[J].软件学报，2010，21（8）：1849-1862．

[3]张祥德，张大为，唐青松，等.仿生算法与主成分分析相融合的人脸识别方法[J].东北大学学报:自然科学版，2009，30（7）：972-975．

[4]柴智，刘正光.应用复小波和独立成分分析的人脸识别[J].计算机应用，2010，30（7）：1863-1866．

[5]邹建法，王国胤，龚勋.基于增强Gabor特征和直接分步线性判别分析的人脸识别[J].模式识别与人工智能，2010，23（4）：477-482．

[6]何林，潘静，庞彦伟.基于DCT和线性回归的人脸识别[J].计算机应用研究，2012，29（3）：1123-1126．

[7]NASEEM I,TOGNERI R,BENNAMOUN M.Robust regres⁃sion for face recognition[J].Pattern Recognition,2012,45(1): 104-118.

[8]HUANG S M,YANG J F.Improved principal component re⁃gression for face recognition under illumination variations[J]. Signal Processing Letters,IEEE,2012,19(4):179-182.

(责任编辑：赵建周）

Linear Discriminant Regression Classification Algorithm by Fisher Criterion

ZENG Xian-hao1,SHI Quan-min2
(1.College of Electronic and Information Engineering,Lanzhou Institute of Technology；2.College of Software Engineering,Lanzhou Institute of Technology,Lanzhou 730050,China)

To improve the robustness of the linear regression classification(LRC)algorithm,a linear discrimi⁃nant regression classification algorithm based on Fisher criterion is proposed.The ratio of the between-class re⁃construction error over the within-class reconstruction error is maximized by Fisher criterion so as to find an opti⁃mal projection matrix for the LRC.Then,all testing and training images are projected to each subspace by the op⁃timal projection matrix and Euclidean distances between testing image and all training images are computed.Fi⁃nally,K-nearest neighbor classifier is used to finish face recognition.Experimental results on AR face databases show that proposed method has better recognition effects than several other regression classification approaches.

face recognition;fisher criterion;linear discriminant;linear regression classification;K-nearest neighbor classifier

TP391

A

1673-2928（2015）02-0059-03

2014-11-07

甘肃省教育厅科研项目（2013A-124），甘肃省自然科学基金资助项目(1107RJZA170)。

曾贤灏(1980-)，男，甘肃白银人，兰州工业学院电子信息工程学院讲师，研究方向：模式识别与图像处理。