一种基于对称性和上下文约束的线性鉴别分析方法

陈　凤

(浙江工商职业技术学院电子与信息工程学院，浙江宁波　315012)



一种基于对称性和上下文约束的线性鉴别分析方法

陈凤

(浙江工商职业技术学院电子与信息工程学院，浙江宁波315012)

在充分考虑人脸对称性的基础上，结合图像中像素之间的上下文约束关系，提出了一种改进的图像鉴别方法，即基于对称性和上下文约束的线性鉴别分析方法(SCCLDA).为了证明改进算法的优势，本文进一步在原始样本和镜像样本的扩展集合上测试了CCLDA(ECCLDA)的识别性能.实验研究表明，在人脸受光照、姿态以及表情等外在因素影响情况下，SCCLDA方法比ECCLDA、CCLDA、LDA等方法在人脸识别效果上具有更好的稳定性和更高的准确性.

上下文约束；对称性；人脸识别；线性鉴别分析

在图像识别中，人脸识别容易受表情、光照、姿态等外部因素的影响，导致一般的人脸识别方法不能全面的表示这些可能发生的变化，所以很难提高人脸的识别精度.而大量实验表明，更多的训练样本则更容易表示人脸因为光照、表情、姿态等因素所引起的这些变化，因此镜像图像在许多人脸识别的研究中都被单一地用来扩大训练样本的数目，可是这些都缺乏深入的理论研究[1].

虽然人脸图像不具有数学上严格定义的镜像对称，但是事实证明，通过镜像变换后的人脸图像，人们仍然可以很容易地识别出来.因此，近年来人脸的对称性也得到越来越多学者的广泛研究[2-7].Kirby等最早在人脸表征中采用了镜像样本[8]，并且从信号重构的角度证明，镜像样本的引入，可以从一定程度上降低训练样本集以外样本的重构误差.杨琼等又进一步研究了镜像样本在人脸识别中的可行性和有效性[1].受图像奇偶分解思想的启发，他们提出了SPCA方法，即通过奇偶样本各自的本征空间来构建镜像样本和原始样本分别中心化后的联合空间.而且，实验证明SPCA方法的识别结果明显优于PCA算法.Song等利用人脸对称性缓解了图像阴影对识别效果的影响[9]，而且该方法证明了对于光照所产生的左右半脸的明亮不均有很大的鲁棒性.Zeng等充分考虑了人脸正面图像的对称性，并将其引入到了2DPCA方法中，提出了一种改进的2DPCA方法(s2DPCA)[10].该方法可以从一定程度上弥补传统2DPCA方法中协方差鉴别信息的损失，使得协方差鉴别信息得到最大程度地利用，这样每一幅人脸图像都可以通过更少的系数来表示，从而提高了算法的识别性能.

但是当样本图像的姿态变化比较大时，采用图像镜像构造对称样本图像的效果并不理想，因此会影响算法的识别效果.而最新研究结果表明，图像在高维空间可以呈现特定的流形，像素彼此之间存在相互约束的结构关系[1].当一些外部因素如光照、表情以及姿态等条件产生变化的情况下，借助图像像素在高维空间中相互约束的结构关系，可以从一定程度上弥补基于子空间的特征提取方法的不足.Zhen等提出了CCLDA方法[1]并将这种方法引入到人脸识别过程中.该方法在特征提取过程中，不仅保存了LDA方法的优点，即考虑了样本图像中的鉴别信息，同时也考虑了样本图像中像素在高维空间中彼此之间的相关约束性，从而使获得的投影向量包含更多的有效分类信息，提高算法识别的准确率.受以上研究的启发，我们在充分利用人脸对称性的基础上，进一步结合图像中像素之间的上下文约束关系，提出了改进的SCCLDA方法.通过实验，证明了在人脸受光照、姿态以及表情等外在因素影响情况下，SCCLDA方法取得了良好的识别结果.

1　算法的主要原理

1.1CCLDA

(1)

其中，η为一个平衡常数，用来平衡训练鉴别能力与上下文限制之间的关系；Sb为类间散布矩阵；Sw为类内散布矩阵.可以表示为

(2)

(3)

其中，ui为第i类训练样本图像的类平均向量；u为所有训练样本图像的平均向量.

Sij为一个相似矩阵，该矩阵中的任何一个元素值可以表示每一个样本图像中的像素i和像素j之间的相关性.Sij定义为

(4)

其中特征向量fi中第i个元素的值可以用该样本向量中与之相应的第i个元素的灰度值来表示，所以fi∈RN.通常情况下，σ的值定义为所有fi的平均值.由(4)式知Sij为一个对称矩阵，所以(1)式中的限制条件J2(w)可以重新定义为

(5)

(6)

所以最佳投影矢量wopt可以简化成求满足(7)式的问题，即

(7)

1.2SCCLDA

在特征提取过程中，很容易出现样本向量的维数远远高于训练样本类内样本的情况.因此为了避免类内散布矩阵奇异，通常需要先使用降维的方法预先处理原始数据[11].为了解决这个问题，我们通常先使用PCA把特征空间的维数降到N-C，然后再用CCLDA算法进行特征提取.用公式表述为

(8)

如果直接采用PCA方法进行降维，容易导致样本图像部分信息的损失，以致于再在低维空间获得的投影矩阵都是原特征空间最优映射矩阵的近似.因此，为了解决以上不足，我们可以在充分结合图像对称性的基础上，最大程度地保存原始图像的有效特征，这就是本文提出的改进算法SCCLDA的目的.

定义原始样本图像集合为{x1,x2,…,xN}，原始样本的镜像集合为Xm={x1m,x2m,…,xNm}，u和um分别表示X和Xm的均值向量，u′表示X∪Xm的均值向量.定义X*表示原始样本和镜像样本分别减去各自均值向量的并集，即

因此，在X*上使用PCA就得到了SPCA的映射矩阵

(9)

如果利用SPCA进行CCLDA算法中的第一步映射，有可能比直接采用PCA进行降维更能使映射矩阵接近CCLDA的最佳投影矩阵.基于以上假设，我们选择

(10)

作为(7)式的近似.

(11)

这样，就可以得到SCCLDA的映射矩阵wSopt.

同样，在很多研究中，为了增加训练样本数目，可以利用人脸的镜像对称性，将人脸的镜像图像和原始图像一起当作训练样本来训练.这样获得的特征空间可能包含更多有效的识别信息.因此为了充分论证改进算法的优势，还可以在原始样本和镜像样本的扩展集合上测试CCLDA算法(ECCLDA)的识别性能.

假设X′是ECCLDA用到的集合，它是由X∪Xm与u′的差值构成的集合，即

这样，如果在X′上使用PCA(标记为EPCA)，然后再使用CCLDA，则

(12)

通过以上分析，可以分别采用PCA,SPCA和EPCA三种不同的方法来进行第一步的降维，以避免了“小样本问题”，然后进一步再在降维后的特征空间采用CCLDA分别得到三种不同区分能力的映射wCopt,wSopt和wEopt.本文通过实验证明，CCLDA算法的识别结果不仅受PCA降维数目不同的影响.同时，在训练样本数目有限的条件下，原始训练样本信息保留的方式也是影响CCLDA方法识别准确率的一个重要的因素.

2　实验设计及分析

分别设计了在人脸的表情、姿态以及光照三种外部条件发生变化的情况，比较了CCLDA、ECCLDA以及SCCLDA的识别性能.同时为了说明在CCLDA算法改进的充分性，还实现了与LDA算法的比较.

2.1SCCLDA用于姿态变化的人脸识别

在特征提取过程中，通过不同方法获得的投影空间很容易受姿态变化的影响，为了验证改进算法在姿态变化时对人脸识别的有效性，在ORL人脸数据库上进行了实验(http://www.datatang.com/data/13501 ).ORL人脸数据库共收集40个人在不同的光照、姿态和面部表情下的图像，共400幅图像，即每个人对应了10种不同外部条件发生变化下的图像.部分人脸图像如图1所示.

图1　ORL人脸库一个人的10种姿态

实验中将ORL数据库中的人脸图像分为训练集和测试集两部分，取40个人的任意Gi幅图像作为训练样本集，剩余的图像组成测试样本集.实验结果如表1所示.

表1　不同训练样本数的识别率

表1中Gi表示每一类样本所选取的训练样本数.通过分析实验结果，可以发现:

1)由于CCLDA,ECCLDA和SCCLDA三个算法在特征提取过程中，充分考虑了在高维空间中，人脸样本图像中像素之间的相互约束性，因此这三种算法在ORL人脸库上的识别结果上明显优于没有引入上下文约束的LDA方法.而且在大部分情况下，LDA算法的标准差最大，CCLDA次之，ECCLDA和SCCLDA标准差相当，说明LDA算法的识别效果更依赖于训练样本数据集的选择，其他三种算法具有更高的稳定性;

2)在CCLDA算法的基础上，ECCLDA和SCCLDA中都采用了镜像图像来扩大训练集合，训练样本数是CCLDA算法和LDA算法的两倍，所以即使在每个人只有较少的姿态样本做训练的情况下，ECCLDA和SCCLDA算法也可以取得比较高的识别准确率，而且确保了算法的稳定性;

3)ECCLDA和SCCLDA一样，训练样本数均是CCLDA的两倍，但在相同的训练样本数情况下，SCCLDA算法无论是识别率还是稳定性都明显高于ECCLDA.显然与其他三种方法相比，SCCLDA在姿态变化情况下的识别效果更理想.

通过分析比较表1的实验结果，可以发现文中几种算法的识别效果不仅受训练样本数的影响，而且原始信息的保留方式也是影响人脸识别中线性鉴别分析的重要因素.在特征提取过程中，PCA算法不仅没有利用人脸对称性这一先验信息，也忽略了人脸图像中像素之间的上下文约束关系，因此它并不是最好的信息保留方法.

2.2SCCLDA用于表情变化的人脸识别

为了验证改进算法在人脸表情识别领域的可行性和有效性，我们在经典的人脸表情数据库JAFFE上做了实验.

JAFFE数据库[13]共包含10名日本成年女性的213幅表情图像，每幅图像的大小均为256×256.其中每个人都收集了生气、厌恶、害怕、开心、中性、悲伤和惊讶七种基本表情各2～4幅图像.在这部分实验中，将JAFFE数据库中的表情图像分别分为训练样本集和测试样本集.其中训练样本集包含70幅表情图像，由每个人每种表情各一幅图像构成，剩余的143幅表情图像用来组成测试集.实验中首先将所有图像都进行归一化处理，裁剪成大小为90×90的样本图像，图2为JAFFE中的部分样本图像及归一化后的样本图像.

表2中D表示特征空间的维数.表3中AN,DI,FE,HA,NE,SA,SU依次表示生气、厌恶、害怕、高兴、中性、伤心、惊讶七种表情，AVG表示不同算法在这七种表情情况下识别率的平均值.通过以上实验结果可以发现

(a)原始表情图像

(b)归一化后的表情图像

D=5D=15D=25D=35D=45D=55D=65LDA94.4195.8095.8095.1093.0193.0192.31CCLDA92.3196.2096.9096.2095.1094.4193.71ECCL-DA95.6297.2596.6796.7996.5696.1295.58SCCL-DA95.7597.7598.2997.9097.8197.4797.17

表3　单一表情的识别结果

1)比较整个JAFFE人脸库上的实验结果，可以看出四种算法的最高识别率从高到低依次为SCCLDA(98.29%),ECCLDA(97.25%),CCLDA(96.90%)和LDA(95.80%)，说明SCCLDA在表情识别上有明显的优势;

2)从表3可以看出，引入上下文约束信息的CCLDA、ECCLDA和SCCLDA方法在表情鉴别效果上明显优于LDA算法.但总体上，SCCLDA方法的识别效果最理想;

3)通过表3的实验结果可以发现，与其他算法相比，SCCLDA方法不仅在不同表情下的平均识别效果比较理想，而且即使在单一表情下的识别正确率也都提高了很多.其中在厌恶、害怕、中性、伤心和惊讶这几种表情变化的情况下，识别效果最好，识别率均达到100%，这充分说明了SCCLDA算法在表情识别方面具有良好的鲁棒性.

2.3SCCLDA用于光照变化的人脸识别

同样，为了验证不同方法在光照变化下，算法对于未知干扰的适应能力，我们进一步在YaleB人脸库[14]上(http://cvc.yale.edu/projects/yalefacesB/yalefacesB.html)采用了外推的实验方法.

YaleB包括10个人在9种姿态、64种光照下的图像.本文实验重点测试算法在光照变化条件下的识别效果，因此我们只选用正脸姿态下的64种光照下的样本图像，共640张.在这部分实验过程中，根据图像采集的不同角度，将YaleB数据库中的图像分为5个子集，同时将人脸图像裁剪为112×144大小，如图3所示.

图3　Yale B人脸数据库中的5个子集图像

子集1、子集2和子集5分别包含130张人脸图像，其中子集1中图像光源的水平角度在[0°，26°]区间，并且垂直角度在[0°，18°]区间.子集2 中选择的图像的光源的水平角度在[26°，52°]区间，或者垂直角度在[18°，36°]区间；而子集5中图像的水平光源平角度在[104°，130°]区间，或者垂直角度在[72°， 90°]区间.子集3中选择光源的水平角度在[52°，78°]区间,或者垂直角度在[36°，54°]区间的170张图片.子集4包含80张光源的水平角度在[78°，104°]区间,或者垂直角度在[54°，72°]区间的人脸图像.把子集1作为训练样本集，然后分别在子集1 ～ 5进行测试，计算不同算法的识别错误率.

从图4中的错误率曲线分布可以发现，在光照都接近前方的状态下，4种不同方法的识别错误率都几乎相同.但是伴随着光照越来越偏离前方，不同算法的识别错误率变得越来越高.其中LDA算法的错误率增加最快，CCLDA其次，ECCLDA比CCLDA增加的缓慢，SCCLDA的错误率增加的最慢.因此，通过以上分析，说明在光照发生变化的情况下，通过SCCLDA方法获得的投影特征更为有效，所以在外推的实验中的错误率最低.

图4　不同测试样本集下的错误率曲线

3　结论

本文在充分考虑图像对称性的基础上，进一步将一种融合图像上下文约束的鉴别分析方法用于人脸识别.该方法充分利用了样本图像结构之间的上下文约束关系，从而可以更好地为分类提供有效信息.并通过实验，进一步证明了在姿态、表情和光照等外在因素变化情况下，新算法在人脸识别中的优势.

[1]杨琼，丁晓青.对称主分量分析及其在人脸识别中的应用[J].计算机学报，2003，26(9):1146.

[2]BAUMANNF,ERNSTK,EHLERSA,etal.Symmetryenhancedadaboost[C]//Advances in visual computing 6453.Berlin:Springer,2010:286.

[3]LOYG,EKLUNDHJO.Detectingsymmetryandsymmetricconstellationsoffeatures[C]//Eccv’ob Proceedings of the 9th European Conference on Computer Vision.Berlin:Springer,2006:508.

[4]HARGUESSJ,AGGARWALJK.Isthereaconnectionbetweenfacesymmetryandfacerecognition?[C]//IEEE Computer Vision and Patter Recognition Workshops,IEEE:ColoradoSprings,2011:73.

[5]XU Yong,ZHU Xing-jie,LI Zheng-ming,et al.Using the original and‘symmetrical face’training samples to perform representation based two-step face recognition[J].PatternRecognition,2013,46(4):1151.

[6]ROYER R F.Detection of symmetry[J].JournalofExperimentalPsychologyHumanPerceptionandPerformance,1981,7(6):1186.

[7]LEYTON M.Symmetry,Causality,Mind[M].London:MIT Press,1992.

[8]KIRBY M,SIROVICH L.Application of the Karhunen-Loève Procedure for the characterization of human faces[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1990,12(1):103.

[9]SONG Y J,KIN Y G,CHANG U D,et al.Face recognition robust to left/right shadows,facial symmetry[J].PatternRecognition,2006,39(8):1542.

[10]曾岳，冯大征.一种基于人脸垂直对称性的变形2DPCA算法[J].计算机工程与科学，2011，33(7):74.

[11]ZHEN Lei,STAN Z LI.Contextual constraints based linear discriminant analysis[J].PatternRecognitionLetters,2011,32(4):626.

[12]赵松，潘可，张培仁.对称性在人脸识别中的应用：对称Fiserface[J].中国科学技术大学学报(自然科学版)，2009，39(11):1183.

[13]AKAMATSU S,KAMACHI M,GYOBA J.Coding facial expressions with gabor wavelets[C]//Proceedingsof3rdIEEEInternationalConferenceonAutomaticFaceandGestureRecognition.IEEE xpolre:coloraclo springs,1998:200.

[14]GEORGHIADES A S,BELHUMEUR P N,KRIEGMAN D J.From few to many:illumination cone models for face recognition under variable lighting and pose[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2001,23(6):643.

(责任编辑孙对兄)

A linear discriminate analysis method basedonsymmetryandcontextualconstraints

CHEN Feng

(Zhejiang Business Technology Institute,Ningbo 315012,Zhejiang,China)

Lineardiscriminateanalysis(LDA)considersthediscriminativeinformationintheprocessoffeatureextraction,butthecontextualinformationamongpixelsinthehighdimensionalspaceisnotexploited.Contextualconstraintsbasedlineardiscriminateanalysis(CCLDA)incorporatesthecontextualinformationintolineardiscriminateanalysisduringfeaturedimensionalityreduction,whichcanprovidemuchmoreusefulinformationforclassification.Inthispaper,lineardiscriminateanalysismethodbasedonsymmetryandcontextualconstraintsisproposed.Intheimprovedmethod,thesymmetryofthefacetogeneratenewsamplesisexploitedandthecontextualconstraintinimagesisconsideredtoperformfacerecognition.Moreover,toshowthesuperiorityoftheimprovedmethod,therecognitionperformanceofCCLDAistestedontheextendedsetoftheoriginalsamplesandtheimagesamples.ExperimentsareconductedtoprovetheeffectivenessofSCCLDAbyvaryingillumination,facialexpressionandposes.Moreover,theexperimentalresultsshowthattheimprovedmethodoutperformfacerecognitionmethodsincludingECCLDA,CCLDAandLDA.

contextualconstraints;symmetry;facerecognition;lineardiscriminantanalysis

10.16783/j.cnki.nwnuz.2016.04.008

2016-03-20;修改稿收到日期:2016-05-19

浙江省教育厅一般科研项目(Y201432382)

陈凤(1979—)，女，湖北荆门人，讲师，硕士.主要研究方向为模式识别、云技术和数据挖掘等.

E-mail:feng_ch1979@126.com

TP391.4

A

1001-988Ⅹ(2016)04-0032-06