基于二维图像矩阵的稀疏表示分类方法

程广涛，宋占杰，陈 雪(1. 天津大学电子信息工程学院，天津 0007；. 北华航天工业学院基础部，廊坊065000；. 天津大学理学院，天津 0007；. 北京中医药大学东方学院基础部，廊坊 065000)

基于二维图像矩阵的稀疏表示分类方法

程广涛1,2，宋占杰3，陈 雪4
(1. 天津大学电子信息工程学院，天津 300072；2. 北华航天工业学院基础部，廊坊065000；3. 天津大学理学院，天津 300072；4. 北京中医药大学东方学院基础部，廊坊 065000)

利用稀疏表示对图像分类时，需要将二维图像转换为一维特征向量，这大大增加了计算复杂度和忽略了图像矩阵中固有的局部结构信息. 为了解决上述问题，设计了完全基于二维特征矩阵的稀疏表示人脸分类方法.首先将二维图像转为2D Fisherface矩阵，然后直接利用二维矩阵求解稀疏表示和进行分类. 整个识别过程中，不需要将二维图像转换为一维向量. 实验结果表明，二维特征矩阵在稀疏表示分类中是十分有效的，设计的方法可以更快的运算速度达到更高的识别率. 在ORL人脸数据库和Extended Yale B人脸数据库上的识别率分别达到97.5%和99.3%.

人脸识别；稀疏表示；目标分类；二维特征矩阵

信号的稀疏表示是分析信号的一个极其有效的工具．稀疏表示的成功应用包括图像恢复[1-2]、压缩感知[3-5]、图像超分辨率[6]等．最近，稀疏表示又成功应用在人脸识别领域[7]．如果每类训练样本足够多，测试样本可以考虑为与它同类训练样本的线性组合，这样用所有训练样本表示测试样本时，表示系数中的非零系数只对应于与测试样本同类的训练样本，显然表示系数是稀疏的．这样就可以通过估计最小重建误差来决定测试样本的类别．稀疏性限制使表示系数的区分能力加强，改善了人脸识别的准确性和鲁棒性.

基于稀疏表示的分类方法(sparse representation based classification，SRC)一经提出，就得到了广泛的关注．沿着SRC的框架，提出了一种新的基于联合动态稀疏表示的多角度人脸识别方法[8]．这种方法把多角度人脸识别看作为联合稀疏表示模型，利用多角度的内相关性来解决姿势不限的自动人脸识别问题．文献[9]设立了一个基于稀疏表示的实际的人脸识别系统，它能够在大范围的光照条件、姿势变化和噪声干扰的条件下达到极其稳定的性能．另外，有效的字典学习方法也被应用到基于稀疏表示的模式识别中[10-12].

但是这些算法首先都是将二维图像矩阵转换为一维图像向量，这就需要花费更多的时间去计算1ℓ最优化问题，并且也忽略了原有二维图像矩阵中的一些局部结构信息．因此，提出了一个基于二维图像像素矩阵的稀疏表示分类方法(2D SRC)[13]．这种方法与SRC相比更加快速，尤其当图像分辨率很高时，速度优势更加明显，但是识别率的改进效果没有达到期望值.

现有的SRC框架中，都是用一维特征向量进行稀疏表示，二维特征矩阵在SRC算法中的应用还鲜见报道．本文首先验证了二维特征矩阵在SRC框架中的有效性，然后设计了一个完全基于图像矩阵的稀疏表示分类方法，在整个方法中都没有将二维图像转换为一维向量．笔者在常见的ORL人脸数据库和Extended Yale B人脸数据库上进行实验并验证了该算法的有效性和优越性．实验结果表明，所设计算法可以更快的计算速度达到更高的识别率．

1 基于二维特征矩阵的SRC

以下讨论二维特征矩阵(2D PCA[14]，2D Fisherface[15])应用在SRC框架中产生的效果．

给定来自c类的N个训练图像组成的训练图像矩阵A=[A,A,…,A]，A∈Rm×n(i=1,2,…,N)，表示

12N i第i个训练图像．图像协方差矩阵可定义为

12dii(i=1,2,…,N)表示第i个训练图像的2D PCA投影．利用所有图像的2DPCA投影构建2D PCA特征矩阵P=[P1,P2,…,PN].

P的类间散布矩阵Gb和类内散布矩阵Gw可定义为

式中：Mi为P中的第i类图像的均值矩阵；为P的均值矩阵.利用G的最大s个特征值对应的特b征向量b1,b2,…,bs构建投影矩阵B=[b1,b2,…,bs]，第i个图像的2D Fisherface特征矩阵可表示为Fi= BTP=BTAG∈Rs×d，这样2D PCA矩阵P转换为2Di Fisherface矩阵F=[F1,F2,…,FN].把Fi转换为列向量f∈Rl×1(l为2D Fisherface空间的特征维数，l=s×d,i i=1,2,…,N)这样所有训练图像的2D Fisherface向量特征构成矩阵R=[f1,f2,…,fN].

测试图像Y经2D Fisherface投影并且转换S为列向量y，然后通过ℓ1最优化计算y在字典R下的稀疏表示系数，即

最后通过估计最小重构误差完成分类，即

基于2D Fisherface的SRC算法可以有效地改进基于一维图像特征的SRC算法的性能．笔者从ORL人脸数据库中每类选择5个图像作为训练样本，另外5个图像作为测试样本．图1(a)的测试图像来自ORL人脸数据库的属于第19类的一张图像，图1(b)是利用基于一维Fisherface的SRC算法得到的稀疏表示系数和重构误差，图1(c)是利用基于2D Fisherface的SRC算法得到的稀疏表示系数和重构误差．可见，二维特征矩阵在SRC框架下更加有效，它能够对基于一维特征的SRC造成的错误分类进行校正.

此外，原来的SRC的计算复杂度为O(LN)(L= m×n)，而基于2D Fisherface 的SRC的计算复杂度为O(lN),l≪L(L为图像像素)，因此基于2D Fisherface 特征的SRC算法将会很大程度地提高人脸识别速度.

图1 实验效果比较Fig.1 Comparison of experimental results

2 基于二维特征矩阵的2D SRC

笔者设计了一个完全基于二维图像矩阵的稀疏表示分类方法(2D SRC-2D Fisherface)．2D Fisherface的有效性已经被验证，所以首先将图像通过2D Fisherface转换为二维特征矩阵，然后不将2D Fisherface矩阵转换为列向量，而是直接在2D Fisherface矩阵F下求解测试样本的稀疏表示系数

将式(6)展开，有

因为矩阵Q是对称半正定矩阵，Q的SVD分解为

定义W=(UΛ1/2)T，z=Λ†Wb，保留W中对应r个较大奇异值的列，这样矩阵W的大小为r×N，其中r＜min(l,N).式(7)能够转换为等价的一维压缩感知问题，即

通过上述处理，能够进一步减少1ℓ最优化问题的计算复杂度.表1给出了上述方法中1ℓ最优化问题的计算复杂度，其中rlL＜≪.

表1 计算复杂度比较Tab.1 Complexity comparison of algorithms

最后的分类能够通过估计式(9)的最小重构误差而完成.

基于2D SRC[13]方法和基于2D SRC-2D Fisherface的人脸识别效果如图1(d)和图1(e)所示，可以明显地看到2D SRC-2D Fisherface方法除了具有速度优势外，还可以很好地改善识别率.

3 实 验

笔者利用常见的ORL人脸数据库和ExtendedYale B人脸数据库[16]来验证设计算法的性能.在3.20,GHz CPU和2,GB内存的PC上利用Matlab软件完成所有实验．SRC框架中ℓ1最优化的计算比较耗时，一些快速算法可加速ℓ1最优化的求解，如文献[17]所述，采用Homotopy方法可以达到最高的识别率，并且其计算成本与其他快速ℓ1最优化求解方法相差无几．所以，本实验所有的ℓ1最优化问题都采用Homotopy方法求解.

3.1 ORL人脸数据库

ORL数据库包含40个人的400张人脸图像，这些图像中包含不同的脸部表情、人脸细节及其旋转和尺度变化．所有图像的分辨率归一化为112×92．比较基于一维特征向量(PCA，Fisheface，Random projection)的SRC[7]、基于2D Fisherface的SRC、2D SRC[13]和基于2D Fisherface的2D SRC的人脸识别性能．

从每类图像中选择5张图像作为训练样本，另外5张图像作为测试样本．对于SRC框架，首先将图像转换为维数分别20、42、72和168的一维特征向量．由于测试样本有40类，对于Fisherface，特征维数最多为39，因此只能计算当维数为20的识别率．同时，为了和一维特征进行比较，2D Fisherface的维数选择为5×4、7×6、9×8和14×12．对于2D SRC框架，估计基于图像像素的2D SRC方法[13]和基于维数分别为5×4、7×6、9×8和14×12的2D Fisherface的2D SRC方法的性能．各种方法的识别率比较见表2.

表2 在ORL数据库上的算法识别率比较Tab.2 Recognition rate comparison of algorithms on the ORL database %

由表2可见，2D Fisherface在SRC框架中非常有效，基于2D Fisherface的方法达到了最高的识别率.

在上述所有算法中，都需要求解1ℓ最优化问题，因此有必要估计各种算法中1ℓ最优化问题的计算性能．各种算法达到最高识别率时求解1ℓ最优化所需的计算时间结果如表3所示.

表3 在ORL数据库上的算法运算时间比较Tab.3Run time comparison of algorithms on theORL database

从表3可见，虽然基于2D Fisherface的SRC和基于2D Fisherface的2D SRC识别率都达到了97.5%，但是2D SRC-2D Fisherface的计算速度要比SRC-2D Fisherface的计算速度快2～3倍.

3.2 Extended Yale B人脸数据库

Extended Yale B人脸数据库包括来自38个人的2,414张人脸图像．图像的分辨率归一化为192168×.笔者从每类中选择1/2图像作为训练样本(每类约32张图像)，另外1/2作为测试样本．与在ORL数据库上的实验相似，比较基于一维特征向量(PCA，Fisheface，Random projection)的SRC、基于2D Fisherface的SRC、2D SRC和基于2D Fisherface的2D SRC的人脸识别性能.

对于SRC框架，将图像转换为维数分别30、56、120和504的一维特征向量．由于测试样本有38类，对于Fisherface，只计算当维数为30时的识别率．同时，估计维数分别为65×、87×、1210×和2421×的基于2D Fisherface的SRC方法的性能．对于2D SRC框架，估计基于图像像素的2D SRC方法[13]和基于维数分别为65×、87×、1210×和2421×的2D Fisherface的2D SRC方法的性能．表4给出了各种方法的识别率.

各种方法达到最高识别率时的1ℓ最优化问题的计算时间见表5.

表4 Extended Yale B数据库上的算法识别率比较Tab.4Recognition rate comparison of algorithms on theExtended Yale B database %

表5 Extended Yale B数据库上的运算时间比较Tab.5 Run time comparison of methods on the Extended Yale B database

实验结果再次显示了2D Fisherface的有效性，基于2D Fisherface的分类方法达到了99.3%的识别率．同时，实验结果也显示2D SRC-2D Fisherface的计算速度比SRC-2D Fisherface的计算速度快约10倍，说明基于二维图像矩阵的稀疏表示分类方法对于较大的数据库有更明显的速度优势.

4 结 语

本文针对现有稀疏表示分类方法的不足，设计了基于二维图像特征矩阵的稀疏表示分类方法，识别过程不需将二维图像转换为一维特征向量，提高了识别准确率，同时大大减少了求解1ℓ最优化问题的计算时间.在常见的人脸数据库上的实验结果表明，基于2D Fisherface的2D SRC优于所有参与比较的其他算法，以更快的速度达到了更高的识别率，基本可以满足要求.

［1］ Aharon M，Elad M，Bruckstein A. The K-SVD：An algorithm for designing of overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Signal Processing，2006，51(11)：4311-4322.

［2］ Mairal J，Elad M，Sapiro G. Sparse representation for color image restoration[J]. IEEE Transactions on Image Processing，2008，17(1)：53-69.

［3］ Candes E J，Romberg J，Tao T. Robust uncertainty principles：Exact signal reconstruction from highly incomplete frequency information[J]. IEEE Transactions on Information Theory，2006，52(2)：489-509.

［4］ Donoho D L. Compressed sensing[J]. IEEE Transactions on Information Theory，2006，52(4)：1289-1306.

［5］ Candes E J，Romberg J，Tao T. Stable signal recovery from incomplete and inaccurate measurements[J]. Communications on Pure and Applied Mathematics，2006，59(8)：1207-1223.

［6］ Zhang D，Shi Guangming，Wu Xiaolin. Image deblur

ring and super-resolution by adaptive sparse domain selection and adaptive regularization[J]. IEEE Transactions on Image Processing，2011，20(7)：1838-1857.

［7］ Wright J，Yang A Y，Ganesh A，et al. Robust face recognition via sparse representation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31(2)：210-227.

［8］ Zhang Haichao，Nasrabadi N M，Zhang Yanning，et al. Joint dynamic sparse representation for multi-view face recognition[J]. Pattern Recognition，2012，45(4)：2884-2893.

［9］ Wagner A，Wright J，Ganesh A，et al. Toward a practical face recognition system：Robust alignment and illumination by sparse representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34(2)：372-386.

［10］ Zhang Qiang，Li Baoxin. Discriminative K-SVD for dictionary learning in face recognition[C] // IEEE Conference on Computer Vision and Pattern Recognition. San Francisco，CA，2010：2691-2698.

［11］ Yang Meng，Zhang Lei，Feng Xiangchu，et al. Fisher discrimination dictionary learning for sparse representation[C] // IEEE International Conference on Computer Vision. Barcelona，Spain，2011：543-550.

［12］ Mairal J，Bach F，Ponce J. Task-driven dictionary learning[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34(4)：791-804.

［13］ Qiu Huining，Pham D S，Venkatesh S，et al. A fast extension for sparse representation on robust face recognition[C]// International Conference on Pattern Recognition. Istanbul，Turkey，2010：1023-1026.

［14］ Yang Jian，Zhang D，Frangi A F，et al. Twodimensional PCA：A new approach to appearance-based face representation and recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26(1)：131-137.

［15］ Jing Xiaoyuan，Wong H S，Zhang D. Face recognition based on 2D Fisherface approach[J]. Pattern Recognition，2006，39(4)：707-710.

［16］ Georghiades A S，Belhumeur P N，Kiegman D. From few to many：Illumination cone models for face recognition under variable lighting and pose[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23(6)：643-660.

［17］ Yang A Y，Sastry S S，Ganesh A，et al. Fast1ℓminimization algorithms and an application in robust face recognition：A review[C] // IEEE International Conference on Image Processing. Hong Kong，China，2010：1849-1852.

（责任编辑：金顺爱）

Classification Based on Sparse Representation with Two Dimensional Image Matrix

Cheng Guangtao1,2，Song Zhanjie3，Chen Xue4
(1. School of Electronic Information Engineering，Tianjin University，Tianjin 300072，China；2. Department of Foundation，North China Institute of Aerospace Engineering，Langfang 065000，China；3. School of Sciences，Tianjin University，Tianjin 300072，China；4. Department of Foundation，Beijing University of Chinese Medicine Dongfang College，Langfang 065000，China)

When sparse representation was used to pattern classification，two dimensional image matrix was previously transformed into one dimensional feature vector，which increased the computational complexity and neglected the local structural information in the original two dimensional image. In order to solve the above problems，a new face recognition algorithm exclusively using two dimensional image matrix was developed in this paper. Original image matrix was firstly transformed into two dimensional feature matrix by 2D Fisherface，then the sparse representation coefficient of testing sample with the feature matrix was solved，and classification based on the smallest reconstruction residuals was finished at last. In the whole classification process，the two dimensional image matrix was not transformed into one dimensional vector. Experimental results show that two dimensional feature matrix is effective in classification framework based on sparse representation. The designed method achieves higher recognition rate at a faster speed. The recognition rate of the designed algorithm is as high as to 97.5% and 99.3% respectively on ORL database and Extended Yale B database.

face recognition；sparse representation；object classification；two dimensional feature matrix

TP391.41

A

0493-2137(2014)06-0541-05

10.11784/tdxbz201301001

2013-01-03；

2013-04-16.

国家自然科学基金资助项目(61379014，60932007)；廊坊市科技支撑资助项目(2012011004).

程广涛（1983— ），男，博士研究生，gtcheng@tju.edu.cn.

宋占杰，zhanjiesong@tju.edu.cn.

时间：2013-09-22.

http：//www.cnki.net/kcms/detail/12.1127.N.20130922.1030.001.html.