基于特征加权模块双方向二维主成分分析的人脸识别

顾播宇，孙俊喜，李洪祚，刘红喜，刘广文

（长春理工大学电子信息工程学院，长春130022）

0 引 言

目前，基于学习的统计识别已成为人脸识别的主流方法，然而统计识别面对的特征维数往往较高，导致算法的时间复杂度和空间复杂度都大大增加，而且高维特征空间的参数估计也变得困难，因此，人们常常需要对原始高维特征集合进行特征提取或特征变换以便获得有效的人脸识别特征［1－2］。作为最小均方误差意义上的数据最优特征变换方法——主成分分析（Principal component analysis，PCA）被广泛应用于人脸识别领域［3－5］。但是，PCA对表情和姿态等条件变化缺乏稳健性，为此，Gottumukkal等［6］提出模块PCA（Modular PCA）人脸识别算法，该算法将图像分为若干子图像块并分别进行PCA特征提取，获得了良好的效果。在特征提取过程中，PCA算法需要将图像矩阵转化成维数较高的图像向量，计算量庞大，为此，Yang等［7］提出2DPCA（Twodimensional PCA）方法，该方法直接利用图像矩阵，从而构造出维数较低的协方差矩阵，降低了计算强度并提高了稳健性，文献［8］将其拓展，提出了模块2DPCA，进一步提高了识别率。

随后，许多一维算法被扩展至二维，目前，二维方法已成为研究的热点。文献［9］指出，2DPCA可看作按行（或列）分块的模块PCA，而为了进一步降低图像维数并加快识别速度，Zhang等［10］提出（2D）2PCA，该算法在行列两个方向上对图像进行2DPCA特征提取。在此基础上，针对单样本条件下的人脸识别问题，文献［11］于2010年提出将加权和分块与（2D）2PCA算法相结合的MW（2D）2PCA算法，该算法对各投影轴赋予不同权值，从而提高了稳健性。然而，在模块（2D）2PCA算法中，各子图像块对识别结果的贡献程度被认为是等价的。考虑到人类常常能够根据某一具有代表性的物理特征（如眼睛、鼻子、嘴等）来进一步辨识人脸［12］，对于同一人脸图像，其不同的局部特征对最终识别结果的贡献程度应不相同。PCA的本质是一种数据重组变换，而人脸图像中对识别贡献较大的物理空间特征，在变换过程中应以某种抽象形式在特征空间中得到体现。因此，通过贡献程度对不同子图像块分配不同权重应是提升稳健性的有效方法。

基于此，本文提出了基于特征加权模块（2D）2PCA的人脸识别算法，该算法首先对图像进行分块并提取模块（2D）2PCA特征，再根据人脸图像的各部分在特征空间中的信息比重进行特征加权，最后通过加权距离完成人脸分类。

1 模块（2D）2 PCA人脸识别算法

1.1 训练过程

若训练样本数为p个，将每个样本分为m×n个子图像块，则样本空间中的某一样本可表示为：

样本空间I中共含p×m×n个图像矩阵，若图像分辨率为M×N，则每个图像矩阵大小为M／m×N／n。

样本空间均值可表示为：

样本空间中任意图像矩阵Il（l＝ijk）及均值μ可分别表示为由列向量或行向量所构成的形式：

通过样本均值对所有图像向量进行中心化，并分别按行列两个方向计算样本空间的协方差矩阵：

计算列方向协方差矩阵Ccol的全部特征值λcol＝diag｛λcol，1，λcol，2，…，λcol，h｝，将特征值按降序排列，选取前σ个（σ≤h）大于零的特征值所对应的单位正交特征向量构成特征向量组Ecol＝｛Ecol，1，Ecol，2，…，Ecol，σ｝，θ确定如下：

式中：θ为预先设置的阈值，当θ≈0.9时效果最佳。

同样，选取Crow的δ（δ≤g）个特征值，得到特征向量组Erow＝｛Erow，1，Erow，2，…，Erow，δ｝。每个特征向量即为特征空间中的一个投影轴。通过Ecol和Erow，将第i个样本的第jk块向特征空间中投影：

1.2 分类过程

任意测试样本的第jk个子图像块，可由一图像矩阵Itest，jk表示，将其由样本空间向特征空间投影：

在特征空间中，计算测试样本与第i个训练样本的距离：

式中：‖·‖为Frobenius范数。

与测试样本距离最小的训练样本所属类别ρ即为识别结果：

2 特征加权模块（2D）2 PCA

2.1 特征加权

首先对样本空间中每一图像矩阵进行中心化：

将每个中心化图像矩阵看作一个由r维随机变量构成的列向量，r＝M／m×N／n。所有中心化图像向量构成中心化样本集Z，而每个随机变量可看作一个p×m×n维行向量，因此Z可看作所有p ×m×n个图像向量的集合，同时，也可将其看作所有r个随机变量向量的集合：

式中：Zijk为第i个训练样本中第jk个子图像块的中心化图像向量；Yq为第q个随机变量向量。

通过所有随机变量的统计信息计算训练样本集的协方差矩阵：

计算V的所有特征值ε＝｛ε1，ε2，…，εpmn｝及其对应的特征向量组e＝｛e1，e2，…，epmn｝。

特征值表示特征空间中，图像向量在其对应特征向量方向上的形变程度（即能量大小），通过特征值可计算训练样本集中第l个图像向量在特征空间中的信息比重：

式中：etl为第t个特征向量的第l个元素；vll为协方差矩阵V对角线上的相应元素。

在样本空间中，人类可根据人脸图像某一部分具有代表性的物理特征进行人脸辨识。而特征空间中，对于某一人脸图像不同子图像块的投影，其抽象特征同样体现出不同的信息比重，信息比重越大，则其对识别的贡献程度越高。

特征加权分配是将每一子图像块在整个图像中所占的信息比重量化为权重。在样本i中，对m×n个子图像块进行权重归一化处理，使其满足：

则第i个训练样本中第jk块的权重为

2.2 加权距离

将训练样本和测试样本分别向模块2DPCA特征空间投影，并计算测试样本与第i个训练样本在第jk个子图像块上的距离：

将测试样本与第i个训练样本相应各子图像块的权重与距离相乘，得到加权距离矩阵：

将加权距离矩阵各元素相加，可得测试样本与该训练样本的加权距离：

通过最近邻分类进行识别，将测试样本归为与其加权距离最近的测试样本所属类别ρ：

3 试验结果及分析

试验采用ORL人脸数据库对本文算法性能进行测试。图1为该库中来自某一对象的部分人脸图像。ORL人脸库包含400幅分辨率为92× 112的灰度图像，来自40个具有不同性别、种族、年龄的对象，对每人采集10幅不同表情和姿态的人脸图像，其人脸深度旋转和平面旋转达20%，尺度变化达10%。将该数据库分为40类，每类训练及测试样本总和为10幅。试验中未对图像进行任何预处理。

图1 ORL人脸库中部分图像Fig.1 Images from ORL database

3.1 本文算法与模块（2D）2 PCA算法性能对比

图2为ORL人脸库中的一幅测试样本分别通过传统模块（2D）2PCA算法和本文算法的识别结果。试验中，将样本分为2×2个46×56大小的子图像块，并由式（9）～（13）计算各子图像块的特征权重，图2（c）为训练样本；（d）中参数为训练样本各子图像块所对应的权重系数。

图2 某一测试样本的识别结果对比Fig.2 Result comparison of a test sample

如图2所示，测试样本的姿态变化以及图2（b）和（c）中两个对象较为相近的外貌特征，共同导致传统模块（2D）2PCA识别错误。而本文算法通过细微调整各块的特征权重，强调了图像的局部差异，并降低形变造成的干扰，缩小测试样本与正确对象的距离，使其被正确分类。

在ORL人脸库中统计本文算法在选择不同投影轴数量（1～12个）时的识别率，并与传统模块（2D）2PCA进行对比，其结果如图3所示，坐标横轴上的ALL表示选取全部大于零的特征值对应的特征向量作为投影轴。试验中从每类中随机选择6幅图像构成训练样本集，其余用作测试，识别率为重复10次试验的平均结果。

图3中，两种算法的识别率均随投影轴数量的增加呈上升趋势，当投影轴增加至4个以后，识别率趋于稳定，在投影轴数量为6时识别率达到最高，此时，传统模块（2D）2PCA的识别率为96.06%，而本文算法可达96.82%，式（4）中的阈值θ＝0.904。

图3 两种算法的识别率对比Fig.3 Comparison of the two algorithms

试验结果表明，在投影轴数量达到4个后，本文算法始终有着更高的识别率（正确率提升了0.5%～0.94%），因此，与传统模块（2D）2PCA算法相比，本文算法表现出更强的稳健性。

由图3可知，当投影轴超过10个后，识别率出现小幅下降，这是由于图像中的某些冗余信息被引入特征空间。当投影轴数量小于4时，本文算法识别率低于传统模块（2D）2PCA算法，其原因为：在特征提取过程中，特征空间的维数过低会使许多重要的图像信息丢失，导致权重系数的置信度大幅降低。可见，选择适当数量的投影轴能够在完整的表示图像信息的同时降低冗余。

3.2 单样本条件下的性能对比

为了验证在模块（2D）2PCA中，基于特征空间中的信息比重对各子图像块进行特征加权的可靠性，以及本文算法针对单样本问题的有效性，在ORL人脸库中将本文算法与（2D）2PCA算法、模块（2D）2PCA算法及MW（2D）2PCA算法进行对比，其结果如图4所示。

试验中，每类任取1幅图像用作训练，构成单样本问题，其余用作测试，识别率为10次试验的平均结果。在2×2分块模式下时，投影轴数量取6，θ＝0.904；在4×4分块模式下时，θ＝0.929，选择4个投影轴进行特征提取。

如图4所示，（2D）2PCA算法的识别率为69.72%。在2×2分块模式下，模块（2D）2PCA算法的识别率为70.36%，MW（2D）2PCA算法的识别率达71.5%，本文算法识别率相对略高，为71.78%。在4×4分块模式下，模块（2D）2PCA算法的识别率为71.19%，MW（2D）2PCA算法的识别率可达74.14%，本文算法为74.22%。可见，在单样本条件下，相对于（2D）2PCA和模块（2D）2PCA算法，本文算法识别率有明显提高，而本文算法与MW（2D）2PCA算法的识别率基本持平。虽然相对于MW（2D）2PCA算法，本文算法并没有显著地提升正确率，但其依然存在一个明显的优势：在MW（2D）2PCA算法中，最佳权值系数是通过多次试验得出的，而本文算法的权重分配过程则完全是自适应的。

图4 单样本条件下的识别率对比Fig.4 Comparison of single training sample

3.3 算法速度分析

在许多人脸识别的实际应用中，算法的运行速度直接影响其实用性。表1为本文算法与模块（2D）2PCA算法在Matlab 7.6中的时间消耗对比，其测试环境为主频2.6 GHz的AMD双核PC机，时间消耗为10次测试的平均结果。

表1 时间消耗对比Table 1 Comparison of time consumption

如表1所示，在训练过程中，本文算法由于引入特征加权的计算，导致时间消耗略有上升（约为9.3%）。而分类过程中，本文算法耗时与传统模块（2D）2PCA算法几乎一致。在实际应用中，训练过程并不对识别速率产生影响，因此本文算法在有效提升识别率的同时，其速度与传统模块（2D）2PCA算法保持一致，特征加权的引入并未造成识别速率和实用性的降低。

4 结束语

对模块（2D）2PCA算法进行扩展，提出了一种基于特征加权模块（2D）2PCA的人脸识别算法。在ORL人脸库上进行测试，结果表明：相对于传统模块（2D）2PCA算法，本文算法能够有效提高人脸识别的正确率，并且在单样本条件下同样表现出较强的稳健性。证实了基于各子图像块在特征空间中的信息比重进行自适应权重分配的可靠性。在特征权重分配的过程中，本文算法无需任何先验知识以及人为干预，以各子图像的抽象特征为依据，在特征空间中计算权重系数，从而实现自适应特征加权，并有效地强调对识别贡献程度较高的图像局部特征。本文通过加权描述图像局部所包含的特征信息量，通过（2D）2PCA进行人脸识别，文中所提出的局部特征加权方法同样可与其他算法，如kernel-PCA、ICA等算法相结合使用。

［1］Jafri R，Arabnia H R.A survey of face recognition techniques［J］.Journal of Information Processing Systems，2009，5（2）：41-68.

［2］Tan X，Chen S，Zhou Z H，et al.Face recognition from a single image per person：A survey［J］.Pattern Recognition，2006，39（9）：1725-1745.

［3］Kirby M，Sirovich L.Application of the KL procedure for the characterization of human faces［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，1990，12（1）：103-108.

［4］Turk M A，Pentland A P.Face recognition using eigenfaces［C］∥1991 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，1991：586-591.

［5］宋怀波，史建强.应用PCA理论进行多人脸姿态估计的方法［J］.吉林大学学报：工学版，2013，43（增刊1）：43-46.

Song Huai-bo，Shi Jian-qiang.Pose estimation of varied human faces based on PCA method［J］.Journal of Jilin University（Engineering and Technology Edition），2013，43（Sup.1）：43-46.

［6］Gottumukkal R，Asari V K.An improved face recognition technique based on modular PCA approach［J］.Pattern Recognition Letters，2004，25（4）：429-436.

［7］Yang J，Zhang D，Frangi A F，et al.Two-dimensional PCA：a new approach to appearance-based face representation and recognition［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26（1）：131-137.

［8］陈伏兵，陈秀宏，张生亮，等.基于模块2DPCA的人脸识别方法［J］.中国图象图形学报，2006，11（4）：580-585.

Chen Fu-bing，Chen Xiu-hong，Zhang Sheng-liang，et al.A human face recognition method based on modular 2DPCA［J］.Journal of Image and Graphics，2006，11（4）：580-585.

［9］Gao Q.Is two-dimensional PCA equivalent to a special case of modular PCA？［J］.Pattern Recognition Letters，2007，28（10）：1250-1251.

［10］Zhang D，Zhou Z H.（2D）2PCA：Two-directional two-dimensional PCA for efficient face representation and recognition［J］.Nerocomputing，2005，69（1）：224-231.

［11］李欣，王科俊，贲晛烨.基于MW（2D）2PCA的单训练样本人脸识别［J］.模式识别与人工智能，2010（1）：77-83.

Li Xin，Wang Ke-jun，Ben Xian-ye.MW（2D）2PCA Based face recognition with single training sample［J］.Pattern Recognition and Artificial Intelligence，2010（1）：77-83.

［12］张翠平，苏光大.人脸识别技术综述［J］.中国图象图形学报，2000，5（11）：885-894.

Zhang Cui-ping，Su Guang-da.Human face recognition：a survey［J］.Journal of Image and Graphics，2000，5（11）：885-894.