基于局部通用的核协同表示单样本人脸识别算法

崔建　游春芝

【摘   要】   针对单样人脸识别中每个训练样本只有一张人脸图像，尤其是存在光照、表情以及遮挡等变化时，提取特征信息单一化等问题，提出一种局部通用的分块核协同表示单样本人脸识别算法。算法通过备用的训练样本构造通用的类内变化字典，并对通用集和训练样本进行分块，以达到样本扩充的目的，保证训练字典的完备性，从而提取足够的特征判别信息，然后利用高斯核变化将人脸数据映射到高维特征空间，从而实现人脸数据线性化的优势，增强人脸特征信息的可分性，提高算法在复杂环境下的适应能力。最后通过正则化协同表示计算每个样本块的重构误差，根据所有分块误差和最小完成样本的分类。在ORL、Extended Yale B、AR人脸库进行仿真实验，结果表明，构建通用的类内变化字典和对样本的分块除了起到扩充样本的作用外，还有助于人脸特征的线性表示，增强了样本的准确率。

【关键词】   人脸识别;局部通用;核协同表示;鲁棒

Single Sample Face Recognition Based on Local Generic

Kernel Collaborative Representation

Cui Jian， You Chunzhi

（Fenyang College Shanxi Medical University， Lvliang 032200， China）

【Abstract】    Aiming at information extracting simplicity and other information extracting problems， this paper proposes a local generic kernel collaborative representation algorithm based single sample person recognition for illumination， expression and disguises. This algorithm use spare training samples to construct generic inter-class changes dictionary，and divide it into patches to achieve the purpose of the sample expansion， ensuring training dictionary completeness， so as to extract enough feature discriminant information. Then using the Gaussian kernel to map face data to high-dimensional， so as to realize the advantages of face data linearization， enhancing separability of feature information and improving the algorithm adaptability in complex environment. Finally， the algorithm uses collaborative representation to calculate reconstruction error of each patch， and classify it through error minimum. Through ORL， Extended Yale B， and AR face database simulation experiment， results show that constructing general inter-class dictionary and block of samples in addition has the effect of expansion of samples， also help to face data linearization， increasing sample accuracy.

【Key words】     face recognition; local generic; kernel collaborative representation; Robustness

〔中图分类号〕    TP391               〔文献标识码〕  A              〔文章编号〕 1674 - 3229（2022）02- 0035 - 05

0     引言

稀疏表示[1-3]是人脸识别中常用的一种分类别算法，该算法最早是由Wright 等人提出应用于图像的压缩感知方向，该思想是基于测试样本与训练样本的线性表示，后逐渐被应用于人脸识别当中，而且对光照、表情以及遮挡等变化有很好的识别效果。稀疏表示是基于L1范数约束求解的，求解过程当中需要保证训练样本的过完备性，才能保证系数的稀疏性，而且需要迭代计算，当样本维度较高时，迭代计算的工作量非常高、存储空间非常大。在特定的環境下，有的时候只能获取少量的单个训练样本无法保证训练样本的完备性，在这种情况下很多传统的稀疏表示算法无法满足需求，很多改进的单样本稀疏表示算法相继被提出[4-7]，如（Extended Sparse representation based Classification，ESRC）[7]。在ESRC中Deng提出不同人脸内部结构变化的相似性，构建类内变化字典以达到训练样本的完备性，取得了较好的效果，但是算法没有考虑到人脸图像的非线性结构。Liu[8]等人提出协同表示人脸识别算法，提出构建类内特定字典，这些算法都是通过构建通用集达到样本的完备性，实验结果也表明构建通用集能够很好地提高单样本识别的效果。但是这些算法都属于线性分类器，没有考虑到人脸结构的非线性变化，而核变换[9-11]可以实现人脸数据从非线性到线性的转化。本文在局部通用协同表示的基础上，提出基于高斯核变换的局部通用协同表示的单样本人脸识别算法。首先针对光照、表情、遮挡等变化构造通用的变化字典，其次对测试样本、训练样本、通用集进行分块，确保每个训练样本有足够训练的子集，保证样本的完备性，解决样本少的问题。然后利用高斯核变化将人脸数据映射到高维空间中实现线性化的转变，增强数据的线性表示，最后对每个字块进行协同表示，通过重构误差和最小化达到测试样本的正确分类。0865259D-DB0E-4F59-A525-A8F0F9F2C9A2

1     局部通用协同表示

在人脸识别中常用的稀疏表示模型一般可以表示为：

y=Xα

其中y表示待测试样本，X=[X₁，X₂…X_C] ∈

R^m×N表示由C个人组成的训练字典，α表示重构系数向量。在文献[3-5]中研究者们提出，在人脸出现光照、表情、遮挡等变化时上述的稀疏表示思想很难达到理想的效果，为了解决此问题，提出构建局部通用变化训练集的方法，即：

2     局部通用核协同表示

文献[9-10]提出将人脸数据映射到高维空间，通过核函数变换将人脸结构由非线性转化成线性，然后特征提取，来提高识别类别。受核函数的启发本文提出局部通用的核协同表示分块单样本人脸识别算法（Local Generic Kernel Collaborative Representation，LGKCR）。

3     实验验证与分析

实验部分采用ORL[12]，Extended Yale B 和AR[13]人脸数据库，对照实验中将局部通用核协同表示算法与以下几种算法进行比较，如：ESRC、PCRC、CRC、SVDL等。其中ESRC、SVDL、CRC是基于通用表示的算法，PCRC是没有构建通用集，在分块的基础上基于正则化协同表示算法。实验环境：Windows 10操作系统、Intel双核处器，4GD内存Matlab2012。在实验中所有人脸图像采样为80×80，每个分块为20×20。在对样本进行分块时根据文献[8]中方法提取邻近的样本块来扩充训练样本。SVDL、CRC、PCRC中数λ为0.001。

3.1   ORL、Extended Yale B 和AR人脸实验

实验一：ORL人脸数据库是一组通用的人脸库，由40个人总计400张人脸图像组成，主要集中在表情、姿态的变化，如微笑、不笑、生气、戴眼镜等，部分样本如图1所示。每张人脸图像均为92×112的灰度图像，实验中将其缩放为80×80，每个样本分成20×20的小块。取其中前20个对象作为测试集，剩余的20个对象用于通用集。其中单样本训练集由测试集中每个人的第一张正常表情变化图像作为训练样本，其余图像组成测试样本，通用集中以每个人的第一张正常表情作为标准脸，其余作为变化脸，构建通用变化字典。

表1列出了局部通用核协同表示LGKCR新算法与CRC、PCRC、ESRC、SVDL等比较。其中CRC是基于分块的局部通用协同表示算法，PCRC是基于分块的协同表示算法，不难看出，在表情、光照变化条件下，基于通用集表示的算法如CRC、ESRC、SVDL、KCRC整体来说效果显著。PCRC基于分块的协同表示人脸识别与CRC相比，缺少构建通用训练样本，CRC比PCRC高出6个百分点，说明构建通用训练样本在一定程度上可以提高样本的识别率。本文的算法LGKCR在CRC基础上对人脸数据增加了高斯核变换，改进算法正确识别率比CRC高出3个百分点。比ESRC高出将近2个百分点。

实验二：Extended Yale B 是根据不同光照变化拍摄的人脸数据库，是由38个对象两千多张人脸图像组成，按照光照角度从0～130变化分为5个子集，随着光照角度的增加推向越来越模糊。子集1是由6张人脸图像组成，在光照角度0～10内，图像清晰;子集2是由12幅不同的人脸图像组成，光照角度范围是在10～25，图像相对清晰;子集3是由12张人脸图像组成，光照角度变化范围25～50，与子集1、2相比模糊;子集4是由14幅人脸图像组成的，光照变化范围为50～75，人脸图像比较模糊;子集5是由19幅人脸图像组成，光照角度变化范围为75～130，图像比较模糊。实验中选取前20个对象作为训练集和测试集，其他18个对象用于构建通用集。选取每个对象正面光照角度光照角度为零的人脸作为单样本训练集，以子集1第一张正常表情作为标准脸，其余作为变化脸，构建通用变化字典。将所有图像缩放为 80 ×80，分块大小为 20 ×20，extended Yale B 部分训练样本和测试样本如图2所示。

从表2可以看出从子集1到子集5随着光照角度的变化，识别率越来越低。尤其是在子集1上本文的算法LGKCR和SVDL最高等达到100%，分块的协同表示最低也达到89.3%，该算法与本文算法相比，缺少了通用表示以及核变化。在子集1到子集3上本文的算法与SVDL识别率基本持平，但是比ESRC、PCRC、CRC要高得多，在子集1比PCRC要高出将近11个百分点，在子集2上比ESRC、PCRC、CRC平均高出4个百分点，即便是在子集4、5上识别率都能达到60%以上，比CRC平均高出10个百分点，比PCRC高出将近20个百分点。而且在子集1、2上识别率超过95%，比CRC、PCRC效果更好。

实验三：AR 是基于表情、墨镜、围巾遮挡的人臉数据库，共有 126 个对象、每个26 张人脸，大小为165 ×120。本文随机选取60个对象用于实验，其中的20个人脸图像用做通用训练集。选取每个对象正面无表情变化人脸作为单样本训练集和标准脸，其余为测试样本或构建通用变化字典。分别对表情、光照、墨镜、围巾遮挡等类型进行实验。实验中，所有图像的尺寸调整为 80×80、分块尺寸为 20 ×20;部分样本如图3所示。

表3是在AR人脸针对表情、光照、墨镜、围巾遮挡实验对照，墨镜和围巾遮挡比例在20%-40%。由表3可以看出，在复杂环境下基于通用集表示的算法如ESRC、SVDL、CRC以及新算法LGKCR，都取得很好的效果。在AR数据上光照变化环境下LGKCR比SVDL还略高一点，比PCRC高出9个百分点，比CRC高出1个百分点，比ESRC高出3个百分点。在表情变化的数据上LGKCR比PCRC高出17个百分点，比ESRC高出10个百分点，比CRC高出4个百分点。在墨镜遮挡中构建通用集的算法整体识别率都超过80%，LGKCR算法达到88.8%，比PCRC高出很多。在围巾遮挡下新算法达到81%，比CRC、ESRC高出10个百分点，比PCRC高出20个百分点。0865259D-DB0E-4F59-A525-A8F0F9F2C9A2

3.2   实验结果分析

实验中对照组的方法主要涉及PCRC、CRC、ESRC、SVDL和本文的局部通用核协同表示算法（KLCRC），改进的算法在光照、表情变化取得到较好效果，主要原因如下：一是局部通用核协同表示算法通过对样本进行分块和构建通用训练样本达到样本的完备性，保证协同表示需要的足够样本，提高人脸识别准确性，增强鲁棒性;二是从ESRC、PCRC、CRC对照实验可以发现构建通用训练样本后算法的识别率有明显的提高，说明构建通用的训练样本除了起到扩充样本的作用外，还有助于人脸特征的线性表示，增强样本的准确率;三是将CRC和KCRC相比，KCRC是通过高斯核变换将非线性人脸识别线性化，有助于发现人脸的非线性结构，增强稀疏表示性能，提高算法的鲁棒性;四是在光照、表情变化较小的人脸数据上KCRC效果明显，随着光照增强、遮挡显著识别率没整体下降，其原因在于特征信息的减少，相关性降低导致。

4     结语

本文针对单样本人脸识别中样本不足、遮挡等变化提出一种基于高斯核變换的核协同单样本协同人脸识别算法，该算法通过样本分块和构建通用训练样本达到扩充训练样本图像的目的，高斯核变换提高了协同表示在复杂环境下的算法应用能力。公开的人脸数据实验表明，LGKCR算法能在表情、光照、遮挡等单样本环境下有较好的识别效果。但是本算法容易受到通用训练集的影响，训练集过多容易导致稀疏，表示信息的冗余，而过少达不到应有的效果，因此如何高效地构造通用训练集有待进一步研究。

[参考文献]

[1]WRIGHT J，MA Y，MAIRAL J，et al. Sparse repre- sentation for computer vision and pattern recognition [J]. Proceedings of the IEEE，2010，98（6）： 1031-1044.

[2] ZHANG Lei，YANG Meng，FENG Xiang-chu. Spa- rse representation or collaborative representation： Which helps face recognition [C]//2011.IEEE International Conference on Computer Vision （ICCV），IEEE，2011： 471-478.

[3] 崔建，游春芝，丁伯伦.基于正则化协同表示的鲁棒PCA人脸识别[J].重庆工商大学学报（自然科学版）2021，38 （3）：36 -41.

[4] PANG Meng，CHEUNG Yiu-ming，WANG Bing-hui，et al. Robust heterogeneous discriminative analysis for face recognition with single sample per person[J]. Pattern Recognition，2019，89（12）： 91 -107.

[5] 韩旭，谌海云，王溢，等. 基于SPCA和HOG的单样本人脸识别算法[J].计算机科学，2019，46 （z1）： 274 -278.

[6] YANG Meng，VAN L，ZHANG Lei.Sparse variation dictionary learning for face recognition with a single training sample per person[C]//Proc of the 14th IEEE International Conference on Computer Vision. Wash- ington DC：IEEE Computer Society，2013： 689- 696.

[7] DENG Wei-hong，HU Jian-ni，GUO Jun.Extended SRC： under-sampled face recognition via intra- class variant dictionary [J].IEEE Trans on Pattern analysis and Machine Intelligence，2012，34 （9）： 1864-1870.

[8] LIU Bao-di D，SHEN Bin，GUI Liang-ke，et al. Face recognition using class specific dictionary learning for sparse representation and collaborative representation [J].Neurocomputing，2016，204： 198-210.

[9] HUANG Ke-kun，DAI Daoqing，Ren Chuanxian，et al.Learning Kernel Extended Dictionary for Face Recognition[J].IEEE transactions on neural networks & learning systems，2017，28（5）.1082-1094.

[10] LIU Zhong-hua，YANG Wan-kou，YIN Jun，et al. Kernel sparse representation based classification [J]. Neurocomputing，2012，77（1），120-128.

[11] 侯良国，向泽君，楚恒.加权融合核稀疏和协同表示的高光谱影像分类[J].计算机工程与设计，2019，40 （4）：1058-1063.

[12] LUAV Xiao，FANG Bin，LIU Ling-hui， et al. Extracting sparse error of robust PCA for face recogni tion in the presence of varying illumination and occlus -ion[J]. Pattern Recognition，2014，47（2）： 495 -508.

[13] CHEN Song-can，LIU Jun，ZHOU Zuan-xuan. Making FLDA applicable to face recognition with one sample per person[J]. Pattern recognition，2004，37（7）： 1553- 1555.0865259D-DB0E-4F59-A525-A8F0F9F2C9A2