基于超分辨率的人脸识别身份认证系统

任李

摘 要 为提高人脸识效率别，结合引入图像超分辨率重建技术及深度图像信息，开发设计了基于超分辨率的人脸识别身份认证系统。本系统考虑实际应用当中采集图像分辨率不高影响识别效果的问题，在图像采集环节利用kinect 2.0摄像头采集彩色-深度图像信息，并加入了图像超分辨率重建，提升了输入图像的质量，降低了检测误差。

关键词 人脸识别 超分辨率 Kinect

中图分类号：TP391 文献标识码：A

0引言

在现代社会，快速、精确的身份识别是保障社会高效运转和公共安全的必要前提，日益受到人们的高度重视。传统的人脸识别受非均匀光照、姿势变化、表情变化、面部遮挡等影响较大，因此提高人脸识别算法鲁棒性的问题亟待解决。基于彩色-深度图像数据的人脸识别，将面部的深度信息与彩色信息相结合，在进行人脸识别时，能够更好的识别出物体的视角和姿态等信息，提高了算法的鲁棒性和识别率。

1深度图像与人脸识别对接研究

基于彩色-深度数据的人脸识别，将人脸的面部深度信息与彩色信息相结合，在进行人脸识别时，能够更好的识别出物体的视角和姿态等信息，提高了算法的鲁棒性和识别率。

通过采用微软公司推出的高性价比体感设备Kinect 2.0深度摄像头作为人脸识别研究过程中人脸图像采集设备，将采集得到的彩色人脸图片以及深度人脸图片数据相结合来进行人脸识别。在人脸特征提取与多特征融合方面改进基于稀疏表达的人脸识别算法，提高了人脸识别算法的鲁棒性。

（1）将人脸图片彩色数据与深度数据相结合进行人脸识别，采用粒子群优化算法对人脸彩色、深度图片的特征维数和权重进行自适应选取。通过对人脸识别算法的研究和实验分析发现，三维数据能够给出更为准确的人脸空间结构信息，相比于二维人脸图像对于光照、姿态、遮挡等条件的变化在人脸识别过程中具有更好的表现，多特征的融合相比于单一特征具有更高的识别率，特征的权重和维数的变化也对识别率造成影响。

（2）多模态联合稀疏表达的人脸识别，将彩色人脸特征以及深度人脸特征作为两种不同的模态联合求解稀疏表达系数，再进行人脸识别。在人脸特征提取的过程中，引入核函数，将人脸特征映射到核空间，解决了实际应用中存在的非线性人脸特征问题，并对不同的模态增加了模态分类权重以及采用SCI值作为人脸图像质量的约束因子，提高了人脸识别率。

2人脸识别系统功能实现

（1）图像采集：本系统使用的是一款Kinect2.0攝像头，kinect for windows sdk 2.0。Opencv2.4是一个开放源码的计算机视觉库，能够直接以IplImage的形式返回采集到的视频图像，采集到的图像以队列的方式进行存取。

（2）基于彩色-深度图像信息分析：将人脸图片彩色数据与深度数据相结合进行人脸识别，采用粒子群优化 算法对人脸彩色、深度图片的特征维数和权重进行自适应选取。

（3）超分辨重建：通过图像超分辨率处理具有互补信息的低分辨率图像序列，重建出人脸高分辨率图像。利用超分辨率技术，可以在硬件设备无需改变的前提下，实现图像分辨率的有效提升。同时，在处理过程中还可以通过相关的预处理消除图像模糊和噪声的影响，改善图像的质量。

（4）人脸检测：人脸检测就是对输入视频帧先判断是否包含有人脸，对包含有人脸的用矩形框标记出来，然后剪切出人脸，为后续人脸识别做准备。目前常用于人脸检测的方法主要有：基于特征的人脸检测，例如，颜色特征、纹理特征、轮廓特征等；基于模板匹配的人脸检测，根据人脸的局部特征预先设定好人脸的标准样式，然后按照一定的模板匹配策略对待检测人脸进行比对；基于统计的人脸检测，首先要搜集大量的人脸和非人脸样本，然后使用某种统计算法对人脸和非人脸样本进行训练获得一个二分类器，最后把待检测的人脸输入分类器进行判别。

人脸检测识别是系统的核心，本系统采用基于多尺度的多层匹配追踪的算法（Multiscale -HMP），提高人脸识别率。基于Multiscale -HMP的人脸识别系统，同样由训练和识别两部分组成，训练阶段，首先是读入所有的训练库图像，然后每一张人脸图像进行基于Multiscale -HMP的人脸特征提取，获得训练图像集的特征向量矩阵，最后送入SVM分类器进行训练。测试阶段首先是加载训练好的SVM分类器，然后对测试人脸进行基于Multiscale -HMP的人脸特征提取获得人脸特征向量，最后送入分类器得出最终识别结果。

图1基于Multiscale -HMP的特征提取，人脸图像首先要分别以不同的尺度进行分块，然后对每一块在相应尺度的多层字典下进行多层匹配追踪提取特征，得到两个尺度上的特征向量后进行特征融合，最后得到整个人脸图像的总体特征。

（5）图像预处理及归一化：在实际使用过程中，我们采集到的人脸图像常受到许多外界干扰，如一些光照、噪声、倾斜以及大小不一样等问题，如果直接使用检测到的人脸会对后续的人脸识别带来干扰。为了提高识别率，这就要求我们对图像做好预处理工作。所以在这一阶段要求对图像进行人脸的倾斜矫正，光照补偿，去噪，图像增强，归一化等操作。

（6）样本采集：本系统的训练人脸样本库是通过样本采集线程实现的，在进入样本采集线程前首先要填写样本名字，然后对采集到的人脸归一化图像进行保存，直到满足设定的预值，本系统设定需要采集样本的数量为20张，最后对采集到的人脸进行选择，祛除模糊的或者不完整的人脸，保存10张整洁、完整、并且表情丰富的人脸到样本库。

（7）显示识别结果：本模块主要是对识别的最终结果进行样本名字显示和语音播报。在指定地方显示现场采集人脸和样本库返回的匹配人脸。语音播报使用的是调用微软的SAPI，将文本信息转化为语音信息进行播报。

3实验结果分析

根据系统实时测试的结果，分别从三个监控场景：1代表简单场景、2代表一般场景、3代表复杂场景分析系统的功能。从图2柱状图中可以看出，在简单监控场景中，系统的人脸识别率能够达到95%以上。由于系统采用的人脸检测方法是基于稀疏表达的检测方法，此方法对光照变化敏感性较若，因此在一般场景和复杂场景，人脸识别率也能分别达到93%和88%。

4结束语

本文设计实现了一种针对公共安全身份认证的基于超分辨率的人脸识别身份认证系统。本系统考虑实际应用当中采集图像分辨率不高影响识别效果的问题，在图像采集环节加入了图像超分辨率重建，提升了输入图像的质量。整个系统由图像采集，人脸检测，图像预处理、结果文本显示与语音播报等模块组成一个完整的面向实际应用的人脸识别系统。为了进一步提升识别率，系统在人脸检测和超分辨率重建环节采用基于稀疏表示的思想方法，在实际测试中，对一定光照，表情范围的变化，幅度状态变化具有较强鲁棒性。特征多，检测效率相对较低，将是下一个阶段要解决的问题。

参考文献

[1] Turk， M.A.& A.P. Pentland. Face recognition using eigenfaces. in Computer Vision and Pattern Recognition， 1991. Proceedings CVPR'91.， IEEE Computer Society Conference on. 1991. IEEE.

[2] Belhumeur，P.N.&J.P.Hespanha&D.Kriegman.Eigenfaces vs. fisherfaces： Recognition using class specific linear projection[J]. Pattern Analysis and Machine Intelligence，IEEE Transactions on， 1997，19（07）： 711-720.

[3] 吴炜，杨晓敏，陈默等.基于流形学习的人脸图像超分辨率技术研究[J].光学技术，2009，35（01）： 84-88.endprint