视频人脸识别实验平台的设计与实现

范哲意, 曾亚军, 蒋　姣, 翁澍沁, 刘志文

(北京理工大学 信息与电子学院, 北京　100081)



视频人脸识别实验平台的设计与实现

范哲意, 曾亚军, 蒋姣, 翁澍沁, 刘志文

(北京理工大学 信息与电子学院, 北京100081)

在VS2010编程环境下,结合OpenCV视觉库设计并完成了一个人脸识别实验平台。首先检测图像中的人脸区域,然后通过子空间法将其映射到新的特征空间提取特征,最后使用支持向量机实现分类识别。该实验平台可完成人脸检测、人脸识别功能,并实现了人脸数据库的创建、修改以及查询。在此实验平台上对ORL人脸数据库和实际创建的数据库进行实验,实验结果证明了视频人脸识别实验平台的有效性。

人脸识别； 人脸检测； 支持向量机； OpenCV； 实验平台

北京理工大学信息与电子学院在国家“985工程”三期建设项目的支持下,建设了“电子信息类大学生实践创新平台”,为培养高素质创新人才提供了有利的条件。本文介绍的视频人脸识别实验平台是大学生实践创新平台实践创新活动的成果,由参与创新实践活动的学生设计完成。

1　视频人脸识别的基本方法

人脸识别是图像处理、计算机视觉以及模式识别领域的研究热点之一[1-2],在智能人机交互、视频监控等领域有广泛的应用。至今,关于人脸识别问题已有一些典型方法:(1)基于几何特征[3]的识别方法,即由人脸形状、头部器官位置及其相对关系等几何特征组成特征矢量,通过矢量匹配来确定不同人脸的相似性；(2)基于统计理论的识别方法,即将人脸看成一个整体,并将其特征表示为一个高维矢量,这样,人脸识别问题就转化为在高维空间中寻找最优分类曲面的问题,主要有特征脸方法和Fisherface方法[4]等；(3)基于机器学习的识别方法,即通过计算机模拟人脑的思维方式,先对训练数据进行有监督的学习,再进行预测,主要有支持向量机[5]、深度学习[6]、稀疏表示[7]等。

支持向量机是20世纪90年代中期发展起来的基于统计学习理论的一种机器学习方法,通过寻求结构化风险最小来提高分类器的泛化能力,实现经验风险和置信范围的最小化。由于其能够在统计样本量较少的情况下达到良好的分类效果,适合于人脸识别,故采用此方法来设计分类器。

OpenCV[8]是Intel公司开发的一套完整、高效的开源计算机视觉库,其通过C和C++语言编写,包含了丰富的图像处理、目标跟踪和模式识别功能,且具有调用简单、易读易学的特点。视频人脸识别实验平台在OpenCV和VS2010的开发条件下,利用其人脸检测以及支持向量机函数库功能,并通过MFC设计实现交互界面。

2　算法原理

视频人脸识别包括训练过程和识别过程,其中的关键步骤有:人脸检测,人脸图像预处理、特征提取以及分类识别。

2.1人脸检测

人脸检测即从图像中提取出人脸区域,常用方法有[9]基于肤色模型、基于纹理特征以及基于几何特征等。本文通过提取Haar特征并训练Ada-Boost级联分类器对图像进行匹配[10],实现人脸检测功能。

在人脸检测过程中提取的特征为矩形特征,如图1所示,特征值的大小即为矩形区域内黑色区域像素值之和减去白色区域内像素值之和。

图1　部分矩形Haar特征

Ada-Boost分类器是一种迭代学习的方法,将足够多的弱分类器进行级联得到强分类器。Ada-Boost分类器通过增加错分样本权值的方法实现对于错分样本的强化学习,从而增加分类器的整体泛化能力。

2.2人脸图像预处理以及特征提取

人脸图像预处理旨在去除噪声,加强有用信息,并统一图像尺寸大小[11],包括尺度归一化和灰度归一化操作。尺度归一化即是通过插值或者采样,使人脸图像的尺寸达到统一；灰度归一化是指采用光照补偿等处理方法减小光照变化对人脸检测的影响。

人脸的特征提取是指从人脸中提取出能够反映人脸信息的特征,通常情况下提取的特征包括颜色特征、纹理特征以及统计特征等。颜色特征和纹理特征会因为人脸姿态的变化产生较大差异,为此,本实验平台采用统计特征,即通过子空间法将人脸图像特征映射到新的特征空间中[12]。

假设图像矩阵表示为x∈Rm×n,训练集中共有k张人脸图像,具体操作步骤如下。

(1) 图像特征向量化。将图像灰度特征x∈Rm×n按矩阵的列依次排成一个向量,表示为x∈Rmn×1,所有图像组成矩阵X=[x1,x2,…,xk]∈Rmn×k。

(2) 训练矩阵的构造。训练矩阵是由图像矩阵减去平均图像向量得到的,公式为

(1)

(3) 构造关联矩阵。关联矩阵表示为

(2)

(4) 主成分提取。先求解矩阵C的特征值和特征向量,并按照特征值大小进行降序排列,分别表示为[λ1,λ2,…,λk]和[v1,v2,…,vk]。求前d个达到所有特征值能量80%以上的特征向量

(3)

由此构成的特征向量形成的子空间即为特征的投影方向。

(5) 人脸特征空间映射。将所有图像映射到新的子空间,得到人脸的特征矩阵为

(4)

2.3分类识别

分类是数据挖掘中一项非常重要的工作,它的目的是学习一个分类函数或分类模型,将数据库中的数据项映射到给定类别中的某一个,从而实现对于数据类别的预测。其中的分类函数或分类模型即为分类器。本实验平台采用支持向量机作为分类器,其基本原理如下。

假设所有的样本以及其类别标号表示为{xi,yi}(i=1,2,…,k),支持向量机是以二类分类为基础的,其基本思想是创建一个超平面,使得此平面距离两类样本都尽可能地远。设超平面方程为wTx+b=0,其目标函数表示为:

(5)

其中ξi(i=1,2,…,k)是松弛变量,对应数据点xi允许偏离超平面的距离的量。C是一个惩罚参数,用于控制公式中对于样本偏离超平面的距离的权重。

将求解得到的w和b构成超平面方程,待测样本代入超平面方程进行求解,判断其所属类别。

3　实验平台的设计与实现

3.1实验平台介绍

人脸识别实验平台的硬件部分主要由摄像头、视频采集卡和计算机等组成。监控用摄像头不能直接读取数据,通过连接视频采集卡并引入Windows的VideoInput库实现图片的读取。

人脸识别实验平台的算法设计包括训练过程和识别过程。训练过程包括录入人脸样本库,人脸预处理以及特征提取和分类器的训练等步骤；识别过程包括读取待测试人脸图片、预处理、特征提取以及预测结果等步骤,整体流程如图2所示。实验平台通过VS2010加载OpenCV库的方法实现上述所有功能,并通过MFC设计交互界面。

图2　实验的整体流程图

3.2人脸识别实验平台软件

通过OpenCV视觉库和MFC设计人脸识别平台的软件运行界面如图3所示。软件实现了人脸数据库的建立、修改、查询以及人脸检测和人脸识别功能。

图3　人脸识别软件界面

通过读取计算机内部图像或者拍照的方式创建人脸数据库,将所有的人脸图像存储在数据库文件夹中,可以删除其中不符合要求的人脸图片。利用人脸识别功能,可以实现对计算机内已有图像中的人进行身份识别,还可以在摄像头条件下采集特定帧数,通过投票方式[13]识别身份。

4　实验结果与分析

将ORL(olivetti research laboratory)数据库和实际创建的数据库在本实验平台上进行实验,通过实验结果的验证,说明了该人脸识别实验系统的有效性。

4.1在ORL数据库中的实验结果

ORL数据库共包含40个人、每人10张人脸图像,其中每个人的图片包含了表情以及姿态变化,如图4所示。实验过程中将前7张图片加入到数据库中作为训练样本,剩余的3张图片用于识别。

图4　部分ORL数据库人脸图像

实验步骤如下:(1)由于标准数据库中不需要进行人脸检测,则直接将其加入到数据库中即可；(2)进行人脸预处理和特征提取,得到的特征脸图像如图5所示；(3)在经过预处理之后将剩余的3张图片用于识别,其识别率为93.3%,证明了此算法的有效性。

图5　部分特征脸图像

4.2用实际创建的数据库的实验结果

在用标准人脸数据库进行实验之后,采集实验者的照片,创建实际的数据库并进行实验。

首先是训练样本的建立，可以用读取已有图像和摄像条件下截取图像帧两种方式进行。在读取已有图像时,包含多种表情以及姿态变化,其采集到的图像如图6(a)所示。摄像条件下采集到的人脸图像具有连续的表情变化,如图6(b)所示。

图6　部分数据库中的人脸图像

然后是数据的预处理以及特征提取,得到的特征脸如图7所示。

最后是识别功能。将训练好的支持向量机用于识别,既可以识别已有图像的身份,也可以识别视频序列中的目标身份。在识别已有图像的过程中,分别选择每个人的多张图像进行识别,其识别率为92.5%。对于视频条件下的身份识别采用的是投票法,采集固定帧数的视频序列,对每一帧的识别结果进行投票,得票最多的为最终的识别结果,其识别率为95.8%。通过上述2个实验证明了本实验平台的有效性。

图7　部分特征脸图像

5　结语

人脸识别是模式识别的重要组成部分,已成为许多高校本科生和研究生的创新实验项目。本文阐述的基于VS2010和OpenCV的视频人脸识别实验平台,具有人脸检测、人脸识别和识别结果分析的功能,并在实验中取得了较好的识别效果,证明了其有效性。

References)

[1] Chen Xue, Wang Chunheng, Xiao Baihua,et al. Scenario oriented discriminant analysis for Still-to-Video face Recognition[C]//Proceedings of IEEE International Conference on Image Processing.2014:738-742.

[2] Liao Shengcai, Jain A K, Li S Z. Partial face recognition: alignment-free approach [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(5):1193-1205.

[3] Brunelli R, Poggio T. Face Recognition: Features versus Templates[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,1993,15(10):1042-1052.

[4] Belhumeur P N, Hespanha J P, Kriegman D. Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19(7):711-720.

[5] Boser B E, Guyon I M, Vapnik V N. A Training Algorithm for Optimal Margin Classifiers[C]//Proceedings of Annual Acm Workshop on Computational Leaning Theory,1996:144-152.

[6] 林妙真.基于深度学习的人脸识别研究[D].大连:大连理工大学,2013.

[7] Wright J, Yang A Y, Ganesh A, et al. Robust Face Recognition via Sparse Representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(2): 210- 227.

[8] 雷静.基于OpenCV的人脸跟踪识别系统研究[D].西安:西安电子科技大学,2010.

[9] 刘翠响,肖伶俐.基于视频的人脸检测综述[J].电子设计工程,2011,19(14):172-174.

[10] Viola Paul, Jones Michael. Robust Real-Time Face Detection[J]. International Journal of Computer Vision, 2004, 57(2): 137-154.

[11] 周昕.基于BP神经网络的人脸识别技术的研究[D].南京:南京理工大学,2007.

[12] Turk M, Pentland A. Eigenfaces for recognition[J]. Journal of Cognitive Neuroscience,1991,3(1):71-86.

[13] 师飞龙,李岚,徐楠楠.基于多数投票的DBC人脸识别[J].计算机工程与应用,2014(11):163-166.

Design and realization of experimental platform for video face recognition

Fan Zheyi, Zeng Yajun, Jiang Jiao, Weng Shuqin, Liu Zhiwen

(School of Information and Electronics, Beijing Institute of Technology, Beijing 100081, China)

A face recognition experimental platform was designed and realized combining OpenCV under VS2010. It can detect face in image firstly, then map this face image into a new feature space, and finally use the support vector machine (SVM) classifier to recognize new face videos. This experiment platform could detect face in image and recognize face, at the same time it can realize the establishment, modification and enquiry of the data in the database. The experimental results in ORL and database collected by ourselves show that it is effective.

face recognition; face detection; support vector machine; OpenCV; experimental platform

10.16791/j.cnki.sjg.2016.03.040

2015- 10- 22修改日期:2015- 11- 08

范哲意(1983—),男,福建莆田,博士,实验师,主要从事信号与图像处理方向教学科研及实验室建设与管理工作.

E-mail:funye@bit.edu.cn

TP391.41

A

1002-4956(2016)3- 0159- 03