视频人脸识别系统中的最佳人脸捕获

孟繁静，王连明

（东北师范大学物理学院，吉林长春130024）

视频人脸识别系统中的最佳人脸捕获

孟繁静，王连明

（东北师范大学物理学院，吉林长春130024）

基于视频的自动人脸识别系统自动选取用于后续识别的最佳人脸图像.设计并实现了一个最佳人脸捕获模块，该模块主要由人脸检测、人脸跟踪和姿态判定环节组成.在实现对视频中的人脸进行检测和跟踪的基础上，可自动截取并保存一张大小合适、清晰度高且姿态最佳的人脸，用于后续的人脸识别.

人脸检测；人脸跟踪；姿态判定；人脸捕获

随着社会的发展，人脸识别作为一种高效、友好、安全的身份识别方式在众多领域被广泛应用.基于视频的自动人脸识别系统因其不需要人工干预、自动化程度高等优点而受到了人们的广泛关注.

基于视频的自动人脸识别系统主要包括视频采集环节、人脸检测环节、人脸跟踪环节和人脸识别环节.现有的研究大多是针对其中的单个环节，如人脸检测［1－5］、人脸跟踪［6－9］、姿态判定［10－11］和人脸识别［12－13］等，没有把它们集成一个完整的系统.而一些完整的基于视频的自动人脸识别系统大多是将视频中隔几帧检测到的人脸进行识别［14－15］，或将提取的关键帧中的人脸进行识别［16］，或将检测到人眼的人脸进行识别［17］.这些系统都有可能出现同一个人被重复识别的问题，也不能保证被用于识别的帧中具有大小合适、清晰度高且姿态最佳的人脸，从而增加了后续人脸识别环节的难度.针对基于视频的自动人脸识别系统，本文集成了人脸检测、人脸跟踪、姿态判定等环节，设计并实现了一个最佳人脸捕获模块，可以为人脸识别环节提供一张大小合适、清晰度高且姿态最佳的人脸.

1 人脸捕获模块整体框架

人脸捕获模块主要由视频采集、人脸检测与跟踪、人眼检测和姿态判定等环节构成.模块具体流程如图1所示.

模块运行过程：摄像头采集视频，经人脸检测后，对检测到的人脸进行跟踪，并根据新一帧图片中检测窗口与跟踪窗口的位置，判断检测与跟踪的是否为同一人；判断检测到的人脸是否满足实际人脸识别中对于图片大小的要求，对满足大小的人脸进行清晰度检测；对其中清晰的人脸进行人眼检测，确定人眼坐标，并据此对人脸进行转正；对转正后的人脸进行姿态判定，并判断其是否满足限定的姿态范围；对一定数量的满足姿态范围的人脸进行姿态比较，截取保存其中姿态最佳且转正时旋转角度最小的人脸，用于后续的人脸识别.

图1 模块流程图

2 模块功能实现

2.1 视频采集与人脸检测

模块采用安泰科公司的AT-8202点阵式红外摄像机进行视频采集，并通过大恒图像采集卡DHCG400连接到PC机上.

模块的人脸检测部分采用的是肤色分割与Adaboost算法相结合的方法［4－5］.首先利用肤色检测提取可能包含人脸的区域，然后针对肤色区域使用由Adaboost算法训练的基于Haar-like特征的级联分类器进行人脸检测和定位，最后实现视频内快速实时的人脸检测.

（1）肤色分割.利用皮肤颜色在色度空间的聚类性，提取肤色区域，排除背景对检测的干扰.由于Ycrcb空间具有色度与亮度分离、肤色聚类特性较好的特点，因此，模块首先将视频图片由RGB空间转到Ycrcb空间，对图片进行肤色区域判断.色彩空间转换公式［4］如下：

经实验得到，满足75≤Cb≤125且135≤Cr≤165的区域可认为是肤色区域.然后，将图片中的非肤色区域设置为黑色，肤色区域保持不变，完成肤色分割.最后，把处理后的图片用于人脸检测.

（2）Adaboost算法.针对得到的图片，采用Viola和Jones提出的基于Haar-like特征的Adaboost算法［1］进行人脸检测.该算法鲁棒性强且具有较高的检测速率和精度，能够实现快速实时的人脸检测.Adaboost算法过程如下：

（a）给定一个训练集.其中，xi是输入的训练样本向量，yi∈｛0，1｝，yi＝0表示非人脸样本，yi＝1表示人脸样本.

（b）初始化样本权重为

（c）进行T次训练，t＝1，2，…，T，归一化权重为

（d）对每个特征f，训练一个简单分类器hf，并计算所有简单分类器的加权错误率为

选出分类错误率最低的简单分类器为弱分类器ht，将其错误率记为εt，调整所有样本权重为

（f）通过分析，选择错误率最低的T个弱分类器，优化成一个强分类器.强分类器为

其中αt＝－logβt.

根据上述Adaboost算法，用正负人脸样本训练基于Haar-like特征的强分类器，并将强分类器串联成级联分类器，实现快速实时的人脸检测.

2.2 人脸跟踪

模块的人脸跟踪部分采用的是Camshift跟踪算法［9］.将第一个检测到的人脸窗口作为Camshift算法的初始跟踪窗口来进行人脸跟踪.同时，利用每帧图片中检测窗口和跟踪窗口的位置，判断检测到与跟踪着的人是否为同一人，避免重复剪裁.

Camshift算法是一种运动跟踪算法，主要通过视频图像中运动目标的颜色信息来实现跟踪，具有良好的鲁棒性和实时性.算法运行时首先对视频图像进行反向投影，将视频图像转换为颜色概率分布图.然后，根据Meanshift算法通过迭代寻找目标颜色概率分布的极值点来定位目标.最后，把Meanshift算法扩展到连续图像序列中，把上一帧的跟踪结果作为下一帧的搜索窗口，如此迭代，实现对人脸的跟踪.

Meanshift算法运行过程如下：

（1）在颜色概率分布图中选取搜索窗W.

（2）计算零阶矩

以及x和y一阶矩

（3）计算搜索窗的质心（xc，yc）为

（4）调整搜索窗口大小.

（5）移动搜索窗的中心到质心，重复（2）—（4），直至质心变化小于给定阈值.

2.3 清晰度检测

由于摄像头采集的是运动目标的视频，难免会出现模糊的图片.为了排除其中模糊的人脸，模块在选取人脸时对图片进行了清晰度检测.图片的清晰度评价方法有很多种，由于模块旨在简单地判断图片是否清晰，所以采用较为简单的能量梯度函数方法［18］对人脸进行清晰度检测.

能量梯度函数是采用相邻点的差分来计算一个点的梯度值，其评价函数为

其中I（x，y）为图像在点（x，y）处的灰度值.

根据实际的视频情况，自主设定阈值T.若评价函数f（I）的值大于T认为是清晰图片，否则为模糊图片.

2.4 人眼检测

模块的人眼检测部分也采用了基于Haar-like特征的Adaboost算法.即根据Adaboost算法用正负人眼样本训练基于Haar-like特征的级联分类器实现人眼检测.为了提高人眼检测的速率和准确率，模块在人眼检测前对人脸图片进行了预处理.首先根据肤色信息对人脸图像进行二值化处理，将其中的黑色区域，诸如瞳孔、头发等在原人脸图片中设为黑色，使人眼更为突出.然后，采用水平积分投影的方法找到人眼的纵坐标，限定人眼区域.最后，在加黑后的人脸图片上截取人眼区域用于人眼检测.预处理过程如图2所示.针对截取到的人眼区域，使用训练好的级联分类器进行人眼检测.如此处理可有效地提高模块检测到人眼的速率和可能性，降低误检率.

图2 人眼检测预处理过程

2.5 姿态判定

由于姿态判定环节旨在比较视频内若干帧数的人脸姿态，从中选取姿态最佳的人脸.所以，不需要对人脸姿态有严格的估计，仅需实现姿态的简单判定即可.因此，本文采用了较为简单的基于边缘统计特征的人脸姿态估计方法［10］.

基于边缘统计特征的人脸姿态估计方法是通过人脸的中心线和对称线的位置关系来实现姿态估计的.中心线是指双眼的中心线，如图3中黑线所示.对称线是指人脸部器官的对称线，如图3中白线所示.当人脸左右旋转时，人脸的中心线和对称线间的距离会随着人脸的旋转角度发生变化，旋转越大，距离越大，如图3d—f所示.因此，根据这一距离来估计人脸是否发生旋转，以及旋转角度的大小.并通过比较该距离实现对视频中各帧人脸姿态的比较，选择若干帧中距离最小（姿态最好）且人脸转正时旋转角度最小的人脸图片截取保存.

在计算人脸中心线和对称线时，人脸图片必须是根据人眼坐标实现转正后的人脸.在进行人脸转正时，要保证双眼处于同一水平线.根据双眼的坐标计算人脸需要旋转的角度和方向；根据旋转的角度、方向和图像对角线的长度计算旋转后图像的最大宽度、高度，并生成相应大小的缓冲区；将图片绕图像中心按照旋转公式进行旋转.旋转公式［19］为

人脸的中心线可由人脸转正后的双眼坐标计算得到，对称线可通过垂直积分投影寻找人脸的左右边缘，如图3所示，计算左右边缘的中心线得到.

图3 中心线和对称线与姿态变化的关系

3 实验结果

本文采用Visual C＋＋6.0作为开发环境，使用开源计算机视觉库OpenCV来提高编程效率，在PC机上实现并测试该人脸捕获模块.在自然情况下通过摄像头采集实验室内人员对模块进行测试.测试系统如图4所示.

模块在实现对人脸进行检测和跟踪的同时，也对检测到的人脸进行姿态判定，比较并选择姿态最佳的人脸.测试结果如图5所示，前7列是从检测到的人脸中抽取的7张不同姿态的人脸，最后一列为模块比较了30帧姿态较好的人脸后，截取保存的最佳人脸.

实验结果表明，模块中对人脸大小的限制排除了距离较远或较小的误检的人脸，对清晰度的检测排除了视频中因快速运动而产生的模糊人脸，对人眼的检测排除了闭着眼或没有检到人眼的人脸，对姿态范围的限定排除了偏转较大的人脸，经过比较一定帧数得到满足上述条件的人脸姿态，模块最终实现了保存一帧大小合适、清晰度高且姿态最佳的人脸，用于后续的人脸识别.

图4 测试系统

图5 实验结果

4 总结

本文设计实现了一个最佳姿态人脸捕获模块，模块中的算法均简单、易实现且具有较好的鲁棒性和实时性.该模块不仅能够对视频中的人脸进行检测和跟踪，还为后续的人脸识别提供一张大小合适、清晰度高且姿态最佳的人脸，为实现快速、实时、高效的基于视频的自动人脸识别系统提供了新思路.

［1］ PAUL VIOLA，MICHAEL JONES.Robust real-time face detection［J］.International Journal of Computer Vision，2004，57（2）：137-154.

［2］ 梁路宏，艾海舟，肖习攀，等.基于模板匹配与支持矢量机的人脸检测［J］.计算机学报，2002，25（1）：22-28.

［3］ 蒲东兵，塔娜，马志强，等.一种实用监控系统的人脸检测定位算法［J］.东北师大学报：自然科学版，2009，41（1）：40-43.

［4］ 付炜，孔祥栋.基于肤色和Adaboost算法的人脸检测［J］.现代电子技术，2010，6：131-134.

［5］ 翟中华.基于肤色和Adaboost算法的人脸检测方法研究［D］.广州：华南理工大学，2012.

［6］ 田卉，沈庭芝，赵三元，等.综合颜色和纹理特征的粒子滤波人脸跟踪算法［J］.北京理工大学学报，2010，30（4）：469-473.

［7］ 何志勇，蔡乐才，许继家.基于Meanshift算法跟踪视频中运动目标［J］.郑州大学学报：理学版，2010，42（1）：38-42.

［8］ 梁娟，项俊，侯建华.基于Camshift和Kalman滤波的自动跟踪算法［J］.微型机与应用，2011，30（24）：28-31.

［9］ 佘九华，王敬东，李鹏.基于Camshift的人脸跟踪算法［J］.计算机技术与发展，2008，18（9）：12-15.

［10］ 王燕群，童卫青，张昌明.基于边缘统计和特征定位的人脸姿态估计方法［J］.计算机系统应用，2011，20（4）：86-90.

［11］ 刘淼，郭东伟，马捷，等.基于椭圆模型和神经网络的人脸姿态估计方法［J］.吉林大学学报：理学版，2008，46（4）：687-690.

［12］ 刘延喜.Stein损失下BP神经网络分类方法在人脸识别中的应用［J］.东北师大学报：自然科学版，2010，42（1）：27-31.

［13］ 陈海霞，崔茜.基于Gabor小波和PCA的人脸识别［J］.东北师大学报：自然科学版，2014，46（4）：77-80.

［14］ 张鞠鹏.一种基于视频的实时人脸识别系统的研究与实现［D］.广州：华南理工大学，2006.

［15］ 林天威.基于视频流的人脸识别系统研究［D］.哈尔滨：哈尔滨工程大学，2010.

［16］ 李新涛.基于加权投票和关键帧提取的视频流人脸识别方法研究［D］.苏州：苏州大学，2011.

［17］ 朱苗.基于视频的智能人脸识别系统设计［D］.广州：华南理工大学，2013.

［18］ 高杨.视频质量诊断算法研究与实现［D］.沈阳：东北大学，2011.

［19］ 李海彦，徐汀荣，张立晓，等.基于仿射变换的多姿态人脸人脸矫正和识别［J］.计算机应用技术，2014，31（4）：1215-1219.

Optimal face capture in video-based face recognition system

Meng Fan-jing，WANG Lian-ming
（School of Physics，Northeast Normal University，Changchun 130024，China）

Different from the video-based face recognition systems which needs select faces manually，video-based automatic face recognition systems should be able to automatically pick out an optimal faces for subsequent face recognition.Therefore，a capture module for best face is designed and implemented.The module mainly consists of face detecting，face tracking and attitude determination links.Based on the detection and tracking of human face in video，an optimal face with appropriate size，high definition and best attitude can be captured automatically for the face recognition.

face detection；face tracking；attitude determination；face capture

TP391.41 ［学科代码］ 520·6040

A

（责任编辑：石绍庆）

1000-1832（2015）03-0090-06

10.16163／j.cnki.22-1123／n.2015.03.019

2015-02-06

国家自然科学基金资助项目（21227008）；吉林省科技发展计划项目（20130102028JC）.

孟繁静（1991—），女，硕士研究生；通讯作者：王连明（1972—），男，博士，教授，主要从事智能信息处理及嵌入式系统领域研究.