视频监控中人脸识别算法稳定性的改进

陈 皓， 霍 星

（1.中国电子科技集团公司第三十八研究所，安徽 合肥 230031；2.合肥工业大学数学系，安徽 合肥 230009）

人脸识别是一项极具发展潜力的生物特征识别技术，研究人脸识别技术具有十分重要的理论和应用价值。最近几年，人脸识别技术取得了前所未有的发展，人脸识别在视频监控、人机交互等方面具有良好的应用前景，已成为模式识别、图像处理等领域的研究热点[1]。但在实际应用中的识别精度仍然难以满足人们的预期要求，特别是采集图像中存在光照变化、方位变化以及其他干扰时识别精度会受到很大影响[2]。

在实际应用如视频监控中对识别的稳定性要求较高，但环境因素变化很大，使用传统的基于单幅图像的人脸识别算法得到的结果常常发生跳变，如一个人经过可能会被识别成多个人，这对监控人员的判断造成了严重的影响，所以需要一种有效的方法提高人脸识别的稳定性。

目前，关于视频中的人脸识别和检索文献主要有 Everingham等提出采用人脸聚类的方法[3];文献[4]、文献[ [5]就正面人脸提出视频中人脸识别的方法。文献[3]的方法使用肤色模型对正面脸进行处理，没有考虑到视频的连续特性。文献[4]、文献[5]提出去除背景信息、姿态调整和支持向量机检测人脸，得到较好的结果。文献[6]将常用于光照补偿的图像处理方法和基于模型的光照锥方法进行了对比实验，用以解决人脸识别系统中的光照问题。文献[7]利用图像融合技术实现了基于可见光图像和红外热图像相结合的多模式人脸识别，研究了两种图像在像素级和特征级的融合方法。文献[8]为了克服光照、表情变化等因素对人脸识别的影响，提出了一种基于Gabor小波和最佳鉴别分析LDA的人脸识别方法。但上述方法中基本上都没有考虑到帧与帧之间的关系。实际上，视频的序列特性恰好提供了更多的人脸相关性，可以利用这一特性增强人脸识别的精度。文献[9]提出基于子空间增量学习的视频中人脸图像检索，将视频中的相关性应用于人脸图像检索中，实现了对电影视频中特定演员的检索功能。而在基于视频的人脸跟踪方面有较多的文献，但大部分仅实现了人脸的跟踪，并未在视频相关性基础上实现人脸识别的改进。

受到文献[9]的启发，本文在将人脸识别算法应用于视频监控项目中时，针对识别结果不稳定的现象，深入研究了视频中人脸相关性对识别精度的影响，提出了视频中相关人脸的识别，不再孤立地对单一图像进行人脸识别，而是从一系列相关图像中识别人脸的身份。试验结果表明，引入相关性概念后的视频监控，对人脸识别结果的稳定性大大提高。

1 改进的算法

1.1 视频监控中人脸的跟踪

视频中的人脸跟踪可以视作目标跟踪的一种，从统计的角度来看，目标跟踪是一种概率推断问题，其目的是通过观测值来估计系统的未知状态，即求解状态变量的后验概率分布。根据贝叶斯公式，后验分布可以通过状态的先验分布和联系状态与观测的似然函数来确定。在贝叶斯估计方法中，状态的先验分布可以通过专家知识、机器学习等方法得到，似然函数则由系统的观测方程得出。贝叶斯估计将目标状态的求解转换为基于贝叶斯推理的后验概率的求解。得到状态的后验概率分布后，根据某种准则如最小方差估计、最大后验估计、极大似然等，得出状态的估计。然而，求解贝叶斯估计需要积分运算，求解困难。

针对视频监控这类特定场合，人脸目标的运动可以近似简化为线性运动，在图像空间中可以通过前后帧的人脸检测结果——人脸中心距离和人脸面积变化来实现人脸的快速跟踪。

设视频中第N帧的人脸位置可以用矩形Rect表示，同时为对人脸目标实现跟踪，设置人脸的跟踪状态S，则第N帧的人脸检测结果记做

由于可能同时跟踪多个目标，另外设置一个目标列表TraceList，每个列表项表示一个正在跟踪的人脸目标。

人脸跟踪的算法描述如下：

（1）将跟踪列表置为空，开始人脸跟踪。

（2）对第N帧图像进行人脸检测，得到人脸区域R。

（3）对TraceList中的每一个跟踪目标，与R进行相关性判断，如果没有与R相关的跟踪目标，则在TraceList中新建一项，保存当前检测得到的人脸区域R，并将S设置为0（初始跟踪）。

（4）如果存在与 R相关的 TraceList项Face，则以R更新Face中的Rect，并更新Face中的N为当前帧号。如果Face S等于0，则将Face S设置为1（稳定目标）。

（5）更新所有的TraceList项，如果该项中的 N小于当前帧号，根据 S进行处理，若S=0或2，将该项删除；若S=1，将S设置为2（衰减目标）。

（6）获取下一帧图像，转到步骤(2)继续跟踪。

跟踪目标与R的相关性判断相对简单，根据跟踪目标的位置变化和面积变化的程度以及人脸图像的匹配程度计算相关度，计算公式如下

其中 compareFeature为比较两幅人脸图像的相似度， f acenow、 f aceold为当前帧和前一帧的人脸图像， r ectnow、 r ectold为当前帧和前一帧人脸在图像中的位置。

1.2 改进的识别算法

在人脸跟踪的基础上，可以辅助进行人脸识别的优化。假设人脸跟踪正确，可以确定多幅图像对应的是同一个身份，再根据每幅图像的识别结果进行加权判断，可以使得人脸识别结果稳定程度、精确度大大提升。识别流程如下：

（1）对当前图像进行人脸检测，如果检测到人脸，寻找该人脸对应的历史识别结果，如果不存在对应的历史识别结果，则建立一个空的历史识别结果。

（2）假设找到某个人脸图像对应的历史识别结果为

表示对于该人脸，之前的若干帧的识别结果中有k个可能的匹配人，其中第i个结果

（3）对该人脸图像进行经典的人脸识别，假设当前帧的识别结果为

表示对应该人脸，当前帧的识别结果中有 j个可能的匹配人。

（4）对于每个可能的匹配人，将分数乘以人脸可分辨度权值加上历史识别结果中相同的匹配人的分数，将其存储为最终的识别结果分数，以此更新该人脸的历史识别结果。

（5）如果历史参考帧数达到阈值，则在最终的识别结果分数中寻找分数最高的可能匹配人，作为最终识别结果输出。

2 实验结果

本文在传统经典人脸识别算法的基础上，利用本文算法的改进提升了视频监控的人脸识别稳定程度及精确程度。

改进算法和传统单幅图像识别算法的结果对比如表1所示。其中静态识别算法对每帧图像进行识别，而本文的算法对连续的视频图像中的人脸区域进行跟踪，并在获取多帧图像后给出一个综合识别结果。本文的改进算法较为稳定，准确率更高，更为符合工程应用的需求。

表1 算法结果对比

同时，由于增加了历史结果的判断，算法在时间上比每帧识别的静态识别算法要慢很多，但因为视频监控的应用环境并不要求对每帧图像给出识别结果，仅需要在有人经过时给出辅助监控人员判别的识别结果信息即可。所以本文算法虽然在时间上慢于每帧识别的方式，但对于视频监控的应用领域完全可以满足应用的需求，具有在工程实际中的应用价值。

图1是视频监控中截取的一系列人脸跟踪图像。

本文的算法在多帧后给出识别结果，对于历史参考帧数的选择是需要考虑的一个重要参数，根据目前的试验，历史参考帧数可以选择在10～30帧之间，这样既不会因为过多的参考历史识别结果而影响识别速度，同时也避免了参考帧数过少而达不到提高稳定性的目的。

3 总 结

本文提出了一种以视频相关性为依据的人脸识别方法，在对每幅图像进行人脸识别的过程中考虑视频的相关性影响，实现了视频监控中的人脸识别功能，提高了视频监控中人脸识别的稳定性和识别精度。实验表明，本文方法得到了理想的识别结果，基本满足工程应用的需求。

本文所提出的算法是一种以时间和空间消耗来换取准确度、稳定性的提高的做法，在这两者之间的选择平衡上仍需进一步以大量实验逐步完善。

图1 视频监控截图

[1]张翠平, 苏光大. 人脸识别技术综述[J]. 中国图象图形学报, 2000, 5(11): 885-894.

[2]Zhao W, Chellappa R, Phillips P J, et al. Face recognition: a literature survey [J]. ACM Computing Surveys, 2003, 35(4): 399-458.

[3]Everingham Mark, Zisserman Andrew. Identifying individuals in video by combining ‘Generative’ and discriminative head models [C]//Proceedings of the 10th IEEE International Conference on Computer Vision, Beijing, 2005: 1103-1110.

[4]Arandjelovic Ognjen, Zisserman Andrew. Automatic face recognition for film character retrieval in feature-length films [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, San Diego, 2005: 860-867.

[5]Sivic Josef, Everingham Mark, Zisserman Andrew.Person spotting: video shot retrieval for face sets[C]//Proceedings of International Conference on Image and Video Retrieval, Singapore, 2005: 226-236.

[6]李粉兰, 段海峰, 郝建国, 等. 人脸识别中光照补偿问题的实验研究[J]. 工程图学学报, 2009, 30(3):113-120.

[7]刘 瑾, 徐可欣, 陈小红. 采用图像融合技术的多模式人脸识别[J]. 工程图学学报, 2007, 28(6):72-78.

[8]鲁广英, 潘 静, 庞彦伟. 一种新颖的基于Gabor-LDA的人脸识别方法[J]. 工程图学学报,2006, 27(4): 120-124.

[9]陈立珍, 崔国勤, 李 卓. 基于子空间增量学习的视频中人脸图像检索[J]. 计算机辅助设计与图形学学报, 2007, 19(9): 1119-1125.