视频侦查中人脸识别准确率的影响因素分析

刘满良 孟 辉 王新宇 王 越 陈胜冉 蔡能斌

（1 东莞市公安局刑警支队 广东 东莞 523008；2 中国刑事警察学院声像资料检验技术系 辽宁 沈阳 110035；3 中国刑事警察学院法化学系 辽宁 沈阳 110035；4 上海市现场物证重点实验室 上海 200000）

1 引言

随着信息技术的不断发展、治安监控摄像头硬件布局的逐步完善及公安图像云计算技术的进一步应用，人脸识别技术在促进公安信息化建设进程的同时，也为公安工作提供了许多新方法、新思路。人脸识别技术，是一种基于人的面部特征信息进行身份识别的生物识别技术，其以含有人脸的视频片段或者数字图像作为输入，定位其中人脸的位置及特征点，进而实现人脸特征及详细身份信息的识别与提取。

目前，人脸识别技术在公安工作中的应用主要集中在视频侦查过程中犯罪嫌疑人的身份识别、重点卡口的人证核查、户籍管理、布控排查[1]及测谎[2]等工作中。在进行犯罪嫌疑人身份识别时，常规做法为人工选择视频画面中包含较为清晰人脸图像的一帧画面，输入到比对系统中对该人脸图像进行识别比对[3]。在待识别人脸图像的识别过程中，由于拍摄环境、拍摄设备和拍摄参数的不同，待识别人脸图像与公安图像数据库中现有人脸图像之间通常存在亮度、角度、背景和遮挡等不同程度的差异，导致识别结果产生一定误差，造成侦查方向偏离从而延误最佳的破案时机。

为了提高视频侦查工作中的人脸识别准确率，避免由于待识别人脸图像的选择不当造成的漏识别与错识别结果，本文在基于主成分分析法的人脸识别基础上进行了一系列实验，验证不同光照强度、不同背景及不同遮挡条件下的人脸图像对识别结果准确率的影响，并据此结论给出公安实战过程中待识别人脸图像选择的理论指导意见。

2 基于主成分分析法的人脸识别

基于主成分分析法的人脸识别是一个有监督学习的过程，利用训练样本集计算特征空间，然后将训练样本集与待识别人脸图像分别投影到该特征空间上，根据待识别人脸图像的投影向量与训练数据集投影向量之间的欧式距离判断人脸识别结果[4]，其算法流程如图1所示。

图1 基于主成分分析的人脸识别流程图

对于上述流程，每一步具体可以展开如下步骤：

2.1 生成训练样本矩阵

2.2 主成分特征提取

2.3 计算特征空间的投影矩阵

2.4 人脸图像的分类识别

3 实验

根据上述原理介绍与分析，基于主成分分析法的人脸识别主要利用主成分分析找到最大化类间差距，最小化类内差距的特征脸空间，将人脸图像的像素值投影到该特征空间，得到人脸图像在该特征空间下的线性表达，即投影向量，利用向量间的空间距离衡量待识别人脸图像与人脸库内人脸图像之间的差距。人脸图像像素值的大小及像素排列方式的不同，会影响特征空间投影后得到的投影像量，因此，人脸图像像素值的大小及像素排列方式会对基于主成分分析法的人脸识别算法的准确率造成影响。

在包含犯罪嫌疑人的视频片段中选择用于人脸识别的视频帧图像时，由于每帧图像中犯罪嫌疑人所处空间位置不同，造成每帧图像中犯罪嫌疑人面部区域的光照强度、背景复杂度和人脸角度会发生不同程度的变化，同时，由于某些犯罪嫌疑人具备较强的反侦查意识，可能在作案过程中对面部进行伪装或遮挡，视频画面中的待识别人脸可能是不完整的或者存在遮挡的。根据视频侦查过程中存在的实际问题，结合上述理论分析，本文在实验设计时主要考察人脸图像亮度、背景复杂程度和人脸的遮挡这3个因素对最终人脸识别结果的影响。本文所用人脸数据库在建立过程中采集了不同角度的人脸图像，实验结果表明，训练数据样本中人脸角度足够丰富时，待识别人脸图像中的轻微角度不一致不会对人脸识别结果产生过大影响，因此，本文在设计实验时并没有考虑人脸角度对识别结果的影响。

3.1 实验环境

实验共采集15个人的人脸图像，其中每人采集10张不同角度、不同姿态的人脸图像，实验用人脸图像共计150张，如图2所示，其中每一列为同一个人不同姿态的人脸图像。为了更为精确的验证不同条件下的人脸识别准确率，将图2所示人脸图像库分为训练样本和测试样本两部分，即选择实线框内的75张图像作为训练样本，虚线框内的75张图像作为测试样本。在未对测试样本图像的亮度、背景和遮挡条件改变的情况下，基于该人脸库的主成分分析法的人脸识别准确率为93.33%。

图2 实验所用人脸图像

本次实验的最终识别结果采用三近邻法确定，即在人脸识别过程中，计算出与待识别人脸向量欧式距离最近的3幅人脸图像，这3幅人脸图像分别记为A、B、C，如果人脸A与人脸B不属于同一人且人脸B和人脸C也不属于同一人，则识别结果为人脸A对应的人；否则，若人脸A和人脸B属于同一人，则识别结果为人脸A对应的人，若人脸B和人脸C属于同一人，则识别结果为人脸B对应人，如表1所示。

3.2 人脸图像亮度对基于主成分分析法人脸识别结果的影响

在上述测试样本人脸图像的基础上，对每一幅测试人脸图像的亮度进行细微调整，对调整后的图像进行人脸识别实验，观察亮度变化和识别准确率之间的关系。人脸图像亮度调整示意图如图3所示。

图3 测试样本亮度调整示意图

图3中，人脸图像上方的数字表示亮度调整幅度，正号表示将人脸图像调亮，负号表示将人脸图像调暗，0表示原始图像。人脸图像的亮度调整区间在-30到+30之间，每次调整步长为5，不同亮度的人脸图像在基于主成分分析法的人脸识别方法下准确率如图4所示。

图4中，横坐标为测试样本数据中人脸图像的亮度变化区间，纵坐标表示人脸识别准确率，图中实线表示人脸识别准确率随图像亮度变化的变化。从图4中可以看出，未做亮度更改的原始训练样本人脸图像的人脸识别准确率最高，达到93.33%，如图4中位于横坐标0处虚线与实线交点所示。随着图像亮度变化幅度的加大，人脸识别准确率呈下降趋势，在亮度变化幅度达到20时，即图中位于横坐标-20及20处两条虚线标识的范围，人脸识别准确率开始大幅度下降。表2中展示了部分训练样本图像不同亮度下的识别结果。

表1 三近邻法人脸识别结果

表2 亮度调整后人脸识别结果

表2中第1列3张图像分别为原始图像、原始图像亮度+15调整的人脸图像、原始图像亮度+30调整的人脸图像。第2到第4列图像为与待识别人脸图像向量距离最近的3张人脸。

3.3 人脸图像背景复杂度对基于主成分分析法人脸识别结果的影响

为了验证人脸图像背景对人脸识别结果的影响，本文选择两种复杂程度不同的背景对测试样本中的人脸图像背景进行替换，对替换背景后的人脸图像进行识别。测试样本图像替换背景后如表3所示。受篇幅所限，表格中并未列出所有测试样本数据，只给出3张不同人脸图像替换背景后的效果图。

表3 测试样本背景替换结果

对替换背景后的测试样本人脸进行识别，得到的识别准确率为：A类型背景的识别准确率为86%，B类型背景的识别准确率为72%。部分误识别结果见表4。

表4 背景替换后的识别结果

3.4 人脸图像遮挡对基于主成分分析法人脸识别结果的影响

为了验证人脸图像遮挡对人脸识别结果的影响，本文选择墨镜和口罩两种不同的遮挡物对训练样本中的人脸图像进行局部遮挡，并对遮挡后人脸图像进行人脸识别。测试样本图像遮挡后如表5所示。受篇幅所限，表格中并未列出所有测试样本数据，只给出3张不同人脸图像遮挡后的效果图。

表5 测试样本部分遮挡结果

对遮挡后的人脸图像进行人脸识别实验，得到的识别准确率为：使用墨镜遮挡的人脸识别准确率为68%，使用口罩遮挡的人脸识别准确率为64%。部分误识别结果见表6。

表6 部分遮挡后的识别结果

4 结论

基于主成分分析法的人脸识别利用待识别人脸图像像素值大小和像素值分布计算在特征空间上的投影向量，根据向量之间的距离给出最终的人脸识别结果，因此，基于主成分分析法的人脸识别过程中，人脸图像的亮度、人脸图像的背景复杂度和人脸图像的遮挡对最终的识别结果起到至关重要的影响。

本文就人脸图像的亮度、背景和遮挡变化对基于主成分分析法的人脸识别进行实验研究，实验结果表明：

（1）人脸图像亮度变化在+-20之间时，人脸识别准确率会保持在一个比较高的范围内波动，一旦人脸图像亮度变化在+-20之外，人脸识别准确率将大幅度下降。在视频侦查工作中，应该将待识别人脸图像的亮度调整到和人脸库中大部分人脸图像的亮度相一致的程度，避免亮度差异过大造成误识别与漏识别的发生。同时，在对一副亮度与人脸库中人脸差异不大的图像进行识别时，不光要考虑对原始人脸图像的识别结果目标的重点排查，也要考虑对原始人脸图像进行+-20幅度的亮度调整后的人脸识别结果目标的排查，有效避免犯罪嫌疑目标的遗漏。

（2）待识别人脸图像背景区域内的图像内容会影响人脸识别的准确率。由于人脸图像库中的人脸图像内容中都是纯色背景，因此，待识别人脸图像的背景越复杂，与人脸库中的人脸图像背景差距越大，对识别准确率的影响也越大。因此，在视频帧画面中选择待识别人脸图像时，尽量选择人脸图像背景较为单一的帧图像。

（3）人脸图像的遮挡对人脸识别准确率的影响很大，从实验数据可以看出，被墨镜遮挡和被口罩遮挡后的人脸识别率分别为68%和64%，因此，实战中遮挡人脸的识别结果可信度不高，不宜作为重点排查对象。