基于三种类型图像数据的人脸识别测试

谢兰迟，王俊娟，黎智辉,*，许 磊，张 宁，商怀哲

（1. 公安部物证鉴定中心，北京 100038；2. 蚌埠市公安局，安徽 蚌埠 233040；3. 德州市公安局德城分局，山东 德州 253000）

基于三种类型图像数据的人脸识别测试

谢兰迟1，王俊娟2，黎智辉1,*，许 磊1，张 宁1，商怀哲3

（1. 公安部物证鉴定中心，北京 100038；2. 蚌埠市公安局，安徽 蚌埠 233040；3. 德州市公安局德城分局，山东 德州 253000）

人脸识别的准确率受很多因素的影响，如图像尺寸、姿态角度、年龄变化等。本文提出了一种基于三种类型图像数据的人脸识别测试流程。测试中，采集了300个测试对象的静态照片、三维人像以及监控视频资料。采集的数据经过预处理，并按照人像的分辨率和拍摄角度分类。我们通过对7 800张人脸样本的测试，分析不同分辨率、角度、年龄对于人脸识别算法鲁棒性的影响。本文提出的方法是一种更加适合法庭科学领域应用的人脸识别系统评估与测试方法。

人像检验；人脸识别测试；监控视频；三维人像

人脸识别是一种应用广泛的生物特征识别技术，它可以针对静态图像或视频图像进行人脸检测和跟踪，并进一步通过人脸图像的几何特征、代数特征、固定特征模板、特征脸[1]等方法进行特征提取，之后映射到低维空间，采取一定的匹配策略与现有数据库中的已知人脸进行比对，从而识别出人脸身份。在国内公共安全领域，人脸识别技术目前已广泛应用于大型活动安保、银行安全、边境检查、户籍查重、视频图像侦查等重要工作中。

在实际应用中，人脸识别的准确率往往与人脸图像的采集设备、面部尺寸、姿态角度、年龄变化以及图像噪声等因素有着密切的联系。为研究上述因素对人脸识别比对检测结果的影响，集合了二维照片、三维人像、视频监控这三类图像资源，希望总结出一套更接近法庭科学应用要求的人脸识别算法鲁棒性测试方法。

1 国内外人脸识别测试

在人脸识别测试研究中，应用较多的有FERET人脸库[2]、YALE人脸库[3]、CMU人脸库[4]、ORL人脸库[5]等，这些数据库的样本数量较少，且均为欧美人脸。国内的人脸数据库中，以中科院计算所的CAS-PEAL大规模人脸数据库[6]应用最为广泛，采集了1 040个对象共30 863张人脸二维图像，包含了同一对象多角度多表情以及不同配饰的人脸样本。但该数据库的缺陷在于，同一对象的已知样本和待测样本的采集条件完全一致，均是在同一时间、同一环境下由同一类设备采集，这与公共安全领域的实际应用存在较大差异。

美国国家标准技术研究所（National Institute of Standards and Technology,NIST）在1993～2013年间进行了多次人脸识别厂商测试(Face Recognition Vendor Test,FRVT)[7-8]。以FRVT2006[8]为例，测试使用Nikon D70相机和Minolta Vivid 900/910三维扫描仪获取人脸图像，该项测试的方法相对成熟，数据也较完备，但其测试的二维人像样本眼间距为75～400像素，图像质量远远高于法庭科学应用中可获取的人像条件。从算法研究和厂商测试的情况来看，尚未有一组直接适用于公共安全领域的人脸识别测试。希望通过多种类型图像数据的采集和处理，提出更接近法庭科学应用要求的人脸识别系统测试和评价方法。

2 数据采集和实验准备

2.1 三种类型样本数据的采集

本实验选取300名成年人作为采集对象，其中男性249人，女性51人。考虑到了不同性别犯罪人群的特点，选取的测试对象在17～64岁之间，年龄分布情况如图1所示。采集时间为2014年10月28日至30日，全部人像数据都在室内自然光下采集。

图1 不同性别测试对象年龄分布情况Fig.1 Age distribution of the subjects of different gender

使用Canon EOS-1D X相机对样本人群拍摄二维正面人像照片。图像大小5184×3456像素，保存格式为JPEG。使用Artec Spider手持式三维扫描仪采集上述样本人群的三维人脸图像[9]，文件格式保存为OBJ，纹理图像大小为4096×4096像素[10]。使用海康威视HIK/DS-7804H硬盘录像机采集样本人群视频图像，文件格式为MP4，单帧图像大小为352×288像素。采集的三种类型样本数据见图2。

图2 三种类型样本数据示意图Fig.2 Three types of data from one same subject

2.2 实验准备

对采集的三维数据使用Artec Studio进行拟合及角度编辑，生成五个角度的人像图片。将二维照片、三维图像转换的多角度人像图片以及视频单帧截图进行瞳孔标注，使用MATLAB批处理生成眼间距分别为8～100像素的测试样本。共制作测试样本总数约7 800份。使用“上海银晨单兵式人像比对软件”进行测试。测试数据库容量10万，入库数据均为二代居民身份证照片，其中包含本测试300个实验对象的二代身份证照片。搜索样本为300个实验对象近期拍摄的二维照片、三维图像转换的多角度人像图片及视频单帧截图。测试参数统一为相似度阈值60，比对结果最大返回条数50。

3 测试方法及结果

3.1 不同分辨率的正面人像测试

对二维人脸照片按照分辨率高低，使用MATLAB批量处理为眼间距分别为8/15/25/50/100像素的人脸照片。测试得到比对排名对应的综合识别率结果如下表1所示。

表 1 正面不同分辨率人脸图像综合识别率（%）Table 1 Recognition rate of obverse faces under different resolutions

3.2 三维图像转换的多角度人像测试

使用Artec Studio编辑三维坐标，转换得到正面、左偏15°、左偏30°、下偏15°、下偏15°左偏15°五种角度的人脸图像，如图3所示。测试得到比对排名对应的综合识别率结果如表2、表3所示。

图3 三维图像转换的多角度人像Fig.3 Multi-angle faces converted from 3D images

表 2 三维图像转换的多角度人像综合识别率（%）（眼间距：25像素）Table 2 Recognition rate of multi-angle faces converted from 3D images (eye distance: 25 pixels)

表 3 三维图像转换的多角度人像综合识别率（%）（眼间距：50像素）Table 3 Recognition rate of multi-angle faces converted from 3D images (eye distance: 50 pixels)

3.3 视频监控截图中人像测试

视频监控中的人像进行单帧截取，按照近似正面、侧偏15～30 °、侧偏大于30 °、俯角15 °左右、面部有表情或有遮挡五种情况分类测试，得到综合识别率如表4所示。

表 4 视频监控截图多角度人像综合识别率（%）Table 4 Recognition rate of multi-angle faces converted from surveillance videos

4 实验结果分析

4.1 拍照时间跨度对图像识别率的影响

实验中的测试样本的采集时间均为2014年10月，测试对象中已知证件照拍摄时间的共163人。使用上述163人的50像素眼间距的正面照片作为测试样本。按照证件照及二维正面照片拍摄时间间隔长短分为5组，得到数据统计结果如表5所示。实验结果显示，前4组测试样本的平均相似度得分随两次拍摄的时间间隔增大而减小。第5组测试样本的平均相似度得分较第4组略高，应考虑测试样本性别比例差异、所处的年龄阶段不同等因素对外貌变化的影响，并不影响人脸识别准确率随着拍摄时间间隔增大而下降的整体趋势。年龄变化是影响人脸识别算法准确率的重要因素之一。

表 5 正面人像识别结果与拍摄时间间隔的关联Table 5 The relationship between recognition of obverse faces and the shooting time interval

4.2 不同类型图像的人脸识别结果比较

人脸识别测试中往往需要应用到多种类型的样本，本文中应用的二维照片、监控视频是最为常见的样本数据形式，而随着扫描技术的进步三维人像也会越来越多的应用于公共安全领域。选取相同眼间距（25像素左右）的三种类型的正面样本人像，比较综合识别率如下表6所示。

表 6 三种类型的正面人像识别结果（%）Table 6 Recognition rate of three types of obverse faces

上述比较结果显示，对于正面人像，三维截图的识别结果与二维照片更为相近，而监控视频由于压缩噪声、图像模糊等因素综合识别率较低。

三维人像数据可较精确的生成各个角度的人像照片，在模拟监控视频中人像的姿态，进行比对分析与同一认定方面有广阔的应用前景。本文中同时使用了三维人像和视频监控截图进行多种角度的人脸识别，选取眼间距25像素的两类测试结果进行比较，见表7。

表 7 不同角度的三维人像和监控人像识别结果（%）Table 7 Recognition of multi-angle faces from 3D images and surveillance videos

结果显示，两种设备生成的侧偏15°和下偏15°的测试样本识别结果差别不大，但当偏角达到30 °左右，三维人像截图几乎不可识别。大角度旋转的人脸数据与监控拍摄的人像在识别结果上存在较大差异，因三维人像的光照、成像方式等因素与库中身份证照片有极大的差异，可通过建立三维人像数据库的方式提高识别准确率。

5 讨论

针对法庭科学的实际应用，本文在人脸识别测试的设计上还总结了以下几点经验：

选取样本人群时应考虑违法犯罪人群的性别和年龄分布特点。实验设计中，测试样本性别比例男性应达到70 %～75 %之间，年龄段集中在16～55岁，女性的平均年龄应稍大于男性。

比对数据库中应包括拍摄时间有较大间隔的人像照片。由于实际应用中的待比对人像和已知人像照片的拍摄时间肯定存在一定跨度，所以测试系统内录入的已知人像需有一定的拍摄时间间隔。

测试样本应包括较低分辨率的人脸图像。NIST的人脸识别测试最低分辨率为眼间距75像素，但我们在实际工作中遇到的人脸图像，其眼间距一般在50像素以下，标清视频录像中的人像眼间距一般在20像素左右甚至更低。所以在预处理时可制作一定数量的眼间距为8/15/25/50像素的人脸样本。

测试应考虑到不同拍摄设备及拍摄环境的影响。公共安全领域应用的测试样本及数据库选取应区别于一般研究应用，测试应尽可能的模拟适合本地区的应用场景，如样本人群的选择和拍摄环境等。

本测试尚在不断完善中，若条件允许，拟加入更多室外环境拍摄的样本集，并使用批量图像处理工具，进行去噪、插值、超分辨等预处理，有助于提高人脸识别系统鲁棒性的测试精度。

［1］ 章毓晋. 基于子空间的人脸识别［M］. 清华大学出版社, 2009.

［2］ Phillips PJ, Moon H, Rizvi SA, et al. The FERET evaluation methodology for face recognition algorithms［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(10): 1090-1104.

［3］ Georghiades AS, Belhumeur PN, Kriegman DJ. From few to many: illumination cone models for face recognition under variable lighting and pose［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(6): 643-660.

［4］ Sim T, Baker S, Bsat M. The CMU pose, illumination, and expression database［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(2): 1615-1618.

［5］ Samaria F S, Harter A C. Parameterisation of a stochastic model for human face identification［C］//Proceedings of 2nd IEEE Workshop on Applications of Computer Vision, 1995, 22:138 -142.

［6］ Gao W, Cao B, Shan SG, et al. The CAS-PEAL large-scale Chinese face database and baseline evaluations［J］. IEEE Trans on System, Man, Cybernetics(Part A), 2008, 38(1): 149-161.

［7］ Phillips P J, Grother P, Micheals R J, et al. FRVT 2002: evaluation report［J］. Trabajos de Estadistica y de Investigacion Operativa, 2003, 16(1): 73-77.

［8］ Phillips P J, Scruggs W T, O’Toole A J, et al. FRVT 2006 and ICE 2006 large-scale experimental results［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(5): 831-846.

［9］ 王俊娟，许磊，黎智辉，等. 三维人脸图像的数据采集与预处理［J］. 刑事技术, 2015, 40(2): 98-101.

［10］ 许磊，黎智辉，王俊娟，等. 高精度三维人脸图像数据库［J］.刑事技术, 2015, 40(2): 94-97.

Face Recognition Test Based on Three Types of Image Data

XIE Lanchi1, WANG Junjuan2, LI Zhihui1,*, XU Lei1, ZHANG Ning1, SHANG Huaizhe3
（1. Institute of Forensic Science, Ministry of Public Security, Beijing 100038, China; 2. Bengbu Public Security Bureau, Anhui, Bengbu 233040, China; 3. Decheng Sub-bureau of Public Security, Shandong, Dezhou 253000, China)

The accuracy of face recognition is influenced with a variety of factors, such as the image size, subject’s pose and age. In this paper, an effective face recognition test method was proposed based on three different image sources. In the test, 300 individuals were collected of their still, 3D face images and video frames from surveillance. The captured face images were preprocessed and classifed by resolution and the angle that the camera was shot to subject. Through measurement and analysis of the obtained 7800 face images, how the resolution, pose and age infuence the algorithm robustness of face recognition has been explored. The method presented here is suitable for testing and evaluating face recognition in forensic science.

human image inspection; face recognition test; surveillance video; 3D face image

DF793.2

A

1008-3650(2016)06-0442-04

2016-06-02

格式：谢兰迟，王俊娟，黎智辉，等. 基于三种类型图像数据的人脸识别测试[J]. 刑事技术，2016,41(6): 442-445.

10.16467/j.1008-3650.2016.06.003

公安部技术研究计划项目（NO.2014JSYJB016)；国家自然科学基金项目（No.61505034)

谢兰迟（1989—），女，内蒙古通辽人，硕士，研究实习员，研究方向为图像分析与处理。 E-mail：xielanchi@139.com

* 通讯作者：黎智辉（1976—），男，湖北石首人，博士，研究员，研究方向为图像处理与分析。 E-mail：lzhuil@sina.com