CPEF：一种用于人脸识别的图像择优方法

王　迪， 陈岳林， 蔡晓东， 甘凯今

(桂林电子科技大学 机械工程学院，广西 桂林 541004)



CPEF：一种用于人脸识别的图像择优方法

王迪， 陈岳林， 蔡晓东， 甘凯今

(桂林电子科技大学 机械工程学院，广西 桂林 541004)

针对人脸识别的输入图像信息量高低不均的问题，提出了一种多参数图像择优的评分机制CPEF主要有三点贡献：第一点是提出了一种新颖的基于主动形状模型(ASM)定位的人脸水平旋转程度评估方法；第二点是采用递归的方式计算权重；第三点是提出了一组参数定量地描述了图像择优方法。过程如下：首先，计算图像质量；其次基于二分类器判断人眼是否处于睁开状态；然后以颜色直方图信息判定人是否处于张嘴状态；最后，综合水平旋转程度及其他参数，配合权重，给出评分。在FERET人脸库上的实验结果证明，CPEF有效地将人脸图像按照人主观感受做出排名，准确率高达92%。并且按得分高低排序采用Gabor配合SVM做人脸识别对比测试，对比实验证明，经CPEF处理后的图像在人脸识别中的准确率显著提升。

ASM； CPEF； 旋转； 递归

人脸识别是模式识别领域中活跃的研究方向之一，传统流程是在一段大约10 s左右的视频中，获取单个人物的一组人脸图像，将它们带入后期的人脸识别阶段。而人脸识别大量采用特征提取的方法，所以图像的信息量高低会影响识别效果。目前该领域主要研究的是图像自身质量，诸如客观质量评价中的全参考型、部分参考型、无参考型等。这些只是作为图像择优的一部分，对于信息量以及是否便于特征提取没有做考虑。

本文提出CPEF，它是在获取图像客观参数的基础上，采用递归给出权重，作出符合人主观感受的评分。具体过程为：首先，基于ASM[1]定位计算人脸水平旋转程度；其次，计算图像的LS值[2]以及轮廓[3]数量评估图像质量；然后使用haar[4]配合adaboost[5]定位人眼，基于HOG[6]配合SVM[7]训练出的二分类器判断人眼是否处于睁开状态；接下来ASM定位人嘴，以颜色直方图信息判定人是否处于张嘴状态；最后，综合以上参数，配上递归得到的权重，计算最终评分。CPEF的框架如图1所示。

图1　CPEF框架图

1　一种新颖的人脸水平旋转程度评估方法

人脸水平旋转程度是图像择优的一个重要参数，旋转程度过大，会丢失很多人脸上的有用信息，在之后的人脸识别阶段，会有很多特征无法进行匹配。因此，旋转程度的评定至关重要。本文提出一种新颖有效的基于ASM定位的人脸水平旋转程度评估方法。

1.1ASM定位三处关键点

ASM要定位准确，后续工作都是建立在ASM定位到的三点上进行的。ASM是基于统计学习模型[8]的特征点提取方法。包括train和test两部分，即形状建模与形状匹配，其中建模部分在本文研究前期已经完成，如图2所示，一张人脸上标定了76个特征点。

图2　ASM人脸形状建模图

本书需要定位图2中第38点和第39点作为双眼中心点，以及第52点作为鼻尖点，之后就是通过计算这三个点之间角度来衡量人脸水平旋转程度。

1.2计算水平旋转程度

通过定位到的双眼中心点以及鼻尖点，三点连线后得到人脸上的一个倒三角形，如图3所示。

图3　人脸旋转角度对比

2　基于实验的递归式参数权重确定

判断一张人脸图像上可用信息量的多少，唯一的标准就是，该方法获得的客观质量评价结果与人的主观感受是否一致。

2.1人主观评定准则

本文在使用CPEF之前，首先明确人对于图像的主观评定准则，在此基础上反复做递归测试获得权重值。如图4所示给出各参数重要性优先级。

图4　参数优先级

人脸旋转程度重要性要高于其他参数，一旦失效，其他特征无法准确提取，如图5所示。

图5　水平旋转程度过大导致ASM定位不准

图5中，同一个人目标人物，左图中人脸较正，ASM定位准确，右图中人脸旋转大于20°，ASM可能会定位错误。

2.2递归实验获取权重

首先视各参数权重初始值相同{0.25，0.25，0.25，0.25}，每次实验都将FERET数据库中200组人按照当前权重值计算得分，测试结束后，用主观感受去对实验结果作出评价，获得一个准确率。而评分失败的人脸要给出两个指标，即导致评分失败的原因中，哪一项参数权重高出最多，哪一项参数权重低出最多。

样本总数：total_num

失败个数：fail_num

权重高的参数：high_max，对应的个数：high_num

权重低的参数：low_max，对应的个数：low_num

评分准确率：rate

递归流程如下所示：

While(rate>0.01)

带入FERET做测试；

forj=0，…，total_num

对图像评分，排序；

end；

统计fail_num；

计算rate，high_num，low_num；

end；

多次递归之后准确率趋于平稳，递归前后准确率相差1%以内。此时准确率高达92%。CPEF评分公式为

(1)

3　基于一组参数定量的描述图像择优的方法

3.1人脸图像LS值与轮廓数量评估图像质量

图像择优，首先就要考虑图像质量，包括人脸上清晰程度以及轮廓数量的多少。

3.1.1计算LS值

本文采用了拉普拉斯算子计算LS值评估图像的清晰度，计算公式为

(2)

一个M×N大小的图像，其中，g(i，j)表示图像在(i，j)点的像素值，LS值越大，说明图像轮廓越清晰，图像质量越好。

3.1.2轮廓数量

通过图像具有的轮廓数量进行择优，即轮廓越多的人脸，它所含的信息量越大。因此，本文使用cvContours获取每张人脸图像轮廓，轮廓数量越多，图像质量越高。

3.2睁眼和闭嘴状态的判定

人脸表情会影响人脸特征信息的提取，为人脸识别带来一定困难，而表情的变化常常表现在人眼和人嘴的状态上，本章采用训练的方式判断人是否处于睁眼闭嘴的状态。

3.2.1人眼检测和判定

采用haar配合adaboost检测人眼，计算人眼的HOG特征，并带入SVM训练二分类器，判断是睁眼还是闭眼状态。

3.2.2人嘴检测和判定

如图6所示，左侧是ASM定位到的76个特征点标号，本文取从第66点起，逆时针经第67、68、69、70点最终至第71点所围成的近似矩形框。

图6　ASM定位人嘴中心

图6中，右侧上图为ASM检测出的效果图，右侧下图为定位到的人嘴位置，通过大量实验可获悉，水平旋转20°范围内的人脸都可以由ASM模板精准定位到人嘴位置。

把第66点至第71点所围成区域图像转化为灰度图，白色区域大于一定面积判定为露齿，即视为张嘴，如图7所示。

图7　张嘴闭嘴颜色直方图信息对比

图7中对比出张嘴状态下的人嘴附近颜色直方图在高灰度值区域分布较广。这种直接的判定方法准确、简单、有效。

本章是对人脸是否处于睁眼闭嘴状态的判断，映射了该人脸是否存在表情变化。下面给出实验过程和结论。

4 实验及结果分析

4.1实验目标及过程

本文实验分为两个阶段，第一阶段是测试CPEF评

分准确率，第二阶段是测试CPEF的评分效果提升人脸识别准确率的程度。

第一阶段，实验采用FERET数据库，内涵200人，每个人有7张图像。之所以采用FERET人脸库做测试，原因如下：1)包括水平旋转、睁眼闭眼、张嘴闭嘴、明暗对比等多种状态下的人脸图像，CPEF采用的各项参数在FERET数据库中都有体现。2)图像的清晰度满足了人脸特征提取的要求。3)近似于实际环境下的人脸检测效果，在室内实际环境下有可推广性。本文提出的CPEF致力于应用在室内环境下，在反复递归测试之后，排序准确率趋于平稳，即递归前后准确率在1%之内，实验停止。CPEF的计算流程如图8所示。

图8　CPEF计算流程图

第二阶段，是对CPEF评分后的人脸图像做识别，目的是证明得分高的人脸图像识别率高于得分低的人脸图像。实验采用FERET人脸库做测试，共200人，每人有7张不同状态图像(图9)，经过CPEF评分后，每个人的这7张图像按得分由高到低排序，如图8所示，得分越高，排名越靠前。FERET人脸重新组合，每个人排名序号相同的人脸组成一个集合，排名序号为i的人脸集合为fi，则FERET可由7个集合构成。F={f1,f2,f3,f4,f5,f6,f7}，fi=每个人排名第i的人脸共计200张。i越大，对应的集合中的人脸图像得分越高，即得分排序为Scorefi>Scoref2>Scoref3>Scoref4>Scoref5>Scoref6>Scoref7，每次将一个集合作为识别输入图像。每张图像提取Gabor特征[9]，其中Gabor滤波器有5个尺度8个方向，共计40个。将滤波后的图像降采样，像素值按序排成一个行向量带入SVM训练分类器，一个集合中有200张人脸即分为200类，输入测试图像，SVM中的predict函数会给出一个归类标签号，这个标签号就对应了测试图像识别到的样本序号。测试图像共计200张，作为每个集合的测试数据，序号和数量保持不变。每个集合最终会得到一个识别准确率，比较7个集合的准确率如图10所示，其中CPEF处理后得分最高的人脸集合f1的识别准确率高达94%，而得分最低的集合f7识别准确率仅为62%。

图9　FERET数据库多组人脸图像

图10　不同得分级别的人脸图像识别准确率对比图

4.2实验结论

经CPEF计算后的一组人脸图像按评分由高到低排序如图11所示。

图11　评分效果图

图11中从左向右是同一个人检测到的7张人脸经过CPEF得分从高到低排位的结果，符合人的主观感受，其中水平旋转程度低、睁眼、闭嘴、无显著表情变化的人脸图像得分最高，即左侧第一张。

CPEF的评分准确率如图12所示，实验证明：CPEF可以有效地对人脸给出符合人主观感受的评分，在FERET人脸库中准确率高达92%。

图12　CPEF在FERET数据库上的准确率

CPEF评分后，按得分高低排序带入做人脸识别，FERET人脸库F={f1,f2,f3,f4,f5,f6,f7}，fi=每个人排名第i的人脸共计200张，识别准确率如图10所示。

实验证明：CPEF评分越高的人脸图像识别准确率越高，FERET数据库中的人脸图像近似于室内环境下检测到的人脸，识别率有如此高的提升，说明CPEF在室内环境下有实际可推广性。

5　结束语

本文采用CPEF对检测到的人脸进行评分供后期人脸识别使用，该方法：1)提出一个多参数模型，在FERET这个公共人脸库中做递归测试，得到一组优化的参数，使这个模型对人脸图像择优准确率达到92%以上。2)提出一种新颖的基于ASM的评估人脸水平旋转程度的算法，在水平旋转20°范围内有效。3)本文致力于在室内环境下对检测到的人脸进行评分，对比识别准确率的实验证明，CPEF在室内实际环境下具有可推广性。未来进一步的改进方向是对ASM定位侧脸准确性的提升，以及人脸表情多样化的算法适应性。

[1]COOTES T，TAYLOR C，COOPER D，et al.Active shape models-their training and application[J].Computer vision and image understanding，1995，61(1)：38-59.

[2]杨露，苏秀琴，陆陶，等.基于Controurlet变换和形态学的图像去噪方法[J].光电子，2008，19(11)：1558-1560.

[3]王映辉. 人脸识别——原理、方法与技术[M].北京：科学出版社，2010.

[4]刘晓克. 基于新Haar-like特征的多角度人脸检测[J]. 计算机工程， 2009， 35(19)： 195-197.

[5]GUO B F，LAM K M，LIN K H，et al.Human face recognition based on spatially weighted Hausdorff distance[J].Pattern recognition letters，2003，24(3)：499-507.

[6]王庆军，张汝波.基于Log-Gabor和正交等度规映射的人脸识别[J].计算机科学，2011，38(2)：274-276.

[7]肖政宏，基于PCA和GMM的图像分类算法[J].计算机工程与设计，2007，11(27)：1951-1952.

[8]王晶，苏光大.确定区域的人脸彩色传递[J].光电子，2010(1)：116-119.

[9]梁路宏，艾海舟，肖习攀.基于模板匹配与支持矢量机的人脸检测[J].计算机学报，2002，25(1)：22-29.

王迪(1988— )，硕士生，主研智能视频分析与模式识别；

陈岳林(1968— )，硕士生导师，主要研究方向为机制、机电等；

蔡晓东(1971— )，硕士生导师，主要研究方向为并行化图像和视频处理、模式识别与智能系统、基于云构架的智能传感器网络；

甘凯今(1992— )，硕士生，主研智能视频分析与模式识别。

责任编辑：闫雯雯

Evaluation method based on CPEF for face recognition

WANG Di，CHEN Yuelin，CAI Xiaodong，GAN Kaijin

(SchoolofInformationandCommunication，GuilinUniversityofElectronicTechnology，GuangxiGuilin541004，China)

A novel mechanism named CPEF(Composite Parameters for Evaluating Face images) for selecting an image to conduct the best result for face recognition applications from an image sequence is presented. Firstly， an method based on ASM positioning for the evaluationof image rotation is provided. Then a recursive scheme for parameters weighing is utilized. Finally， a composite parameter model is proposed to rate the appropriate degree of an image for face recognition. The experimental results show that the proposed method produces similar results to subjective evaluation and the accuracy is 92%. Furthermore，the effectiveness of this work is proved by face recognition applications using Gabor feature and SVM classifier.

ASM；CPEF；rotate；recursive function

TN911

ADOI：10.16280/j.videoe.2016.07.025

国家科技支撑计划项目(2014BAK11B02)；2014年广西科学研究与技术开发计划项目(桂科攻14122007-5)

2015-09-10

文献引用格式：王迪， 陈岳林， 蔡晓东，等. CPEF：一种用于人脸识别的图像择优方法[J].电视技术，2016，40(7)：113-117.

WANG D， CHEN Y L， CAI X D，et al. Evaluation method based on CPEF for face recognition [J].Video engineering，2016，40(7)：113-117.