二代证人脸识别的多姿态虚拟样本生成方法

卫保国，胡清华

（西北工业大学 电子信息学院，陕西 西安 710129）

二代证人脸识别的多姿态虚拟样本生成方法

卫保国，胡清华

（西北工业大学 电子信息学院，陕西 西安 710129）

使用第二代身份证照片作为训练样本进行人脸识别属于典型的单样本问题，由于没有充分数量的训练样本，会造成常规的人脸识别算法识别率低下，甚至无效的问题。为此采用虚拟样本生成方法，并针对遇到姿态变化较复杂的人脸时，识别率不高的问题，提出了一种新的多姿态的虚拟样本生成方法，通过模拟人脸侧向旋转、俯仰和立体旋转等增加有效的训练样本，再使用鲁棒性较好的HMM进行人脸识别。在自建的身份证人脸库上进行测试，实验结果显示，该方法在一定程度上减弱了人脸姿态的变化对识别率的影响，并取得了较好的识别效果。

人脸识别；第二代身份证；单样本；虚拟样本生成；隐马尔可夫模型

我国第二代身份证的使用，为人脸识别的应用奠定了重要基础[1]。第二代身份证芯片内存储了个人实名信息和人脸正面照片，可以通过设备自动获取身份证所有人照片的特性，使得获取人脸识别所需的人脸图像训练样本极为便利。由于二代证的实名性及广泛性，因此使用二代身份证进行人脸识别具有很高的实用价值。

文中选取二代身份证照片作为人脸识别的训练样本，进行人脸识别研究。使用二代身份证照片进行人脸识别时，只有一张训练样本，如果此时使用常规的算法进行人脸识别，那么识别率会变得极其低，或者算法失效，这就是人脸识别的单样本问题[2-3]。

单样本问题正逐渐引起相关研究者的关注，成为人脸识别领域一个新的研究热点，针对这一问题，研究者们提出了一些解决方法。文献[4-5]使用积分投影与原图像合成新图像，再进行识别，来提高人脸识别率；文献[4，6]先对原始图像进行一定的处理，生成一定数量的虚拟样本，再进行特征提取和人脸识别，取得了不错的效果。由于现今多样本人脸识别技术较为成熟，可以取得较好的识别性能，所以通过虚拟样本生成技术扩充训练样本数目，使单样本人脸识别问题转化为一般的多样本人脸识别问题是一种很好的方案。虚拟样本生成就是模拟现实中人脸取样的各种情况，但是现有的虚拟样本生成方法往往只模拟了人脸在图像平面内变化的图像，生成的虚拟样本比较单一。而大量的实验表明[8]，缺少丰富的人脸样本，在对具有姿态变化的人脸进行识别时，识别性能会大幅下降。

文中分析了现有虚拟图像生成方法的优缺点，提出了一种多姿态的虚拟样本生成方法，该方法不仅能生成人脸在图像平面内变化的模拟图像，还能生成人脸在立体空间内变化的模拟图像。

使用该方法产生的训练样本，在自建的身份证人脸库上的实验结果表明，相对于单样本识别率提高了近60%，相对于已有的虚拟样本生成方法对多姿态的人脸识别率提高了近10%。

1 图像平面内虚拟样本生成方法

1）镜像变换 这种操作可减小头部旋转对识别率的影响，对提高有姿态变化的人脸识别准确率有一定的效果。由于身份证照片中人脸是标准的水平居中，而且人脸基本对称，所以可对身份证照片P进行垂直中心轴的镜像变换，得到P1。 P1=P×N，P、P1的大小为 m×n，N 为反对角线为 1，其余元素为0，大小为n×n的方阵。

2）尺度变换 增加尺度变化的虚拟样本，就是模拟现实成像时人脸离摄像设备远近不同或焦距不同时的情形，因为虽然人脸检测时会对人脸进行标准化处理，但由于存在误差，标准化后同一个人的照片仍然会存在尺度上的差异，所以虚拟产生尺度变化的图像，可以当作有效的训练样本。与常规方法中不同的是，本文实验中，在将身份证原始图像P进行缩小操作时，由于身份证图像的背景为纯白色，所以必须要对空出的部分进行补白操作。对P进行放大操作时，要对放大图像的四周进行剪切使其与原图P大小相同。两种操作均保持人脸位置相对不变。

3）倾斜变换 增加倾斜操作的图像，就是模拟现实成像时人头部侧向倾斜不同角度时的情形。将原始图像P在图像平面内绕中心旋转一定的角度 ，就得到新的图像作为训练样本。不过要得到与原始图像P大小相同的图像，还需要进行插值和剪切操作，图像旋转后会有一部分超出原图像范围，需要剪切操作；同时会有部分背景空出，需要进行补白操作。

4）平移变换 增加像素平移的图像，就是模拟现实成像时人脸在设备成像窗口中位置或焦距不同时的情形。可以将图像作为一个整体向右、向下、向左、向上平移几个像素得到平移后的图像作为新的训练样本图像。在本文的实际应用中，为减少计算的复杂度，采用了组合平移的方式。平移后会使原始图像P的一部分移出边框，要去除；同时也会有部分空出的，要进行补白操作。

2 XOZ、YOZ平面内模拟人脸姿态变化方法

图1为定义的三维人脸及其坐标轴，其中XOY与图像平面平行。二代身份证照片为标准的正面照，图像平面内模拟生成的训练样本都还是人脸正面图像，其旋转也仅限于左右旋转（XOY内绕Z轴旋转），缺少模拟现实成像时更加复杂的姿态，也就是缺少对XOZ和YOZ平面内人脸变化的模拟。

本文对XOZ和YOZ平面内的人脸旋转进行研究，提出了模拟人脸侧向旋转（绕X轴）和模拟俯仰旋转（绕Y轴），以及组合旋转姿态的虚拟人脸生成方法。

1）对照片P中人脸进行模拟人脸侧向旋转。人脸侧向旋转的过程，可以看做是人脸上所有点绕颈脖到头顶轴（绕X轴）旋转的一个过程。图2为模拟人脸侧向旋转变化的示意图。

图1 人脸Fig.1 Human face

图2 人脸旋转示意图Fig.2 Face rotation diagram

首先把头部ZOY平面内的人脸轮廓近似为一个圆，O点为人头部旋转的中心，O′点为人脸图像上Y轴方向的起点，A为人脸上任一点，A点在人脸旋转θ角度后到达A′点，y、y′分别是旋转前后A点在图像上的位置。令O′A与X轴夹角为α；A 转动 θ角度后到达 A′，即角度∠AO′A′=θ；圆半径为 n/2，n为人脸照片的Y方向的尺寸。

可以列出方程组：

2）模拟俯仰变化，即模拟人脸绕Y轴旋转的情形。假设人脸在XOZ平面内的轮廓为一个圆，抬头或低头旋转的角度为θ，就可以用1）中的原理求出新图像中对应的坐标为：

m为图像在X轴方向的尺寸，θ为头部转动的角度，根据θ取正值或负值，就能得到模拟抬头和低头的图像，此原理可在一定程度上模拟现实成像时人抬头低头的情形。

3）组合模拟，即模拟人脸既有倾斜，又有旋转的姿态。这种立体变换可以更加全面的模拟现实取样时复杂的人脸姿态。方法为：先对人脸进行一定角度的模拟旋转变化，再进行一定角度的倾斜变化，就可以得到对立体姿态进行模拟的虚拟图像。

3 HMM人脸识别模型

隐马尔可夫模型[7]（Hidden Markov Model，HMM）是一个二重马尔可夫随机过程。它包括具有状态转移概率的马尔可夫链和输出观测值的随机过程。其状态是不确定或不可观测的，只有通过贯彻序列的随机过程才能表现出来，一个标准的 HMM 由一个五元组表示 λ=（N，M，π，A，B）。 其中，N 为模型中Markov链的状态数目，M为每个状态可能对应的观察值数目，π为初始状态矢量，A为状态转移概率矩阵，B为观察值概率矩阵。

具体的过程为，首先对每人的身份证图像和虚拟生成的图像进行采样生成观察值序列，然后对这些观察值序列使用Viterbi和Baum-Welch算法[8]，来训练出人脸的HMM模型参数，就能得到各人的人脸HMM模型，然后再进行识别过程，识别过程的具体步骤如下：

1）首先对待识别的人脸图像进行采样，得到观察向量序列；

2）计算此人脸观察向量序列与人脸数据库中各个人脸的HMM模型的最大似然概率，最大似然概率的计算可以通过前向-后向算法或者Viterbi算法得出；

3）最大似然概率反映了待识别人脸观察向量序列与数据库中的人脸HMM模型的相似程度。计算出每一个模型产生该序列的最大似然概率，最大值的模型即为待识别人脸所属的类。

HMM能提取人脸的主要特征，它把面部器官特征和一个状态转移模型联系起来，这种模型既考虑了人脸各器官的不同特征，又考虑了它们的相互关联，比孤立利用各器官的数值特征有概念上的进步，该模型的参数能较好地表征具体人脸模型。该方法鲁棒性较好，对表情、姿态变化不太敏感，对于不同角度的人脸图像和不同光照条件，都能达到满意的识别精度。所以本文选用HMM进行人脸识别。

4 实验及结果分析

实验所用人脸库为一个身份证照片库和一个摄像照片库。身份证人脸库：因为没有公开的身份证人脸库，所以本文建立了一个含有20人身份证照片的身份证人脸库。测试人脸库：测试人脸库含有对应20人每人10张各种设定姿态（3张不同焦距的正面照，两张20度左右人脸侧向旋转照，抬头/低头照，笑脸照，两张左右倾斜30度人脸照）的摄像照，总计为200张测试照片。为更加全面的测试不同姿态的人脸对算法识别准确率的影响，测试照片具体分为10个测试集 （表1），每测试集含有各人相同的姿态照片，各测试集对应人脸姿态如下：

1）为验证增加的虚拟样本的有效性，首先必须测试出使用单样本时的人脸识别率。测试时只采用每人的二代身份证照片进行训练，其余10张摄像采集图像为测试图像，分次进行测试，统计平均识别率，结果列在表2的实验1中。

表1 测试照片集对应的人脸姿态Tab.1 Test set number of corresponding face gestures

2）为验证虚拟样本的有效性，训练样本中加入对原始身份证图像P进行下列操作得到的虚拟样本：镜像变化得到的P1；尺度缩小0.9倍得到的P2；尺度放大1.1倍得到的P3；向左倾斜5度得到的P4；向右倾斜5度得到的P5；向上右方向各移动5个的像素得到的P6；向下左方向各移动5个像素得到的P7。P1-P7与二代身份证照片P共计8张一起进行训练，如图3所示，进行测试验证增加虚拟图像对人脸识别率的影响。结果列在表2的实验2中。

图3 训练图像（P、P1-P7）Fig.3 Training photos （P、P1-P7）

3）为验证模拟姿态变化的虚拟图像对识别率的有效性，现在训练样本中加入以下的模拟人脸姿态变化的虚拟样本：向右侧向旋转10度得到的P8；向左侧向旋转10度得到的P9；仰头 10度得到的 P10；俯头 10度得到的 P11；向右侧向旋转10度再向左倾斜5度得到的P12；向左侧向旋转10度再向右倾斜5度得到的P13。如图4所示6张图像，与P、P1-P7一起，共计14张图像进行训练，再进行识别，验证模拟姿态变化的虚拟样本对人脸识别正确率的影响。结果列在表2的实验3中。

图4 训练图像（P8-P13）Fig.4 Training photos（P8-P13）

表2的实验结果表明加入虚拟样本，增加训练样本数量，对单样本人脸识别的准确率的提高非常有效。实验2的结果表明，增加图像平面变化的虚拟样本对识别率的提高非常有效，特别是对正面人脸的识别，平均识别率达到了90%，同时实验结果也表明了，在增加的虚拟样本都为正面人脸时，对具有姿态变化的人脸进行识别，识别率相对较低。其中实验3的结果表明，增加模拟侧向旋转和俯仰旋转姿态变化的虚拟样本，在对姿态变化较大的人脸进行识别时，识别率提升明显，同时平均识别率也得到一定程度的提高。证明模拟姿态变化的虚拟样本对提高非正面人脸识别是有效的。

表2 人脸识别实验结果Tab.2 The results of face recognition

5 结束语

文中在研究了多种虚拟样本生成方法的基础上，针对训练样本使用二代证照片的情况，选择了几种适合的虚拟样本生成方法，并提出了模拟人脸侧向旋转、俯仰和立体旋转的虚拟样本生成方法，比较全面的模拟了在现实中对人脸进行取样的各种情况。该方法在一定程度上减弱了人脸姿态的变化对识别率的影响，并取得了较好的识别效果。在以后的工作中将研究如何改善二代身份证照片的质量和算法对具有明显年龄变化的人脸进行识别的有效性。

[1]任小龙，苏光大，相燕.使用第2代身份证的人脸识别身份认证系统[J].智能系统学报，2009，4（3）:213-217.

REN Xiao-long，SU Guang-da，XIANG Yan.Face authentication system using the Chinese second generation identity card[J].CAAIT Ransactions on Intelligent Systems，2009，4（3）:213-217.

[2]TAN Xiao-yang，CHEN Song-can，ZHOU Zhi-hua，et al.Face recognition from a single image per person:a survey[J].Pattern Recogniton，2006，39（9）:1725-1745.

[3]SHAN Shi-guang，CAO Bo，GAO Wen，et al.Extend fisherfaces for face recognition from a single example image per person[C]//Proc of The IEEE International Symposium on CircuitsandSystems.Phoenix-Scottsdale，USA，2002，Ⅱ:81-84.

[4]WU Jian-xin，ZHOU Zhi-hua.Face recognition with one training image per person[J].Pattern Recognition Letters，2002（23）:1711-1719.

[5]CHEN Song-can，ZHANG Dao-qiang，ZHOU Zhi-hua.Enhanced（PC）2A for face recognition with one training image per person[J].Pattern Recognition Letters，2004（25）:1173-1181.

[6]张生亮，陈伏兵，杨静宇.对单训练样本的人脸识别问题的研究[J].计算机科学，2006，32（2）:225-229.

ZHANG Sheng-liang，CHEN Fu-bing，YANG Jing-yu.Some researches for face recognition with one training image per person[J].Computer Science，2006，32（2）:225-229.

[7]Samaria F，Young S.HMM based architecture for face identification[J].Image and Computer Vsion，1994，12（8）:537-543.

[8]许江涛.多姿态人脸识别研究[D].南京：东南大学，2006.

－141－

Multi-pose virtual sample generation for face recognition using the second generation ID card

WEI Bao-guo，HU Qing-hua
（School of ElectronicInformation，Northwestern Polytechnical University，Xi’an710129，China）

Using the Chinese second generation identity card’s （2G-ID card） photo as the training sample for human face recognition is a typical single-sample problem.The insufficiency of training samples will cause the serious performance reduction of conventional face recognition algorithms.Virtual sample generation is an approach to transfer single sample to multi-sample thus re-work many face recognition methods.However，Existing virtual sample generation technology cannot efficiently deal with faces with diverse pose.A new multi-pose virtual sample generation technology is proposed.Through the face simulation of lateral rotation， pitching and three-dimensional pose variation of human’s head to increase the training samples， then using HMM to realize face recognition， The experimental results show that the method can overcome the affect of changes in face pose to some extent，and can obtain higher recognition performance.

face recognition； 2G-ID card； single sample； virtual sample generation； hidden Markov model

TP391

A

1674－6236（2012）05-0138-04

2012-01-13稿件编号：201201055

卫保国（1970—），男，陕西乾县人，副教授，硕士研究生导师。研究方向：图像处理、模式识别、计算机视觉。