基于二代身份证照的多姿态人脸图像生成

张洋洋，张会林，陈茉莉

(上海理工大学光电信息与计算机学院，上海 200093)

目前我国已基本实现二代身份证的普及，二代身份证是个人身份信息证明的重要保障。二代证采用非接触式IC卡技术，具备视读和机读两种功能，具有较强的防伪性［1］。其最大的优点是实现了持证人信息和照片的数字化存储。由于二代证的实名性及广泛性，因此使用二代身份证进行人脸识别具有很高的实用价值［2］。

二代身份证照的人脸识别是典型的单样本识别问题，单样本在证件照识别问题中应用普遍。早期单样本识别主要集中在特征提取和识别算法的研究中。文献［3］提出了一种利用重构积分图来增加细长边缘的特征点数来快速描述人脸特征，使识别率得到了提升。刘永俊等［4］人提出了位平面方法与2DMSLDA相结合的单样本识别方法。Deng等［5］在分析单样本PCA投影算法的本质后提出一种一致寻踪搜索方法，实验表明该方法对相似人脸的区分效果较好。近年来，越来越多的研究者开始把注意力投向了由单样本生成虚拟样本的研究中。其中，较为典型的样本扩充方法有:陈才扣等［6］提出的窗口滑动方法，王晓洁等［7］提出样本分块方法以达到样本扩充的目的，然后再利用模糊理论的知识计算隶属度进行识别。文献［8］提出一种通过低采样、微量旋转、微量缩放生成多张样本。虽以上单样本生成多样本方法简单，但由于与原样本高度相关、类内距离小，使得识别效果提高较低，这就需要考虑如何生成一些高质量、有一定类内差距的图像。文献［2］在分析现有生成方法的优缺点上，提出模拟人脸三维空间内姿态变化，通过建模和计算实现了三维空间到平面范围内的多姿态虚拟样本生成，该方法在现有样本生成方法基础上将算法识别率又进一步提高。但方法中对模型的近似过于简化，使得生成的虚拟样本畸变明显、真实感欠缺。本文在对上述方法进行了改进，依据人脸结构对投影模型进行近似，提出了一种异步旋转映射方法，同时对映射过程出现的位移和畸变问题进行了分析和解决，使得能生成真实感更强烈的样本。在自建二代身份证人脸库和库上进行试验来验证提出方法的有效性。

1 多姿态虚拟样本生成方法

1.1 平面简单方法虚拟图像生成

(1)垂直镜像。该操作对图像进行对称翻转，对减少头部旋转产生的影响具有一定的作用。由于本文样本是标准二代身份证照，所以图像是中心对称的，垂直镜像操作可简化绕Y轴翻转操作。

(2)图像旋转。将图像绕几何中心整体顺时针、逆时针旋转微量角度，模拟现实取样中人脸的倾斜、偏动。对于超出部分和空出部分进行裁剪和补白操作，同时将尺寸变换和图像旋转相结合可以使得生成的样本更具鲁棒性。

(3)对称变换。将原图像沿中轴分成两部分，图像左(右)半部分保持不变，右(左)半部分为左(右)半部分的镜像。这样生成的图像既较好地保持了类内距离，又充分利用了人脸面光照不均，因此该方法对光照改变具有很好的鲁棒性。

(4)透视变换。文中添加了另一种方法来生成简单虚拟样本。透视变换是非线性变换，可投影出任意形状、角度的视图。通过定义4个二维控点计算出一个3×3的映射矩阵，然后与原图相乘再加一个向量就实现了透视映射。

图1是简单方法生成的虚拟图像，从左到右依次是原图像、垂直镜像、右倾斜5°、左倾斜5°、放大1.2倍且右旋转2°、放大1.2倍且左旋转2°、右对称变换、左对称变换、透视变换1、透视变换2。

图1 平面范围内简单方法生成虚拟图像

1.2 改进型异步旋转虚拟图像生成

文献中提出将照片中的人脸定义在三维坐标系中，原点选取人脸的物理几何中心。假设人头在XO'Y平面形成旋转，将人脸投影到XO'Y平面内，投影形状近似成一个圆。那么人脸上A点在投影平面就近似为A1投影点，定义O'A1与X轴夹角为α。假设头像旋转角度为θ，则旋转后的点A'1与A1的夹角∠A1O'A1，A'1与X轴的夹角为∠XO'A'1=α－β旋转示意图如图2所示。

图2 人脸旋转位置变换示意图

根据已知条件，A1点像素的坐标(X，Y')是已知的，给定旋转角度θ，根据旋转不变性便可列出两个方程组，可解得两个未知量α，消去未知量，就得到了X'值的计算公式。

经化简，消去α便可得出头像在XOY平面内转动的坐标变换，新位置如下

定义新位置的像素值为原像素的灰度值，旋转映射过程中出现像素点的不连续问题用近邻插值的方法进行插值补齐。该方法具有操作简单，生成多姿态图像速度快等优点，生成的图像具有一定的姿态旋转效果，但从直观上来看，生成的效果并不理想，尤其是旋转角度较大时图像失真和畸变比较明显。文献中只将人脸图像的投影圆直径简单的定义为图像的水平尺寸，这将导致实际旋转幅度偏大，且体现不了人脸各个部位实际转动中线速度的不一致问题，所以导致旋转合成出来的图像的立体旋转感不强，而且大部分作用力使得图像整体位置偏移图片几何中心。因此本文在该文献的基础上进行研究，对该方法提出了改进，提出了一种改进型的异步旋转坐标变换，且针对不同方向的姿态旋转采用不同像素扫描顺序。首先对图像进行行扫描，统计出每行上非背景颜色的像素数，作为该行的人脸的投影圆直径，保存在以行地址索引的数组中。在接下来的位置投影中，对每一行的目标像素进行变线速度的投影变换，这样人脸上不同直径圆上的点就能以不同的线速度旋转，模拟了真实人脸旋转中的多峰性旋转。同时为了消除旋转的中存在一部分旋转力转化为像素平移力的现象以及旋转角度固定导致图像生成之后人脸沿中轴线发生扭曲，因此本文根据旋转方向的不同分别对左右半面每个像素点乘以不同的旋转因子，取值根据旋转角度和每行人脸直径决定。具体用旋转角度和人脸行直径的比值作为步长对左半面进行递增，到达中轴线再依次递减，分别对像素点乘以对应因子，实验表明步进值取在范围［0.01，0.03］之间效果较好。图像垂直方向变换同理，不过为了突出低头和抬头的姿势增加了积分变换，结果令人意外的是同时获得了轻微表情，使得抬头时人脸产生难过、抑郁的表情，低头时有微笑、喜悦之神，这将使得训练结果对部分表情也有一定的鲁棒性，最后同时结合以上两中情况生成复杂姿态变化的图像，生成的虚拟图像效果如图3所示。

图3 改进型异步旋转虚拟多姿态图像生成

图3生成图像从左到右依次是左旋转5°、右旋转7°、上仰 8°、下俯 8°、左旋转 7°并上仰 6°、右旋转 5°并低头5°。从直观上可看出，生成的虚拟图像真实感较好，且保持了一定的姿态旋转，人脸整体仍处于居中位置。为了测试本文提出方法的人脸识别效果，本文选择2DPCA方法提取特征训练样本的特征值，用最近邻分类法进行分类识别。

2 特征提取与分类

在子空间方法中基于主成分分析(PCA)的方法较为常用，该方法的基本思想就是用正交变换将图像转换为一维向量，这样得到的向量维度非常高，计算量大，而且丢失部分结构信息［9］。而二维主成分分析(2DPCA)的方法，是对图像矩阵直接进行协方差矩阵的计算，无需将图像转化为一维向量［10］。因此本文选择2DPCA提取特征。

设输入图像A为M×N矩阵，X表示N维的单位列向量，那么将A投影到X向量的线性变换如下所示

得到一个M维的投影向量Y，称为A的投影特征向量。投影特征向量的总体散布矩阵刻画了投影向量X的分类能力。因此，为使总体散布矩阵最大化，等价于找到使投影特征向量的协方差矩阵的迹最大化的投影向量X，这个X称为最优投影轴。标准函数如下

式中，Sx表示Y的协方差矩阵;tr(Sx)表示Sx的迹，用J(x)表示。则Sx表示为

即

定义图像散布矩阵G

假设有M个人脸训练图像，第j个训练图像定义为矩阵Aj，所有图像的均值为，则G可由下式计算得出

则式(4)就变为

最大化该标准函数得到的投影特征向量X就是最优投影轴，而X就是散布矩阵G的最大特征值对应的特征向量，通常一个投影方向是不够的，文中取前d个使J(X)最大化的特征值对应的标准正交化特征向量{X1，X2，…，Xd}，d 满足以下条件

其中，λi是G的特征值，通常θ≥0.9。经以上的计算就得到Y=［Y1，Y2，…，Yd］称为最优投影轴。最后，2DPCA的特征提取过程是

分类方法本文选择了最经典的最近邻分类法，最近邻分类器计算待分类的样本到各个已知类别的中心的距离，将训练集中的每一个样本作为判别依据，寻找距离待分类样本最近的训练集中的样本，以此为依据来分类。

假设有N个训练样本{X1，X2，…，X3}分别属于M个模式类，定义待分类的第i个样本Xi到训练样本Xj的欧式距离为

若存在

且Xk∈ωt，则最近邻分类器的分类决策为Xk∈ωt。可证明最近邻分类器的分类错误率为

其中，P*是最小贝叶斯错误率分类器;C是模式类别数。

3 实验分析

为验证本文所提方法的有效性，分别在自建二代身份证照库和YALE人脸库中进行试验。本文从每个人中挑选正面标准照作为输入样本，用本文中的方法共生成15张虚拟图像，加上原样本一共16张作为训练样本，然后再用2DPCA进行特征提取，用最近邻分类器进行分类识别。实验中分别对单样本、简单方法生成样本、文献虚拟样本生成、本文改进方法生成图像进行单独实验，从而来对实验方法进行充分的比较。

自建身份证照库通过二代身份证读卡器得到36张不同人的身份证照，分别进行相应的预处理和归一化，通过虚拟图像生成技术共得到576张作为训练样本。同时拍摄每个人不同光照、姿态、表情的图像8张用作测试样本。实验结果如表1所示。

YALE人脸数据库是由耶鲁大学计算机视觉与控制中心建立的［11］，包含15个人的165张不同姿态、光照、表情的人脸图像，是人脸识别研究领域中中常用的标准人脸数据库。其中，每个人有11张照片，选择其中一张用于训练样本，其余10张用作测试样本。该方法的实验数据如表2所示。

表1 二代身份证照自建库人脸识别结果

表2 YALE人脸数据库人脸识别结果

实验结果表明，本文提出的方法较原方法人脸识别率得到了有效提高，尤其是正面证件照，识别效果最佳，对于有光照和姿态变化的人脸识别率也得到了明显提升，但对于带表情的样本识别率不是很高，这主要是由于生成虚拟图像时没有对表情的虚拟，这也是下一步的工作重点。总之，综合识别率较单样本、简单方法、原方法都得到了明显提高。

4 结束语

对于单样本识别问题，本文从训练样本集出发通过各种方法来生成多姿态虚拟样本，将特殊单样本问题转化为一般模式识别问题。在文献［2］的基础上的对空间人脸姿态旋转问题进行研究，分析了原方法中的不足和存在的问题，提出的一种改进型异步旋转人脸映射方法，针对人脸不同位置进行不同的线速度旋转，变速依据人脸行直径统计值，同时为了消除旋转力一部分转化为位移力，在变换中引入旋转因子，旋转因子与旋转角度和行直径值有关，因此因人而异。最后，通过在不同数据库上进行试验，可以看出改进型方法识别率比原方法提高不少，对带有轻微光照、表情、姿态变化的图像具有较好的鲁棒性。接下来进一步的研究将考虑如何增加类间虚拟图像。

［1］百度百科.第二代身份［EB/OL］.(2014－11－11)［2014－11 －27］http://baike.baidu.com/view/71555.htm.

［2］卫保国，胡清华.二代证人脸识别的多姿态虚拟样本生成方法［J］.电子设计技术，2012，20(5):138 －141.

［3］李伟红，陈龙，龚卫国.单样本快速人脸不变特征提取方法［J］.光电子·激光，2014，25(3):558 －563.

［4］刘永俊，常晋义，陈才扣，等.基于位平面图像与2DMSLDA的单样本人脸识别［J］.计算机工程与应用，2010，46(15):172 －175.

［5］Deng W，Hu J，Guo J，et al.Robust，accurate and efficient face recognition from a single training image:a uniform pursuit approach ［J］.Pattern Recognition，2010，43(2):1748－1762.

［6］陈才扣，黄建平，刘永俊.基于泛滑动窗与2DLDA的单样本人脸识别［J］.计算机应用，2007，27(11):2793 －2796.

［7］王晓洁，李晓东.基于模糊决策和MSD的单样本人脸识别算法［J］.计算机工程与应用，2011，47(19):200 －202.

［8］杜春华，杨杰.人脸特征点定位及识别的研究［D］.上海:上海交通大学，2008.

［9］孙士明，王芹芹，纪友芳.单样本人脸识别中的虚拟样本扩展方法研究［J］.微计算机应用，2010，31(9):6 －10.

［10］Zhang T，Li X F，Guo R Z.Producing virtual face images for single sample face recognitionoptik ［J］.IEEE Transactions on Computer，2014(125):5017 －5024.

［11］Georghiades A S，Belhumeur PN，Kriegman D J.From few to many:illumination cone models for face recognition under variable lighting and pose［J］.IEEE Transactions on Pettern Anal.Mach.Intell，2001(23):643 －660.