一种基于人脸对称性的人脸图像生成方法

孙晨晖

摘要 生成虚拟人脸样本是提高小样本人脸识别性能的一个重要方式。但是虚拟人脸样本可能存在的失真、降低识别精度。为了克服这一缺点，本文提出了一种局部近似对称人脸图像生成方法。我们用虚拟的半边脸以取代原始的半边脸，合成一张人脸。该方法既利用虚拟人脸，又利用原始人脸生成基于对称性的合成人脸。因此，合成的面部接近于原来的面部。实验结果表明，该方法提高了人脸识别的准确率。

[关键词]虚拟样本 人脸识别 半边脸 合成人脸

在小样本人脸识别领域，困难主要来自人脸样本不足，并且人脸姿势不同，面部表情的差异和光照的不均衡，这些都会导致识别率的降低。为了克服这些困难，获得更多的虚拟人脸样本是提高人脸识别率的重要途径。近年来，研究者发现，例如，对称的人脸图像有利于克服光照问题和人脸姿势不同导致的影响。还发现，一些生成虚拟人脸样本的简单方法也可以提高人脸识别精度。例如，两个原始人脸图像的平均值可以用作虚拟面部样本。由于人脸近似对称，所以用半边脸来生成整个虚拟人脸也是可行的。

人脸是近似对称的结构。这启发我们提出一种构造近似对称人脸的新方法。采用人脸对称结构，己被证明是在人脸检测的一种有效方法。面部的对称性也适用于其他问题，如阴影分析。对于人脸识别，如果人脸图像完全是轴对称图像，则只需要人脸的一半进行人脸分类。但人脸图像是不完全对称的，所以我们的方法也借鉴了论文中的方法来提高人脸的对称性。

由于最近邻分类器对模式分类有很好的精度，本文将其用于人脸识别。我们知道，最近邻分类器的性能较好，可以使我们获得令人满意的性能，并且它是非常简单和容易实现。在本文中，我们试图产生和利用合理的虚拟训练样本，以更准确地识别人脸。合理的虚拟样本不仅能正确地模拟人脸的姿态、表情等变化，而且有助于提高识别精度。

1 局部近似对称人脸图像生成方法

为了方便描述，我们用b1，1，b1，2，b2，1和b2，2分别表示原始图像的左上角、左下角、右上角和右下角部分。所有这些都被重新排列为列向量。获得四个向量的步骤如下。

让T代表一个原始的人脸图像。图像1有j列。让Tu，j（j=1，2，…，J）和Td，j（j=1，2，…，J）分别表示图像T的上部和下部。假设J是一个偶数，我们有如下公式：

为了便于理解该方法，图1给出了实现上述过程的一个简单示例。我们将人脸图像分成四个块，每个块用一列向量表示。

利用梯度下降算法，使左右脸进行迭代，使b1，1，b2，1近似相等，b1，2，b2，2近似相等。迭代函数g（m）如下定义：mn+1=mn-pVg（mn） （2）

这里p是学习率，mn+l，mn分别是m在n+l次迭代和n次迭代中的值。梯度下降算法可以快速获得函数g（m）的最小值和相应的最优m值。

首先，基于b1，1、b2，1，我们定义了一个目标函数如下：

B是一个正的常数，n是迭代次数。p随着n的增大减小。这个解容易收敛。

获取b1，1和b2，1向量后，合成脸的半边脸是通过b1，1和b2，1拼接起来的。同样的，我们获得b1，2，b2，2。方法的步骤如下：

第一步：将原始人脸图像分割成左上、左下、右上、右下脸图像，并反转右上脸和右下脸，如图2所示，我们得到b1，1，b1，2，b2，1，b2，2。的初始值。

第二步：我们通过方程式（4）提出的梯度下降算法，迭代更新b1，1和b2，1。迭代终止需要满足两个条件之一：（i）迭代次数大于预定义值;表示b1，1经过n次迭代的值。￡是一个小的正常数。b1，l和b2，1迭代的流程如图3。

第三步：我们用类似的方式获得b1，2，b2，2。然后我们能得到用b1，1和b1，2合成的左半边脸图像。用b2，1和b2，2得到合成的右半边脸图像。

第四步：利用合成的左脸和右脸原来获得的虚拟人脸图像还是原来的左脸和右脸合成得到的虚拟人脸图像。

第五步：我们使用一个算法来证明我们的方法的优点。

本文利用最近邻分类器，证明该方法在人脸识别中的优越性。

2 分析提出的方法

这一节，我们描述方法优点。首先，它很容易从原始人脸图像中生成对称的虚拟人脸图像。这不仅可以减少人脸不同姿态和光照对人脸识别的影响，且可以使人脸图像的几何形状与真实人脸更一致。其次，该方法简单。它以较低的计算成本产生近似对称的人脸图像。第三，最重要的步骤是使用虚拟人脸和原始人脸，合成的人脸更接近原始人脸。图4中的两组面孔给我们一个清晰的对比。左边的列是原始图像，右边的列是合成图像。

我们用的原始人脸图像是从YaleB人脸数据库中选取。从图中，我们看到，我们的方法可以很好的缓解光照失衡产生的负面效应，获得良好光线的虚拟人脸图像。

3 实验

为了验证我们的方法，我们在AR和NIR人脸数据库进行实验。 （i） AR人脸数据库包含126人，超过4000张彩色图像。在文中，我们选择AR人脸数据库中的120人，并从每人中选出26幅图像，共3120幅图像。人脸图像有不同的姿势、光照和表情。（ii） NIR人脸数据库有400幅100个人的图像，每个人在不同的照明条件和各种面部表情下提供4幅不同的图像。（iii）从YaleB人脸数据库中选取15人，每人32张人脸图像，共480张人脸图像。由于我们的方法使用了虚拟人脸和原始人脸，合成的人脸非常接近原始人脸。实验如下。

3.1 实验1

在AR和NIR人脸数据库进行实验。实验中，合成的人脸由原始人脸的右脸和虚拟人脸的的左脸组成。在AR数据库中，分别选取每个人的1，2，3，4，5个原始人脸图像作为分别作为原始训练样本，其他是测试样本。在NIR数据库中，分别选取每人2个和3个原始人脸图像，作为原始训练样本，其余为测试样本。表1和2分别显示了在AR数据库和NIR数据库的实验结果。

通过观察，我们的方法比论文[14]中的方法有更高的识别率。将两种方法做对比，在AR数据库中，当训练样本数为4时，最低精度分别为54.02%和50.95%。在NIR數据库中，训练样本数为3时，我们方法的最高准确率是91%，而原论文是87%。实验表明，我们的方法更优。因为我们的方法由虚拟半边人脸和原始半边人脸合成人脸，这样使拼接的人脸更接近于原始人脸，且用到了虚拟人脸消除光照等影响的优势。

3.2 实验2

与上述实验相类似，我们利用原始人脸的左脸和虚拟人脸的右脸合成人脸图像。实验是在AR数据库和YaleB人脸数据库进行。实验结果如表3和表4所示。

4 结语

本文提出的方法既利用虚拟生成的人脸图像，又利用原始的人脸图像，来生成基于对称性的人脸。因此，合成的面部接近于原来的面部。同时，该方法可以减少光照对人脸识别的负面影响。实验表明，该方法能提高人脸识别的准确率。