融合主动外观模型与局部二元模式的人脸识别

叶奇明，梁根

(1.茂名学院 理学院,广东 茂名 525000；2.茂名学院 教育信息技术中心，广东 茂名 525000)

计算机人脸识别技术是指利用计算机分析人脸图像，进而从中提取出有效的识别信息，用来辨认“身份”的一门技术.人脸识别的第一步必须在图片中确定人脸区域，即人脸定位或检测.Viola和Jones[1]提出的基于Haar-Like特征的AdaBoost人脸检测方法，能够高效的从图片中检测出人脸.另外，Cootes根据形变物体的特性，提出了基于主动形状模型ASM(active shape model)[2]和主动外观模型AAM(active appearance model)[3]的人脸特征点检测方法.上述的人脸以及人脸特征点定位方法都取得了很好的效果，得到了广泛的推广.

Martinez[4]比较了人脸多个特征点在识别过程中所起的作用，并据此赋予它们不同的权值.王蕴红[5]首先利用主成分分析提取人脸全局特征，然后划分人脸区域将各局部特征进行加权组合已达到人脸识别的目的.然而这些方法只是采用的一种笼统的加权策略，这无疑会在实际识别的过程中丢失许多独特信息.

在本文中提出的识别算法是基于主动外观模型AAM和局部二元模式LBP[6]的两者的有机融合.首先利用AAM提取出人脸五官特征得到全局纹理特征，然后对面部主要器官(眉毛、眼睛、鼻子、嘴)的局部LBP特征进行加权组合.为了反映各局部特征之间的相对位置关系信息，采用模糊综合的思想融合全局特征分类器的输出，在XM2VTS人脸库[6]上的实验结果表明这两者的融合策略能很好地结合人脸图像全局和局部的互补信息，识别效果优于各单一模块的分类性能.

1 人脸识别中的特征提取

1.1基于主动外观模型的全局特征提取AAM(active appearance model)模型是对象的表观模型，表观是形状和纹理的组合，表观模型是在形状模型的基础上结合对象的纹理模型而建立的.其中形状模型使用点分布模型表示人脸上主要特征点的相对位置与空间关系，然后对所有的形状进行归一化处理，接着采用主成分分析的方法对形状归一化后的数据进行处理，得到平均形状S0和按特征值大小排序后的前k个形状特征向量Si.形状模型描述了平均形状和由各种原因引起的形状变化模式，其表示如下：

(1)

(2)

其中，A0(x)、Ai(x)是应用PCA之后的平均表观和特征值排序的前m个表观特征变化向量.

在实验中，AAM通过20个人的240张静态图像来构建，每幅图像手工标定68个点.为了进一步提高算法的鲁棒性及效率，采用三层金字塔的策略来实现由粗到精的搜索.图1显示了AAM搜索的过程示意图：(a)为原始图像，(b)为应用人脸检测后的初始化形状，(c)为迭代3次后的效果，(d)为经过13次迭代的最终收敛结果.

图1 AAM匹配过程

给定一张人脸图像，首先AAM定位出人脸的特征点，其相应的纹理A(x)也随之而得.随后，我们通过该纹理向量在其纹理子空间上的投影得到一个相对低维向量表示λ，这样就可以计算其与图像库中第i个人脸的距离di：

(3)

1.2基于LBP的局部特征的提取到目前为止，大多数人脸识别方法主要的依据还只是待识别者面部的全局特征.不可否认，人脸局部特征在整个识别过程中起着举足轻重的地位与作用.有关心理学与神经科学的研究表明，全局特征和局部特征对于人脸感知与识别都是不可或缺的；全局特征描述通常作为感知的前端输入信息.如果待识别者拥有特别明显的局部特征，则全局描述就会退居到一个比较次要的地位.

图2 基本的LBP算子

局部二元模式LBP(local binary pattern)[7]是描述图像纹理特征的一种优秀算子，它通过对图像任一点与其周围点的灰度值大小的准确描述来表征图像中的局部纹理的空间结构，具有一定的抗旋转、亮度变化等能力.LBP的计算过程如图2所示：以该点位为中心，3×3大小为窗口，窗口中的每个像素点与中心点相比较，大于等于中心点灰度值的用1表示，反之用0，然后根据顺时针方向将这些值进行二进制编码，此编码值就是该点的LBP值.最后以直方图的形式统计出整个区域中每个特征值的数量，由此作为对图像的纹理特征的描述.

图3是将人脸分解成左眼、右眼、鼻、嘴共4个局部区域，它们包含了面部的主要信息.这些局部区域的分割依赖于人脸特征点的准确定位，而在AAM定位人脸特征点的时候，可以准确获知这些关键特征点的位置.如图3所示，我们分别计算每个区域的LBP直方图，然后将所有的融合成一个整体直方图.

图3 局部特征表示

在识别过程中，我们采用加权卡方距离作为测试样本和模板之间的直方图差异的度量工具：

(4)

其中，ωj为局部区域对应的权重，S为待识别人脸图像的LBP直方图，M代表库中某个人脸图像的LBP直方图.当该待识别图像与库中某张人脸图像的卡方距离最小时，则表明这两张图像属于同一个人.

2 特征融合

通过AAM和LBP的介绍，分别得到了人脸描述的全局特征和局部特征，并分别用最近邻分类进行了第一级的识别.在本节中，我们研究如何将两者结合起来以提高最终的识别率.

模糊集理论是由Zadeh提出的，他认为每一个元素可以以一定的程度属于某个集合，也能以不同的程度同时属于几个集合.由于模糊集大量使用日常生活中一些含义确定但又不准确的概念，提供了非常弹性的描述，因此它被认为是解决常识性问题的最合适的数学工具.从人的认知角度出发，同一个人脸的不同图像当然属于一个确定集合.然而由于各种因素的干扰，同一个人样本之间的差异有可能大于不同人样本之间的差异，就是说它们在人脸空间中的分布并不能很好地满足紧致性.所以我们需要得到模糊的分类结果，或者说是分类结果模糊化.

设在人脸识别的特征提取阶段，我们得到样本库的具体表示：

Ω=xij|i=1,2,…,C,j=1,2,…,Nc

(5)

(6)

其中，mi为第i类的均值向量.

假定每个类近似服从于高斯分布，待识别图像的特征表示为y，则其相对于各类人脸的隶属度为：

(7)

我们分别对全局特征和局部特征做上述模糊识别，得到两组模糊结果：

(8)

将这两组结果根据文献[8]的模糊综合的原理得到结果作为最终的判别依据(k为大于1的任意实数)：

(9)

3 实验结果与分析

图4 人脸识别原型系统演示

在X86 PC Microsoft Visual C++环境下进行原型系统设计，其运行的过程如图4所示.左边一栏是待识别人脸图像，右边一栏是从训练库中识别出来的人脸，每张人脸下面显示了待识别人脸与图像库中人脸的匹配程度.系统的运行速度不到1 s，满足在线要求.

为检验本文算法的有效性，对XM2VTS人脸库中的样本进行了实验.XM2VTS包含了295人在4个不同时间段的图像.其中大多数均为正面人脸,包含了各种表情、光照、平面内旋转、小幅度俯仰姿态、深度旋转.我们从中挑选了没有戴眼镜以及遮挡的212人共1 800张图作为我们的实验样本，图5显示了XM2VTS库中的代表图像.

为了验证本文中的两种特征的融合算法的有效性，比较了几种典型的人脸识别方法，其中包括基于AAM的全局特征、基于LBP的局部特征、基于PCA和LDA的子空间方法、基于Gabor特征的识别、以及本文中的基于AAM和LBP的模糊融合等方法.在实验中，把每个人的人脸图像分成两份，其中一份用来训练，另外一份用作识别.表1列出了识别率结果.由此可以看出，本文中的识别算法相比较其他算法而言是比较有效的.

图5 XM2VTS人脸库示例图

方法AAM全局特征LBP局部特征PCA+LDAGabor特征AAM+LBP+Fuzzy识别率0.8840.8910.8760.9150.928

图6 AAM、LBP、PCA+LDA、Gabor 以及AAM+LBP+Fuzzy的识别率比较

为了进一步说明本文算法的有效性，我们借助于另一种比分类误差更通用的分类性能度量是ROS(rank order statistic)，该方法首先在FERET脸像识别算法的评估协议中被提出，它定义为一个测试度量的实际类别在它的最前k个匹配值之间的累积概率.性能统计特性以累积匹配分值(cumulative match scores)来报告，阶次k画在横轴上，而垂直轴是正确匹配的累计百分比.我们也使用ROS评估了算法的性能.图6是上述5种识别算法在XM2VTS库上的更为详细的实验结果比较.(注意，表1的分类精度实质上等价于rank=1).

从图6中可以看出，只使用全局特征或者是某些局部特征的识别效果略微有些不尽如人意，一方面，是因为每一局部特征区域的面积很小，包含的信息有限；另一方面,全局特征实质上依赖于图像像素灰度之间的相关信息，对几何校准的精确度十分敏感.通过组合各局部特征，识别效果有明显的提高.另外注意到，本文中的算法相比较Gabor特征，识别率有一定的提高，也能有效处理光照的变化情况.

4 结论

在本文中提出的一种融合主动外观模型AAM与局部二元模式LBP的人脸识别算法，既考虑到人脸整体构型的全局信息，又兼顾每一局部区域的个性信息，以构造更加准确、鲁棒的识别系统.为此，我们首先利用AAM进行人脸特征点提取，获得人脸纹理特征的全局描述；然后依据人面部局部特征的重要程度采用加权的LBP进行直方图匹配；最后采用基于模糊综合对上两阶段的分类结果进行有效融合.在XM2VTS人脸库上的实验结果表明：通过数据融合使人脸识别率有了显著提高，可以达到大约93%.同时与其他识别方法的比较也进一步说明了本文算法的优越性.但对于非标准人脸库图象的识别，由于受到表情、光照、角度等多方面影响，如何提升真实环境下的人脸识别效果还有待进一步研究.

参考文献：

[1]Viola P,Jones M.Rapid object detection using a boosted cascade of simple features[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Kauai,Hawaii,2001:1511-1518.

[2] Cootes T F,Taylor C J,Cooper D H,et al.Active shape models their training and application[J].Computer Vision and Image Understanding,1995,61(1):38-59.

[3] Cootes T F,Edwards G,Taylor C J. Active appearance models[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(6):681-685.

[4] Martinez A,Kak A.PCA versus LDA[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(2):228-233.

[5] 王蕴红，范伟，谭铁牛.融合全局和局部子空间的人脸识别算法[J].计算机学报，2005,28(10):1657-1663.

[6] Messer K, Matas J, Kittler J,et al.XM2VTSDB: the extended M2VTS database[C].Second International Conference on Audio and Video-based Biometric Person Authentication,Washington DC,USA,1999:72-77.

[7] Ahonen T, Hadid A, Pietik M ainen.Face recognition with local binary patterns[C].Proceedings of the 8th European Conference on Computer Vision,2004:469-481.

[8] Odeberg H.Fusion sensor information using fuzzy measures[J].Robotica,1989,31:217-242.