基于局部二值模式及马尔科夫稳态特征的人脸识别

吴学谦，李菲菲，颜 艳，陈 虬

(上海理工大学 光电信息与计算机工程学院，上海 200093)

近二十年来，人脸识别技术越来越受到社会关注[1-2]，由此越来越多的人脸识别算法[3-6]被提出。因为局部二值模式(LBP)计算简单、并且特征分类能力强的特点，而被众多研究者广泛应用到人脸识别中[7-9]。但是正如文献[10]中所阐述的，传统LBP直方图分析方法无法提取出图像空间结构位置信息特征。因此为了添加此信息，提高识别率，本文采用文献[10]提出的马尔科夫稳定特征的方法，将马尔科夫链模型与LBP直方图结合起来。并且同时为了得到人脸图像中更多的有效特征，本文采用将人脸分块(Block Division)的方法[11]，将得到的LBP-MSF特征进行分块统计，并最后将分块的直方图连接起来作为这张人脸图像的鉴别特征，称为BLBP-MSF特征。

1 人脸BLBP-MSF特征提取

1.1 LBP算法

局部二值模式是一种用来描述图像局部纹理特征的算子[12]。基本原理为：定义O的坐标点为(xi,yi)，以它为中心定义一个(P，R)的领域，其中P表示领域内所包含的采样像素点的个数，R表示领域半径的大小。它的领域点为：IP(P=0,1,2,…,i,…,P-1)，领域点的坐标由线性内插得到

(1)

则得到I点唯一的LBP模式为

(2)

其中，LBPP.R为LBP算子，LBPP.R(xi,yi) 表示I为中心点，以(P，R)为领域的LBP模式，s(x)定义为

(3)

经过LBP(8,1)(P=8，R=1由本文定义)算子得到LBP模式如图1所示。

图1 二值化处理过程

则可得到中心点O的LBP模式为：LBP(8.1)=(00010011)2=19。显然，只要各像素的位置保持不变，LBP模式也是不变的。因此，LBP算子对于任何单调的灰度变化具有较好的鲁棒性。在人脸识别中通常采用统计LBP直方图的方式来表达图像局部信息，在实验过程中，经过阈值计算后的无符号二进制数选取的初始位和方向不同对应的LBPP.R会产生2P种模式。很明显，随着领域取样点个数的增加，二值模式的种类也是急剧增加的，这会导致直方图维度过大而且较稀疏。为了提高统计性，本文使用经过改进的“统一模式”(Uniform Pattern)下的LBP算子。这样改进后二值模式的种类大幅减少，对于8个采样点来说，二值模式由原来的256种减少为59种。

1.2 马尔科夫稳定特征(MSF)

如文献[10]中所述，MSF不仅能够处理三类直方图的区分问题，还可以解决直方图的局限性问题。因此本文用MSF来扩展人脸图像的空间结构信息的LBP直方图特征，从而可以有效提取出人脸图像的空间结构位置信息,提高识别率。以下详细介绍马尔科夫稳定特征[10，13-14]。

在一定约束条件下，从图像中提取的不同像素值可以得到空间共生矩阵。对于图像I满足一定空间关系的空间共生矩阵可表示

cij=#(p1=ci,p2=cj||p1-p2|=d/2)

(4)

其中，d是两个像素之间的曼哈顿距离。通过空间共生矩阵可以计算得到转移概率矩阵

(5)

转移概率矩阵具有以下性质：矩阵各元素用概率表示，具有非负性，并且各行元素之和等于1，在一定条件下可以相互转移。并且满足条件

π(n+1)=π(n)P,π(n)=π(0)Pn,pm+n=pmpn

(6)

其中π(n)是稳态分布经过n步计算得到的。由于不能保证所有人脸图像的初始分布都相同，也不能保证所有人脸图像的马尔科夫链模型是一个严格稳定的马尔科夫过程，因此初始概率分布π(0)可以由每张人脸图像自身转移矩阵转化得到

(7)

用曼哈顿距离作为量化匹配准则，并结合初始概率分布π(0)和稳态概率分布π，就可以得到这张人脸图像的马尔科夫稳态分布特征

(8)

曼哈顿距离即为两个特征向量A和B之间的距离

(9)

2 BLBP-MSF人脸识别算法

虽然LBP具有灰度不变性和极强的局部描述特性，并且其直方图序列可以很好地描述图像的纹理特性，但是传统直方图在描述图像的空间结构信息方面存在欠缺与不足。为了提取包含空间结构信息的直方图特征，本文采用上文介绍的马尔科夫稳定特征(MSF)来扩展LBP直方图，从而得到LBP-MSF特征。同时由图2(a)可以看出人脸图像的LBP特征脸谱中眼睛、鼻子等轮廓较为突出，并且面部自上而下由眉毛、眼睛、鼻子和嘴巴4大器官组成了人脸特征，这些器官的位置，大小的变化形成了人们脸上不同的表情特征。每个器官的位置分布相对比较固定，而人的表情发生变化时，并不是每个区域都携带这有效特征。因此，为了使LBP-MSF算子能够体现人脸整体结构信息，本文在LBP-MSF基础上引入分块(Block Division)统计LBP-MSF特征的算法，本文将它命名为BLBP-MSF算法。具体来说该算法的实现主要分为3个步骤，首先将人脸图像(146×200)按照合适的尺寸(146×60,146×40,146×35,146×35,146×30)分为额头、眼睛、鼻子，嘴巴和下巴5个人脸图像块(如图2(b)所示)，然后按照流程图的步骤分别计算出每个人脸图像块的LBP-MSF特征。最后将5个人脸图像块的LBP-MSF特征连接在一起可以得到最终的包含人脸整体结构信息的人脸鉴别特征(BLBP-MSF特征)。将该特征用于人脸识别，可以得到改进的人脸识别效果。

图2 处理的人脸图像

具体来说，整个人脸识别的实现过程如图3所示。首先，将人脸图像进行简单的预处理，然后对人脸图像进行分块处理。接着采用二维低通滤波器对分块的人脸图像进行滤波，这样可以降低人脸图像的高频噪声，提取出最有效的低频分量用于识别。通过式(4)可以计算得到共生矩阵，而马尔科夫转移概率矩阵可以由式(5)计算得到。将初始分布π(0)和稳态分布π连接在一起可以得到最终的LBP-MSF特征。通过以上步骤，可以生成各个人脸图像块的LBP-MSF特征。将各个人脸图像块的LBP-MSF特征连接在一起可以得到最终用于人脸识别的BLBP-MSF特征。最后，在登记注册过程中，BLBP-MSF特征被作为人脸图像信息保存在数据库中。而在识别过程中，通过将未知人脸图像的BLBP-MSF特征与登记数据库中的人脸特征进行匹配，可以得到最终的人脸识别结果。

图3 BLBP-MSF算法流程图

3 实验结果及分析

3.1 数据库使用介绍

为了验证本文算法的性能，本文使用FERET人脸库[15]对该算法进行了测试和比较，FERET人脸图像库是美国国防部发起的FERET工程建立的标准人脸库，共包括来自1 199人的14 051幅分辨率为512 pixel×768 pixel的彩色人脸图像，每个人的图像包含表情、姿态、光照和拍摄时间等方面的差异。本文选择FERET人脸库中的FB测试集，将所有人脸图像根据眼睛坐标进行剪切缩放到大小为146 pixel×200 pixel，并且处理为灰度图像进行试验。图4为经过处理后的人脸图像示例。

图4 FERET图像库人脸图像示例

3.2 实验结果及分析

本文在国际通用的人脸识别图像库FERET人脸库上，先后采用LBP算法，BLBP算法，LBP-MSF算法，BLBP-MSF算法进行人脸识别实验。对以上4种算法的识别率进行比较，其中实验中采用均值滤波器，尺寸大小分别为1×1,3×3,…,25×25，结果如图5所示。在相同实验环境下，当滤波器尺寸由1×1改变为3×3时，4种算法的识别率明显大幅上升，而进一步扩大滤波器尺寸时，4种算法识别率的变化并不显著，当滤波器尺寸扩大到7×7时基本饱和。

由图5可以看出，在未使用人脸图像分块方法之前，传统LBP算法识别率只能达到79%，并且LBP-MSF算法并没有LBP算法识别效果好。通过分析，因为在提取到人脸图像的空间结构信息的同时也带来了大量人脸图像的冗余信息，所以导致识别率降低。而将人脸图像优化分成五块分别进行处理后，BLBP算法识别率明显提高，可以达到93.6%。因为分块方法能有效的将人脸重要特征区域分开，并去除了其他非特征区域等干扰信息。同时在BLBP算法基础上结合马尔科夫稳定特征，可以进一步提取出人脸图像的空间位置信息。通过使用本文提出的算法(即BLBP-MSF算法)识别率能提高到96%(此时滤波器尺寸为7×7)。

显然，本文提出的算法能够提高LBP直方图特征的识别率，MSF能够增加图像的空间位置信息，而图像分块方法可以增强整体结构信息。通过实验验证，本文算法具有更有效的识别性能。

图5 各种算法实验结果比较

4 结束语

本文提出一种基于分块的LBP-MSF特征的识别算法，称为BLBP-MSF人脸识别算法。该算法在LBP直方图特征基础上结合了马尔科夫稳定特征，可以有效提取人脸图像的空间结构位置信息，然后采用LBP-MSF算法对分块的人脸图像进行直方图统计。最后将每块区域的LBP-MSF特征直方图连接成为整幅人脸图像的特征进行登记注册，并作为人脸的特征向量通过曼哈顿距离公式进行匹配识别。该算法在FERET人脸库的实验结果表明，与其他算法相比，具有更高的识别率。