基于改进局部方向模式的人脸识别*

孙君顶，刘晓惠，陈鹏鹏（河南理工大学计算机科学与技术学院，河南焦作454000）

基于改进局部方向模式的人脸识别*

孙君顶，刘晓惠，陈鹏鹏
（河南理工大学计算机科学与技术学院，河南焦作454000）

在利用传统局部方向模式（LDP）及其改进方法进行人脸识别时，存在两个主要问题，一是局限于3×3邻域来提取特征，二是在人脸识别时将图像不同分块同等对待。针对上述问题，提出了改进的LDP。一方面提出了多分辨率分析方法，将LDP由3×3窗口模式扩展至多分辨率窗口模式；另一方面，通过采用分块加权法来增强不同分块对人脸识别的不同贡献程度。采用Yale和Orl人脸图像库进行实验，结果表明：基于改进的方法明显提高了人脸识别的效果。

人脸识别；局部方向模式；加权；多分辨率

0　引言

现如今，目标识别已是图像工程的研究热点之一［1］，尤其是人脸识别领域吸引了众多学者来研究。局部二值模式（local binary pattern，LBP）［2］因其原理简单且具有光照鲁棒性等特点而备受人脸识别领域研究者的青睐，多种针对LBP的扩展方法被提了出来［3～7］。Jabid T等人将图像边缘信息融入 LBP，提出了局部方向模式（local directional pattern，LDP）［8］。LDP继承了LBP的优点，并对噪声有较好的鲁棒性，被广泛应用于人脸识别中。Zhong F等人［9］提出了增强局部方向模式（enhanced LDP，ELDP），ELDP通过强调不同大小边缘梯度信息的方向性，提高了LDP的算法鲁棒性和识别率。Ramirez R A等人［10］提出了LDN（local direction number）模式，通过结合运用不同卷积模板，增强了LDP在光照、表情及噪声因素影响下的鲁棒性。但是，在应用LDP［8～10］进行人脸识别时，还存在两方面的问题：第一，对于LDP（包括LDP，ELDP和LDN）来说，在进行特征提取时，仅局限于局部3×3邻域。而对于LBP及其扩展方法来说，Ojala T等人［11］将它们由3×3邻域扩展到多分辨率邻域，有效提高了LBP的分辨能力和应用范围。第二，在利用LDP进行人脸识别时，同LBP方法一致，往往将人脸图像划分为不同的区域，再提取每个区域特征并组合在一起进行人脸识别。文献［12］的研究也表明，通过区域划分更有利于提取人脸的空间结构信息，提高算子对光照、遮挡、方位等的变化的鲁棒性。但在利用LDP进行人脸识别时，往往将不同的区域同等对待，忽略了人脸特征信息分布的不均匀性所带来的问题。如人的嘴巴、鼻子、眼睛区域所包含的识别特征信息要比人的额头、脸蛋区域所包含的特征信息更丰富且更有价值。

本文主要针对上述两个问题展开研究。首先，结合方向卷积模板的特点，将局部方向模式扩展到多分辨率邻域，并进一步提出结合不同分辨率下的特征组合来提高人脸识别的效果。针对将不同分块同等对待的问题，目前研究者已提出了分块加权的方法［13］，本文借助于文献［13］提出的加权方法，并在对其改进的基础上，对局部方向模式进行增强处理。为了验证新方法的性能，采用Yale和Orl人脸图像库进行验证，结果表明：采用本文方法可有效提高局部方向模式及其扩展算法的识别性能。

1　局部描述算子

1.1LDP

在LBP的基础上，Jabid T等人提出了LDP算子［8］。将3×3的像素邻域与Kirsch模板（如图1所示）进行卷积运算，然后将前k大的值（绝对值）所对应位置1，其余位置0，最后根据二值编码获取该邻域的LDP值。图2给出了LDP算子的计算实例。

图1　Kirsch掩模算子Fig 1　Kirsch mask operator

图2　LDP算法实例（k=3）Fig 2　LDP algorithm instance（k=3）

LDP定义如下

1.2LDN

LDN算法将3×3窗口的像素按照特定顺序进行方向编码，8个邻域像素的编码值分别对应0～7；其次，将该邻域与Kirsch模板卷积运算得到8个方向上的边缘检测值；最后取最大和最小的边缘检测值对应的方向编码组成一个八进制数，即为邻域的LDN值。图3给出了针对3×3窗口的编码示例，其中，bi对应邻域像素的方向编码。

图3　LDN算法实例Fig 3　LDN algorithm instance

2　改进的LDP

2.1多分辨率分析

显然，对于LDP，ELDP和LDN来说，在提取局部模式时，往往局限于3×3的局部邻域。而导致不同人脸图像之间存在差异的不仅仅在于目标像素点和其周围领域像素点的梯度分布关系，还在于在更大的尺度下每个像素与其他像素之间的关系。因此，针对该问题引入多分辨率的概念，提出了多分辨率LDP。首先，选择不同分辨率的窗口，并将其转化为3×3窗口，然后按照原始LDP，ELDP或LDN的定义方式获取多分辨率下LDP特征。设选择的窗口分辨率为K×K（K≥3），取M=［K/3］，则可通过下式将K×K的窗口转化为3×3窗口

式中pi×M+m，j×M+n为 K×K窗口中像素的灰度值，p'i，j为转化到3×3窗口后像素的灰度值。i和j的取值均为0，1，2。

图4给出了k=6时的计算示例。原始LDP及其改进方法由于局限于3×3邻域，它们所提取的特征可以说仅仅是局部邻域特征的体现，或者说体现的是人脸图像的微观特征；而采用文中定义的多分辨率分析方式，可以在更大的尺度下提取人脸特征，或者可以说提取人脸图像相对宏观的特征。另一方面，进一步考虑将不同分辨率下的特征进行结合，亦即融合人脸图像的微观特征和宏观特征实现人脸识别，从而真正实现基于多分辨率分析的方向模式提取方法，并以此提高人脸识别的效果。

图4　分辨率示例（K=6）Fig 4　Resolution instance（K=6）

2.2加权LDP

在采用LBP或LDP进行人脸识别时，往往需要将人脸图像划分为不同分块，然后提取每个分块的特征并将所有分块特征融合在一起作为最终特征以提高算子的识别效果［12］。但是，这种策略存在一个问题，即在融合不同分块的特征时，往往将所有分块同等对待，没有考虑不同分块对人脸识别的贡献程度问题。而一般情况下，人脸图像中不同的子块所包含的信息量是不同的。如果对不同的分块同等对待，不但会消弱包含重要信息的分块在人脸识别中的作用，还会增强了非重要分块的作用，从而造成人脸识别率的降低。张洁玉等人［13］提出了基于信息熵的加权方法对LBP进行了改进，本文在对该方法进行增强的基础上，应用于LDP中。基于信息熵的加权方法的基本思想是根据每个分块信息熵的大小对分块特征进行加权处理。设Ei表示第i个分块的信息熵，则分块权重计算如下

式中n为图像分块数目。显然，对于图像的重要区域，分块内像素的灰度值比较丰富、变化幅度大，其信息熵就越大，因此，其对应的权重就越大；对于其它区域，灰度变化幅度下，对应的信息熵也小，因此，这些区域对应的权重就越小。在此基础上，为了降低算法的复杂度，进一步提出了对称加权法。由于在光照均匀、脸部无明显个体特征等情况下，人脸图像特征往往是左右对称的，即左右对称的子块包含的特征信息量近似相等，因此，其所对应的权重也应相等，即对称分块的权值相等。如图5所示，其中，A1和A2是两个相互对称的子块，可近似记这两个子块的信息熵权重是相等的，即wA1=wA2，则被划分为M×N块的人脸特征图像的对称权值可记为

图5　对称加权法Fig 5　Symmetric weighting metho d

3　实验结果与分析

为了验证本文改进方法的性能，选择Yale和Orl两个在人脸识别领域广泛应用的人脸图像库进行实验，并采用χ2距离计算特征间的相似性，采用K近邻方法进行识别。实验选择LDP［14］，LDN［15］，ELDP［16］三种局部方向算子，加权后的算子分别记为W_LDP，W_LDN和W_ELDP。

3.1针对Yale人脸库

Yale人脸库包含了共15个人的165幅图像，每个人11幅，包含不同光照、表情以及饰物遮挡的变化信息。实验首先验证分块加权方法对识别效果的影响。实验测试了3×3，4×4，5×5三种不同分块划分情况，每次随机取每个人的6幅图像作为训练集，其余图像作为测试集，进行100次测试，实验结果如表1所示。

从表1中可以看出：1）对于同一类算法，在分块增多的情况下，识别率呈上升趋势。这是因为随着分块数目的增加，所提取直方图特征包含的信息更多、特征表达更稳定且空间局部信息丢失量小，所以，识别率更高。但随着分块划分的增多，所提取特征的维数也会增加，从而导致识别时计算复杂度的提高，因此，在进行分块时往往需要在分块数目和计算复杂度间进行折中。2）在分块条件一致的情况下，分块加权特征的识别效果明显优于原始特征。在三种不同分块的情况下，相对于LDP，LDN和ELDP，加权后的特征W_LDP，W_LDN和W_ELDP的识别率平均提高了约1.4%，1.3%和1.3%。

表1　不同分块条件下的人脸平均识别率（%）Tab 1　Average recognition rate（%）of face in different blocking conditions

实验还测试了在多分辨率分析的情况下，不同算法的识别效果。实验选择3×3，6×6和9×9三种不同的分辨率窗口，分别记为M3，M6和M9；在提取整幅图像特征时，将其划分为5×5的分块；另一方面，还考虑了在不同分辨率的组合情况下的识别效果，实验中选择M6，9，即在M6和M9的条件下提取图像特征，然后将其组合在一起作为图像的最终特征。针对各种算法随机进行100次测试，实验结果如表2所示。

表2　多分辨率分析下的人脸平均识别率（%）Tab 2　Average recognition rate of human face with multi-resolution analysis（%）

从表2中可以看出：1）不同算子在不同分辨率条件下的识别效果存在较大区别，不同分辨率对应同一算子的识别效果也有较大的影响。如LDP和ELDP在M6和M9的条件下，其识别率得到了较大程度的提高，但LDN和W_LDN在M9下的识别率却低于在M3下的识别率。2）在不同分辨率组合的情况下（如M6，9），除W_LDN外其它5种算子的识别效率都得到了一定程度的提高，即采用多分辨率的组合方式可以有效提高算子的识别效果。

3.2ORL人脸库实验

ORL人脸库包含了共40个人的400幅图像，每个人10幅，包含了不同表情、遮挡以及角度的变化信息。同Yale人脸数据库的实验方法一样，实验首先验证分块加权方法对识别效果的影响。表3给出了不同分块条件下的人脸平均识别率结果。

表3　不同分块条件下的人脸平均识别率（%）Tab 3　Average recognition rate of human face in different blocking conditions

从表3中可以看出：1）通过分块加权方法，W_LDP，W_ LDN与W_ELDP与其原始方法对比，识别率平均提高了0.5%，0.5%和0.4%。2）相同分块条件下ELDP算法相比LDP和LDN算法识别率高，而且W_ELDP的识别效果也优于W_LDP和W_LDN，说明ELDP算子对于人脸图像在表情、饰物遮挡以及角度等客观条件因素变化下的鲁棒性最好。

实验还测试了在多分辨率分析的情况下，不同算法的识别效果。在提取整幅图像特征时，将其划分为4×4的分块（共16个分块），然后采取和Yale数据库一样的分辨率实验方法。平均识别效果如表4所示。结果也表明，采用多分辨率的方法有效提高了算子的识别效果。

表4　多分辨率分析下的人脸平均识别率（%）Tab 4　Average recognition rate（%）of face with multi-resolution analysis

4　结束语

本文针对LDP及其扩展方法在进行人脸识别时存在的问题，提出了改进方法。一方面，针对将图像分块同等对待的问题，引入了分块加权方法；另一方面，从多分辨率分析入手，对基于LDP的相关算子进行了增强处理。采用Yale和Orl两个图像库进行人脸识别测试，实验结果表明：采用本文方法可以有效提高原局部方向算子的人脸识别效果。

［1］田娟，郑郁正.模板匹配技术在图像识别中的应用［J］.传感器与微系统，2008，27（1）：112-117.

［2］Brahnam S，Jain L C，Nanni L，et al.Local binary patterns：New variants and applications［M］.Berlin Heidelberg：Springer，2014.

［3］宋克臣，颜云辉，陈文辉，等.局部二值模式方法研究与展望［J］.自动化学报，2013，39（6）：730-744.

［4］Wu X，Sun J，Fan G，et al.Improved local ternary patterns for automatic target recognition in infrared imagery［J］.Sensors，2015，15（3）：6399-6418.

［5］毋小省，朱世松，孙君顶，等.基于凹凸局部二值模式的纹理图像分类［J］.光电子·激光，2014，25（8）：1627-1634.

［6］毋小省，文运平，孙君顶，等.基于纹理与特征选择的前视红外目标识别［J］.光电子·激光，2014，25（11）：2201-2211.

［7］Jabid T，Kabir M H，Chae O.Local directional pattern（LDP）for face recognition［C］∥2010 International Conference on Consumer Electronics（ICCE），Las Vegas，2010：329-330.

［8］Zhong F，Zhang J.Face recognition with enhanced local directional patterns［J］.Neurocomputing，2013，119：375-384.

［9］Ramirez R A，Rojas C J，Oksam C O.Local directional number pattern for face analysis：Face and expression recognition［J］. IEEE Transactions on Image Processing，2013，22（5）：1740-1752.

［10］Ojala T，Pietikinen M，MenpT.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（7）：971-987.

［11］ Yang B，Chen S.A comparative study on local binary pattern （LBP）based face recognition：LBP histogram versus LBP image［J］.Neurocomputing，2013，120：365-379.

［12］张洁玉，赵鸿萍，陈曙.自适应阈值及加权局部二值模式的人脸识别［J］.电子与信息学报，2014，36（6）：1327-1333.

Face recognition based on improved local directional pattern*

SUN Jun-ding，LIU Xiao-hui，CHEN Peng-peng
（School of Computer Science and Technology，Henan Polytechnic University，Jiaozuo 454000，China）

While using traditional local directional pattern（LDP）and its improved method to carry out face recognition，there exist two problems，one is feature extraction is confined to 3×3 neighborhood；another is regions of face image are treated equally for face recognition.An improved LDP is proposed to handle the problems.On one hand，multi-resolution analysis method is proposed.LDP is extended from 3×3 window pattern to multi-resolution window pattern；on the other hand，different degree of contribution blocking to face recognition is enhanced by using block weighted method.Two face image databases，Yale and Orl，are used for experiment，and experimental results show that the introduced scheme can improve effect of face recognition.

face recognition；local directional pattern（LDP）；weighted；multi-resolution

TP391.4

A

1000—9787（2016）06—0052—04

10.13873/J.1000—9787（2016）06—0052—04

2015—09—22

河南省国际合作项目（134300510057）；河南省基础与前沿技术研究项目（132300410462）

孙君顶（1975-），男，河南邓州人，博士，教授，主要研究方向为图像处理与模式识别。