基于CS-LDP和LCCP特征融合的人脸识别算法∗

汤 啸 张 戈 刘增力

（昆明理工大学信息工程与自动化学院 昆明 650500）

1 引言

人脸识别是当前模式识别和人工智能领域的一个研究热点，也是一个非常重要的课题，在各种人脸识别方法中，局部二值模式（LBP）进行人脸识别正被广泛的关注［1］。

近年来，LBP的特征提取方法［2］在纹理分析和人脸识别应用中取得了显著的成果［3］，由于LBP原理方法相对简单，计算复杂度低，具有旋转不变性和灰度不变性等，被广泛用于身份识别、视频监控、银行及海关的监控系统和门卫系统等。Mohamed Omar等［4］提出使用LBP模式识别检测糖尿病患者早期的视网膜病变的视网膜渗出液医用图，达到早期预防病人失明的目的。Pengfei Ji等［5］在智能视频监控控系统中使用肤色率和LBP特征来进行脸部遮挡检测的方法，以达到理想的视频监控结果。

传统的LBP模式算法维度较高，过于依赖中心点像素的灰度值，并且对一致性光照变化不敏感，而LDP算法对噪声的鲁棒性更好［6］，但是LDP编码值不能很好地反应中心像素的局部特征信息［7～8］，也没有涉及到图像像素的中心对称性［9］。因此更多的基于LBP模式的改进算法被提出：BLBP、ELBP、CLBP、CS-LBP、CS-LDP等不同方法。本文提出的融合方法虽然Zheng文中有提到［10］，但其只是做了一个训练样本数方面的实验。而本文则在更多不同的人脸库上做出大量的不同实验，进行了更加全面的验证，得到更好的实验结果。

考虑到以上问题，本文提出采用基于中心对称的局部二阶微分模式［11］（CS-LDP）和中心对称二阶局部二值模式（LCCP）特征融合的算法，CS-LDP可以提取图像的二阶微分特征，LCCP可以提取图像的凹凸特征信息，两者都是4位的特征向量的编码序列，通过特征相融合就可以得到更丰富的8位编码序列的特征信息。本文的实验将在ORL、AR和Yale B人脸数据库上进行测试。

2 基本理论

2.1 CS-LDP

中心对称的局部二阶微分模式（center-symmetric local derivative pattern，CS-LDP），该算法是一种二阶微分算法［12］在识别中的应用，将邻域像素值和中心像素值进行比较。在以Gc为中心像素点的邻域内，有 N个邻域像素点Gi（i=0，1，…，N-1），将 Gi与 Gc的灰度值作比较，记作 x1，然后比较 Gc与 Gi+(N∕2)的值，记作 x2。若 x1与 x2的乘积大于0则赋值为1，否则为0。当N=8时，刚好得到四个t(x1，x2)值，组成一个四位二进制数，转换成十进制数后就是CS-LDP的值。

公式如下所示。

图1 CS-LDP的8邻域编码

其中，N是邻域像素个数，如图1所示，是CS-LDP算法在8邻域的编码。CS-LDP算法提高了识别速率，又利用了邻域像素点和中心像素点之间的关系，特征向量的长度相比LBP减少，但是它只提取了四个方向的特征值，对人脸的特征提取还不够精确。

2.2 LCCP

基本的LBP算法思想是将邻域像素点的灰度值和中心像素点的灰度值作比较，但人脸图像结构复杂包含丰富的信息。中心对称二阶局部二值模式（local center-symmetric pattern，LCCP）用二阶微分思想提取人脸的凹凸特征，由于人的五官等具有凹凸性，且是人脸图像识别的重要部位，有时这种凹凸性恰好反映了图像的纹理差异，为图像识别提供了重要信息。

在某一灰度图像中，定义一个半径为R（R＞0）的圆形邻域，以中心像素点gc为圆心，P个邻域像素gi均匀分布在圆周上，通常P取8。先以中心像素点为对称点，分别求出关于中心对称的两个邻域像素点灰度值的平均值xi，然后将这个均值和中心像素点的灰度值比较，若均值xi大于中心像素点灰度值gc则编码为1，否则为0，按一定的顺序得到S0S1S2S3四位二进制串，转换成十进制数后就是LCCP的值。公式如下。

图2 LBP和LCCP特征信息对比图

如图2所示，以g7为最高位进行编码，对于相同的邻域灰度值，得到的LBP和LCCP值完全不一样，LCCP值就是关于中心对称的二阶局部二值模式提取的人脸凹凸特征，并且减少了计算机的存储内存，提高了计算速率。

3 CS-LDP和LCCP融合的算法

融合算法是为了获得比单个算法更高的识别率，融合的前提是不同的特征有一定的独立性和信息互补性。CS-LDP和LCCP算法所提取的人脸特征向量都是四位编码，CS-LDP有利于局域细节信息的提取，有利于凹凸特征提取的LCCP算法与CS-LDP算法相结合，会得到包含更多细节特征信息的8位编码序列，即同时利用中心对称特性又提取了凹凸特征，更加有利于精确地人脸图像识别，下面详细介绍具体思路。

第一步：首先对每类图像随机选取n幅图像为训练样本，剩余为测试样本；对每幅人脸原始图像进行分块，将其分成大小相等的方块，以利于特征提取。

第二步：然后对分块后的每个训练样本子图像提取CS-LDP的直方图特征用2，…，15）表示，然后将每一幅图的所有分块子图像的直方图连接在一起，用表示；提取LCCP直方图特征用 HLCCP，（k=0，1，…，15）表示，然后将每一幅图的所有分块子图像的直方图连接在一起用表示，用串联的方式将两个特征直方图连接成一个直方图模板向表 示 ，融 合 特 征 HCS-hybrid=”表示串联连接符，融合方式如图3，同样的方法提取测试样本特征。

图3 特征直方图的融合

第三步：本文采用欧氏距离的最小距离分类器来进行计算训练样本和测试样本之间的最小距离。两个图像的直方图的相似性由求取的直方图的χ2距离来表示。公式如下所示。

其中：H1表示训练样本图像的特征直方图，H2表示测试样本图像的特征直方图，M表示子图像的个数，Q表示特征向量的维数。

本文对于图像使用不同的特征提取方法还进行了特征提取的实验，分别使用了LBP、LCCP和CS-LDP等方法对同一幅图像进行不同的特征提取实验，结果如图4所示，（a）为本文所使用的几个人脸库中随机选取的几幅人脸图像，（b）是使用LBP方法对图像进行特征提取得到的结果，（c）为使用LCCP方法得到的特征图，（d）为使用CS-LDP方法对图像得到的特征图。

图4 人脸图像的各种特征图

由图4可以看出，LBP特征提取的特征信息最不清楚，CS-LDP提取的特征相对清楚，只有LCCP的人脸特征信息最丰富，表征特征信息非常清楚，表明LCCP在特征提取时的有效性，因此，将提取特征信息相对丰富的CS-LDP和提取人脸特征细节信息强力的LCCP特征相融合。

4 实验结果

为了验证CS-LDP和LCCP特征融合的人脸识别算法的鲁棒性，本文在ORL、Extended Yale B和AR三个标准人脸数据库上进行实验，将本文的融合算法和LCCP、CS-LDP算法进行综合比较。

ORL人脸数据库里有40个人，每个人有10幅不同表情、不同光照、不同姿态下的图像，采用双线性差值调整，将每幅图的大小调整为64×64，ORL人脸数据库中总共有400张不同的人脸图片。Yale B人脸数据库包含有38个人，每人有64张不同光照、表情、姿态的图像，在实验时，同样将其调整为64×64的大小。AR人脸数据库包含100个人每人7张在不同表情，不同光照和是否有戴眼镜等条件下共700张图像。图5为ORL、Extended Yale B和AR三个标准人脸数据库中的一部分预处理的人脸图。

4.1 ORL人脸数据库

ORL人脸数据库是由剑桥大学AT&T创建的，包含了40个人一共400张图像，包含了姿态、光照、眼镜饰物的变化。在实验中，由于实验的识别效果和分块子图像有密切的关系，分块过小，计算复杂，会引入不必要的噪声，所以选取恰当的分块大小来进行实验。通过实验将人脸图像分为K×K（K=4，8，16）像素大小的图像块，选取n=5作为训练样本数进行实验，并选取合适大小的分块子图像。

图6为三种算法在不同分块子图像大小的平均识别率，每种分块大小K×K（K=4，8，16）分别实验十次，然后求取平均识别率。三种算法的平均识别率都在分块8×8时达到最大值，所以选取分块大小为8×8时进行实验，表1为该实验的实验数据。

图6 ORL分块实验

表1 ORL分块实验

图7为三种算法在不同训练样本数的平均识别率。在ORL人脸数据识别库中，每人选取n（n=2，3，4，5，6）幅图像作为训练样本数，剩下的图像为测试样本，实验十次，然后求取平均识别率，表2为该实验的实验数据。

由图6～图7可知，在ORL人脸数据库中，CS-LDP和LCCP特征融合算法的识别率优于其他两种算法。

图7 ORL训练样本数分类实验

表2 ORL训练样本数分类实验

4.2 AR人脸数据库

AR人脸数据库是由美国Purdue大学机器人视觉研究中心的Aleix教授和Benavente创建的，它也是人脸识别研究中用的比较多的数据库之一，从库中选取有100个人，每人7幅一共700幅的人脸图像，这些图像包含光照、尺度和表情变化。与ORL库实验一样，先确定使用哪种图像分块，因此把图像分成K×K（K=4，8，16）像素大小的图像块，选取n=3作为训练样本数进行实验，重复十次，计算平均识别率，结果如图8所示。

图8 AR分块实验

从实验结果可以看出，三种算法都在分块为16×16时达到最大，但考虑到实验的效率，选择8×8的图像分块大小来进行实验。

在AR库中，每人选择 n（n=1，2，3，4）个随机图像作为训练样本，余下的图像作为测试样本来进行实验，每个训练样本随机抽取十次进行实验，然后求取平均识别率作为最终实验结，结果如图7所示，表3为该实验的实验数据。

表3 AR分块实验

由图9可知，在AR数据库中，CS-LDP和LCCP特征融合算法在表情变化明显的情况下，识别率优于其他两种算法，表4为该实验的实验数据。

图9 AR训练样本数分类实验

表4 AR训练样本数分类实验

4.3 Yale B人脸数据库

Yale B人脸数据库包含了38个人每人64幅总共2432幅图，包括不同的光照、姿态和饰物。这个库是用来测试光照变化使用最多的一个数据库。采用和前两种实验的方式相同，先确定使用哪种图像分块的大小来进行实验，即将图像分成K×K（K=4，8，16）像素大小的图像块，选取n=5作为训练样本数进行实验，重复十次，计算平均识别率，结果如图10所示。

图10 Yale B分块实验

由图10中可以看出，三种算法都在分块数为16×16时达到最大值，本文的融合算法的识别率还是比其他两种算法略高，表5为该实验的实验数据。在后面的实验中，考虑运行速度，实验时选择分快数为 8×8 ，每人选择n（n=3，4，5，6，7）个图像作为训练样本，余下的图像作为测试样本来进行实验，每个训练样本随机抽取十次进行实验，然后求取平均识别率作为最终实验结，结果如图11所示，表6为该实验的实验数据。

表5 Yale B分块实验

表6 Yale B训练样本数分类实验

由图11可知，在Yale B数据库中，CS-LDP和LCCP特征融合算法在光照条件变化明显的情况下，识别率优于其他两种算法。

图11 Yale B训练样本数分类实验

5 结语

由以上实验结果可知，由于人脸包含丰富的凹凸特征信息，采用CS-LDP和LCCP特征融合算法，同时利用中心对称特性又同时提取的凹凸特征，更加有利于精确的识别人脸特征。与其他两种算法相比，本文提出的融合算法可以得到更为丰富的特征信息，在三个数据库中都有很好的识别性能，比两种对比算法的识别率都高。然而算法的计算繁复度和运行时间略有增加，需要我们进一步讨论研究。

［1］Pantic M，Rothkrantz L.Automatic analysis of facial expressions：the state of the art［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2009，22：1424-1445.

［2］T.Ojala，M.Pietikainen，T.Maenpaa.Multiresolution grayscale and rotation invariant texture classification with local binary patterns［J］.IEEE Trans.on Pattern Analysis and Machine Intelligence，2002，24（7）：971-987.

［3］L.Ma，L.Zhu.Integration of the optimal Gabor filter design and local binary patterns for texture segmentation［C］//In：Proc.of the 2007 IEEE International Conference on Integration Technology.Shenzhen，2007：408-413.

［4］ Approach Mohamed Omar，Fouad Khelifi，Muhammad Atif Tahir.Detection and Classification of Retinal Fundus Images Exudates using Region based Multiscale LBP Texture［C］//2016 International Conference on Control，Decision and Information Technologies（CoDIT），2016：227-232.

［5］Pengfei Ji，Yonghwa Kim，Yong Yang，Yoo-Sung Kim.Face occlusion detection using skin color ratio and LBPfeatures for intelligent video surveillance systems［C］.2016 Federated Conference on Computer Science and Information Systems（FedCSIS），2016：253-259.

［6］Jabid T，Kabir M H，Chae O S.Local Directional Pattern（LDP）for Face Recognition［C］//IEEE International Conference on Consumer Electronics，2010（1）.

［7］ZHONG Fujin，ZHANG Jiashu.Face recognition with enhanced local directional patterns［J］.Neurocomputing（S0925-2312），2013（119）：375-384.

［8］Ramirez Rivera A，Rojas Castillo J，OksamChae.Local directional number pattern for face analysis：Face and Ex- pression recognition［J］.IEEE Transaction Image Processing（S1057-7149），2013，22（5）：1740-1752.

［9］Heikkil M，Pietikinen M，Schmid C.Description of interest regions with center-symmetric local binary patterns［C］//Proceedings of the 5th Conferenceon computer Vision，Graphics and Image Processing，Madurai，India：IEEE Press，2006（4338）：58-69.

［10］郑露萍.图像二阶微分特征提取及人脸识别应用研究［D］.昆明：昆明理工大学硕士学位论文，2015：29-32.ZHENG Luping.Application of two order differential feature extraction and face recognition［D］.Kunming：Kunming Science and Technology University，Master degree thesis，2015：29-32.

［11］李闻，陈熙.基于LBP和CS-LDP自适应特征融合的人脸识别［A］.陕西师范大学学报，2015，43（4）：48-53.LI Wen，CHEN Xi.Face recognition based on LBP and CS-LDP adaptive feature fusion［A］.Journal of Shaanxi Normal University，2015，43（4）：48-53.

［12］齐永峰，火元莲.基于局部三值微分的人脸识别方法［J］.计算机工程与科学，2010，32（6）：48-51.QI Yongfeng，HUO Yuanlian.Face recognition based on local three valued differential［J］.Computer engineering and Science，2010，32（6）：48-51.

［13］YU Weiwei，TENG Xiaolong，LIU Chongqing.Feature Fusing in Face Recognition［J］.Journal of Southeast University：English Edition，2005，21（4）：427-431.