基于局部边缘差异二值模式的人脸识别方法

杨巨成，李 琼，刘 娜，孙文辉

（天津科技大学计算机科学与信息工程学院，天津 300222）

基于局部边缘差异二值模式的人脸识别方法

杨巨成，李 琼，刘 娜，孙文辉

（天津科技大学计算机科学与信息工程学院，天津 300222）

传统的局部二值模式（local binary pattern，LBP）作为一种有效的特征提取与编码方法广泛应用于图像处理领域，但该方法只提取了图像模版中心像素值与边缘像素值的差值信息，这些信息不能全面地表征图像，并且对图像小幅度的灰度变化敏感.针对该方法的缺点，提出了一种基于局部边缘差异二值模式（local edge difference binary pattern，LEDBP）的特征提取算法，并应用于人脸识别领域.与传统的局部二值模式不同，本方法通过计算图像模版中心像素值与边缘像素值的差值来表示局部区域，其首先计算中心像素与相邻像素的边缘差值，然后使用局部三值模式的上模式（upper local ternary pattern）对边缘像素值进行编码，建立直方图后得到特征向量对图像进行表示.实验结果表明，本文算法用于人脸识别较传统的LBP等算法在识别率上有较大提高.

局部边缘差异；局部二值模式；人脸识别；局部三值模式

人脸识别一直是计算机视觉、模式识别与人工智能领域的一个研究热点［1］，指根据人的面部特征进行身份识别或者认证，具有主动性、非侵犯性和用户友好等许多特点，特别是在非接触环境和不惊动被检测人的情况下，具有虹膜、指纹等识别方法不可比拟的优势.人脸识别方法可分为整体识别方法和局部识别方法［2］.一些经典的方法，如主成分分析［3］、线性鉴别分析［4］等是基于整体识别的人脸识别方法，这类方法在受控的条件（如姿态、光照等变化不大）下识别效果不错.不过在现实情况下，受姿态和光照的影响，会导致基于整体识别方法的性能急剧下降.基于局部人脸识别方法，如基于分块的主成分分析（PCA）识别方法［5］、弹性图匹配方法［6］、局部二值模式（local binary pattern，LBP）方法［7］等，对姿态、光照的变化具有较强的鲁棒性，因此得到越来越多的关注.

文献［8］首次提出 LBP算法，其对单调灰度变化具有不变性，并且具有良好的旋转不变性，因此已经广泛应用于目标检测［9］、人脸识别［10-11］等领域.但在实际应用中，LBP方法难以适应不同粗糙度和尺度纹理的需要，因此，研究人员对 LBP进行改进：文献［12］提出了两种局部边缘模式的直方图，其中局部边缘模式图像分割算子（LEPSEG）用于图像分割，局部边缘模式图像检索算子（LEPINV）用于图像检索；文献［13］提出了基于方向统计的自适应局部二值模式，增加了图像的空间结构信息；文献［14］提出了局部二值模式与方差相结合的纹理表示方法，将每个点的方差作为编码值的权重，提高了纹理分类性能；局部最大边缘二值模式（LMEBP）［15］、局部方向极值模式（DLEP）［16］、基于方向的二进制小波模式（DBWP）［17］等方法，也被用于图像追踪和图像检索；此外，文献［18］在 LBP的基础上提出了局部三值模式（local ternary pattern，LTP），其通过0，1和-1三个值进行编码，在均匀区域比LBP具有更强的判别能力，已经在图像匹配［19］、人脸识别［20］领域得到了较好的应用效果.

本文改进LMEBP方法，提出了局部边缘差异二值模式（local edge difference binary pattern，LEDBP），并将其用于人脸识别.LEDBP使用了向上取值的LTP二值编码模式，即将最小的值取为中间值，不仅扩大了计算范围，提取了更大范围的边缘分布信息，同时还获取了中心像素与周围像素的边缘的方向关系及其大小程度，并且进一步将其排成 8个等级，比传统的LBP提取了更多的图像信息.

1　局部模式

1.1局部二值模式

LBP算子是一个强有力的纹理描述算子［7］.图像中某区域LBP码的直方图可用来描述该区域的纹理结构.半径为R的圆上的P个采样点的LBP码可用式（1）计算.

式中：cg和ig分别表示窗口的中心点和周围的 P个采样点；x为中心点与周围采样点的差异值，（）s x表示重新编码后的值.图1给出了LBP码的计算过程.

图1　LBP码计算过程Fig.1 Calculation process of local binary pattern

1.2局部三值模式

LTP［18］是在 LBP基础上改进的，它克服了 LBP对小幅度的灰度变化敏感的问题，其计算公式为

式中T为阈值.图2给出了一个LTP码计算过程的实例.为了简化模型，将基本的局部三值模式分成上模式（upper pattern）和下模式（lower pattern）.将原编码中除 1以外标记为 0后得到的编码，定义为上模式；将原编码中除-1以外标记为0后，用1取代原来的-1，最后得到的编码定义为下模式.本文采用LTP的上模式.

图2　局部三值模式及其上模式和下模式Fig.2 Local ternary pattern and its upper pattern and lower pattern

2　局部边缘差异二值模式

本文提出的局部边缘差异二值模式（LEDBP）是在LBP的基础上使用LTPU编码进行改进的.它通过计算中心像素点与周围 8邻域像素点灰度值的差异值，以及取周围8个像素点分别为中心再与其周围的8像素点取差异值，将9个像素点每个像素点的8个灰度差异值取绝对值后按大小排序.如图3所示，通过将 9个像素点分别对应的最大差异值使用LTPU进行编码，就得到编码值.LEDBP编码的具体计算步骤为

（1）计算中心点gc与周围 8个点的灰度值差异值

这里I（gi）表示i点的灰度值大小.

（2）取8个点中灰度值差异值绝对值最大的点

（3）将中心点与1i的灰度差异值用LTPU进行编码.实验表明，阈值由 1向上取时，识别率先增大后减小，在阈值取 5时达到最大，因此阈值取5，大于5的时候取1，在-5到5之间取0，小于-5的向上取值，也取0，计算公式为

分别计算出以周围 8个点为中心点所对应的Inew（g1）、Inew（g2）、…、Inew（g8），则中心点gc最大的LEDBP编码定义为

然后，将九位二进制数转化为0至511之间的十进制数，如图4所示.

（4）最大的 LEDBP编码计算完后，整幅图像都被0至511之间的数进行了重新编码，这幅图像就可以用式（7）建立的直方图进行表示.

式中：M，N表示图像矩阵的行数和列数；（j，k）表示第j行第k列所对应的像素点.

其余 7个 LEDBP编码值也分别联立组成直方图，因此，图像的特征向量维度为8×512.

图3　8个边缘差异值及其LTPU编码（T=5）Fig.3 Eight edge difference and LTPU code（T=5）

图4　中心点的最大LEDBP编码值计算过程Fig.4 Computing of the maximum LEDBP of the center pixel

下面以图 3为例进行实例说明.首先计算中心像素（灰度值为16）与周围8个相邻像素的灰度差异值，可以得到“-9、-10、9、-14、11、-5、2、1”，按绝对值大小排序后得到“-14、11、-10、9、-9、-5、2、1”，使用 LTPU编码得到八位二进制数“01，010，000”.然后使用相同的计算方法计算周围8个点的边缘差异值并使用LTPU进行编码得到了9个八位二进制数，如图5所示.取9个八位二进制数的第一位组成最大差异值的LEDBP编码值，其他七位也依次组成7个LEDBP编码值.分别将计算得到的8个LEDBP编码值按照顺序构建直方图，然后将8个直方图联立，最终得到 8×512的 LEDBP特征向量.

图5　计算第一大至第八大的LMEDBP编码值Fig.5 LMEDBP of the 1st maximum to 8th maximum

3　实 验

3.1识别率

为了测试提出方法的性能，在ORL和Yale两个著名的人脸数据库上进行了实验.ORL数据库［21］包含40人的人脸图像，每人有10幅112像素×92像素的不同的图像，在不同时间拍摄，且具有不同表情、姿态和面部细节.Yale人脸数据库［22］包含15人，每人 11张不同表情、姿态和受光照影响的人脸图像，每幅图像大小为100像素×80像素.

在ORL数据库上，将LEDBP与局部二值模式（LBP）和局部图模型（LGP）进行比较.使用 LBP和LGP编码后建立直方图，利用主成分分析方法（PCA）进行降维，贡献率取 0.95.最后利用极限学习机（ELM）［23］进行分类，分别随机取每个人的 5幅、6幅、7幅、8幅和9幅图像作为训练样本，然后对应的剩下的5幅、4幅、3幅、2幅和1幅图像用于测试.4组实验每组重复作 10次后计算平均识别率，实验结果见表1.

表1　ORL数据库上平均识别率的比较Tab.1 Comparison of the average recognition rate in ORL database

在 Yale数据库上进行实验，每个人的训练样本数和测试样本数分别取6和5、7和4、8和3、9和2、10和 1.实验过程与在 ORL数据库上一致，利用LBP和LGP以及提出的LEDBP方法对图像进行编码后建立直方图，然后使用PCA降维，使用ELM进行分类，实验结果见表2.

表2　Yale数据库上平均识别率的比较Tab.2　Comparison of the average recognition rate in Yale database

由表1和表2可以看出：在ORL数据库上LGP的识别率高于LBP，但是LEDBP是最高的；在Yale数据库上LBP的识别率高于LGP，但LEDBP的识别率仍然是最高的.因此，相对于传统的 LBP以及LGP人脸识别方法，基于LEDBP的人脸识别方法具有更高的识别率.

3.2时间效率

为了测试提出方法的特征提取时间效率，本实验选取了 ORL人脸数据库中的一幅图片进行测试，图片大小为112像素×92像素，实验结果见表3.

表3　单幅图片上特征提取时间的比较Tab.3　Comparison of the feature extraction time on a single picture

由表3可看出，由于本文提出的LEDBP方法扩大了计算范围（5×5），获取了更多的特征差异信息，因此在时间效率上较LBP和LGP低.

4　结 语

本文在LBP和LMEBP的基础上提出了一种改进的LEDBP人脸识别方法，其充分利用了图像的边缘像素灰度值差异信息对人脸图像进行表示.该方法提取了中心像素点与边缘像素点的灰度值大小关系，并且依据边缘差异值大小将边缘分成 8部分，因此提供了比LBP方法更完整的图像表示.LEDBP很好地解决了 LMEBP对图像中较小灰度值变化敏感的问题，对图像局部特征的描述更具有鲁棒性.实验结果表明：相对于传统的LBP以及LGP人脸识别方法，基于 LEDBP的人脸识别方法具有更高的识别率.但由于 LEDBP计算单元大，获取的图像特征信息多，因此时间效率相对较低.

［1］ 周德龙. 人脸识别技术研究［D］. 西安：西北工业大学，2001.

［2］ 吴巾一，周德龙. 人脸识别方法综述［J］. 计算机应用研究，2009，26（9）：3205-3209.

［3］ Turk M A，Pentland A P. Eigenfaces for recognition［J］. Journal of Cognitive Neuroscience，1991，3（1）：71-86.

［4］ Etemad K，Chellapa R. Face recognition using discriminant eigenvectors［C］//Proceedings of IEEE International Conference on Acoustics，Speech，& Signal Processing. Piscataway：IEEE，1996：2148-2151.

［5］ Gottumukkal R，Asari V K. An improved face recognition technique based on modular PCA approach［J］. Pattern Recognition Letters，2004，25（4）：429-436.

［6］ Wiskott L，Fellous J M，Kuiger N，et al. Face recognition by elastic bunch graph matching［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19（7）：775-779.

［7］ Ahonen T，Hadid A，Pietikainen M. Face recognition with local binary patterns［J］. Lecture Notes in Computer Science，2004，3021：469-481.

［8］ Ojala T，Pietikainen M，Harwood D. A comparative study of texture measures with classification based on feature distributions［J］. Pattern Recognition，1996，29（1）：51-59.

［9］ 潘泓，金立左，夏思宇，等. 基于多层次互补特征的通用目标检测模型［J］. 电子与信息学报，2012，34（7）：1531-1537.

［10］ Chao W L，Ding J J，Liu J Z. Facial expression recognition based on improved local binary pattern and classregularized locality preserving projection［J］. Signal Processing，2015，117：1-10.

［11］ 徐杜功，丁召，刘桥. 基于稀疏表达和改进的LBP算子的人脸表情识别［J］. 计算机应用与软件，2013（4）：246-248.

［12］ Yao C H，Chen S Y. Retrieval of translated，rotated and scaled color textures［J］. Pattern Recognition，2003，36（4）：913-929.

［13］ Guo Z H，Zhang L，Zhang D，et al. Rotation invariant texture classification using adaptive LBP with directional statistical features［C］//Proceedings of the 17，th IEEE International Conference on Image Processing. Piscatawy：IEEE，2010：285-288.

［14］ Guo Z H，Zhang L，Zhang D. Rotation invariant texture classification using LBP variance（LBPV）with global matching［J］. Pattern Recognition，2010，43（3）：706-719.

［15］ Subrahmanyam M，Maheshwari R P，Balasubramanian R. Local maximum edge binary patterns：A new descriptor for image retrieval and object tracking［J］. Signal Process，2012，92（6）：1467-1479.

［16］ Murala S，Maheshwari R P，Balasubramanian R. Directional local extrema patterns：A new descriptor for content based image retrieval［J］. International Journal of Multimedia Information Retrieval，2012，1（3）：191-203.

［17］ Murala S，Maheshwari R P，Balasubramanian R. Directional binary wavelet patterns for biomedical image indexing and retrieval［J］. Journal of Medical Systems，2012，36（5）：2865-2879.

［18］ Tan X，Triggs B. Enhanced local texture feature sets for face recognition under difficult lighting conditions［J］. IEEE Transactions on Image Processing，2010，19（6）：168-182.

［19］ 赵灵芝，李伟生. 一种基于 LTP特征的图像匹配方法［J］. 计算机应用研究，2009，26（10）：3983-3985.

［20］ 袁宝华，王欢，任明武. 融合LTP与Fisherfaces的分块人脸识别［J］. 计算机工程，2012，38（10）：154-156.

［21］ The Digital Technology Group，Cambridge University Computer Laboratory. ORL Database of Faces［EB/OL］.［2015-12-16］. http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase. html.

［22］ Computational vision and control center，Yale University. Yale Face Database［EB/OL］. ［2015-12-16］. http：//vision.ucsd.edu/～iskwak/ExtYaleDatabase/Yale%20Face% 20Database. htm.

［23］ Huang G B，Zhu Q Y，Siew C K. Extreme learning machine：Theory and applications［J］. Neurocomputing，2006，70（1/2/3）：489-501.

责任编辑：常涛

Face Recognition Based on Local Edge Difference Binary Patterns

YANG Jucheng，LI Qiong，LIU Na，SUN Wenhui
（College of Computer Science and Information Engineering，Tianjin University of Science & Technology，Tianjin 300222，China）

Traditional local binary pattern（LBP）is widely used in image processing as an effective feature extraction and encoding method，but it can only extract the different information between the central pixel and its neighbors in the template，cannot fully represent the image，and is sensitive to small gray scale changes.According to the shortcomings of this method，a novel local edge difference binary pattern（LEDBP）is proposed for image feature extraction and used in the face recognition.The LEDBP differs from the existing LBP in a manner that it extracts information based on the distribution of edges in an image.The differences between the central pixel and its 8 neighbors in the template can be calculated by using LEDBP.After that，the edges can be coded by using the upper local ternary pattern（LTPU），and then the feature vectors can be obtained by establishing histograms which represent the images.Experiments in face recognition show that the proposed method outperforms the traditional LBP on recognition accuracy.

local edge difference；local binary pattern；face recognition；local ternary patterns

TP399

A

1672-6510（2016）04-0069-05

10.13364/j.issn.1672-6510.20150251

2015-12-17；

2016-03-28

国家自然科学基金资助项目（61502338）；天津市科技支撑计划重点资助项目（15ZCZDGX00200）

杨巨成（1980—），男，湖北人，教授，jcyang@tust.edu.cn.