一种改进的局部三值模式的人脸识别方法

姚骋天,夏哲雷

(中国计量学院 信息工程学院,浙江 杭州 310018)



一种改进的局部三值模式的人脸识别方法

姚骋天,夏哲雷

(中国计量学院 信息工程学院,浙江 杭州 310018)

【摘要】为了更好的描述人脸特征,提出了一种基于不同尺度像素块及自适应阈值的局部三值(LTP)模式方法.该方法首先将图像分为若干个子区域,采用自适应阈值并基于不同尺度的像素块提取每个子区域的LTP纹理直方图,然后将得到的每个子区域的直方图连在一起并经过主成分分析(PCA)降维处理得到特征向量.在人脸数据库上进行的实验证明,应用该方法进行人脸特征提取并结合最近邻分类法得到了较高的识别率.

【关键词】人脸特征；局部三值模式；自适应阈值；主成分分析

PCA人脸图像识别是机器视觉、模式识别领域内一个研究热点,其中图像特征提取是人脸识别的关键环节之一.图像特征提取不但影响分类器的分类识别精度,而且关系到分类识别系统是否可行.目前产生了许多从局部来描述人脸的方法，常见的局部特征提取方法有局部二值模式(LBP)[1]和Gabor小波[2]等.其中局部二值模式最早由Ojala等[3]提出作为对图像局部邻近区域纹理信息的描述符.人脸图像常常会受到光照因素影响而产生灰度变化.但在一个局部区域内,这种变化常常被视为单调的.由于LBP对图像局部纹理特征的卓越描绘能力且具有较高的计算效率等特点而广泛用于描述人脸和纹理的特征.不过LBP算子是采用像素间灰度值比较的方式确定其二值关系,且没由考虑到对比度的信息.所以最终得到的二进制模式的特征表示会丢失局部的差异信息和容易受到噪声的影.为提高LBP描述符对局部的差异信息描述能力与抗噪声干扰的能力,Tan等提出的局部三值模式(LTP)[4]描述符,通过用户自定义阈值增加一个编码模式,用三值对像素点之间的差值进行编码,在平坦区域比LBP具有更强的判别能力.LTP方法在人脸识别领域的应用已经得到了较好的效果；然而该方法的阈值不能自动选取,对于不同情况往往要做大量实验确定最合适的阈值,且鲁棒性较差.而且传统着局部三值模式着眼于局部像素,不能有效的进行人脸的大尺度纹理描述.

本文提出了一种基于多尺度像素块的自适应阈值选取的局部三值模式方法.该方法能够根据图像的自身情况,自适应选取合适的阈值并能由粗到细更全面的描述人脸纹理特征.其主要思想是对不同尺度像素块,自适应的计算LTP阈值,结合该自适应阈值,提取每个子区域的LTP纹理直方图,然后将各子区域的纹理直方图连接在一起得到混合直方图特征.最后将纹理特征输入分类器进行人脸识别.应用该方法在人脸数据库中进行实验,结果表明改进的方法有效地提高了人脸的识别率.

1LBP与LTP算子

1.1LBP算子

LBP是作为描述图像纹理特征的算子,其基本思想是通过统计局部结构出现的频次来描述图像的特性.该方法以中心像素的灰度值gc为阈值,分别与该像素相邻的P个像素的灰度值g0,g1,……gP-1灰度值做二值化处理.然后根据相邻像素的不同位置进行加权求和得到当前像素gc的LBP值.计算公式为:

(1)

(2)

LBP算子以中心像素点的灰度值作为阈值进行阈值化而忽略了像素间的对比度值,最终可能导致部分重要的纹理特征被丢弃.并且当邻域与中心过度相似时,容易受到噪声、光照等外界因素影响.

1.2LTP算子

LTP算子是对LBP算子的一种泛化.它定义一个长度为2t的开区间[-t,t].若邻域像素点灰度值gi与中心像素点灰度值gc差值在该区间右边,则输入值编码为1;若差值在该区间左边,则输入值编码为-1;若差值在该区间之中,则输入值编码为0.可对光照变化和噪声更加鲁棒,增强了局部纹理特征的分类性能为三值编码形式.计算公式如下:

(3)

(4)

将原二进制编码中除1以外值的标记为0后得到的编码,定义为上模式[5].将原编码中除-1以外的值标记为0后并且用1取代原来的-1,得到的编码定义为下模式,如图1所示.最后得到LTP特征统计直方图用于分类.

LTP算子在一定程度上抵抗了噪声的影响并能增强对纹理的描述.但由于t为用户自定义阈值,需要做大量的实验来验证,而且无法确定该阈值适用于所有样本,所以需要找到一种自适应确定该阈值的方法.

图1　LTP算子编码Figure 1　LTP operator coding

2改进LTP的提取特征

2.1选取自适应阈值

本文提出了一种基于LTP的自适应阈值,阈值T根据图像自身情况自适应选取.方法为计算出中心像素邻域内所有像素点与该中心像素差的平方的和为A,将A的乘以系数k作为阈值T,每个邻域编码值计算公式如下：

(5)

(6)

该LTP方法以动态阈值替代统一阈值,对图像局部特征具有自适应性,更适用于解决图像的差异变化,更好的描述图像对比度信息,以提高识别精度.

2.2基于多尺度像素块的特征提取

本文提出基于多分块加权的特征提取方法.传统LTP算子像素值之间的比较被像素块之间的平均灰度的比较所代替,该方法不再基于单个像素,而是将特征计算扩展到任意大小的像素块,即用像素块内像素的平均值代表该像素块的值,在计算LTP特征.可以选取不同大小的像素块尺度,得到不同尺度的LTP特征图像(如图2(b)(c)(d)).

图2　原图像与LTP图像Figure 2　Original image and LTP image

然后分别统计每个特征图像以得到直方图向量,并通过公式(7)(8)将所有直方图向量加权连接在一起作为人脸描述向量进行人脸识别.

H=(w1·H1,…,wj·Hj);

(7)

(8)

其中Hj为基于sj×tj像素块下得到的直方图向量,wj为其权值.最后分别将基于不同像素块尺度得到直方图向量连接成整个人脸图像的直方图向量.在任意尺度像素块上提取LTP特征,能有效把握图像纹理信息的粗细度,有利于人脸图像的正确识别.

2.3改进的LTP的提取特征方法应用于人脸识别

本文方法先将图像分为M×N个子区域,在基于不同尺度像素块下,结合自适应确定LTP阈值的方法,分别提取每个子区域的特征,统计各子区域LTP特征.得到不同尺度像素块下的子区域的直方图向量并将其加权连接,再将所有子区域直方图特征连接.针对特征维数过高的问题,采用主成分分析法(PCA)[6]对LTP直方图特征进行降维,得到最终的特征向量.最后将纹理特征输入分类器进行人脸识别.流程如图3.

图3　基于改进LTP方法的人脸识别流程图Figure 3　Face recognition flow chart based on the improved LTP algorithm

3实验分析

本文实验采用YALE人脸库和ORL人脸库,结合提出的自适应LTP特征算子进行人脸识别.YALE人脸库包括15个人共165幅图像,每人11幅图像,每幅图像大小为100×100.ORL人脸库包含400幅人脸图像,共40人,每人10幅图像,每幅图像大小为112×92.由于上述人脸库图像在光照,以及关键点如眼睛嘴巴比较规范,实验可以在该图片集上直接进行,省去了归一化和校准等步骤.本实验将LBP与LTP作为对比方法,在YALE库上每人随机选择2至6张图像作为训练样本,再每人随机选取5张图像测试样本.在ORL库上每人随机选择2至6张图像作为训练样本,再每人随机选取4张图像测试样本.最后使用最近邻分类法分别对两个人脸库进行分类.

在提取LTP特征时,结合(5)(6)式,为了能够合适地取到阈值中的系数k,本文将k取为0～0.02(步长为0.002)中的值并得到对应的正确识别率的变化情况.由图4可以看出：在YALE和ORL人脸库中,在改进的LTP算子中人脸识别率随着k值的变化,当k为0.004时,基本可以使得曲线接近或达到峰值.因而,自适应阈值T选择为

T=0.004A.

(9)

图4　不同自适应系数k对应的识别率Figure 4　Recognition rate of different　adaptive coefficients

在确定自适应阈值系数k为0.004后,在1×1与3×3像素块的尺度下并应用自适应阈值方法,提取LTP特征,结合最近邻分类法得到的人脸识别结果与传统的LBP和LTP算子得到的人脸识别结果如表1、表2.

表1　ORL数据库上不同方法的识别率

表2　YALE数据库上不同方法的识别率

通过比较表1中各方法得到的识别率可知,本文提出的改进的LTP方法识别率高于LBP和LTP方法,可以看出本文在提取LTP特征时采用的自适应阈值并基于多像素块的特征提取方案方法提高了人脸识别率.

4结语

本文在LTP方法的基础上,提出了多像素块的自适应阈值三值模式纹理特征提取方法.该方法不仅能更全面的描述纹理特征的粗细度,又解决寻找最佳阈值的问题.在YALE和ORL人脸库上进行实验表明该方法的人脸识别率高于原LTP方法.然而对于不同的应用场景,本文提出的人脸特征提取方法仍然存在诸多问题有待解决.下一步研究将确定不同图像最佳像素尺度的LTP提取方法并根据图像重要程度不同的区域提取的特征向量,分配不同的权值.

【参考文献】

[1]王宪,张彦,慕鑫,等.基于改进的LBP人脸识别算法[J].光电工程,2012,39(7):109-114.

WANG Xian,ZHANG Yan,MU Xin,et al.The face reco-gnition algorithm based on improved LBP[J].Opto-Electronic Engineering,2012,39(7):109-114.

[2]孔锐,韩佶轩.基于Gabor滤波器的快速人脸识别方法[J]. 计算机应用,2012,32(4):1130-1132,1136.

KONG Rui,HAN Jixuan.New fast face recognition algorithm based on Gabor filter[J].Journal of Computer Applications,2012,32(4):1130-1132,1136.

[3]OJALA T,PIETIKAINEN M.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-987.

[4]TAN Xiaoyang,TRIGGS B.Enhanced local texture feature sets for face recognition under difficult lighting conditions[J].IEEE Transactions on Image Processing,2010,19(6):1635-1650.

[5]郝灿,朱信忠,赵建民,等.基于改进型LBP特征运动阴影去除方法[J].计算机系统应用,2010,19(5):80-83.

HAO Can,ZHU Jianxin,ZHAO Jianmin,et al.Shadow removal algorithm based on improved LBP features of sports[J].Commputer Systems and Applications,2010,19(5):80-83.

[6]TURK M,PENTLAND A.Eigenfaces for recognition[J].Journal of Cognitive Neuroscience,1991,3(1):71-86.

[7]张洁玉,赵鸿萍,陈曙.自适应阈值及加权局部二值模式的人脸识别[J].电子与信息学报,2014,36(6):1327-1333.

ZHANG Jieyu,ZHAO Hongping,CHEN Shu.Face recogn-ition based on weighted local binary pattern with adaptive threshold[J].Journal of Electronics and Information Technology,2014,36(6):1327-1333.

[8]宋克臣,颜云辉,陈文辉,等.局部二值模式方研究与展望[J].自动化学报,2013,39(6):730-744.

SONG Kechen,YAN Yunhui,CHEN Wenhui,et al.Resea-rch and perspective on local binary pattern[J].Journal of Automatica Sinica,2013,39(6):730-744.

[9]梅支礼,陶海军,王加强.Gabor滤波器的掌纹特征提取研究[J].中国计量学院学报,2015,26(3):347-352.

MEI Zhili, TAO Haijun,WANG Jiaqiang.Study of Gabor filters on palmprint feature extraction[J].Journal of China University of Metrology,2015,26(3):347-352.

[10]王小玉,张亚洲,陈德运.基于多块局部二值模式特征和人眼定位的人脸检测[J].仪器仪表学报,2014,35(12):2739-2745.

WANG Xiaoyu,ZHANG Yazhou,CHEN Deyun.Face detection based on MB-LBP and eye tracking[J].Journal of Computer Applications,2014,35(12):2739-2745.

Face recognition based on improved local ternary patterns

YAO Chengtian,XIA Zhelei

(College of Information Engineering, China Jiliang University, Hangzhou 310018,China)

Abstract:In order to describe the facial feature, a local ternary patterns (LTP) method based on different scale pixel blocks and adaptive thresholds was proposed. Firstly, the image was divided into several sub regions. The LTP texture histogram of each sub region was extracted by using the adaptive threshold based on pixel blocks with different scales. Then the histogram of each sub region was connected to obtain the final feature vector by the principal component analysis (PCA). Through experiments on the face database, a higher recognition rate was obtained.

Key words:face feature; local ternary patterns; adaptive threshold; PCA

【文章编号】1004-1540(2015)01-0068-05

DOI:10.3969/j.issn.1004-1540.2016.01.013

【收稿日期】2015-09-24《中国计量学院学报》网址：http://zgjl.cbpt.cnki.net

【基金项目】浙江省自然科学基金资助项目(No.LY12F1011).

【作者简介】姚骋天(1991- )，男，浙江省湖州人，硕士研究生，主要研究方向为数字图像处理等.E-mail:420595421@qq.com

【中图分类号】TP391.4

【文献标志码】A

通信联系人：夏哲雷，男，教授.E-mail:xia663618@com