基于局部线性二值模式的掌纹掌脉融合识别*

王 颖， 惠晓威， 林 森

(辽宁工程技术大学 电子与信息工程学院，辽宁 葫芦岛 125105)

0 引 言

传统的身份鉴别方式如身份证、信用卡等很容易丢失，遗忘或是被盗用，存在诸多不便和安全风险，已经不能满足人们对身份识别安全性的要求。因此，各种生物特征识别技术应运而生，大幅提高了身份鉴别的安全性。为了提高模糊图像的鲁棒性，文献[1]对SIFT算法进行了改进，提出有效识别模糊图像的方法，但其未在多幅相似图像之间进行识别，存在局限性。文献[2]提出了一种基于归一化超拉普拉斯的图像复原方法，取得较好的识别效果，但不满足实时性。由于多模态融合的生物识别系统具有较高的识别精度、较好的防伪性能和鲁棒性，因此，越来越受到信任，文献[3]提出了一种新的归一化线性保护和对比度增强融合算法，将掌纹和掌静脉融合，提高了识别率。文献[4]在离焦模糊状态下利用多层小波分解的方法，达到掌纹和掌脉融合目的，改善了识别效果。由于掌纹、掌脉所包含的纹理信息丰富，具有大量可区分的特征，图像采集相对较容易，且同一手掌的掌纹和掌脉纹理的相对位置固定不变。

为了提高识别精度，提取图像中更多有用的纹理信息，采用掌纹和掌脉纹理图像融合的方法进行实验。在特征提取过程中，由于掌纹图像易受光照、噪声等因素的干扰，掌脉图像存在于人体表层之下，导致采集的掌纹和掌脉图像会模糊，鲁棒性下降，本文针对这一问题将传统线性二值模式(linear binary pattern,LBP)[5]方法进行改进形成局部LBP(local liner binary pattern,LLBP)[6]法，由于该算法融合了水平和垂直2个方向的图像特征，在一定程度上解决了LBP对噪声敏感的问题。为了进一步降低噪声对图像的影响，将掌纹掌脉图像分割成若干个均匀大小的区块，形成分块图像，再进行特征融合操作，最终以汉明距离完成匹配识别。分别在香港理工大学(Hongkong Polytechnic University,PolyU)超光谱接触式图库和2个自建模糊图库上进行实验，结果显示：与传统LBP及其他流行和典型算法相比本文方法识别性能更佳，具备可行性和有效性。

1 基本原理

1.1 LLBP原理

LLBP算子分为水平和垂直两部分，具体步骤为：1)在n×n的矩阵块中，选择水平部分和垂直部分相交的像素值为中心像素。2)在垂直部分，以中心像素的灰度值作为参考值，其邻域的灰度值大于或等于中心像素的灰度值，则赋值为1；否则，赋值为0。3)以中心像素点为分割点，将中心像素以上部分和以下部分分别进行二进制编码。4)将两部分的二进制数均转换为十进制数进行相加即为垂直部分的LLBP值，表达式如式(2)所示；同理，根据式(3)计算出水平部分LLBP值。5)利用式(4)计算出总的LLBP值[7]。数学表达式如(1)～式(4)所示

(1)

(2)

(3)

(4)

式中LLBPh，LLBPv，LLBPm分别为水平方向、垂直方向以及总的LLBP；N为像素个数；hn为水平方向像素；vn为垂直方向像素；c=N/2为中心像素位置；hc位于水平线上;vc位于垂直线上；T(x)为初始函数，表达式如式(1)所示。图1所示为LLBP的编码过程。

图1 LLBP算子

1.2 分块局部线性二值模式原理

虽然相对于LBP，LLBP在一定程度上解决了对噪声敏感的问题，但仍较易受噪声影响，分块局部线性二值模式(block LLBP,BLLBP)法能够进一步降低单像素之间灰度易产生噪声的影响，且能够有效降低数据的维度，对后续识别有利。所以本文进一步提出基于BLLBP的掌纹掌脉特征提取方法。通过分块的方法将图像分割成若干个大小相等的区块后，新分割的块作为独立的样本，从而使图像降维，方便操作。分块以后，提取以每一小块为单位的局部特征，而并非整个图像的全局特征。在匹配的过程中，同样以块为单位进行，能够有效改善基于全局特征的提取方法对局部变化的敏感程度[8]。

1)将图像对应的M维矩阵H转化为图像区块方阵

(5)

式中Hij为m×m大小的方阵；M=n×m。

2)对分块图像矩阵进行LLBP运算。

3)得到掌纹或掌脉图像的编码结果。

2 掌纹掌脉特征融合与匹配

2.1 特征融合

采用特征层融合的方式进行操作[9,10]：对将待融合的图像进行降维处理[11]，得到2个特征向量；将2个特征向量连接形成一个新的特征向量，对此新特征向量进行子空间降维；进行匹配判别。

设SF-LLBP表示掌纹和掌脉融合后的编码，SPP-LLBP表示掌纹图像的LLBP二进制编码，SPV-LLBP表示掌脉图像LLBP二进制编码，三者关系为

SF-LLBP=[SPP-LLBPSPV-LLBP]

(6)

即融合后的编码为掌纹和掌脉编码的串联相接。

2.2 特征匹配

匹配是指通过图像之间的比较得到不同图像之间的相似度[12]。利用LLBP编码之间的汉明距离(Hamming distance)来判断所获取的掌纹掌脉图像是否匹配。设有2个LLBP编码Str1，Str2，其比特串形式为

Str1=x1x2…xN

(7)

Str2=y1y2…yN

(8)

式中x，y为0或1。

两编码之间的汉明距离定义为

(9)

式中 ⊕为异或运算；N为比特串长度。

匹配时，利用汉明距离RHD值的大小来判断两个特征之间的相似程度。RHD值的范围为0～1，其值越小表示两个特征之间的相似度越高；反之，越低。在具体识别时，需要设定一个阈值t，当

RHD

(10)

则样本来自同一个人，被接受；否则，被拒绝。

3 实验与分析

实验环境为MATLAB R2014a.lnk，Windows 7系统，中央处理器为Intel(R)Core(TM) i3-3110M，主频为2.4 GHz，内存为2.00 GB。

3.1 评价指标介绍

利用类内类间匹配算法来验证BLLBP法的性能[13]。首先绘制类内类间匹配曲线，然后根据图像确定恰当的阈值t，最后，根据式(10)的判定条件完成匹配过程。

实验衡量性能的指标有：等误率(equal error rate,EER)、错误接受率(false accept rate,FAR)、错误拒绝率(false rejection rate,FRR)。等误率是在平面直角坐标系中绘制接收者操作特征(receiver operating characteristics,ROC)曲线，曲线上的横轴FAR和纵轴FRR的交点即为ERR。ERR越小，系统识别效果越好[14]

(11)

(12)

式中vH为合法用户尝试次数;vJ为非法用户尝试次数;vA为系统错误接受的次数;vE为系统错误拒绝的次数。

3.2 实验图库

1)香港理工大学PolyU超光谱接触式图库是公开的标准的测试样本集。文献[15]表明，在850 nm 近红外光照射下利用CCD图像传感器进行拍摄得到的图像识别性能最佳。所以，在PolyU图库中选取其中100人，每人5张的掌脉图像，感兴趣区域(region of interest,ROI)大小为128×128。掌纹图像在白光LED下采集，同样选取100人，每人5张。

2)自建PolyU模糊图库。在PolyU图库中，选取100人，每人5张的掌纹掌脉图像，因为掌脉图像存在于人的手掌表层之下，所以在实验时可以认为所获取的图像本身模糊，无需进行模糊处理，而掌纹图像需要加入高斯噪声进行模糊处理。

3)自建SUT-D模糊图库。为了更好地验证本文算法的优势，根据文献[16]自建一个离焦模糊图库，称为SUT-D图库。仍采用PolyU图库中的掌脉图像，并认为该掌脉图像是模糊的。为了获取模糊掌纹图像，在室内环境下采用CCD数字摄像头进行采集，选取拍摄距离为85～121 cm，每隔4 cm拍摄一次，使其离焦模糊。共采集50人，每人10幅的右手手掌图像，再根据文献[17]提取ROI，其大小为128×128。

表1为在PolyU图库、自建PolyU模糊图库和自建SUT-D模糊图库中不同分块方法的EER值，分析可知：三个图库中，当分块方式采用8像素×8像素划分时，能够得到最低等误率分别为1.151 3 %，4.516 2 %和7.043 9 %；在不分块的情况下EER较高。恰当的分块方法可以降低等误率，提高了掌纹掌脉识别系统的识别精度，分块可行的。

表1 不同分块方法EER对比 %

在PolyU图库和自建PolyU模糊图库上进行类内匹配实验的比对次数为1 000次，类间比对次数为123 750次，总比对次数为124 750次。在自建SUT-D模糊图库上进行类内匹配实验的比对次数为2 250，类间匹配实验的对比次数为122 500，总次数为124 750。

图2(a)～图2(c)分别为PolyU图库、自建PolyU模糊图库以及自建SUT-D模糊图库的类内与类间比对结果曲线，分析可知:采用8×8分块方式时，PolyU图库曲线对应的阈值为t=0.342 5，可获得最低EER为1.151 3 %;自建PolyU模糊图库对应阈值为t=0.391 2，可以获得最低EER为4.516 2 %;自建SUT-D模糊图库对应的阈值为t=0.128 3，可以获得最低EER为7.043 9 %。图3给出了3个图库上的对应ROC曲线。

为了进一步说明该方法的优势，分别在PolyU图库、自建PolyU模糊图库和自建SUT-D模糊图库上将本文的BLLBP方法(融合前后)与目前多种典型和流行方法[15,18]进行了比较，包括2DGabort，二维主成分分析(2DPCA)，SURF以及结合小波分解的灰度曲面(wavelet gray surface,WGS)方法等，如表2所示，可见在同等条件下，PolyU接触式标准图库上本文的融合BLLBP方法EER最小，识别效果最优，自建离焦模糊图库上EER最大，同时融合方法相较未融合EER更低。而其他典型方法由于提取的特征较BLLBP算法欠稳定，鲁棒性较差，受模糊影响大，导致提取的效果不够理想。但是从图2(b)、图2(c)中可以看到，自建的两个模糊图库中各方法EER的值均较高，分析可知系统的识别性能降低是由于图像模糊的原因，模糊导致图像细节纹理被平滑，不同个体间的区分性也变差，因此，EER的值相对较高。下一步的工作为进一步优化算法使EER的值降低。

图2 匹配结果曲线

图3 ROC曲线

表2 各方法EER对比 %

表3所示为3个图库中利用BLLBP进行融合前后的执行时间对比，由于掌纹掌脉分别提取特征，导致融合后特征提取时间相比融合之前有所增加，且由于图像模糊的原因，导致在两个模糊图库中算法执行的总时间均大于PolyU图库。BLLBP在PolyU图库上识别总时间为0.286 s，在自建PolyU模糊图库上识别总时间为0.817 s，在自建SUT-D模糊图库上的识别时间为0.973 s，但能够满足实时识别的需要。

3.3 实验结果分析

1)传统的LBP算法对噪声等因素敏感，存在一定的局限性，LLBP法融合了水平和垂直两个方向的图像特征，在一定程度上解决了噪声对其的影响，经改进后的BLLBP算法对于外界噪声干扰等具有一定的鲁棒性，效果更加明显。

表3 算法执行时间 s

因此,在PolyU接触式图库、自建PolyU模糊图库和自建SUT-D模糊图库中均获得良好的效果，方法简便可行，具有实用前景。

2)该算法通过分块的方式进一步降低了噪声对图像的影响，同时也降低了数据的维度，处理更方便。

3)掌纹掌脉双模态特征融合可以提供更丰富的判别信息，增强特征区分度，因此，使用融合操作识别效果更好。

4 结 论

提出了一种基于BLLBP的掌纹掌脉双模态生物特征融合的身份识别方法。将传统LBP进行改进，形成的直线型的LLBP能够从模糊的掌纹图像和掌脉图像中提取出鲁棒性较好的特征，而分块之后的LLBP能够降低等误率，从而提高识别精度。并分别在PolyU接触式图库、自建PolyU模糊图库和自建SUT-D模糊图库中进行实验，将双模态融合BLLBP方法和其他流行及典型算法对比，可获得最低等误率分别为1.151 3 %，4.516 2 %和7.043 9 %，方法简便可行，具有实用前景。当前正在对本文算法进行优化，旨在进一步降低EER。

参考文献:

[1] 赵 帅.基于SIFT算子的模糊图像识别算法[M].苏州：苏州大学.2014.

[2] 王国栋，徐 杰，潘振宽，等.基于归一化超拉普拉斯先验项的运动模糊图像台复原[J].光学精密工程，2013,21(5):1341-1347.

[3] Wang Jia Jiangang,Yau Weiyun,Suwandy Andy,et al.Fusion of palmprint and palm vein images for person recognition based on“Laplacianpalm”feature[C]∥IEEE Conference on Computer Vision and Pattern Recognition,2007:1-8.

[4] 汤永华,苑玮琦.多光谱掌脉和掌纹离焦图像融合方法[J].数据采集与处理,2015,30(1):175-185.

[5] 王 玲.基于LBP的特征提取研究[D].北京：北京交通大学,2009.

[6] Amnart Petpon,Sanun Srisuk.Face recognition with local line binary pattern[J].IEEE Image and Graphics,2009,9:533-539.

[7] Bakhtiar A R,Chai W S,Shahrel A S.Finger vein recognition using local line binary pattern[J].Sensors,2011,11:11357-11371.

[8] Wang X,Lu Y,Song S,et al.Face recognition based on gabor wavelet transform and modular PCA[J].Computer Engineering and Applications,2012,48(3):124-127.

[9] 陈 倩,杨建刚.基于数据融合的多生物特征身份识别[J].江南大学学报,2006,5(1):38-40.

[10] Zhang Y Q,Sun D M,Qiu Z D.Hand-based feature level fusion for single sample biometrics recognition[C]∥Proceedings of the 2010 International Workshop on Emerging Techniques and Challenges for Hand-Based Biometrics(ETCHB),2010:1-4.

[11] 伍吉瑶，王 璐，程正南,等.基于LLE和SVM的手部动作识别方法[J].传感器与微系统,2016,35(8):4-7.

[12] 田 娟，郑郁正.模板匹配技术在图像识别中的应用[J].传感器与微系统，2008,27(1):112-117.

[13] 徐天扬,惠晓威,林 森,等.基于小波灰度曲面的近红外手指静脉识别方法[J].激光与光电子学进展,2016(4):88-96.

[14] Zhang D,Guo Z H,Lu G M,et al.Online joint palmprint and palmvein verification[J].Expert Systems with Applications,2011,38(3):2621-2631.

[15] Guo Z,Zhang D,Zhang L,et al.Feature band selection for online multispectral palmprint recognition[J].IEEE Transactions on Information Forensics and Security,2012,7(3):1094-1099.

[16] 林 森,苑玮琦.离焦状态下的模糊掌纹识别[J].光学·精密工程,2013,21(3):734-741.

[17] 郭 鑫,姜 威.一种掌纹图像感兴趣区域的提取方法[J].计算机工程与应用,2010,46(15):153-155.

[18] 魏伟波，洪丹枫，潘振宽，等.基于区域特征映射的模糊掌纹识别方法[J].自动化学报，2015,41(2):386-395.