基于LBP和多层次结构的异质手背静脉身份识别

王一丁，黄守艳

(北方工业大学 电子信息工程学院，北京 100144)

基于LBP和多层次结构的异质手背静脉身份识别

王一丁，黄守艳

(北方工业大学 电子信息工程学院，北京 100144)

针对多源异质的手背静脉异质图像的识别研究，提出了基于LBP和多层次结构的识别算法；首先对图像做适当的预处理，然后将LBP特征提取算法编码的手背静脉纹理特征图像作为多层次结构的输入，通过多层次结构的逐层由具体到抽象的特征提取，得到的特征具有更大的鲁棒性；最后该算法在多源异质的手背静脉图像库得到的识别率比传统的算法识别率高，达到96.57%；进一步表明该算法能够较好地解决由于多源异质问题对手背静脉识别所造成的识别率低的影响。

多源异质；手背静脉；LBP；视觉信息处理；多层次结构；身份识别

0 引言

随着科技的不断进步和发展，信息安全显得日益重要，身份认证是保证信息安全的重要手段之一。但传统的身份认证技术已不能保障日益增长的信息安全需求，如依靠ID卡，钥匙和密码等传统的身份认证[1-3]手段存在随身携带不便、易丢失、易被损坏、易被破解、易被假冒等诸多缺点。由此可见传统身份认证存在很大弊端，亟需一种新颖的身份认证技术来解决这些问题，于是，生物特征识别技术应用而生。生物特征识别技术不是依据传统的标识物品或标识知识来识别身份，而是通过计算机将人类自身所固有的特性提取进行处理来进行身份识别的技术。生物特征是与生俱来的，大多是先天形成的，如人脸、虹膜、指纹、手背静脉、手指静脉[4-7]等。

手背静脉的生理结构决定它具有的以下几个优点：(1)P非接触式(2)静脉血管位于体表内部，不易受到污染，磨损和划伤(3)活体特性难以伪造(4)静脉的生理结构决定，它具有普遍性和唯一性[4]。因为具有这些优势虽然手背静脉的研究时间不长，但已取得很大的成就如在考勤，监控，门禁等领域得到应用[8]。随着应用领域的不断增加对手背静脉识别系统的识别性能要求越来越高。特别是对于在分布式手背静脉识别系统中，由于时间和设备的不同采集的手背静脉图像必然会存在很大差异，这种质量上的差异就是静脉图像的多源异质问题。然而，造成手背静脉图像异质的原因主要有：采集图像的设备不同，造成采集的图像分辨率，退化程度不同；采集图像时场景的不同，造成同一个体在同一设备上采集的图像由于外界的气流、光照、背景等不同产生异质；采集个体的状态不同，造成采集的图像状态与数据库中的状态不同；采集图像只有局部特征，造成与注册时的图像存在不同。因此，怎样处理这些不同原因导致的多源异质图像对手背静脉识别算法提出了挑战，即用怎样的识别算法能对异质图像进行准确的识别。

现在还没有特别有效的鲁棒识别算法能对各种异质源的图像进行准确的识别。传统意义上就是通过控制异质源和改进算法相结合的形式对异质图像进行识别，控制异质源的方法即：对采集设备的自身参数进行统一标定，并对采集时的周围环境、采集人员姿势加以限制，尽量保持采集图像的一致性；改进算法即：利用图像识别方法在图像层方面对图像进行处理和基于机器学习和视觉感知系统的识别方法。其中，基于图像层方面的识别方法主要是对图像质量进行提高，消除外部因素导致的图像差异。基于机器学习和视觉感知方面的识别算法主要是对图像进行学习，找到图像鲁棒的特征。如手背静脉图像增强和分割方法[9]；基于模糊熵的自适应图像多层次模糊增强算法[10]；基于卷积神经网络的图像识别算法设计与实现[11]；基于人脑视觉感知机理的分类与识别研究[12]等。在特征提取方面，对具有可分辨性和可重复的局部特征进行提取的算法有SIFT, LBP(Local Binary Pattern，局部二值模式)和通过对图像的大量训练得到完备视觉字典然后将图像的局部特征映射为全局稀疏表示的方法。如，基于稀疏表示的图像识别[13]；基于稀疏编码的人脸图像识别方法研究[14]。但上述的图像识别主要在人脸和虹膜上，如，基于深度学习的多形态人脸识别[15]；异质虹膜图像的鲁棒识别[16]。对异质手背静脉图像识别问题的研究资料很少。本文就基于LBP和多层次结构的识别算法对多源异质的手背静脉图像识别问题进行研究。

1 采集设备与异质手背静脉图像

本手背静脉识别主要是为了获取人体手背静脉血管的纹理信息，然而在可见光照射下，由于手背静脉分布在皮下脂肪之下且皮肤组织的反射能力较强，传统的摄像头很难采集到清晰的手背静脉图像，因此本文使用近红外成像原理采集图像。利用近红外光源主动发射波长为850 nm 的红外光波，用带有红外滤光片的CCD (charged couple device) 摄像机进行手背静脉采集。850 nm的红外光波可以较好地穿透皮肤，使得静脉里的血液比周围组织吸收更多的红外光，血液流经处颜色较深，从而呈现出静脉结构[8]。本文用到的异质手背静脉图像库是通过具有3个不同参数的摄像头对同一批人进行采集得到的。采集设备如图1所示，3个设备采集的异质手背静脉图像如图2所示。

由于三台设备的摄像头自身的各种参数，采集时摄像头的焦距以及采集时的光照强度均不相同，因此即使是同一个采集者，在三台设备的摄像头下采集的手背静脉图像也存在很大差异。由图2可以看出二号设备的摄像头采集的手背区域比一号和三号设备采集的手背区域要小，故包含的静脉区域也较小；同时，三台设备采集的图像之间的灰度强度也各不相同；此外，二号和三号设备采集的图像还存在手柄带来的干扰。同一台设备对同一个采集者进行采集也会由于采集者的姿势以及手放的角度不同导致采集的图像产生一定的平移，旋转和尺度上的变化。而且，现实中一般不能实现两个摄像头的各个参数完全一样，因此对多源异质图像的分析识别显得格外重要。

图2 异质手背静脉图像

2 LBP和多层次结构的基本理论介绍

2.1 LBP算子

纹理对于视觉系统而言是一种重要的视觉特征，它与物体的表面材质有关，是由图像灰度在空间位置上变化形成的，表征着多个像素间的分布变化与规律，而且能够很好的反映同类图像的共性特点，特别是对于手背静脉这种有着明显纹理特征的图像。典型的纹理特征描述方法就包括局部二值化模式(local binary pattern，LBP)。LBP最早是由T.Ojala于1996年提出[17]的，是一种用来描述图像局部纹理特征的算子；它提取特征不需要对图像进行细化且提取的纹理特征具有旋转不变性和灰度不变性，计算简单等显著的优点。并且它已经在人脸识别，纹理分类和图像分析等领域得到应用。本文中将归一化LBP编码的手背静脉纹理特征图像作为层次结构的输入，如果以原始的手背静脉图像作为层次结构的输入，该结构能学习到手背静脉图像中隐含的抽象特征，然而由于输入是整体形式就没法学习到手背静脉图像的局部结构特征，但是，如果将归一化LBP编码的手背静脉纹理特征图像作为层次结构的输入，就可以使层次结构能有效的学习手背静脉图像的局部特征，且归一化LBP编码的手背静脉纹理特征图像对光照和微小平移具有较好的鲁棒性。

一幅二维的手背静脉图像gM×N(x,y)的局部纹理特征可以通过将图像中的每个像素点和其邻域内的像素依次进行比较得到。标准LBP算子的计算方法如式(1)所示。

(1)

(2)

其中:由式(2)可以看出归一化LBP算子的纹理模式的种类有P(P-1)+3 种比标准LBP算子的纹理模式种类少很多。归一化LBP算子的纹理模式往往反映的是那些重要信息的模式，而标准LBP算子的纹理模式的过多转变往往是由噪声引起的，不具有良好的统计意义。因此，采用归一化LBP算子编码的纹理特征图像能减少高频噪声带来的不利干扰。图3表示不同LBP算子编码结果，其中图3(a)为原始图像，图3(b)为标准LBP编码的图像，图3(c)为归一化LBP编码的图像。可以看出在具有相同邻域和半径的情况下，和标准LBP编码的特征图像相比，归一化LBP编码的特征图像将原始图像的纹理表现得更加清晰突出。

图3 不同LBP算子编码图

2.2 多层次结构的特征提取

随着神经生理学和解剖学的逐步发展，人类对大脑的视觉感知系统的理解逐步深入，无论是在初级视觉皮层还是高级视觉区域，科学家们都取得了许多重要的研究成果。人类大脑的视觉皮层处理信息时是采用逐层传输和表达的方式，首先利用某些神经元组织去探测物体边界、元形状，然后又利用其他的神经元组织，逐步向上处理形成更复杂的视觉形状；即视觉信息是按照由简单细胞到复杂细胞再到超级复杂细胞这样的顺序进行加工处理的。早期，Poggio和Riesenhuber根据大脑视觉皮层腹侧视觉通路对视觉信息进行处理的工作原理，提出了模拟腹侧通路视觉信息处理过程最初的模型[18]。该模型由简单细胞层和复杂细胞层交替构成，试图用一种简单的易于理解的计算过程来诠释认知过程。之后沿着视觉感知机理启发的道路，最初的模型中的部分思想被接纳，并经过进一步的演变变为HMAX模型[19]。该HMAX模型由下到下分为五个层次，分别为S1,C1,S2,C2和VTU。S1为简单细胞层，C1为复杂细胞层，S2为简单组合特征细胞层，C2为复杂组合特征细胞层，VTU为视觉协调视觉层。在C层建立位置不变性，在S层建立特征的复杂性，包括加权求和和最大化两种操作。虽然这种HMAX模型不能用于对物体进行直接分类，但它为后来视觉特征计算模型的研究提出了理论基础和思想框架。之后Serre,Wolf和Poggio[20]对HMAX模型进行改进使其能成为模拟生物视觉活动的模型，该改进的模型能很好的模拟神经元细胞的选择性，且逐渐形成了特征的尺度和平移不变性。本文中建立的层次结构就是在Serre,Wolf和Poggio模型的基础上进行的。该层次结构由四层构成，分别为S1,C1,S2,C2。如图4所示。

图4 多层次结构图

其中，S1层将LBP编码的纹理特征图像和滤波器进行卷积得到多尺度，多方向的图像；C1层将相邻尺度的分为一个等级，得到4个等级，对第i个等级的方向相同尺度不同的两幅图像进行采样，其中采样模板的大小为Ni×Ni(N1=8,N2=10,N3=12,N4=14)，这里的模板大小取值是通过实验的反复验证得到的，并求该模板区域的最大值，以增加平移的不变性，其中i代表等级。其次对同一等级两个不同尺度的图像取相同位置处较大的值作为C1层的图像输出，增加尺度不变性。这样每个等级的图像数将会由八幅减到四幅。S2层是对C1层的图像与特征模板进行RBF计算，其中，特征模板是通过计算训练图像的特征显著点，并按特征模板的尺度大小(4×4,8×8,12×12,16×16)对所有显著点进行分类。然后通过提取的特征模板的尺度大小从对应分类中随机选取选取显著点作为C1层提取特征模板的位置，这里假设一共提取K个特征模板。C2层对S2层每个特征模板对应的所有等级图像的位置进行遍历求取最小距离作为该等级的结果，之后对所有等级的值进行最大值选取，得到特征模板与该图像的最佳匹配度。由于有K个特征模板，所以得到一个K维的特征向量。S1层中与图像进行卷积的卷积核的计算如式(3)所示。

(3)

其中:X=xcosθ+ysinθ,Y=-xsinθ+ycosθ。θ=0～π，σ=4.5,λ=5.6,γ=0.3与Serre,Wolf和Poggio模型中保持一致。

在S2层进行RBF计算如式(4)所示。

.....K

(4)

3 基于LBP和多层次结构的异质手背静脉身份识别

本文针对多源异质图像的识别这一中心问题，提出了基于LBP和层次结构的异质手背静脉身份识别，首先对多源异质的手背静脉图像进行去噪和归一化的预处理；其次通过归一化LBP算子对手背静脉图像进行编码得到静脉纹理特征图像；然后将静脉纹理特征图像作为多层次结构的输入，多层次结构对输入的纹理特征图像进行特征的提取，得到具有对尺度，平移和旋转具有较高鲁棒性的抽象特征。最后根据类内和类间距离设计不同模板融合的分类器，实现对多源异质的手背静脉进行分析和识别。并且通过对比已有的手背静脉识别算法来对本文提出的视觉模型方法的识别性能进行分析。本文主要结构流程图如图5所示。具体的步骤如下：

(1)将图像进行预处理和去噪，然后用归一化LBP算子编码得到纹理特征图像。

(2)本文中纹理特征的提取采用P=8,R=1的圆形邻域。

(3)将训练图像进行归一化LBP算子编码得到的纹理特征图像对多层结构进行训练得到显著的训练特征模板。

(4)将测试图像进行归一化LBP算子编码得到的纹理特征图像作为多层结构的输入 ，然后对其提取模板与训练模板进行匹配，从而得到具有鲁棒的特征向量。然后对其进行分类识别。

图5 异质手背静脉身份识别流程图

4 实验结果及分析

在本次实验中，为了能充分的证明该算法对异质手背静脉数据的实验结果，使用了3个具有不同参数的设备，分别记为一号，二号，三号设备。这三套设备分别对不同性别的120个人的左右手分类采集，每个人左右手分别采集10张，一共2400张手背静脉图片，格式为bmp，大小为640*480像素，灰阶为256级，水平和垂直分辨率均为96dpi。为了保证采集的手背静脉图像的异质性，设备在采集时不对采集者的采集姿态加以要求和限制，均为自动采集。同时，调大每台设备之间的自身参数的差异性，尽可能增加采集图像的异质性。通过实验对比其他现有手背静脉识别算法对异质手背静脉图像的实验效果，通过得到的识别率对本文提出的视觉模型方法的鲁棒性进行验证。实验时均采用一个设备注册，一个设备识别。实验室采集的实验数据如图6所示。

图6 异质手背静脉图像数据库

实验数据在4GRAM、3.20GHzIntelCPU台式机上进行，采用Matlab2012编程实现。实验时将数据库分为注册样本和测试样本两类。其中，每个手的随机5张图片作为注册样本，剩下的5张作为测试样本。其中1-2表示一号设备采集的图像作为注册样本，二号设备采集的图像作为测试样本。1-3，2-3同理。由于归一化LBP算子编码得到的是局部纹理特征图像，因此合适的图像大小对稳定特征点的提取以及图像的识别率的提高都有一定的影响。故本文对不同大小的手背静脉图像的识别结果进行分析。识别结果如图7所示，其中图7(a)表示不同大小图像的识别率的统计结果，图7(b)表示在不同大小图像的特征提取所需要的时间。

图7 不同大小的异质手背静脉图像的识别结果

从图7中的曲线图可以看出，当图像的维度小于140×140时，由于特征点个数较少，并不能完全表征整个手背静脉图像的特征，虽然提取特征时间短但识别率很低；随着图像维数的增加,识别率逐渐提高，但图像维数过大会造成特征提取时间呈指数倍增加，同时，提取的干扰特征点会越多，错误匹配的概率就会增加从而造成识别率的下降。故本文采用识别率较高且特征提取时间较短的220×220的像素大小。

实验过程中，将标准LBP编码的手背静脉纹理特征图像，归一化LBP编码的手背静脉纹理特征图像和原始手背静脉图像分别作为多层次结构(MS,Multi-layerStructure)的输入，将3种情况得到的异质手背静脉图像的识别结果进行对比，如表1所示。

表1 不同LBP算子之间的对比

通过表1可知，用归一化LBP编码的静脉纹理图像作为多层次结构的输入，达到的识别率均高于用标准LBP编码的静脉纹理图像和原始手背静脉图像作为多层次结构的输入所达到的识别率。然而，用标准LBP编码的静脉纹理图像和原始手背静脉图像分别作为多层次结构的输入，所达到的识别率相当。归一化LBP编码的静脉纹理特征图像减少了高频噪声带来的干扰，对光照强度和微小的旋转具有鲁棒性，不会因为提取的信息不完整而导致在多层次结构特征提取过程中信息的丢失，最终影响识别率的现象。因此归一化LBP编码的静脉纹理特征图相对于标准LBP编码的静脉纹理特征图和原始图像，作为多层次结构的输入更有利于鲁棒特征的提取以及异质手背静脉识别率的提高。与此同时，将本文提出的方法和其他的识别算法的识别结果进行对比，如表2所示。

表2 不同算法的对比

通过表2可以看出，传统的LBP和PCA对于采集的图像的质量要求比较高，故对灰度不均匀或位置偏移比较大的图像识别率就会迅速降低。文献[21]中的DeepLearning算法需要对大量的样本进行训练和学习，且训练时间很长，对于样本数少的异质手背静脉图像达不到想要的学习效果。但是本文算法，融合了LBP编码的纹理特征图像且对该特征图像利用多层次结构进行了进一步学习得到更加鲁棒的抽象特征，对异质手背静脉识别的识别率有较大提高，能达到90.57%。

5 结束语

本文针对多源异质的手背静脉图像提出了基于LBP和多层次结构的异质手背静脉识别方法，利用归一化LBP算子编码得到高频噪声少的异质手背静脉纹理特征图像，作为多层次结构的输入，接着多层次结构对输入的纹理特征进行多方向，多尺度的特征学习，提取具有对平移和方向具有鲁棒性的抽象特征，通过分类识别从而提高异质手背静脉图像的识别率，达到90.57%。通过对比其他现有的算法在异质手背静脉图像的识别结果，本方法的识别率有明显的提高。本文的创新点有：

(1)本文没有直接用像素级的手背静脉图像作为多层次结构的直接输入，而是对图像先进行归一化LBP算子编码得到手背静脉纹理特征图像，从而减少了高频干扰。

(2)采用多层次结构提取的特征能实现对平移，方向和旋转的鲁棒性。

(3)本文将LBP和多层次结构结合起来，比单独使用LBP或多层次结构来进行异质手背图像的识别更有效。

该文提出的多层次结构是对大脑初级视觉皮层对视觉信息的加工处理过程的模拟。计算机方法是一种前向型信息处理过程，不涉及大脑对视觉任务的反馈和干预。这与日常生活中我们在进行对物体分类和识别活动时调动了大脑的许多功能，例如记忆、联想等有所不同。该模型仅仅负责人类视觉活动的前期工作，识别能力与人类相比仍有较大差距。随着神经，心理科学的发展，可以更准确的模拟人类的视觉感知。

[1]IzumiAkitoshi,UeshigeYoshifumi,SakuraiKouichi.AproposalofefficientschemeofkeymanagementusingID-basedencryptionandbiometrics[A].MultimediaandUbiquitousEngineering, 2007.MUE’07.InternationalConferenceon[C]. 2007: 29-34.

[2]ChenL,ZhangHJ.Researchonhighlyeffectiveidentityauthenticationandkeyagreementprotocolanditssecurityproperties[J].ICICExpressLetters,PartB:Applications, 2012, 6(33): 655-660. (inChinese).

[3] 张克伟, 白书超, 杨光露. 基于智能卡和指纹识别的双因素身份认证研究[J]. 价值工程, 2015(32): 195-197.

[4]WangYD,LiKF,LikShark,etal.Hand-DorsaVeinRecognitionBasedonCodedandWeightedPartitionLocalBinaryPatterns[A].Hand-BasedBiometrics(ICHB), 2011InternationalConferenceon[C].IEEE, 2011:1-5. (inChinese).

[5] 辜小花. 基于视觉感知和边缘保持的光照不变人脸识别[J]. 电子学报, 2013(8): 1500-1505.

[6]HilalA,DayaB,BeauseroyP.Improvedirisrecognitionusingparabolicnormalizationandmulti-layerperceptronneuralnetwork[A].IJCCI2012 -Proceedingsofthe4thInternationalJointConferenceonComputationalIntelligence[C]. 2012: 643-646.

[7] 罗西平, 田 捷. 自动指纹识别中的图像增强和细节匹配算法[J]. 软件学报, 2002, 13(5): 946-956.

[8]WuK.S,LeeJ.C,LoT.M,etal.Asecurepalmveinrecognitionsystem[J].JournalofSystems&Software, 2013, 86(11): 2870-2876.

[9] 胡学友. 手背静脉图像增强和分割方法[J]. 电脑知识与技术, 2014(21): 5080-5082.

[10] 王保平, 刘升虎, 范九伦, 等. 基于模糊熵的自适应图像多层次模糊增强算法[J]. 电子学报, 2005, 33(4):730-734.

[11] 王 振, 高茂庭. 基于卷积神经网络的图像识别算法设计与实现[J]. 现代计算机, 2015(20).

[12] 汤毓婧. 基于人脑视觉感知机理的分类与识别研究[D]. 南京：南京理工大学, 2009.

[13] 许 静. 基于稀疏表示的图像识别[D]. 西安：西安电子科技大学, 2011.

[14] 赵 宇. 基于稀疏编码的人脸图像识别方法研究[J]. 中国科技信息, 2014(19): 99-99.

[15] 樊 星. 基于深度学习的多形态人脸识别[D]. 大连：大连理工大学, 2015.

[16] 刘 京. 异质虹膜图像的鲁棒识别[D]. 北京：中国科学技术大学, 2014.

[17]OjalaT,PietikäinenM,andMäenpääT.Multiresolutiongray-scaleandrotationinvarianttextureclassificationwithlocalbinarypatterns[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2002, 7(24): 971-987.

[18]RiesenhuberM,PoggioT.Hierarchicalmodelsofobjectrecognitionincortex[J].Nat.Neurosci, 1999, 2(11): 1019-1025.

[19]MaximilianRiesenhuber.HMAX[EB/OL].http: //maxlab.Neuro.Georgetown.edu/hmax/.

[20]SerreT,WolfL,PoggioT.Objectrecognitionwithfeaturesinspiredbyvisualcortex[J].ComputerVisionandPatternRecognition, 2005, 1(2): 994-1000.

[21]HintonG.E,OsinderoS.,AfastlearningalgorithmfordeepbeliefnetsNeuralComputation[J],NeuralComputation, 2006, 18(7): 1527-155.

Identity Recognition of Heterogeneous Dorsal Hand Vein Based on LBP and Multi-Layer Structure

Wang Yiding，Huang Shouyan

(School of Electronic Information Engineering, North China University of Technology, Beijing 100144, China)

Study on identity recognition of the multi-source heterogeneity dorsal hand vein heterogeneity images, recognition algorithm based on LBP and multi-layer structure is put forward. At first, the images are preprocessed, and then the texture feature images of dorsal hand vein coded by the LBP feature extraction algorithm are used as the input of the multi-layer structure, Through layer by layer feature extraction of multi-layer structure from the concrete to the abstract, the features have greater robustness. Finally, the recognition rate of this algorithm is higher than that of the traditional algorithm, and the recognition rate is 96.57%. Further, it shows that the algorithm can effectively solve the problem of the low recognition rate of the dorsal hand vein recognition caused by multi-source heterogeneous problem.

multi-source heterogeneity; dorsal hand vein; LBP; visual information processing; multi-layer structure; recognition

2016-09-27；

2016-11-02。

国家自然科学基金项目(61271368)；北京市自然科学基金重点项目(KZ201410009012)。

王一丁(1967-)，男，北京市人，教授，硕士研究生导师，主要从事图像处理与智能识别方向的研究。

1671-4598(2017)03-0134-06

10.16526/j.cnki.11-4762/tp.2017.03.037

TP391.4

A