基于局部宏观结构和微观特征融合的手指静脉识别算法*

程申前，游 林

（杭州电子科技大学 通信工程学院，浙江 杭州 310018）

0 引 言

在大数据（Big Data）、云计算（Cloud Computing）等高新技术的推动下，人类进入了万物互联的数据时代。海量数据的交互和私密信息的云端存储，导致个体对身份认证的需求不断增加。传统的身份认证体系一般采用密码作为判断条件，但在使用过程中，过短的密码容易被黑客暴力破解而造成错误授权、数据丢失等安全性问题。此外，过于复杂的密码因为难以记忆而导致用户体验下降，即使使用介质存储也会造成用户认证不便。因此，传统的身份认证系统存在用户日益增长的认证安全性需求和复杂且不便捷的认证方式之间的矛盾。为了克服基于密码认证的缺陷，基于具有唯一性以及不可复制或转移的生物特征的用户认证方法成为了替代传统认证方案的最佳选择。在现有的生物特征识别技术[1-2]中，手指静脉识别技术[3-6]具有很强的普遍性和适用性，采集设备属于非接触式类型，且造价十分低廉，用户和制造商都十分容易接受。同时，相对目前主流的指纹和人脸识别技术，手指静脉识别技术具有很好的活体特性。所以，手指静脉特征很难被伪造，安全性极高。手指静脉识别在安全性和易用性上的优越性，使其具有很大的应用场景和发展空间，必将成为未来生物认证的主流识别技术。

典型的手指静脉识别系统一般包含如下基本步骤：图像采集、手指区域提取、预处理、特征提取以及匹配。其中，特征提取方法直接影响静脉识别的准确度，也导致了静脉识别的特征提取方法的多样性[7-16]。编码特征[7-11]不需要获取静脉纹路，只要使用ROI图像即可进行特征提取，所以基于编码特征的手指静脉识别算法简单高效，使其成为手指静脉识别中的一类重要特征。

局部二值模式（Local Binary Pattern，LBP）是一种在灰度变化范围内有效的纹理描述算子。LBP算子在1996年由Timo Ojala等[7]最早提出，并在2002年首次被用来表征静脉图形特征信息[8]，获得了较为理想的结果。局部二值模式是最常见的一种高效局部纹理描述算子。使用LBP算子提取静脉特征时不需要细化和分割图像，具有良好的灰度变化鲁棒性和旋转不变性。Timo Ojala等人[8]发现，同一标准下的LBP模式LBPN,R中，有些LBP编码出现的频率显著高于其他编码值，所以有理由推断出现概率高的模式包含有图像更多的局部纹理特征。基于上述分析，研究者建议采用原始LBP模式的一些子集来描述图像纹理，即所谓的归一化LBP算子当图像发生旋转时，某中心像素点周围邻域内像素也会发生变化，从而引起LBP模式的改变（全为0或者全为1的LBP模式除外）。为了消除图像旋转带来的变化影响，Timo Ojala等人[8-9]提出了一种旋转不变的LBP算子LBPriN,R。旋转不变LBP算子在N增加到很大时，旋转不变的性能受到影响。为了提高其性能并进一步降低其特征维数，Timo Ojala[9]等人在LBPN,R、算子的基础上，提出了旋转不变归一化LBP算子

之后，一些LBP算子的改进算子也因为不同的侧重问题而被提出。多尺度块局部二值模式[10-11]（Multi-scale Block Local Binary Pattern，MB-LBP）是对传统局部二值模式（Local Binary Patter，LBP）算法的改进，因为原始LBP缺乏对图像局部结构的描述能力。MB-LBP的基本思想是将原始LBP算法元素间的简单差分规则转换为编码矩形区域。为了对矩形区域进行编码，用平均灰度值来表征每个矩形块，即利用图像局部结构特征，得到了更加全面的图像信息。MB-LBP采用局部平滑的方式，可能会引起一部分特征信息的损失，但是降低了对噪声的敏感性。MB-LBP有大尺度结构的描述能力，但随之带来了计算复杂度和计算量的增加，且特征维数很高。中心对称局部二值模式[12]（Center-Symmetric Local Binary Pattern，CS-LBP）被提出，以用来降低原始LBP模式维度过高而无法进行应用的问题。不同于比较每个邻域内元素与中心像素点的差异，CS-LBP只关心中心对称的邻域像素点之间的差异，减少了对中心像素点的重复比较过程。CS-LBP模式的特征维度较LBP小很多，使得该算法的信息处理速度得到显著提升，同时具有更强的抗噪能力。然而，该算法同LBP算子一样，只是比较相邻像素点之间的差异，对局部结构的表征能力不足。

为了解决上述问题，本文提出了一种新的描述算子——局部宏观结构和微观特征融合的局部二元模式（Local Binary Pattern based on Local Macrostructure and Microfeature Fusion，LMMFLBP），对ROI图像进行编码完成特征提取。之后，本文提出了一种新型的基于加权分块LMMF-LBP算子的手指静脉识别算法，即基于LMMF-WPLBP的手指静脉识别算法。具体是将图像进行分块，并使用加权模板以突出图像显著特征，同时抑制其余不显著特征。实验表明，提出的算法对静脉信息的表征能力更强，鲁棒性更好，能够进一步提高身份认证的精度和速度。

1 局部宏观结构和微观特征融合的局部二元模式（LMMF-LBP）

类似LBP、CS-LBP等算子都是基于单像素之间的比较，只能反映相邻像素点之间的灰度变化，对于图像的噪声比较敏感，缺乏对局部结构的表征。而类似MB-LBP算子虽然可以描述局部宏观结构，但是因为使用矩形区域的平均灰度值导致了图像特征信息的丢失，而这种信息丢失对于本身特征不丰富的指静脉图像来说是不能接受的。为了解决LBP模式存在维数过高、改进的LBP模式不能兼顾表征细节特征信息和局部宏观结构的问题，基于已有的改进LBP算子，提出了一种新的描述算子——局部宏观结构和微观特征融合的局部二元模式LMMFLBP。

这里选取图像上的某个像素点作为中心像素点来描述LMMF-LBP算子，具体步骤如下。

（1）获取中心像素点的局部宏观结构信息。选择以中心像素点为中心的s×s邻域区域作为要覆盖的局部宏观区域，并将该区域等分为9大块，将中心像素点所在区域相邻的8个区域的灰度平均值定义为BlockAveragei(i=0,…,7)，具体求解为：

式中，Pixelk表示第i个区块内第k个像素点的灰度值。

该中心像素点的局部宏观结构编码MacrostructureLocal求解如下：

（2）获取中心像素点的微观特征信息。选取该中心像素点周围的8个邻域像素点，定义第i个像素点的灰度值为Pixeli(i=0,…,7)。该中心像素点的微观特征信息编码Macrostructure求解如下：

（3）将步骤（1）和步骤（2）分别得到的局部宏观结构编码MacrostructureLocal和微观特征信息编码Macrostructure进行串接，得到8位的局部二值模式。串接方式如下：

（4）对串接得到的LMMF-LBPConnection算子进行旋转不变归一化处理。使用该算子得到的直方图特征维数为256（28）。因为维度过高会增加计算复杂度，影响图像识别效率，所以对该算子进行旋转不变以及归一化处理。使用式（6）对LMMFLBPConnection算子实现旋转不变处理得到LMMF-LBPri算子：

为了方便叙述，这里设8位的LMMF-LBPri编码第t位上的数值为Binaryt(t=0,1,…,7)。用式（7）和式（8）对LMMF-LBPri算子实现归一化处理，得到旋转不变归一化的LMMF-LBPriu2算子（为简洁表示也记作LMMF-LBP算子）：

图1显示了尺度s=15时，LMMF-LBPriu2编码的形成过程。

图1 LMMF-LBP riu2编码过程

2 基于LMMF-WPLBP的手指静脉识别算法

第1章节已经得到可以兼顾局部宏观结构和微观特征的LMMF-LBP描述子，但是因为该算子描述静脉图像信息的特征维数为10，如果直接对提取的ROI区域进行表征，会因为特征维数较小而降低手指静脉识别算法的识别率。因此，提出了基于加权分块的LMMF-LBP手指静脉算法，即基于LMMF-WPLBP的手指静脉识别算法。

2.1 基于分块的LMMF-LBP算法

（1）对提取的ROI区域分块，将ROI区域分为M×N个子块。这里，分块大小的选择对最终识别准确性有着重大影响。如果分块太少，则无法提高LMMF-LBP维度，导致静脉图像的类间差别减小；如果分块太多，又会因为维度过高增加计算量，影响识别效率。因此，选取将ROI区域分为2×4块，分块示意如图2所示。

图2 ROI区域2×4分块

（2）从每块子图中提取LMMF-LBP特征，并统计得到的局部直方图，如图3所示（第一个矩形子块的LMMF-LBP直方图）。

图3 第一个矩形子块的LMMF-LBP直方图

将所有子图的直方图进行连接，得到完整的LMMF-PLBP直方图，即共有8×10个特征向量来表征整个ROI区域图像。图2中分块ROI区域图像对应的LMMF-PLBP直方图如图4所示，该直方图的包络折线图如图5所示。

2.2 基于加权的LMMF-PLBP算法

从图3可以发现，二进制模式3～7较其他二进制模式出现的概率更高，其他子块的重复实验也证明了二进制模式3～7的出现概率占比约90%。这说明这五类特征属于ROI区域图像的显著特征。对未分块的ROI区域提取LMMF-LBP特征，如图6所示，其中图6（a）为原始ROI区域，图6（b）为LMMF-LBP编码后的ROI区域图像。图7为10种LMMF-LBPriu2编码下的特征图。

图4 LMMF-PLBP直方图（80维）

图5 LMMF-PLBP折线图（80维）

图6 LMMF-LBP编码后的ROI图像

图7 不同LMMF-LBP riu2下的特征图像

从图7可以直观看出，模式3～7所包含的信息明显多于其他模式，其余模式则几乎不包含纹理特征信息。所以，根据不同LMMF-LBP对ROI区域纹理信息所做的贡献，可以利用加权的方式，突出较为显著的特征，并抑制不够明显的特征。这样可以在近乎不丢失显著特征信息的前提下，降低LMMF-PLBP特征的维数，从而减少不必要的计算量，提高识别效率。

为了达到突出显著特征的同时抑制其余非明显特征的目的，可以建立一个加权模板来选择已确定的显著特征。基于加权的LMMF-PLBP直方图定义为：

其中，Hi(i=0,1,…,7)为8个子图的LMMF-LBP直方图；W用来突出显著特征的加权模板，定义为：

后续实验中，令wi=1(i=0,1,…,9)表示筛选出的需要突出的LMMF-LBP特征，令wi=1(i=0,1,…,9)表示要忽略的LMMF-LBP特征。

根据上述内容，如果要通过加权方式对生成的LMMF-PLBP直方图降维，则应该让显著特征的权重为1，即wi=1(i=3～7)，并让其余特征权重设为0。经过上述处理会生成特征维数为40的基于加权的LMMF-PLBP直方图（记作LMMF-WPLBP直方图）。这样在ROI区域的特征信息丢失微小的情况下，原本80维的LMMF-PLBP特征转换成40维的LMMF-WPLBP特征。

生成的LMMF-WPLBP直方图和LMMFWPLBP直方图的包络折线图分别如图8、图9所示。

图8 LMMF-WPLBP直方图（40维）

图9 LMMF-WPLBP折线图（40维）

2.3 LMMF-WPLBP直方图用于手指静脉识别

一幅手指静脉ROI区域图像，经过LMMFWPLBP编码后得到了LMMF-WPLBP直方图。假设数据库的手指静脉图像的ROI区域经过编码后的直方图为HistogramWeightingA，新采集的一幅图像的ROI区域经过编码后的直方图为HistogramWeightingB。通过欧式距离度量两个直方图的相似度，具体方法为：

式中，HistogramWeightingA(i)和HistogramWeightingB(i)分别表示对应直方图中第i个维度上的特征值，L则表示直方图的特征维数。

3 实验结果与分析

3.1 实验环境

本部分的实验是为了验证提出的基于LMMFWPLBP编码的手指静脉识别算法的性能。图像处理算法和识别算法是基于Python开发的，硬件配置如表1所示。

表1 实验硬件配置信息

3.2 基于LMMF-WPLBP编码的手指静脉识别算法的验证

本实验使用山东大学采集建立的SDUMLA-FV数据库[13]。该数据库共收集了106组样本，每组样本包含左右手指的食指、中指和无名指的手指静脉采集图像各6幅，即相当于收集了636个手指，每个手指采集6幅图片。手指静脉图像大小为320×240，手指为水平摆放。研究中提出的基于LMMF-WPLBP编码的手指静脉识别算法将会在辨别模式和验证模式下进行验证。

3.2.1 辨别模式下的算法验证

辨别模式是指工作在1: N的状态，即对于给定的手指静脉图像，令其和手指静脉数据库中所有的模板图像一一对比，选取相似度得分最高且超过给定阈值的模板为识别结果。辨别模式适用于准确判断某一用户是否存在于已注册用户数据库中。若存在，进一步确定该用户是哪一位注册用户的场景。

在辨识模式实验中，尝试判断一幅采集的手指静脉图像所属的类别。在每根手指的6幅图像中，随机选取一幅图像作为模板，剩下的5幅图像作为试样图像。这样共有636幅模板图像和3 180（636×5）幅试样图像。每一幅试样图像要和所有的模板图像进行匹配，取与该试样图像相似度得分最大的模板图像作为识别结果完成一次测试。重复上述步骤，得到每一幅试样图像的匹配结果。最终的辨别模式验证结果，如表2所示。

表2 基于LMMF-WPLBP的手指静脉识别准确率

由表2结果可以看到，基于改进的采集和处理方法以及LMMF-WPLBP手指静脉识别算法的身份认证系统，在1: N的辨别模式下识别率为98.11%，且识别速度小于0.793 s。这表明本文提出的算法对于手指静脉身份认证性能的提高是有效的。

3.2.2 验证模式下的算法验证

验证模式是指工作在1:1的状态，即对于给定的手指静脉图像，判断它与某一幅手指静脉图像是否匹配。验证模式适用于准确判断某一用户是否为某一位手指静脉数据库中已注册用户的场景。

在验证模式实验中，在同源比较和异源比较时，每根手指的6幅图像均被使用。因此，共有9 540（636×6×5/2）次同源比较和7 269 480（636×6×6/2）次异源比较。

验证模式下，计算给定手指静脉图像的LMMFWPLBP直方图与某一幅图像的LMMF-WPLBP直方图相似度。如果相似度小于阈值SimilarityT，则判断为匹配；否则，不匹配。阈值SimilarityT的设定需要根据交叉匹配得出的直方图相似度分布来进行设置。

图10展示的是交叉匹配得到的手指静脉图像与静脉模板之间的LMMF-WPLBP直方图相似度分布。实线部分是相同手指间静脉样本和模板的LMMFWPLBP直方图相似度分布，虚线部分是不同手指间静脉样本和模板的LMMF-WPLBP直方图相似度分布。

图10 交叉识别产生的LMMF-WPLBP直方图相似度的分布

从图10可以看出，相同手指间静脉样本与模板的LMMF-WPLBP直方图相似度以超过98%的比例分布在区间[0.78，096]上，超过60%的数据集中分布在区间[0.86，0.93]上。而不同手指间静脉样本与模板的LMMF-WPLBP直方图相似度以超过98%的比例分布在区间[0.61，0.83]上，超过60%的数据集中分布在了区间[0.65，0.76]上。实线和虚线的交叉重叠区域很少，且集中分布的数据区间也有很大差别。这说明基于LMMF-WPLBP编码的手指静脉识别算法可以准确有效地区分匹配和不匹配的情况。图10中实线和虚线交叉的区间是[0.76，0.84]，将该区间的图像放大，如图11所示。显然，相似度阈值SimilarityT的取值范围应该是[0.76，0.84]。

图11 交叉识别产生的LMMF-WPLBP直方图相似度的分布（局部）

在这里引入误识率（False Acceptance Rate，FAR）和拒真率（False Rejection Rate，FRR）两个指标，定义分别如下：

其中NumberDiff为不同手指的静脉图像之间进行匹配的总次数，也就是异源匹配的次数；NumberErrorDiff为将本来不匹配的图像误判为匹配的次数；NumberSame为同一根手指的静脉图像之间进行匹配的总次数，也就是同源匹配的次数；NumberErrorSame为将本来匹配的图像误判为不匹配的次数。

分别用误识率和拒真率作为横纵坐标来绘制基于LMMF-WPLBP编码的手指静脉识别算法的错误率曲线，如图12所示。

图12 基于LMMF-WPLBP手指静脉识别算法的ROC曲线

图12 中，曲线与直线Y=X的交点对应的坐标值被称为该算法的等错误率（Equal Error Rate，ERR），是用于评价生物特征识别算法的一个重要指标。根据图12可以得到，基于LMMF-WPLBP编码的手指静脉识别算法的EER为1.91%，如表3所示。

表3 本研究中身份认证系统的EER及其对应的相似度阈值

当相似度阈值SimilarityT左移时，该算法会将更多的不匹配判定为匹配，但同时也将更少的匹配判定为不匹配，即当相似度阈值SimilarityT变小时，该算法的误识率会升高，但是拒真率会下降。反之，当相似度阈值SimilarityT变大时，手指静脉识别算法的误识率会下降，但同时拒真率也会上升。EER处对应的相似度阈值SimilarityT是0.817 8，此时基于LMMF-WPLBP编码的手指静脉识别算法以最小的总错误率区分匹配和不匹配的情况。可见，在实际应用中，设计者需要根据不同的应用场景，平衡系统的安全性和用户的可用性之间的关系，设置一个合适的相似度阈值SimilarityT用于识别。

3.3 基于LMMF-WPLBP编码的手指静脉识别算法的性能评价

根据3.2小节算法辨别实验的验证结果，本研究设计的基于手指静脉身份认证系统的识别率可以达到98.11%，可满足生物特征识别系统对识别率这一项的性能要求。根据3.2小节算法验证实验的验证结果，设计的基于LMMF-WPLBP手指静脉识别算法的身份认证系统的等错误率为1.91%。

本部分提出四个实验以进一步评价所提出的LMMF-WPLBP手指静脉识别算法的性能，具体实验结果和分析如下。

3.3.1 LMMF-WPLBP与不同LBP算子的识别效果比较实验

本实验对比了使用不同LBP算子特征提取方法的手指静脉算法的识别效果，将基于LMMFWPLBP的手指静脉识别算法同基于LBP、CSLBP、MB-LBP以及LMMF-PLBP的手指静脉识别算法进行对比，得到的实验结果如表4、图13所示。

表4 不同手指静脉识别算法的EER结果

图13 不同手指静脉识别算法的ROC曲线

3.3.2 LMMF-WPLBP手指静脉算法与其他文献方法的对比

列出了国内外一些文献中不同手指静脉算法的EER的统计结果，如表5所示。

表5 常见手指静脉识别算法的EER统计结果

3.3.3 训练样本数对识别准确率的影响实验

对于基于LBP算子的手指静脉识别算法，训练样本的数量对算法的识别性能会产生影响。将LMMF-WPLBP与4种基于LBP的方法进行对比，改变训练样本数量SampleNumber（简记为SN），统计各个方法对应的识别率，结果如表6、图14所示。

表6 不同算法在不同数目训练样本下的识别率对比

图14 不同算法在不同数量训练样本下对应的识别率

3.3.4 LMMF-WPLBP手指静脉算法运行耗时实验

高效性也是手指静脉识别的一个重要性能指标。本研究中的手指静脉识别算法在完成包括边缘检测、ROI提取、生成LMMF-WPLBP直方图特征和识别的全部流程耗时小于0.8 s，完全可以满足手指静脉识别系统的实用要求。手指静脉身份认证系统各个阶段功能的耗时如表7所示。

表7 手指静脉身份认证系统各个阶段耗时

对比图表数据可以看出，本部分设计的基于LMMF-WPLBP编码的手指静脉识别算法具有较为优秀的性能，基于本研究算法设计的身份认证系统效果表现良好。

4 结 语

（1）使用纹理特征来表征提取好的ROI区域图像以完成手指静脉识别。针对LBP编码以及其改进模式在描述手指静脉图像纹理时无法兼顾局部宏观结构和微观特征的缺陷，提出了一种局部宏观结构和微观特征融合的局部二元模式LMMF-LBP，能够更准确地描述静脉信息，有较强的鲁棒性。之后，在考虑到实际应用中特征维数过高带来的计算量问题时，提出了一种新型的基于加权分块LMMF-LBP算子的手指静脉识别算法。

（2）通过实验得出，该手指静脉识别算法在辨别模式下的识别准确率为98.11%，在验证模式下的EER为1.91%，且算法整体运行耗时小于0.8 s。由此，本文提出的基于LMMF-WPLBP算子的手指静脉识别算法具有比较优秀的性能表现，完全满足生产、生活中手指静脉识别系统的性能需要。