手指静脉图像感兴趣区域提取研究综述

王一凡，鲁慧民，高若然，李 阳

长春工业大学 计算机科学与工程学院，长春130102

在生物信息识别领域，识别系统的安全性与便利性是至关重要的，并且还必须具备高准确度与高识别速率。目前主流的生物特征识别技术主要有指纹识别、脸部识别、声音识别、虹膜识别、步态识别等，但它们均有一定的缺陷，如易伪造、生物特征不稳定等。2000 年，Kono 等人[1]提出了一种新的利用手指静脉纹路进行个体识别的方法，很好地解决了这些问题。

手指静脉识别是一种基于生物生理特征的身份识别技术，手指被近红外光（波长700～1 000 nm）照射后，由于静脉血液中的血红蛋白会比邻近组织吸收更多的近红外光而产生阴影，从而形成了静脉图像[2]。对比其他生物识别技术，指静脉识别具有十分明显的优势：活体识别，指静脉图像只能在人类活体上获得；唯一性：每个人的手指静脉纹路是独一无二的；稳定性，每个人的指静脉特征分布在成年后终生不变；安全性，手指静脉分布在皮肤之下且纹路复杂度较高，难伪造。因此近年来，指静脉识别凭借其优势引起了学术界与工业界的广泛关注并取得了巨大发展。

一般来说，指静脉识别包括图像采集、预处理、特征提取与匹配认证四个步骤[3]。在指静脉识别研究中，许多特征提取的方法如最大曲率法[4]、重复线跟踪法[5]、宽限检测器[6]、Gober-filter[7]等被提出，但无论使用哪一种特征提取方法，由于指静脉采集设备不同、手指位移与旋转，以及光照等因素，会导致同一个体的手指采集出的静脉图像不同。此外，全球爆发的疫情将公共卫生安全问题上升至前所未有的高度，识别时要尽量避免人员触摸，实现无接触识别，则无约束手指采集到的图像会存在更大误差，从而引起匹配识别性能下降。针对此类问题，一般通过预处理操作进行解决，主要分为感兴趣区域提取、静脉图像增强、静脉图像归一化三个步骤，而感兴趣区域的准确提取又是静脉图像增强和归一化的前提。

在图像处理领域，感兴趣区域（Region of Interest，ROI）是从图像中提取的一个目标区域，该区域是后续进行图像分析所关注的重点。使用ROI 定位来确定所需要目标区域可以减少处理时间，提高识别精度。一般地，ROI 定位是以方框、圆、椭圆、不规则多边形等方式在原始图像上进行确定，借助ROI定位对静脉区域进行提取可以有效减少同一个体不同条件下采集的指静脉之间的差异，提高识别系统的性能。

目前，并未有综述性文章对此类工作进行梳理。本文第1 章从商业角度与科研角度分析对比了指静脉采集设备的优缺点，并对已有的商业产品与科研用采集设备进行了汇总；第2章梳理总结了指静脉研究使用的公共数据集；第3 章介绍了指静脉图像预处理工作，重点论述了手指静脉图像ROI提取的相关理论与方法，并对水平参考线搜索、图像矫正、垂直参考线搜索三个步骤的代表性方法进行了详细评述；第4 章与第5 章概述了指静脉识别中的特征提取与匹配认证工作；第6章对本文工作进行总结，并对未来研究进行展望。

1 指静脉图像采集设备

图像采集作为手指静脉识别的第一步是至关重要的，采集出的图像质量直接影响手指静脉识别的准确度。由于采集设备与采集条件不同，手指大小与位置不同或发生了旋转与形变等一系列影响识别的问题，使得需要对采集到的图像进行预处理操作。

在进行图像采集时使用近红外光照射手指，静脉中的血红蛋白吸收了大量近红外光，静脉纹路的灰度值低于非静脉区域，致使手指内的静脉纹路更加突出，其横剖面呈谷状。光照射方式对于采集设备能否获取高质量的图像起着至关重要的作用。通常，光照方式可以分为两类：反射式（图1（a））和透射式（图1（b））。反射式的设备因其采集的图像质量差、功耗大等缺点而未得到广泛应用，透射式的设备可以得到高对比度的图像，质量较好，因此目前大多数采集设备使用该方式。透射式可进一步划分为顶部穿透（顶透）式（图1（c））与侧部穿透（侧透）式（图1（d））。顶透采集设备，发光二极管置于手指上方，摄像机置于手指下方；侧透式采集设备，发光二极管置于手指两侧，摄像机同样置于手指下方。观察两种方式采集出的图像，顶透式采集到的图像静脉区域与邻近组织对比度更高，相应的手指区域与背景区域的对比度也更高，图像质量更好。但在被采集者可接受度方面，侧透式可以允许手指处于一个可直接观察的状态，减少了被采集者因手指处于封闭状态下而产生的抵触情绪。

图1 光照方式

指静脉识别技术在20 世纪90 年代兴起于日本，如今许多技术与产品已经成熟，韩国及一些欧美国家在该领域也有许多产品。2000 年后，我国高校、研究所、企业等开始对指静脉技术进行研究，虽起步较晚，但发展十分迅速[8]，近年来，部分国内公司的技术产品已达到世界前列水平。国内产品大多为顶透式，这样可以获得更高质量的指静脉图像，从而得到更好的识别性能。图2展示了国内外代表性商用指静脉识别产品，表1 展示了商用指静脉识别产品在硬件和组件设计方面的特性。

表1 国内外部分商用手指静脉识别产品特性

图2 国内外商用指静脉识别产品

研究发现，为得到质量高的图像，科研人员所设计的采集设备绝大多数使用顶透式，相比商用指静脉采集设备，其结构和传感器的种类更加多样化，整体体积也更加庞大且成像原理多种多样，例如近红外成像、激光成像、热成像、水纹-声波成像等。表2展示了科研人员设计的指静脉图像采集设备在硬件和组件方面的特性[9-21]，图3展示了科研人员所设计的采集设备。

图3 科学研究使用的采集设备

表2 部分科研人员开发的手指静脉图像采集设备特性

2 指静脉图像公共数据集

为使科研人员可以在指静脉识别领域顺利开展研究，许多优秀的国内外研究机构制作并公开发布了指静脉图像数据集。2010年，山东大学尹义龙教授团队发布的多模态特征数据集SDUMLA-HMT[22]，香港理工大学Kumar 等人[23]发布的指静脉数据集HKPU-FV，2013 年特文特大学发布的指静脉数据集UTFVP[10]，同年韩国全北国立大学Lu等人[16]发布的指静脉数据集MMCBNU_6000，马来西亚理工大学发布的指静脉数据集FVUSM[24]，2014 年瑞士Idiap 研究所发布的指静脉数据集VERA[25]，同年北京大学发布的THU-FV数据集[26]。2017年，萨尔茨堡大学发布了一个多模态生物特征数据集PMMDB-FV[27]，并在后续发布了新的指静脉数据集PLUSVein-FV3[28]。表3 总结了各个指静脉图像数据集的详细信息，其中UTFVP 与FV-USM 数据集相对来说图像质量较高，SDUMLA-HMT 数据集存在复杂的背景，HKPU-FV 数据集存在大量的光照不均匀因素。这些数据集涵盖了在各种不同情况下采集的图像，这为手指静脉识别相关研究工作在实际应用场景中是否具备有效、高效、鲁棒的性能，提供了很好的验证数据基础，图4展示了部分数据集不同的指静脉图像。

图4 部分指静脉数据集

表3 指静脉数据集详细信息

3 指静脉图像预处理

3.1 指静脉图像ROI提取

采集的图像包含背景区域和有价值的手指区域，被用来当作特征提取关键部位的手指区域即指静脉图像ROI。ROI 提取即是从图像中分割出识别所需要的区域，并删除其余区域，实现在增大不同个体间静脉区域差异的同时，减小同一个体不同条件采集的静脉区域的差异。通常，指静脉图像ROI 提取分为水平参考线搜索、手指形变、旋转的矫正与垂直参考线搜索三个步骤，利用水平参考线与垂直参考线及矫正后的图像提取出所需要的指静脉图像ROI。

3.1.1 水平参考线搜索

手指静脉图像ROI 提取的第一步往往是寻找手指边缘，由此得到水平方向上的参考线，确定手指区域部分，为下一步的图像矫正提供基础。手指边缘提取方法可分为四种：

（1）基于固定窗口的提取方法。Wang 等人[29]通过计算手指质心，并利用手指轮廓最大水平外切线分割出手指区域；Rosdi等人[30]使用OTSU[31]方法对手指静脉图像进行二值化，然后定位二值化图像中手指区域中心点，选择一个尺寸为480×160大小的固定窗口作为ROI；Yang等人[32]先采用预定的固定大小窗口去除部分背景，然后利用关节腔定义一个固定大小的窗口作为ROI；Ahmad 等人[33]计算手指中心并将指静脉图像裁剪得到一个70×130 区域作为手指ROI。此类方法预定义的窗口大小通常是固定的，这就决定了其不能适应图像的各种变化，但由于所需时间最少，因此该类方法配合特殊的图像采集方式，可以在兼顾图像质量的同时达到对手指区域的准确提取。

（2）基于阈值的提取方法。Kumar 等人[23]利用230固定阈值得到二值图像，从二值化图像中减去利用Sobel 算子得到的二值边缘图像，然后做连通域分析得到掩膜，实现手指区域分割；Brindha等人[34]对图像进行二值化处理，并对得到的二值化图像进行开闭操作，得到完整的手指区域掩膜；Gupta 等人[35]利用全局阈值得到二值化图像，并运用形态学操作获取完整边缘，最终得到手指区域掩膜；文献[36]提出采用Kapur 熵阈值法分割出手指区域。理想情况下，手指区域的像素值均高或低于背景区域，但实际上由于不同采集设备的光照条件不同，很难避免手指局部区域像素值分布与背景区域相似。虽然此类方法并不鲁棒，但若对某固定采集设备使用固定阈值，则该类方法将十分简单高效。

（3）基于掩膜的提取方法。Lee 等人[37]将图像分为上下两部分，设计两个水平边缘检测掩膜分别对图像进行卷积操作，选择最大响应值作为手指边缘；Lu 等人[38]受文献[37]启发，对水平Pweett算子进行扩展，再利用方向角修正错误边缘得到完整的手指边缘；Wang等人[39]结合文献[37]中提出的算子和Sobel 算子进行边缘检测，并对得到的边缘做连通域分析，去除长度小于一定阈值的线段；Yang 等人[26]提出了一种新的边缘检测算子，并配合硬件设施上的控制点对ROI进行定位；Song等人[40]利用Laplace 算子检测边缘，并使用平均曲率对手指边缘进行补全；Wang 等人[41]对水平Sobel 算子进行扩展，将指静脉图像分为上下两部分，分别进行卷积，利用最大响应值作为手指边缘。许多边缘提取算子对噪点十分敏感，而不同设备采集的图像背景区域的噪声分布均具有很大差异，易将噪声作为最大响应，检测出错误的边缘。一般，在利用边缘检测算子来检测手指边缘时，使用均值滤波或高斯滤波等方法对采集到的图像进行去噪处理，以此提高边缘检测精度。

（4）基于精细边缘检测的提取方法。Yang等人[42]结合超像素方法与硬件对手指边缘进行检测；Yao 等人[43]首次将Kirsch 边缘检测器引入指静脉边缘搜索分割得到较完整的手指区域。此类方法通过进一步对提取到的边缘进行处理，得到较完整的手指区域，因此该类方法分割精度最高，但定制化的精细处理鲁棒性较差，且提取效率较低。

以上四种手指区域提取方法适用于不同的使用场景：若使用固定窗口方法或阈值法，结合特定的采集设备，可以在保证质量的同时实现快速采集；基于掩膜的方法主要使用各类梯度算子及其改进算子，提取时间花费较少，但易受到各种噪声的影响；当对手指区域分割精度有较高要求时，可使用精细边缘检测方法，虽需要花费较长时间，但随着计算机算力的不断提升，此类方法的时间成本也大大降低。随着应用场景的多变，许多方法无法从采集到的图像中直接获取手指区域，需对手指边缘进一步处理，因此精细化边缘提取方法将会是未来主要的发展趋势。

一部分研究者通过手指边缘检测对手指区域进行分割，利用分割后的图像作为ROI，增强了不同个体间静脉区域的差异，但无法解决手指形变与旋转等问题。因此另一部分研究者将手指边缘最小内切线作为水平方向分割参考线的同时，利用检测到的边缘继续进行静脉图像矫正与垂直方向分割参考线搜索，进一步减小了同一个体不同条件下采集的指静脉之间的差异。

3.1.2 手指图像矫正

不同设备存在不同的采集特性与开放程度。在手指静脉识别中，为提高采集个体的可接受程度，并且疫情期间更应该避免直接接触，采集设备一般是无约束成像，手指随机放置在采集设备上，则会导致在不同条件下获取的同一个体的指静脉图像不完全相同，存在图像形变，表现为一定程度上的手指位移、旋转、扭曲，严重影响了指静脉识别系统的性能，因此需要图像矫正，最大程度对手指区域进行修复，保证同一个体的手指形状与位置相同，从而进行准确的特征提取与匹配识别。无约束指静脉成像的图像形变概括为四种：平面手指位移、平面内手指旋转、平面外手指旋转、手指弯曲。针对这些问题，根据识别的不同步骤，解决方法一般分为三类[44]。

第一类是在特征提取的过程中进行图像对齐。其又包括两种方法：（1）抗形变的特征提取方法，能在一定程度上解决目标的旋转、缩放与平移等问题，并对光照与噪声有较好的抗干扰性。代表性方法如尺度不变特征变换（Scale Invariant Feature Transform，SIFT）[45]、正交邻域保持投影（Orthogonal Neighborhood Preserving Projections，ONPP）[46]和矩不变量（Moment Invariants，MI）[47]。（2）将特征进行归一化处理方法，主要将二维或三维空间中发生形变的特征进行校正，实现特征的归一化。代表性方法如基于椭圆投影系数的归一化[48]和基于伪椭圆采样的归一化[49]。

第二类是在匹配的过程中进行图像对齐。其也包括两种方法：（1）利用相似度来矫正形变，在多次匹配中获得与匹配模板的相似度，并以最大相似度作为最终分数来克服图像形变，代表性方法如双向变形空间金字塔匹配（Bidirectional Deformable Spatial Pyramid Matching，BDSPM）[50]和基于最大像素比的模板匹配[23，39]。（2）利用薄板样条（Thin-Plate Spline，TPS）模型通过非刚性变换方法克服形变。

第三类是在预处理的过程中进行图像对齐。大多数方法均在以上两类过程中进行，然而预处理中的图像对齐方法能够有针对性、有效地处理图像形变问题，对指静脉识别性能提升更大，因此在预处理阶段对图像进行形变检测和矫正十分必要。常用的纠正手指平移与旋转的做法是计算手指倾斜角度[51]。Lee等人[37]提出利用细节点将图像对齐；Chen等人[44]通过分析手指形状来检测不同类型的手指形变，并通过对形变图像进行线性或非线性变换来矫正图像；Normakristagaluh 等人[52]使用迭代最近点（Iterative Closest Point，ICP）方法对手指轮廓进行对齐；Prommegger等人[53]采用硬件上的物理设计，通过添加控制点防止手指发生形变；Kauba等人[54]设计了一种指静脉扫描仪，可同时获取有三根手指的静脉图像，其要求手指放在一个具有手指形状的引导面上，以保证获取的手指静脉图像发生的形变较小。

研究发现，在特征提取与匹配认证的过程中解决手指对齐问题具有较好的鲁棒性且研究较成熟，但某些特定的形变现象无法得到很好解决，这就需要在预处理的过程中有针对性地设计手指对齐方法，实现对识别性能的进一步提升。通过对手指图像形变和旋转的检测与矫正，可进一步减小同一个体不同条件下采集的指静脉之间的差异，很大程度上解决由于采集过程中设备或个人因素产生的识别性能下降问题。

3.1.3 垂直参考线搜索

手指静脉图像ROI 提取的目的是快速从同一根手指在不同条件下采集到的静脉图像中提取出相同的区域。部分研究者在对指静脉ROI 定位时仅使用水平参考线对图像进行划分，该方法不满足不同个体间静脉区域差异最大且同一个体静脉区域差异最小，因此在通过手指边缘的内切线得到ROI的水平分割参考线后，仍需要解决的问题即是在垂直方向上找到一个分割参考线，将ROI限制在手指的某固定区域，以进一步减小同一个体不同条件下采集的静脉图像之间的差异。

起初，大多数研究者选择使用固定大小窗口对垂直参考线进行划分。文献[7]与文献[39]使用固定大小的矩形框对手指进行划分；Rosdi 等人[30]在寻找二值化图像的质心后，利用质心作为矩形框的中心对手指进行划分。近年来，关注到手指的构造特性，手指软骨之间的间隙会透过更多的红外光，在手指静脉图像中关节腔处会显示为两个较亮区域（在数字图像上表现为像素值较高，如图5所示），因此研究人员一般选择基于手指关节腔作为垂直方向上的分割参考线，并提出了许多关节腔搜索算法。最初的方法是基于区域像素的累计值，文献[32]提出了计算每列像素累计值，选择最大的累计值定位关节腔，并在后续研究中发现，由于采集设备光照不均匀影响关节腔搜索，为改进其单列像素累计值关节腔定位方法，提出了基于滑动窗口计算多列像素累计值并用极大值来定位手指关节腔[55-56]，2019年，又提出了结合指纹与静脉双模态对关节腔进行定位[57]；此外，在对手指关节腔进行定位后，可以得到一条垂直方向上的分割参考线，利用得到的水平与垂直方向分割参考线在经过矫正后的指静脉图像上提取出ROI，此时，不同个体间指静脉特征差异最大且相同个体不同条件下采集的指静脉之间的差异最小，为下一步静脉图像增强奠定基础，提高了最终的匹配与识别性能。

图5 手指区域灰度值3D分布

3.2 指静脉图像增强与归一化

采集设备性能、光照、采集者手指条件与采集姿势等均会影响图像质量，存在对比度低、噪声大等问题的低质量图像会影响识别性能。图像增强用来解决由各方面外部因素导致的图像质量差的问题。指静脉图像增强方法一般分为两类：提高对比度方法与纹理特征增强方法。提高对比度方法一般使用直方图均衡化、Gabor 滤波等技术；纹理特征增强方法一般使用滤波与阈值分割技术。在对图像增强后需要将图像放缩至统一尺寸，称之为归一化。若将图像归一化至一个合适的大小，将有效提升系统的整体识别效率。

现有的图像增强方法仅对图像进行增强，并未考虑图像本身的质量，而这易造成对不同质量图像的欠增强或过度增强；对于图像归一化，则需兼顾特征提取后模板图像的大小与系统识别率，或使用深度学习时需考虑图像大小对模型参数规模的影响等等。

4 指静脉特征提取

静脉图像进行预处理后，需要提取手指静脉的某些特殊属性作为模板，供匹配认证使用。指静脉特征提取方法大致分为三种：基于局部特征的方法、基于全局特征的方法与基于机器学习的方法。

基于局部特征的方法是兴起最早、发展最成熟的一类方法。指静脉局部特征包括：纹理特征、线特征与细节点特征等，其中纹理特征使用最广泛，Miura等人[4]先后提出了最大曲率法、重复线跟踪法[5]对纹理特征进行提取，Huang等人[6]将宽线检测器引入指静脉识别之中，并且局部二值模式（Local Binary Pattern，LBP）[58]、局部方向模式（Local Directional Pattern，LDP）[59]以及其改进算子在指静脉特征提取中也取得了很好的效果；Gabor滤波器[7]等一系列边缘检测算子提取出静脉纹理的方向信息作为线特征；文献[44]和[60-62]对细节点特征进行提取，利用一些细小的关键点作为特征存储下来。

基于全局特征方法的主要思想是运用降维，对静脉图像进行空间投影，将高维图像映射为低维向量，利用提取出的特征向量进行匹配[63]。主要方法包括：主成分分析（Principal Component Analysis，PCA）[64]、2DPCA[65]、线性判别分析（Linear Discriminant Analysis，LDA）[66]、独立成分分析（Independent Components Analysis，ICA）[67]等。

基于机器学习的方法：起初，传统机器学习工具如支持向量机（Support Vector Machine，SVM）等在特征提取与匹配认证中均起到很好的效果，随着卷积神经网络的发展，利用深度学习进行特征提取被广泛应用，代表的网络模型有LeNet、VggNet等。

综上所述，采用降维得到的全局特征具有较低的维度，因此具有较高的识别速率，但对于相似的图像却难以区分，所以识别准确度无法保证；利用机器学习得到的特征有较高的拟合程度，可以保证较好地对特征进行提取，但其缺点也十分明显，此类方法需要大量的训练数据对模型进行充分训练，效率并不高；手指静脉中具有大量的纹理特征、线特征与细节点特征，利用局部特征提取方法可以提取出较完整的局部信息，故此类方法提取的特征进行识别时准确度相对较高，但需要对局部特征进行存储，相对于降维的方法需要更大的存储空间。

5 匹配认证

匹配认证是使用提出的生物特征进行身份认证，不同的特征提取方法对应不同的匹配认证方法。在匹配认证过程中，一般利用两幅手指静脉图像特征的相似度来进行判别[51]。提取出的局部特征选择使用汉明距离（Hamming Distance，HD）[37]进行匹配认证，而对于细节点特征可以使用豪斯多夫距离（Hausdorff Distance）进行匹配认证[68]；提取出的全局特征一般使用模板匹配进行认证[23]。随着深度学习的发展，大量研究者将卷积神经网络应用到指静脉匹配识别之中，得到较高的识别精度。

传统匹配认证方法作为识别系统中的分类器，需要对原始数据做大量特征工程处理，而使用卷积神经网络则只需进行少量预处理即可得到很高的识别精度，但神经网络模型庞大、时间开销高等缺点限制了系统的应用场景。

6 结束语

本文对手指静脉图像感兴趣区域提取研究进行了综述，整理并对比了商用指静脉产品与科研用采集设备；总结了已公开发布的国内外指静脉数据集；详细阐述了指静脉图像ROI提取整个过程中的代表性方法：首先将手指边缘提取的四类方法做了精细汇总并分析了其优缺点，其次概括了手指图像形变现象在不同步骤中的矫正方法，重点分析了在预处理阶段如何对其进行矫正，然后对关节腔搜索方法进行了详细梳理；最后，概述了指静脉识别特征提取与匹配认证。

近几年，全球发生的疫情引导着以指静脉识别为代表的第二代生物信息识别技术向着非接触式采集识别方向发展，未来的指静脉图像ROI提取将需要更高的精度与速率，同时需要增强应对不同采集设备、不同应用场景的鲁棒性。