指静脉图像采集与质量评估研究综述

高若然，鲁慧民，王一凡，李 阳

(长春工业大学 计算机科学与工程学院，长春 130102)

1 引 言

近年来，人们对身份认证系统的安全性和便利性要求越来越高，认证方式由传统的钥匙和IC卡发展为目前最安全可靠的生物信息识别方式，因此生物信息识别成为热门研究方向.生物识别常见的方式有指纹识别、人脸识别、虹膜识别、步态识别、声纹识别等，但这些方式(称为第1代生物信息识别技术)均存在一些问题，如表1所示.研究人员继续寻找更可靠、稳定的生物识别方法，2000年Kono等人[1]提出了一种基于手指静脉的生物识别方法，有效避免了上述问题，称为第2代生物信息识别技术.

表1 常见(第1代)生物信息识别方式及其缺点

手指静脉属于人体内部的特征，隐藏在人体皮肤表面之下.与第1代相比，指静脉识别的优势在于：1)活体识别.指静脉的特征图像是通过指静脉中流动的血红蛋白吸收近红外光所产生的阴影；2)唯一性.生物学家研究表明，成年后的手指静脉不会再发生改变，且独一无二；3)内部特征.手指静脉分布在皮肤之下，不会由于皮肤受损等原因而影响识别.因此近年来，指静脉识别凭借其很好的安全性、高效性、便利性引起了学术界与工业界的广泛关注并取得了巨大发展.

指静脉识别包括指静脉图像采集、预处理、特征提取和匹配认证4个步骤[2].指静脉图像采集是识别的第一步也是关键一步，但在指静脉图像采集时，由于可能出现的手指位置偏移、旋转以及环境光照等影响因素，会导致采集的图像质量较低，而采集图像质量的好坏将直接影响整个指静脉识别系统的性能.

目前国内外很多高校和科研机构针对上述问题对指静脉采集系统的研发作了一系列创新，并提出了一系列图像质量评估方法来解决直接用采集系统获取的指静脉图像存在的比如过度曝光、曝光不足，或由于光强度变化导致的边缘模糊以及来自图像传感器的噪声[3]等问题.

本文首先阐述了指静脉图像采集系统的照明方式及光源电路、控制电路的设计，并对光源电路各部分器件的选择做了分析，其次概述了近年来采集系统的装置结构与采集方式的改进与创新，然后论述了对捕获到的指静脉图像做质量评估的必要性，并对代表性的图像质量评估方法进行了评述，最后对指静脉采集系统与图像质量评估方法的研究趋势做了总结与展望.

2 指静脉图像的采集

指静脉图像的成像原理是：手指静脉的血液中含有大量的血红蛋白，血红蛋白对近红外光(Near InfraRed，简称NIR)具有较高的吸光系数，因此在NIR光源照射下，光线被血红蛋白吸收呈现出深黑色静脉纹路，而静脉周围组织无血红蛋白，其吸光系数较低，在NIR光源照射下呈现明亮，所以指静脉纹路会被NIR敏感的图像传感器捕获而成像[4].

指静脉图像采集系统通常由NIR光源、窄带滤光片、图像传感器模组构成.采集系统将NIR作为光源，滤光片用来过滤可见光，仅让特定波长的近红外光透过，NIR光源敏感的图像传感器用来捕获静脉图像.近些年国内外一些科研机构对传统的红外采集方式做了改进，并研发了基于激光、水纹声波、热成像等原理的采集系统.

2.1 指静脉图像采集系统的照明方式

根据手指与NIR光源、图像传感器的相对位置，可以将照明方式分为透射式和反射式，透射式又分为顶部透射式(简称顶透式)和侧部透射式(简称侧透式).

当NIR光源位于图像传感器的上方，照射透过手指后在图像传感器上被捕获成像，称之为顶透式，如图1(a)所示；若光源与图像传感器垂直放置，光源从手指两侧透射后在图像传感器上被捕获成像，称之为侧透式，如图1(b)所示；若光源与图像传感器位于同一位置，光源透过手指后在环境内发散至图像传感器上被捕获成像，则称之为反射式，如图1(c)所示.反射式照明若想获得高质量的指静脉图像，则需要提高近红外光源的功率，这导致系统功耗较高，因此目前学术界和商业界更多的是使用透射式来采集指静脉图像.顶透式通常要将采集系统设计成一种不透光的封闭式装置来采集指静脉图像，这种类型的优点是系统鲁棒性好且外部环境光对图像的捕获干扰小，缺点是采集过程中手指被遮挡住.表2列出了国内外部分商用手指静脉识别产品及其特性，表3为部分科研人员开发的指静脉图像采集系统及其特性.可以看出，商业界部分厂家为了提高用户的体验感受，牺牲了图像质量，选择侧透式结构设计成开放式装置；学术界研究者们更多采用顶透式结构设计成封闭式装置来采集静脉图像，也有研究人员为获取更高质量的图像，采用侧透式加顶透式的照明方式，文献[5]设计了3个光源阵列，其中两个光源阵列分别由10个NIR二极管组成，放置于手指两侧用于侧透式照明，第3个光源阵列由40个NIR二极管组成，放置于手指上方用于顶透式照明，并设计有切换开关可以切换照明方式，最后得到结论：采用侧透式加顶透式的照明方式获取静脉图像可以实现采集系统的最佳性能.

图1 指静脉图像采集系统的照明方式

表2 国内外部分商用手指静脉识别产品及其特性

表3 部分科研人员研发的手指静脉图像采集系统及其特性

2.2 指静脉图像采集系统的光源设计

指静脉图像采集系统的光源设计主要包括NIR光源波长、NIR光源器件与NIR光源强度.NIR光源通常选择波长为700nm～1000nm的近红外光[6]，但在设计系统时更多研究人员会选择波长为850nm～950nm的光源，文献[13]将波长为700nm～1000nm的NIR二极管作为采集指静脉图像的光源来进行对比实验，测试出各个波长对应的指静脉图像在相同系统框架里的准确率，得出结论：波长为850nm～950nm的光源成像效果最好，可以实现采集系统的最佳性能.

2.2.1 指静脉图像采集系统光源器件的选择

NIR光源器件主要是NIR发光二极管和NIR激光.

1)NIR发光二极管作为采集系统光源

指静脉采集系统通常选择NIR发光二极管阵列作为发光源，是由于发光二极管的功耗低，成本低，驱动与控制简易，但使用NIR发光二极管阵列作为光源存在两个问题，首先，NIR发光二极管光源是发散型，具有发散角度，会产生不均匀的光线，照射手指会造成局部过亮，如图2(a)所示；其次，NIR发光二极管光源以广角向外发射，若未将手指与发光二极管阵列紧密接触，部分光线未被手指吸收，会模糊整个图像，降低了指静脉的图像质量，但若将手指直接接触发光二极管阵列又会引起卫生问题，这对于近年全球的疫情来说尤为重要.

图2 NIR二极管与NIR激光光照方式示意图

2)NIR激光作为采集系统光源

采集系统选择NIR激光器件来设计光源，NIR激光会聚焦光源产生均匀光线照射手指，如图2(b)所示.

发光二极管(Light Emitting Diode，简称LED)辐射角大，使用时必须将手指靠近光源放置，一旦手指未直接接触照明设备表面，大部分光会通过手指发散在手指两侧，导致手指边缘图像过亮，使得手指静脉与周围组织对比度低，降低了静脉图像质量.而NIR激光模块的辐射角非常窄，在透射式照明设备中显示出一些优势.Kim等人[7]为代替LED阵列，使用小型近红外(λ= 830nm)激光(Stoker Yale)作为光源，用激光发生器透镜将点激光转换成线激光.透镜具有固定的摇摄角度，可以使功率沿激光线均匀分布.在该系统里，线激光几乎不会在5～10cm的小距离内产生发散，因此手指与光源阵列无需接触即可获得高质量的静脉图像，这对于近年全球的疫情来说意义重大.

大型NIR激光发生设备相比基于LED阵列的常规系统更昂贵，于是很多学者使用低成本的小型NIR激光二极管.普通的二极管的光强功率低，光源的辐射角度大，而激光型二极管具有更高的磁导率和功率，光聚焦性强.Liu等人[8]在设计基于DSP平台的实时嵌入式手指静脉识别系统时使用了NIR激光二极管，与文献[8]相同，Kaaba等人[10]也采用了基于激光二极管的指静脉图像采集系统.该系统使用了配有9mm焦距镜头和截止波长830nm滤波片的近红外增强型工业摄像机，此外为帮助手指定位，使用3D打印技术制作出3个手指支架，可以同时捕获包含3个手指的静脉图像.学术界研发的指静脉采集系统及其光源特性如表3所示.

2.2.2 指静脉图像采集系统光源强度控制

使用近红外技术捕获的指静脉图像质量高度依赖光源强度.红外光源强度分布不均匀，会导致获取的图像有局部阴影，使整个系统的性能下降，且不同采集个体的手指厚度不同，对光源强度的需求也就不同，若采用固定的光源强度来设计采集系统则无法解决该问题.文献[11]在大量的实验中得出结论：指静脉图像与照明设备光源强度之间呈线性关系.文献[13]通过实验展示了不同光照强度对指静脉图像的影响，指出光源强度控制模块设计的重要性.调节光源强度的方法一种是通过多次测试获得最佳参数，文献[14]通过多次实验得到了图像质量与近红外光源驱动电流之间是二次抛物线关系，并根据该种关系得到了最佳的近红外驱动电流参数，但该方法无法做到闭环控制，会导致系统不稳定；另一种调整NIR光源亮度的方式是通过基于反馈的思想控制闭环环路，常见的亮度闭环电路主要有以下几种方式：

1)根据一些图像指标来调整电压或电流控制环路

根据获取的指静脉图像的像素值、灰度值或图像成像亮度等指标作为环路的反馈，调节控制模块的电流或电压大小实现闭环控制，如图3(a)所示.文献[11]设计了简单的电流控制环路来调节每个单独的LED强度，以保证手指区域具有均匀的光照强度.在文献[11]的基础上，Lu等人[15]提出一种基于峰值(PVM)的自动调整近红外光源强度的方法.首先捕获临时的手指静脉图像，然后控制模块根据像素峰值自动调整光源强度；与文献[15]根据像素峰值的方式不同，文献[16]首先设计了可实现每个LED亮度单独控制的集成控制板，然后根据近红外光源中心图像区域的平均灰度值与设定目标值的误差，通过迭代不断自动调节光源强度，直至获得最佳图像对比度和参数；Miura等人[17]则根据图像的亮暗对比度调节NIR光源亮度；与以上根据图像指标来做控制的方法不同，管凤旭等人[18]对系统内的散射的光源强度做检测与评估来控制光源反馈回路，以保证采集系统的NIR光源强度保持在一个稳定范围内.但根据图像指标来做闭环控制，需要手动输入基础参数，若与实际参数有偏差，则会影响获取图像质量.

图3 指静脉图像采集系统光源强度控制流程图

2)根据脉冲宽度调制(Pulse Width Modulation，简称PWM)技术设计控制环路

与上面方式不同，根据PWM技术设计控制环路可以实现图像自适应控制，通过正负反馈改变输入照明设备PWM波的占空比来控制光源强度，PWM波的占空比不断变化直至稳定，从而获得高质量指静脉图像，如图3(b)所示.根据PWM技术，Lee等人[9]设计了基于FPGA的自适应照明手指静脉生物信息识别系统.该系统使用近红外二极管阵列电路作为光源，设计降压电路(BUCK)作为发光二极管的驱动电路，对获取的图像质量做评估后，采用PWM技术以不同的占空比来驱动NIR光源阵列，获得高质量的指静脉图像.

2.3 指静脉图像采集系统的创新

近年来，研究人员对指静脉采集系统作了各种创新性开发，以解决指静脉识别所遇到的问题，归纳如下.

1)采集系统为减小装置体积采用特殊材质的镜子，该镜子可以反射可见光，透过红外光.图像传感器的镜头焦距以及光源的光线对采集环境要求高，因此捕获高质量指静脉图像的采集装置往往体积较大，何振邦等人[19]的采集装置高24cm，宽16cm，长18cm，Raghavendra等人[12]的装置高17cm，宽18cm.为解决该问题，研究人员加入一种特殊材质的镜子，并将其放置于摄像头前45°处.当近红外光源照射手指时，可见光透过镜子无法照射到图像传感器上，而近红外光则被镜子反射到图像传感器上.根据该结构，Lee等人[20]放置呈现一定角度的热镜在采集系统中，通过反射可见光，透过红外光到图像传感器上减少装置高度；Zhan等人[21]使用二色性冷镜，允许可见光源中的 97%通过，反射红外或热源到图像传感器上来捕获图像.

2)系统用可见光来采集手指的轮廓信息，用红外光采集手指的静脉信息，实现对手指静脉的感兴趣区域(ROI)提取.传统的指静脉采集系统采集图像后，需要对手指静脉的ROI区域做提取，这需要复杂的预处理.为解决该问题，Kang等人[22]采用两个常规的工业摄像头，一个摄像头用来捕获手指外形图像，该图像通过波长为600nm的发光二极管产生可见光照射获得，另一个摄像头用来捕获手指静脉图像，该图像通过波长为880nm的近红外光照射获得，并且在图像采集过程中，使用镜子反射光照的设计结构来降低装置体积.根据文献[22]，Kang等人[23]设计了一种非接触式多光谱手指生物信息识别系统，该系统使用波长为500nm的蓝光作为可见光来获取手指外形，使用波长为850nm NIR光源来获取手指静脉.

3)研究手指的纵向旋转对指静脉识别系统鲁棒性的影响.Bernhard等人[24]设计了一种可捕获不同角度手指静脉的采集系统，相机和照明器会绕着放置在旋转轴上的手指旋转，旋转步幅为1°，覆盖范围为±90°，并得出结论：识别系统的性能会在手指旋转超过10°时迅速下降，而更高级的识别系统在处理高达30°的旋转时才会下降.研究人员为了解决手指旋转对识别系统的影响，开始构建3D全视图的指静脉采集系统.Kang等人[25]使用3个拍摄角为120°的摄像头捕获手指静脉的360°全视图，以一种新颖的3D重建方法来获得3D手指静脉特征信息；Zhang等人[26]选择双目立体视觉技术设计非接触式采集系统，并提出了一种使用3D点云匹配来识别静脉的方法；Zhan等人[21]通过水纹声波技术获得3D指静脉特征信息，系统使用钇铝石榴石晶体材料的激光做光源，并设计了一个由透明的丙烯酸板制成的水箱，水箱内部有光纤输入和超声波转换器，通过激光与超声波转换器获取3D指静脉特征信息.采集过程运用区域扫描的方式，为了扫描整个手指区域，使用了镶嵌在平台上的 20 cm滑动平移台(McMaster-Carr，6734K2).平移台上有步进电机以 1mm/s 的速度移动，图像传感器在每个激光脉冲之后立即采集数据.

4)其他创新性设计.Kuzu等人[27]设计了一种非接触的指静脉采集系统，将低成本的CMOS摄像头以2×2的矩阵配置排列，最大程度减小图像采集过程的视差效应，4个相机以不同的曝光时间捕获视频格式的手指静脉；Alexandre等人[28]设计采集系统时加入了一个超声波距离传感器，当手指不在传感器的工作范围内(12.5-16.5cm)时，系统停止使能NIR光源模块，实现系统采集开始与结束的控制.Matsuda等人[29]设计了一个自控制的多光源模块非接触式采集系统，该系统可以根据手指位置选择使能光源模块.

指静脉采集系统的创新性设计如表4所示.

表4 指静脉采集系统创新性设计

3 指静脉图像质量评估

指静脉采集系统获取的指静脉图像会存在一些质量问题，例如过度曝光、曝光不足，或由于光强度变化导致的边缘模糊以及来自捕获系统的传感器噪声[3].通过采集系统获取到的指静脉图像质量直接影响了系统的识别性能，若在采集阶段对低质量的图像通过调节采集系统的部分参数，如NIR光源强度，摄像头拍摄位置等，改善图像质量，则后续特征提取与匹配的准确度会大大提高.

一般来说，人眼可主观判断出图像的质量，但人眼判断为高质量的图像在计算机上有可能无法有效地提取图像信息，相反，人眼判断为低质量的图像，计算机有时可以提取关键信息.因此，定义图像质量的方法不应基于人眼的主观判断，而应基于计算机是否能够获得关键信息.按照手指静脉特征提取方式的不同，现有的静脉图像质量评估主要有以下几种方法：

1)根据手指静脉图像的特征参数融合做质量评估

手指静脉图像的特征参数主要有：图像中手指静脉与周围组织的明暗对比度、图像中手指的空间位置、图像的手指ROI、捕获图像的清晰度、图像的信息熵等.王科俊等人[30]对指静脉图像做分析，获得图像特征参数，将这些特征参数的权值累加起来得到手指静脉图像的综合评价分数，根据分数对系统做一些针对性的调整；Ma等人[3]将HSNR(人类视觉系统的信噪比)与文献[30]获取的图像指标结合来评估图像质量，可与人的主观评价相吻合，并有效地描述图像的视觉感受；文献[14]用指静脉图像的平均灰度值来反映图像的亮度，用指静脉图像的灰度方差来反映图像前景与背景之间的灰度分布差异，提出了基于该两项值的图像质量评估方法来计算图像得分；王一丁等人[31]选择感兴趣区域的图像像素宽度、手指指静脉图像的亮暗对比度、手指在空间中的位置横向与纵向的偏转作为质量评价的参数依据.基于以上参数绘制出参数的变化对系统的准确率影响的曲线，并计算出每个曲线的平均斜率值，以确定每个参数的最优权值，将参数的权值与对各质量参数评分进行加权求和，得到静脉图像总质量分数；Shaheed等人[32]使用梯度，信息熵和信息容量3个特征通过R-smote决策树分类器来评估指静脉图像，经过图像质量评估后，用具有色度保留(SSRCP)和高斯滤波器的单比例Retinex来增强图像.

通过信息的熵来做图像质量评估就是计算出图像的熵值来确认静脉图像的像素中包含的信息量.Xu等人[33]提出了一种基于图像二维熵的评估方法，若光线强度适中，满足采集系统要求，则获得的图像信息就会非常丰富，将二维熵的值作为反馈参数可以自适应地控制LED阵列的发光强度并实现自优化控制.

基于手指静脉图像的特征参数融合做质量评估的方法可以将图像质量评估结果作为控制环路反馈的依据，不断更新参数，获得高质量的指静脉图像，大大提高了整个识别系统的可靠性与稳定性，但该方法需要先分析影响指静脉图像的特征参数，然后手动调整参数，而导致图像质量低的因素很复杂，手动调整出实现系统最佳性能的参数比较困难.

2)对指静脉图像分块后做质量评估

Hsia等人[34]提出了一种分块评估图像质量的算法结构.该结构基于混合特征点的策略和多图像质量评估方法(MQA)，根据相应的图像质量评估阈值进行MQA验证，将输出图像分类为好与坏；Qin等人[35]对手指静脉图像做预处理，将图像分割成不重叠的图像块，然后使用平均Radon变换将每个图像块的信息都投影到Radon空间中，然后根据不同图像块的Radon空间中的指静脉纹路的曲率做为每个块估算局部质量得分，计算和评估出静脉图像的整体质量得分；Yang等人[36]提出了一种基于支持向量机(Support Vector Machine，简称SVM)的手指静脉图像质量评估方法，从输入图像中提取出信息熵、图像灰度差异和梯度，利用带有标签(高质量/低质量)的图像训练得到模型，对采集的图像进行质量评估；Peng等人[37]提出了一种基于三角范数的分数融合方法来区分图像质量，采用文献[38]中使用的指标来评估图像质量，并提出了将支持向量回归对指静脉图像做质量评估.

3)根据静脉纹路特征做质量评估

手指静脉图像的质量高低取决于是否可以提取到清晰的特征纹路，文献[38-40]分别用不同的方式提取指静脉特征点来评估图像质量.Hartung等人[41]基于灰度共生矩阵计算的全局和局部特征的静脉纹路进行质量度量；Walus等人[42]使用基于距离变换的图像质量评估方法，该方法可以检测出图像的模糊部分，通过改变照射手指的光源强度的方式来验证该方法的可行性.采集系统需要对捕获到的模糊指静脉图像做预处理，比如图像增强，图像除雾等，预处理后若识别系统做特征提取获得到清晰的手指静脉特征纹路，该图像亦可被称为高质量指静脉图像，但该方法需要复杂的预处理.

4)根据神经网络做质量评估

文献[43]提出了一种基于级联优化的卷积神经网络(Convolutional Neural Networks，简称CNN)对多特征融合后的图像信息做质量评估；文献[44]对指静脉图像做二值化预处理，并运用CNN对处理后的图像做质量评估；Wang等人[45]使用一种传统的识别算法—竞争Gabor响应的自适应直方图来识别已采集好的图像数据集，得到识别准确率，计算出高质量图像与低质量图像的数量，如果数据集里的高、低质量指静脉图像数量不平衡就会严重影响基于监督学习训练的模型的性能，故使用改进的SMOTE算法对数量少的图像做过采样处理来解决数据集的不平衡问题，最后使用CNN区分这些图像.

为提高图像质量评估分数的可信度，文献[19]将指静脉图像分割成小块，利用CNN对小块图像做特征提取后评估质量分数，最后将小块特征融合作为整个图像的分数；与文献[19]一样，Qin等人[46]使用深度神经网络(Deep Neural Networks，简称DNN)对指静脉数据集作训练，来预测图像的质量，为提高DNN模型的鲁棒性，将指静脉图像分块成5个互补且相关联的区域，并对分块区域进行训练，可得到每一区域的质量评估分数，然后使用P-SVM模型[47]根据局部的评分情况和公式的计算得到整个指静脉图像的质量分数.

改进的CNN框架用于图像质量评估可以提高系统的鲁棒性.Zeng等人[48]提出了一种基于light-CNN的指静脉图像质量评估方法，将指静脉图像通过传统的评估方法对其标注，同时将指静脉图像切割成图像块以扩展训练集，并将图像块输入到神经网络里.与传统指静脉评估方法相比，基于神经网络的方法具有非线性拟合性，只需做简单地预处理，就可处理海量图片，且识别准确性较高，但缺点也很明显，在训练数据时，需要大量的数据来充分训练模型，而训练需要的时间开销高，不利于提供实时参数来微调系统控制环路，不利于便携式指静脉采集系统的开发.

4 总结与展望

本文首先对手指静脉采集系统的研究现状进行了综述，总结了近年来科研人员对指静脉图像采集的照明方式以及光源电路、控制电路设计的创新，并对光源电路各部分器件的选择做了分析，同时阐述了近几年来在采集系统物理结构与采集方式方面的改进与创新；其次，论述了对捕获到的指静脉图像做质量评估的必要性，并对代表性的图像质量评估方法进行了评述.未来，指静脉采集系统与图像质量评估方法可在以下方面做进一步探索：

1)近年全球疫情的爆发，将公共卫生的安全问题提到前所未有的高度，非接触式采集系统的研发尤为重要，因此也提出了更高的要求，新一代的能实现对被采者完全无限制、无约束、无接触地快速、高效、准确的指静脉采集系统研发是今后非常重要且有意义的课题；

2)为解决手指旋转不变性问题，科研人员利用3D技术构建手指静脉全视图，但是3D指静脉的采集系统需要复杂的硬件结构和控制电路，不利于设计成便携装置；而采用声波水纹采集3D指静脉需要花费大量时间做手指扫描，因此寻找一种新的方式来采集3D指静脉信息是未来需要解决的问题；

3)采集系统调节光源强度的控制回路实现虽然简单，但却需要不断迭代处理，因此在采集速度和图像亮度均匀性方面有待进一步提升；

4)与传统指静脉评估方法相比，基于神经网络的方法在训练数据时，需要海量的数据来充分训练模型，而训练需要的时间开销高，不利于便携式指静脉采集系统的开发，因此构建一种低延迟的轻量级神经网络模型应用在指静脉图像质量评估领域上，是采集系统能够在移动终端、嵌入式设备上实现端到端的突破的至关重要的一步.

5)指静脉图像质量评估目前尚无统一标准，这导致不同的科研人员选择不同的质量评估方式，无法判断其在不同数据集的有效性，研究在指静脉图像质量评估领域的统一评估标准，测试评估标准的可靠性，并验证现有的指静脉数据集的图像质量，是该领域的热门研究方向.