基于单尺度Retinex的可控手指静脉图像拼接算法

林剑，钟舜聪,2

1.福州大学 机械工程及自动化学院 光学/太赫兹及无损检测实验室，福建 福州 350108；2.上海大学 机电工程及自动化学院，上海 200444

基于单尺度Retinex的可控手指静脉图像拼接算法

林剑1，钟舜聪1,2

1.福州大学 机械工程及自动化学院 光学/太赫兹及无损检测实验室，福建 福州 350108；2.上海大学 机电工程及自动化学院，上海 200444

本文针对小型化图像采集模块所采集的两幅同源且具有重叠部分的手指静脉图像，提出一种基于单尺度Retinex的可控手指静脉图像拼接算法。通过改进的单尺度Retinex算法对手指静脉图像进行增强，采用SIFT算法提取增强后的两幅手指静脉图像特征点，使用欧式距离作为相似性度量工具对特征点进行粗匹配，用RANSAC算法估算图像间的单应矩阵，同时结合本文的透视变换图像轮廓顶点的约束条件控制图像拼接结果，最后采用像素加权平均融合算法实现手指静脉图像的无缝拼接。实验结果表明，该图像拼接算法拼接可控，视觉效果良好，适用于手指静脉图像拼接。

手指静脉识别；图像拼接；尺度不变特征转换；图像增强；单尺度Retinex

引言

手指静脉识别是利用人的手指静脉特征实现身份认证的一种生物识别技术，该技术因具有活体识别、高安全性、易使用等特点，受到越来越多研究学者的关注。该技术已经逐步应用于楼宇门禁、银行、ATM机、PC登入、汽车安全等领域[1]。国内外对于手指静脉识别技术的研究主要包括：手指静脉图像采集系统[2]、手指静脉图像去噪和增强[3-4]、手指静脉图像分割[5-8]、手指静脉特征提取与匹配[9-12]和手指静脉与指纹结合的双模态识别[13]等。从公开的文献可知，为了获得携带更多手指静脉信息的手指静脉图像，手指静脉图像采集模块尺寸一般都比较大。目前，指纹认证技术已经成功应用于手机等小型设备中，因此，手指静脉认证模块的小型化也将会是一个趋势。若将手指静脉图像采集模块小型化，则其只能采集到部分的手指静脉图像，无法获得足够的手指静脉信息。

图像拼接技术简而言之是将存在重叠部分的图像序列融合为一幅新图像，其过程主要有：图像预处理、图像配准和图像融合[14]。图像拼接技术已经广泛应用于摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形等领域[15]。针对小型化手指静脉图像采集模块所存在的无法获得较为完整的手指静脉信息的问题，本文通过图像拼接技术来解决，一方面可以实现手指静脉图像采集设备小型化，另一方面保证了具有足够的手指静脉信息来提高识别精度及可靠性。目前的图像拼接算法大致可分为：基于模型的方法[16]、基于变换域的方法[17]、基于灰度相关的方法[18]和基于特征的方法[19-20]。与前3类图像拼接方法相比，基于特征的方法具有计算量小、速度快的特点，对于图像的畸变、噪声等具有一定的鲁棒性[15]。近几年，尺度不变特征变换算子[21]（Scale-Invariant Feature Transform，SIFT）因其具有尺度不变性、旋转不变性而受到许多研究学者的青睐，该算子为局部特征描述算子，由David Lowe于1999年提出，并在2004年进行了完善和总结，其对于图像的旋转、平移、图像形变等都具有较好的适应能力，是一种比较好的特征点提取算子[19]，因此成为了图像配准领域的研究热点[14]。

本文采用图像拼接技术对两幅同源且具有重叠部分的手指静脉图像进行拼接。首先，通过改进的单尺度Retinex算法对手指静脉图像进行增强，采用SIFT算子提取增强后的两幅手指静脉图像特征点，然后使用欧式距离作为相似性度量工具对特征点进行粗匹配，接着用RANSAC算法估算图像间的单应矩阵，同时结合本文的透视变换图像轮廓顶点的约束条件控制图像拼接结果，最后采用像素加权平均融合算法消除图像拼接缝，实现手指静脉图像的无缝拼接。实验结果表明，该图像拼接算法拼接效果良好可控，适用于手指静脉图像拼接。

1 手指静脉图像拼接理论及其算法

对两幅具有重叠部分的手指静脉图像进行拼接，关键是对两幅手指静脉图像进行图像配准，寻找两幅图像间的最优变换矩阵，然后通过图像融合算法，实现手指静脉图像的无缝拼接。近红外光下所采集的手指静脉图像通常具有以下特点：① 图像局部区域静脉与背景的对比度低；②手指关节连接处，图像灰度值大，关节两侧灰度值小；③手指中不同厚度的骨骼和肌肉组织，在近红外线透射下得到的图像会产生阴影[1]。因此，在采集手指静脉图像过程中，可能出现一些图像对比度不高、图像模糊等情况，不利于后续相应手指静脉图像特征点的提取。因此，本研究在手指静脉图像拼接之前，先对其进行图像增强处理，以获取更多细节信息，然后通过增强后的两幅手指静脉图像寻找图像间的最优变换矩阵，最后实现原图像的拼接。

1.1 图像增强

Retinex理论[22]是由Land提出，根据该理论可将一幅图像看作是由反应环境照射光线的入射分量和携带物体本质特征的反射分量组成，其数学表达式为：

其中，S(x,y)为原始图像；L(x,y)代表环境照射光线的入射分量；R(x,y)代表反映物体本质的反射分量。

根据Retinex理论，单尺度Retinex算法[23-26]是将图像置于对数域中进行处理，即对式(1)两边同时取对数，其数学表达式为：

其中，R＇(x,y)为输出图像，E(x,y)被称为环境函数，需具有低通特性，通过与原图像卷积运算估计入射分量L(x,y)。由式(2)可知，Retinex理论的关键步骤为入射分量的估计，去除原始图像入射分量，即可得到携带物体本质特征的图像R＇(x,y)。

为了简化计算，提高图像处理速度，本文借鉴文献[27]的处理方法，将式(2)、式(3)简化为：

1.2 基于特征点的图像配准算法

图像配准是将不同条件下获取的两幅或多幅图像进行匹配、叠加的图像处理过程，即寻找一种最优的空间映射关系，使得图像间相同的特征点具有一一对应的关系。其过程一般包括以下3个步骤：

（1）特征点的提取。本研究采用SIFT算子提取经图像增强处理后的手指静脉图像特征点，得到两幅图像的SIFT特征向量。SIFT特征点提取算法[31-33]的主要思想是：①在高斯差分金字塔尺度空间提取极值点作为特征点，并确定特征点的位置和所处的尺度；② 使用特征点邻域梯度的主方向作为该特征点的方向，以实现算子对尺度和方向的无关性；③ 用128维的归一化SIFT特征向量来描述每个特征点。此时的SIFT特征向量已经具有尺度不变性、旋转不变性等特性。

（2）特征点的粗匹配。通过SIFT算法提取特征点，采用特征向量的欧式距离作为相似性判定度量工具对两幅图像中特征点进行粗匹配。首先，取其中一幅图像的某个特征点，然后找出另一幅图像中与其欧式距离最近的前两个特征点，在这两个特征中，如果最近的距离与次近的距离的比值小于阈值，则接受这一对匹配点。该阈值越低，得到的匹配点对越少。

（3）特征点的精匹配及单应矩阵的生成。计算单应矩阵H，即求一个平面的特征点到另外一个平面的最优变换矩阵。此过程将结合RANSAC算法[28]，剔除粗匹配中存在的错误匹配点对，从而得到精匹配点对。对于同一视点拍摄的序列图像，相邻两幅图像间的变换关系可以采用如下的8参数模型来描述[29]：

其中，mi(i=0,1,…7)为投影变换参数，（x＇,y＇,1）和（x,y,1）分别为两幅待拼接图像对应点坐标。由式(5)可知，H为包含8个自由度的3×3方阵，只需由两平面中的4对匹配点方可计算得出。

传统的单应矩阵生成的具体过程为：① 从粗匹配点对中随机抽取4对，将其作为初始内点计算单应矩阵；② 用剩下的点对拟合初始单应矩阵，并计算匹配点对间的几何距离之和，若距离之和小于设定的阈值，则添加到内点集中，否则作为外点舍弃；③ 重复步骤①、②，直至达到迭代次数，内点集不再扩充，选取内点数最多的点集作为正确的匹配点对，此时对应的单应矩阵就是图像间的最优变换矩阵。

1.3 改进的手指静脉图像配准算法

通过1.2节步骤（3）中的一组RANSAC算法估算最优变换矩阵，经过多次迭代，通常来说已经可以得到比较准确的图像间变换矩阵，图像拼接效果也比较好。但是，若用于手指静脉图像拼接，仍需做一些改进。从手指静脉图像构图来看，图像可分为手指静脉区域和图像背景区域，手指静脉图像内容较为简单。虽然经过图像增强后，提取的SIFT特征点会增多，但是图像间匹配点对依旧很少，且匹配点对可能会出现相对集中的情况。若经过一组RANSAC算法估算最优变换矩阵，虽然此时变换矩阵最优，但是由于RANSAC算法的随机性，手指静脉图像的拼接效果可能不会达到预期效果。另外，本文的同源手指静脉图像（即出自于同一根手指）是将手指沿着手指方向水平平移得到，水平平移的最大距离为12 cm，由图像采集模块上的限位槽自动控制，将得到的两幅待拼接手指静脉图像分别称为源图像和参考图像。由手指静脉图像特点及其采集方式可知，参考图像经过单应矩阵透视变换到源图像所在平面后，透视变换图像的轮廓变化不会很大。

本研究在传统的图像配准算法基础上进行改进，在计算单应矩阵时添加约束条件，本研究把该约束条件称为透视变换图像轮廓顶点约束条件，其数学表达式为式(6)。首先，将参考图像经最优变换矩阵得到透视变换后的图像，然后提取4个图像轮廓顶点坐标，若坐标不符合式(6)，则进行下一组最优变换矩阵的估算。该算法既保证了单应矩阵最优，同时也能让手指静脉图像拼接效果更好。

其中，t为自适应修正系数，初始值设为0.3，t×thresh为自适应阈值，m21为透视变换图像的高度，若在初始阈值条件下，经单应矩阵透视变换后的图像轮廓顶点不满足约束条件式(6)的次数达到20次，即经过20次最优矩阵估算，则通过式(8)调整修正系数来放大阈值，直至满足约束条件；ri,ci(i=1,2,3,4)分别为升序排列后的透视变换图像轮廓顶点的横、纵坐标。经改进后的手指静脉图像配准算法流程图，见图1。

图1 改进的手指静脉图像配准算法流程图

1.4 手指静脉图像融合算法

将待融合的参考图像通过最优变换矩阵H将参考图像变换到源图像所在平面，并对两幅图像的重叠区域进行图像融合，完成手指静脉图像拼接。由于拍摄时照度不均匀引起的两图像重叠区灰度不一致，在拼接后的图像中会出现明显的拼接缝。当前对于拼接缝的处理方法有很多，如小波变换、拉普拉斯金字塔变换等[30]，本文使用像素加权平均融合算法[31-32]来对图像拼接缝进行平滑处理，其数学表达式为：

其中，w1和w2为可调因子，且w1+w2=1，w1由1渐变为0，w2由0渐变为1。

2 实验验证及分析

2.1 实验环境

自研制的手指静脉采集模块用于手指静脉的图像采集，见图2，包括红外线LED光源和摄像头等。手指静脉采集模块采用透射式的方法，即红外光透射过手指在摄像头成像。将食指或者中指放入指槽水平移动采集待拼接手指静脉图像。中间指槽的两边是对称分布的手指托板，用于放置非采集中的手指，同时，对称分布的手指托板也可防止采集中的手指旋转。

图2 手指静脉图像采集模块

本文算法是在MATLAB 2013平台上编程实现，所有实验结果均在1.86 GHz CPU，4 G内存的计算机上运行得到。

2.2 手指静脉图像拼接效果

选取同源的且具有重叠部分的两幅手指静脉图像，每幅手指静脉图像分辨率为320 pix×240 pix，经过ROI提取得到图像img1（图3a）和img2（图3b），图中暗色纹路即为手指静脉，亮度区域称之为背景区域。

首先，对于环境函数E(x,y)有多种选择，本文将环境函数定义为均值滤波算子，采用改进Retinex图像增强算法对待拼接手指静脉图像img1、img2进行增强（图3c～d）。从图中可知，手指静脉纹路通过图像增强变得十分清晰，非手指静脉区域同时也被增强，图像细节更加突出，可以进行下一步特征点提取。接着采用SIFT算子对增强处理后的手指静脉图像提取特征点，并对特征点进行粗匹配（图3e），从图3e可知，此处存在明显的1对错误匹配点。采用RANSAC算法滤除错误匹配点，得到精匹配点对（图3f），并结合透视变换图像轮廓顶点约束条件，此时由式(5)计算得到的最优、可控的单应矩阵为：

然后将图像img2经单应矩阵H透视变换到图像img1所在平面，图像img2透视变换后的结果（图3g），与图像img1叠加得到手指静脉拼接图像（图3h）。图3h中箭头所指为图像拼接缝，这是因为两幅图像重叠区域灰度差异导致。因此，采用像素加权平均融合算法消除图像拼接缝，得到手指静脉图像的无缝拼接图（图3i），图中虚线框内区域为像素加权平均融合后的重叠区域，由图可知，图像拼接缝已被完全消除，重叠区域平滑过渡，同时手指静脉信息也能够较完整地保留。

2.3 手指静脉图像拼接过程实验数据

经过多次仿真实验，不难发现，图像的尺寸越大，所提取的图像特征点也越多，图像拼接过程所花的时间也相应的增多。在本文中，待拼接图像高度统一为80 pixel，手指静脉图像img1、img2拼接过程实验数据，见表1。从表中可知，未进行图像增强前，图像img1和图像img2几乎提取不到SIFT特征点，经过本文的图像增强算法之后，其SIFT特征点明显增加，两幅图像所提取的SIFT特征点分别为177个、175个，两幅图像间粗匹配点对共有37对，经RANSAC算法提纯后，得到24对正确匹配点（图3f），图中每条线代表一对匹配点。虽然单应矩阵具有随机性，但添加约束条件后，使得透视变换后的图像轮廓变化可控，可以达到预期的图像拼接效果。在图像img1、img2拼接过程中，自适应修正系数初始值为0.3，当前自适应修正系数为0.5，说明自适应修正系数经过调整1次，调整步长为0.2，来放大当前阈值，然后完成有效的手指静脉图像拼接。

图3 手指静脉图像拼接过程

表1 手指静脉图像img1和img2拼接过程数据

另外，在手指静脉图像拼接实验过程中，也存在图像拼接失败的情况，通过分析这些图像拼接过程中的相关数据，图像拼接失败的原因可归结为：① 不满足本文所设置的透视变换轮廓约束条件；② 经过RANSAC提纯后，当精匹配点对数小于6对时，若精匹配点对分布较为集中，手指静脉图像的效果则非常差，此时可加大两幅手指图像间的重叠度。

2.4 透视变换图像轮廓顶点约束条件有无的比较

为了说明透视变换图像轮廓顶点约束条件的有效性，本文对未添加透视变换图像轮廓顶点约束条件的图像拼接算法进行了实验，对两幅手指静脉图像img1、img2经过多次拼接，图img2经透视变换的结果，见图4。图中只是选出了几种可能出现的情况，每幅图像的透视变换轮廓各不相同。从图4中可以看出，经过透视变换后的图像轮廓有时可能变化太大，如图4第一行；也有满足透视变换图像轮廓顶点约束条件的，如图4第二行，这是由于RANSAN算法的随机性导致了单应矩阵也具有随机性。由这两行图像的比较可知，图中第二行透视变换图像更符合预期的效果。因此，添加透视变换图像轮廓顶点约束条件是有效的，使得图像拼接效果在可控的预期范围内。

图4 无约束条件时透视变换结果

2.5 手指静脉图像拼接算法适用性

为了说明本文手指静脉图像拼接算法的适用性，本文选取了另外6组手指静脉图像（图5）。每组两幅待拼接图像，由实验室自制的手指静脉图像采集模块采集得到，每一组手指静脉图像间的重叠度（等于手指水平平移距离）都不一样，清晰度也不一样，每幅手指静脉图像高度为80 pix，如图5第一列、第二列所示。经过本文算法拼接得到的裁剪后的手指静脉无缝拼接图如图5第三列所示，图像中虚线框内为图像重叠区域的像素加权平均融合效果。每一组的两幅图像配准后的精匹配平均误差距离Dist，见表2，其值都小于本文所设置的阈值4，图像间配准精度较高。

由图5中可知，模糊的图像只要满足条件也能够较好地完成拼接，手指静脉图像重叠区域平滑过渡，图像拼接视觉效果良好，图像拼接缝已被消除，因此，该算法适用于手指静脉图像。

图5 不同组手指静脉图像拼接算法适用性验证

表2 图像配准数据

3 结论

本文针对手指静脉图像拼接算法展开研究，采用改进的Retinex图像增强算法增强手指静脉图像，增加了提取的SIFT特征点数目。通过RANSAC算法提纯匹配点对，同时设定透视变换图像轮廓顶点约束条件，得到最优、可控的透视变换矩阵。使用像素加权平均融合方法来消除拼接缝，使得手指静脉图像重叠区域平滑过渡。结果证明，本文算法可以有效、稳定地控制手指静脉图像拼接，拼接后的图像具有良好的视觉效果。后续工作将主要围绕手指静脉识别相关内容展开。另外，本文算法还只是对两幅同源手指静脉图像拼接进行初步探索，实现了手指静脉图像的无缝拼接，仍有进一步改善和拓展的空间，如：① 对重叠度更小的手指静脉图像拼接算法进行研究；② 手指静脉错误拼接类型归类；③ 对手指静脉图像序列拼接算法进行研究。

[1] 杨颖,杨公平.手指静脉识别技术[J].计算机科学与探索,2012,6(4):343-354.

[2] 管凤旭,王科俊.基于自动调光功能的手指静脉图像采集系统[J].电子技术应用,2010,(10):120-123.

[3] 刘洋,郭树旭,张凤春,等.基于稀疏分解的指静脉图像去噪[J].信号处理,2012,28(2):179-185.

[4] Yang J,Shi Y.Finger-vein ROI localization and vein ridge enhancement[J].Pattern Recogn Lett,2012,33(12):1569-1579.

[5] 余成波,秦华锋.手指静脉图像特征提取算法的研究[J].计算机工程与应用,2008,44(24):175-177.

[6] 王科俊,马慧,李雪峰,等.使用方向滤波技术的手指静脉纹路提取方法[J].中国图象图形学报,2011,16(7):1206-1212.

[7] Miura N,Nagasaka A,Miyatake T.Feature extraction of fingervein patterns based on repeated line tracking and its application to personal identification[J].Mach Vision amp; Appl,2004,15(4):194-203.

[8] Miura N,Nagasaka A,Miyatake T.Extraction of finger-vein patterns using maximum curvature points in image profiles[J].Ieice T Inf Syst,2005,90(8):347-350.

[9] Lee EC,Park KR.Restoration method of skin scattering blurred vein image for finger vein recognition[J].Electron Lett,2009,45(21):1074-1076.

[10] 江虹,郭树旭.红外光指静脉图像采集及其特征提取技术的研究[J].光电子:激光,2011,(9):1431-1434.

[11] 余成波,秦华锋.手指静脉图像特征提取算法的研究[J].计算机工程与应用,2008,44(24):175-177.

[12] 林喜荣,庄波,苏晓生,等.人体手背血管图像的特征提取及匹配[J].清华大学学报:自然科学版,2003,43(2):164-167.

[13] 王科俊,马慧,李雪峰.指纹及指静脉双模态识别的二级分类融合法研究[J].控制与决策,2011,26(8):1131-1135.

[14] 王娟,师军,吴宪祥.图像拼接技术综述[J].计算机应用研究,2008,25(7):1940-1943.

[15] 严璐.图像拼接算法研究[D].西安:西安理工大学,2009.

[16] 于振华,金波,陈璐艺,等.基于马尔科夫和HHT的图像拼接盲检测[J].信息安全与通信保密,2010,(1):107-108.

[17] De Castro E,Morandi C.Registration of translated and rotated images using finite Fourier transforms[J].IEEE T Pattern Anal,1987,9(5):700-703.

[18] 胡社教,涂桂林,江萍.基于灰度相关图像拼接的改进算法[J].合肥工业大学学报:自然科学版,2008,31(6):863-865.

[19] 李柏林.基于特征点图像拼接的配准算法研究[D].天津:天津大学,2008.

[20] 李晓娟,郭宝龙.一种基于兴趣点方向特征的图像拼接方法[J].计算机工程与应用,2007,43(12):26-28.

[21] Lowe DG.Distinctive image feature form scale-invariant key points[J].IJCV,2004,60(2):91-110.

[22] Land EH,Mccann JJ.Lightness and retinex theory[J].J Opt Soc of Am,1971,61(1):1-11.

[23] 任斌.基于Retinex图像增强算法研究与实现[D].南京:南京理工大学,2009.

[24] 储昭辉,汪荣贵,方帅.基于Retinex理论的小波域雾天图像增强方法[J].计算机工程与应用,2011,47(15):175-179.

[25] 宋凯,沈红.多尺度Retinex灰度图像增强算法[J].辽宁大学学报自然科学版,2008,35(1):46-48.

[26] 王华彬,陶亮.基于Retinex和小波分解的手背静脉识别方法[J].系统工程理论与实践,2014,34(2):428-436.

[27] Kim HG,Lee EJ,Yoon GJ,et al.Illumination normalization for SIFT based finger vein authentication[A].International Symposium on Visual Computing[C].Berlin:Springer,2012:21-30.

[28] 陆园园,张明.基于SIFT算法的红外图像拼接方法改进[J].计算机系统应用,2015,24(8):165-170.

[29] 李晓娟.图像拼接技术研究[D].西安:西安电子科技大学,2007.

[30] 曹楠,王萍.基于SIFT特征匹配的图像无缝拼接算法[J].计算机与应用化学,2011,28(2):242-244.

[31] 孔刚,戴道清,邹鲁民.多尺度X射线透视人体自动融合拼接[J].中国医疗设备,2008,23(7):12-15.

[32] 王娇颖,陈卫东,李良福.一种基于特征不变描述的图像无缝拼接算法[J].应用光学,2011,32(1):59-64.

Controllable Finger Vein Images Mosaic Algorithm Based on Single-Scale Retinex

LIN Jian1, ZHONG Shuncong1,2
1.Laboratory of Optics, Terahertz and Non-destructive Testing amp; Evaluation, School of Mechanical Engineering and Automation,Fuzhou University, Fuzhou Fujian 350108, China;2.School of Mechatronic Engineering and Automation, Shanghai University, Shanghai 200444, China

A controllable mosaic algorithm based on single-scale Retinex was proposed for two partially overlapping finger vein images from small image acquisition module. Firstly, finger vein images were enhanced by a modified single-scale Retinex.Subsequently, the feature points from two finger vein images were extracted and descripted by SIFT algorithm. Rough matched feature points were obtained by similarity measure with Euclidean distance. RANSAC algorithm was employed to eliminate error matched points and the homography matrix between two finger vein images was estimated. Meanwhile, constraints of the perspectively transformed image contour vertices were set to control the results of the image mosaic. Two finger vein images were stitched together and a weighted average fusion algorithm was used for seam elimination. The result of finger vein images mosaic can be controlled through constraints of the perspectively transformed image contour vertices. Experimental results demostrate that this algorithm is controllable, and suitable for finger vein images mosaic.

finger vein recognition; images mosaic; scale-invariant feature transform (SIFT); image enhancement; single-scale Retinex

TP391.4；TN911.7

A

10.3969/j.issn.1674-1633.2017.11.014

1674-1633(2017)11-0055-06

2017-02-23

2017-03-07

国家自然科学基金资助项目（51005077）；国家卫生和计划生育委员会科研基金（WKJ-FJ-27）；教育部高等学校博士学科点科研基金（20133514110008）；福建省杰出青年基金（2014J07007）；福建省自然科学基金项目（2015J01234）。

钟舜聪，教授，主要研究方向为光学、太赫兹及无损检测。

通讯作者邮箱：zhongshuncong@hotmail.com

本文编辑 王静