基于改进SIFT 算法的掌纹图像拼接

李 洋，刘 富，康 冰，魏祺韡

(1.长春汽车工业高等专科学校电气工程学院，长春130011;2.吉林大学通信工程学院，长春130022)

基于改进SIFT 算法的掌纹图像拼接

李 洋1，2，刘 富2，康 冰2，魏祺韡2

(1.长春汽车工业高等专科学校电气工程学院，长春130011;2.吉林大学通信工程学院，长春130022)

为解决采集的掌纹图像不完整的问题，改进了SIFT特征图像拼接算法，从而得到完整掌纹图像，提出LoG-SIFT特征点匹配拼接算法并设计一种剔除误匹配点对策略。实验结果显示，改进后算法能增强手掌表面纹线特征，显著提高特征点对匹配数量，降低点对匹配错误率。

掌纹特征;SIFT算法;图像拼接

0 引 言

图像拼接技术是将多幅有重叠部分的局部图像组合成一幅全景大视角图像。由于图像采集设备视角限制，人们不能获得宽视场图像，因此，图像拼接技术［1］就应运而生。

随着对图像拼接技术研究的深入，图像拼接技术应用也越来越广泛。地图测绘领域需要在空中航拍多幅图像拼接成完整的真实场景地图;医学研究领域需要将局部病灶图像拼接成大面积的器官全景图像进行辅助诊病;交通方面汽车全景辅助驾驶系统可以帮助驾驶员全景了解自身所处环境，减少事故的发生;军事领域的坦克全景巡视和舰艇全景支持可帮助快速定位目标。在研究掌纹精细纹路识别时，由于受到掌纹采集设备镜头视角限制，采集到的掌纹图像可能是局部的、非全手掌的掌纹图像，不利于研究全手掌特征，因此，需要对局部手掌图像进行拼接，得到完整的全手掌图像。

图像配准［2］是图像拼接的核心技术。图像配准算法主要有两种［3］:基于特征的算法和基于区域的算法。基于特征的算法是针对图像中的明显特征计算图像间的变换矩阵，如Harris角点检测算法［4］，SIFT特征点检测算法［5］。该算法计算速度快，配准效率高，是目前最常用的一类配准算法。其中，SIFT特征算法是著名学者David G Lowe在1999年研究提出的［6］，该算法提取特征稳健，精度很高，因此被广泛应用于图像配准中。SIFT算法能在尺度和灰度空间检测图像特征，然后利用拉普拉斯金字塔性质消除误差并得到配准点信息［7，8］。SIFT特征不但具有良好的旋转不变性，而且特征独特，检测到的特征信息更加丰富。

1 实验图像采集与问题描述

实验图像采集设备的镜筒是由北京中盛佳安科技有限公司生产的多波段照相观察仪(见图1)，镜筒直径为45 mm，采集图像视野为圆形区域，虽然采集到的掌部图像是放大的清晰掌纹图像，但采集视野并不能覆盖全手掌，采集到的只是手掌的局部圆形区域(手掌放于镜头下方，紧贴镜筒，内部有光源)。实验采集到的不同光谱下的掌纹图像如图2所示，它们分别是自然光、紫光、近红外光、红光、绿光和蓝光掌纹图像。而在中医手诊理论中，需要确定异常纹所属全手掌的区域位置才能预测对应脏腑可能出现的疾病，如，当异常纹出现在巽区时，表明可能会有胆囊炎;出现在离区时，表明可能会有心绞痛;出现在坤区时，表明可能会有泌尿系统疾病等。所以，当在局部区域上识别出异常纹后，需要将4个不同局部区域图像拼接成完整的全手掌图像，再对照中医全手掌图像中划分的脏腑对应区，根据拼接产生的变换矩阵，将局部掌纹图像中的异常纹坐标变换到全局全手掌图像中，从而确定异常纹在全手掌中所属的区域。而将局部掌纹图像拼接成全手掌图像是解决后续异常纹定位的前提，因此，笔者针对这一特殊拼接问题进行着重研究。

图1 镜筒Fig.1 Barrel

图2 不同光谱下的掌纹图像Fig.2 Palmprint image under different spectral

2 基于SIFT特征点匹配的图像拼接算法

基于SIFT特征的配准拼接主要分为4步［9，10］。

1)提取SIFT特征。检测尺度空间极值点，精确定位关键点，分配关键点主方向，然后生成SIFT特征描述子并保存。

2)剔除非匹配点。使用欧氏距离比的阈值判断标准去除低对比度和不稳定的边缘响应点，判别相互匹配的点对并保存。

3)图像变换。根据匹配点对的信息计算出图像间的变换矩阵H。

4)图像接缝处理。使用图像融合算法对图像拼接的接缝进行融合。

其中，1)和2)是配准拼接的关键步骤，因此详细介绍过程如下。

①尺度空间极值检测。图像的尺度空间

其中G(x，y，σ)是高斯核函数，其形式为

其中(x，y)是图像上某点的像素坐标，σ是尺度变换因子。

为了提高检测稳定特征点的效率，Lowe又提出了使用不同尺度的高斯差分尺度空间(DOG scalespace)算子与图像进行卷积求取极值方法

其中k是常数。

②定位关键点。从高斯差分图像中检测尺度空间的极值点。每个采样点都需要和周围邻域内的点相比较，从而获得尺度空间的局部极值。由于进行了高斯滤波，因此，所提取的局部极值特征点不受噪声干扰;又由于进行了高斯差分卷积，因此，所提取的局部极值特征点不受亮度差影响，从而保证了特征点的尺度不变性。

③确定关键点主方向。

图3 由关键点邻域梯度信息生成特征向量的过程Fig.3 Feature vectors generated by the neighborhood gradient information of a key point

其中m(x，y)是像素点(x，y)的梯度值，函数θ(x，y)是像素点(x，y)的方向，函数L是各个关键点的尺度。

④生成关键点特征描述子。特征点描述子生成过程如图3所示。图中间黑色的圆点代表关键点位置，围绕着关键点建立一个高斯加权的邻域范围，且距离关键点越近，所赋予的权重越大。

3 LoG-SIFT特征点匹配拼接算法

LoG边缘检测算子是将高斯平滑滤波和拉普拉斯锐化滤波结合在一起进行边缘检测方法，也称LoG(Laplacian of Gaussian)算法。LoG算法首先对图像进行高斯平滑滤波和降噪处理，再采用Laplace算子进行边缘检测，提高了算子对噪声和离散点的鲁棒性。

若直接使用原始掌纹图像(见图4)进行SIFT特征点检测，则会出现特征匹配点对过少，无法实现拼接，检测出的大量点对为错误匹配点对，导致拼接错误的现象(见图5)。产生这种情况的原因是掌纹图像的纹线特征太弱，很难检测到特征点，光照影响太大［11］。因此，为了尽可能多检测到特征点，首先需要对原始掌纹图像进行特征增强处理，这里使用拉普拉斯高斯(LoG)算子增强算法。

图4 采集的原始掌纹图像Fig.4 Original palmprint images

图5 错误匹配点对Fig.5 Mismatched points

笔者设计的改进LoG-SIFT拼接算法分为以下3步:

1)拉普拉斯高斯算子增强。设原图像为f(x，y)，经过卷积运算和拉普拉斯算子作用，得到输出图像

其中“*”为卷积运算。

高斯函数为

拉普拉斯算子为

由于卷积和微分可交换顺序，因此，有

其中平滑和微分合并后的算子

称作拉普拉斯高斯(LoG)算子，求取h(x，y)的所有过零点轨迹即可得到图像f(x，y)的边缘。

2)检测SIFT特征匹配点对。

3)剔除误匹配点对。

在使用SIFT算法提取特征点的过程中，提取特征点的准确性决定了拼接准确度。在传统拼接算法中，使用欧氏距离作为两幅图像上对应特征点的相似性度量:找到图像a中某一特征点在图像b中欧氏距离最近的前2个点，它们的距离分别为l1和l2(l1＜l2)，当l1/l2的值小于某个比例阈值k时，则认为是一对正确的匹配点对。当k值减小时，匹配点对的数目减少，得到的匹配点对性能更稳定;当k值增大时，匹配点对的数目增多，得到的匹配点对性能下降。一般认为k=0．8时，可明显消除错误匹配点对而只损失少量正确匹配点对。

由此对掌纹局部图像进行拼接实验，设置阈值k=0．8，实验结果如图6所示。虽然检测出了大量正确的匹配点对，但错误的匹配点对(如红线所示)约占总数10%，显然会影响生成的拼接矩阵准确性，而降低阈值k，虽然能减少错误匹配点对，但也会大大减少检测出正确匹配点对的数目，这样做得不偿失。因此，针对上述问题和所拼接局部掌纹图像特点，在SIFT特征拼接算法基础上笔者提出了一种剔除误匹配点对策略，能有效剔除错误匹配点对，保留正确匹配点对，提高变换矩阵准确度。

对待拼接掌纹图像总结出正确匹配点对特点如下。

①分布象限特点。正确匹配特征点对中一个位于左图的右半部分;另一个位于右图的左半部分;

②距离特点。正确匹配点对间距离小于阈值T;

③夹角特点。正确匹配点对与水平方向成的夹角小于30°。

笔者针对以上特点设计出剔除误匹配点对的策略。

a剔除左图的左半侧象限和右图的右半侧象限的点;

b剔除点对之间距离大于阈值T的点对;

c剔除匹配点对与水平方向形成的夹角大于30°的点对。

4)分割圆形感兴趣区域。为了使拼接后图像更加美观自然，希望去掉图像圆形感兴趣区域外的干扰区域。常见的感兴趣区域分割出的区域总是矩形或多边形的感兴趣区域，很难分割出圆形感兴趣区域。笔者利用Taubin圆曲线拟合方程，拟合圆形感兴趣区域边界，将圆形感兴趣区域从背景中分离出来。

图6 匹配结果Fig.6 Match result

4 计算结果与比较

根据前述算法步骤，对原始掌纹图像进行LoG滤波增强，增强后掌纹的边缘和特征点更加突出，LoG滤波增强后的掌纹图像如图7所示。对 LoG滤波增强后的图像再次进行 SIFT特征点对匹配(k=0.8)，点对的匹配结果如图8所示，匹配数据如表1所示。分析表1可以看出，LoG滤波增强后匹配点对的数目大大增加，正确匹配点对的数目也大大增加，而匹配所用时间略有降低。实验表明，对掌纹图像进行LoG滤波增强能有效提高SIFT特征点匹配的效率，提高匹配点对正确率。

图7 LoG滤波增强后待拼接掌纹图像Fig.7 Palmprint image after LoG filtering enhancement

图8 LoG滤波增强后SIFT点对匹配状况Fig.8 SIFT pointmatching condition fter LoG filtering enhancement

虽然对掌纹图像进行LoG滤波增强能有效提高SIFT特征点匹配效率，提高匹配点对正确率，但仍存在一些错误的匹配点对，这些错误的匹配点对不能通过调整比例阈值k进行消除。实验中图6(左)检测出8 020个特征点，图6(右)检测出8 668个特征点，以比例阈值为k=0.8得到41对匹配特征点对，经过误匹配点对剔除策略剔除4对错误匹配点对，拼接后掌纹图像如图9所示，修正后的图像变换矩阵如下

表1 LoG增强前后匹配结果比较Tab.1 Comparison results before and after LoG filtering enhancement

图9 拼接后掌纹图像Fig.9 Palmprint image after stitching

由于图像的感兴趣区域是个圆形区域，周围的背景区域会对拼接好的掌纹图像造成遮挡，影响拼接效果，因此，需要去除拼接接缝中的背景区域。笔者提出使用Taubin曲线圆感兴趣区域拟合算法，该算法属于采用近似均方距离度量的最优算法，采用近似均方距离度量法，是直接最小二乘拟合方法的一种，只是对系数附加的约束条件不同。该算法属于强健和精确圆拟合，比kasa算法更稳定，比pratts算法更快，只需要输入很少的共面点坐标，即可获得拟合圆方程，返回圆心的坐标c和半径r。

步骤如下。

1)取关键点。对一幅掌纹图像首先进行二值化，然后在黑色区域与白色区域相接的边界圆周上均匀分布搜索出7个点并记录坐标。

2)拟合圆域边界并输出圆心和半径。将坐标输入Taubin圆曲线拟合方程，拟合出圆形感兴趣区域的边界，输出圆形感兴趣区域的圆心和半径。

3)分割背景后拼接。拼接时，位于拟合圆域边界内部的点元素性质保持不变，位于拟合圆域边界外部的点元素替换成另一幅拼接图像的对应位置的点元素。

根据上述步骤进行实验，在图像边界圆周上提取的7个关键点的坐标分别为(143，50)、(324，35)、(449，258)、(403，402)、(247，464)、(57，359)和(67，127)，输出拟合后的数组Par=(243 245 217)，表明拟合的圆形感兴趣区域的圆心坐标为(243，245)，半径R=217像素，拼接后如图10a所示。同样的方法对掌部第3象限图像和第4象限图像进行拼接，拼接后如图10b所示。全手掌拼接结果如图11所示。

图10 掌部图像拼接结果Fig.10 Stitching result

图11 全手掌拼接图Fig.11 Full palm after stitching

分析去除背景后的拼接结果可以看出，笔者提出的LoG-SIFT特征点匹配拼接算法能有效改善手掌上特征点不明显情况，在检测更多的特征匹配点对的同时能降低误匹配点对数目，从而大大提高生成的变换矩阵精确度，使拼接出的掌部图像更准确、自然。

5 结 语

笔者主要改进了基于SIFT特征点匹配的图像拼接算法，针对采集的局部掌纹图像的特点，提出了LoG-SIFT特征点匹配拼接算法，此算法能增强手掌表面纹线特征，大大提高特征点对的匹配数量;通过剔除误匹配点对的策略，降低了点对匹配错误率，修正了图像变换矩阵，拼接出了全手掌的图像;对拼接后的掌纹图像去除了拼接接缝中的背景遮挡，使拼接后的掌纹图像更美观自然。

［1］江铁，朱桂斌，孙奥.全景图像拼接技术研究现状综述［J］.重庆工商大学学报:自然科学版，2012，29(12):60-65. JIANG Tie，ZHU Guibin，SUN Ao.A Review Study of Panoramic Image Stitching Technology［J］.Chongqing Technology Business University:Nature Science Edition，2012，29(12):60-65.

［2］江晟.基于多模态特征的光-SAR图像融合配准算法［J］.吉林大学学报:信息科学版，2015，33(2):208-213. JIANG Sheng.Optical-SAR Image Registration Using Multimodal Features Fusion Algorithm［J］.Journal of Jilin University: Information Science Edition，2015，33(2):208-213.

［3］杨占龙.基于特征点的图像配准与拼接技术研究［D］.西安:西安电子科技大学机电工程学院，2008. YANG Zhanlong.Reasearch on Image Registration and Mosaic Based on Feature Point［D］.Xi'an:Institute of Mechanical and Electrical Engineering，Xidian University，2008.

［4］贾莹.基于Harris角点检测算法的图像拼接技术研究［D］.长春:吉林大学电子科学与工程学院，2010.JIA Ying.Research of the Image Mosaic Method Based on Harris Corner Detection［D］.Changchun:College of Electrical Science and Engineering，Jilin University，2010.

［5］高华.基于SIFT图像拼接技术研究［D］.重庆:重庆交通大学信息科学与工程学院，2012. GAO Hua.Research on Image Stitching Technology Based on SIFT［D］.Chongqing:College of Information Science and Engineering，Chongqing Jiaotong University，2012.

［6］霍春宝，童帅，赵立辉，等.SIFT特征匹配的显微全景图拼接［J］.辽宁工程技术大学学报:自然科学版，2015，34(1):93-96. HUO Chunbao，TONG Shuai，ZHAO Lihui，et al.Microscopic Panorama Splicing Based on Sift Features Matching［J］. Journal of Liaoning Technical University:Natural Science，2015，34(1):93-96.

［7］JEAN-MICHELM，YU Guoshen.A SIFT:A New Framework for Fully Affine Invariant Image Comparison［J］.SIAM Journal on Imaging Sciences，2009，2(2):438-468.

［8］ABDEL-HAKIM A E，FARAG A.A SIFT Descriptorwith Color Invariant Characteristics［C］∥Proc of CVPR'06.New York，USA:［s.n.］，2006:1978-1983.

［9］常青，张斌，邵金玲.基于SIFT和RANSAC的特征图像匹配方法［J］.华东理工大学学报:自然科学版，2012，38(6):747-751. CHANG Qing，ZHANG Bin，SHAO Jinling.Features Image Matching Approach Based on SIFT and RANSAC［J］.Journal of East China University of Science and Technology:Natural Science Edition，2012，38(6):747-751.

［10］李新科，高潮，郭永彩，等.利用改进的SIFT算法检测桥梁拉索表面缺陷［J］.武汉大学学报:信息科学版，2015，40(1):71-76. LIXinke，GAO Chao，GUO Yongcai，et al.Detect the Bridge Cable Using Improved SIFT Algorithm［J］.Geomatics and Information Science ofWuhan University，2015，40(1):71-76.

［11］郑凯元.针对掌纹图像的配准与融合方法研究［D］.长春:东北师范大学计算机学院，2008. ZHENG Kaiyuan.The Research of Registration and Fusion for Palmprint Image［D］.Changchun:College of Information Technology Institute，Northeast Normal University，2008.

(责任编辑:刘俏亮)

Palmprint Image Stitching Based on Improved SIFT Algorithm

LIYang1，2，LIU Fu2，KANG Bing2，WEIQiwei2

(1.College of Electrical Engineering，Changchun Automobile Industry Institute，Changchun 130011，China; 2.College of Communication Engineering，Jilin University，Changchun 130022，China)

To solve the problem of incompletement for the captured images，we improved SIFT feature stitching algorithm to get the whole palmprint images.We proposed LoG-SIFT feature pointsmatching stitching algorithm and designed a strategy formismatching points remove which can improve the accuracy ofmatching point.The experimental results showed that the improved algorithm enhanced the palm surface ridge characteristics，significantly increased the number ofmatching feature points and lowered pointsmatching error rate.

palmprint feature;SIFT algorithm;image stitching

TP391.4

A

1671-5896(2015)06-0707-07

2015-06-29

吉林省重点科技攻关基金资助项目(20140204046)

李洋(1981— )，男，长春人，长春汽车工业高等专科学校助教，主要从事生物模式识别研究，(Tel)86-18943995157 (E-mail)171826080@qq.com;通讯作者:刘富(1968— )，男，长春人，吉林大学教授，博士生导师，主要从事生物特征识别技术研究，(Tel)86-431-85095308(E-mail)liufu@jlu.du.cn。