基于SIFT特征检测的图像拼接*

谌 颃

( 广东技术师范学院)

基于SIFT特征检测的图像拼接*

谌 颃

( 广东技术师范学院)

针对图像拼接方法中存在的特征提取精度低，以及拼接后存在的拼接裂缝和“GHOST”现象等问题，基于SIFT特征检测的图像拼接.通过采用图像特征点提取和匹配有较强的稳定性和精确度的SIFT特征检测算法，且通过采用较低复杂度的动态规划算法找到最佳缝合线，最后对拼接后的图像通过泊松融合进行平滑处理来完成图像的拼接，并采用自行拍摄的图像进行仿真实验.仿真实验结果表明，基于SIFT特征检测的图像拼接方法具有较高的稳定性和特征提取精度，同时具有较低的特征点提取误差，并对图像拼接中存在的拼接裂缝和“GHOST”现象有很好的抑制作用.

SIFT算法；图像拼接；动态规划算法；泊松融合

0 引言

图像通过拼接可以展现更加生动和丰富的信息，且图像拼接的技术的好坏将直接影响用户的体验感.图像配准和图像融合是图像拼接的两个关键技术，但是目前图像拼接方法中存在的特征提取精度低，以及拼接后存在的拼接裂缝和“GHOST”现象等问题，目前现有的特征点提取和匹配算法中SIFT[1](Scale Invariant Feature Transform)算法具有较好的稳定性和精确性，SURF[2](Speeded Up Robust Features)、ORB(Oriented FAST and Rotated BRIEF)等算法实时性相比SIFT算法有所提升，但是其精确度和稳定性相比SIFT算法很低[3].在对拼接后的图像进行处理时，若通过梯度差和色彩强度差构建缝合线准则式，运用Dijkstra算法寻找缝合线并对图像的曝光差异进行补偿，并在融合时使用多分辨率样条算法[4]，但Dijkstra算法相对复杂且多分辨率样条会使合成后的图像噪声较大.

为解决上述问题，该文提出基于改进ORB特征检测的多视角图像拼接，通过采用图像特征点提取和匹配有较强的稳定性和精确度的SIFT特征检测算法，提高了特征点提取和匹配的鲁棒性，从而满足了图像拼接对稳定性和精确度的要求，在寻找最佳缝合线时使用复杂度相对较低的动态规划算法，最后采用泊松融合算法对拼接后的图像进行平滑处理.

1 SIFT特征检测

该文主要检测了目标跟踪中目标图形的特征点，并用于后面的匹配.该文采用SIFT特征提取算法进行特征点提取与匹配.

1.1特征点检测

1.2特征点描述

图1 检测方向

2 基于SIFT特征检测的图像拼接

在完成SIFT特征检测之后，需要对SIFT特征点进行匹配，然后对无匹配点采用RANSAC算法去除后采用Dijkstra算法寻找两幅图像间的最佳缝合线，最后采用泊松融合算法对拼接后的图像进行平滑处理，从而完成对图像的拼接.

2.1特征点匹配

对目标跟踪的区域进行SIFT特征点匹配，首先要保证高质量特征点[9]有足够的数量，且判断依据是：

(4)

2.2最佳缝合线的寻找

在特征点提取和匹配之后，可知两帧图像间的交叠区域并搜索最佳缝合线，若进行拼接可能会因为光线和移动等原因使得图像模糊，造成“GHOST”现象的出现，使得多视角图像拼接的效果较差.与传统运用运动估计方法实现运动物体跟踪的方法不同[14].该文在拼接时通过找出一条最佳缝合线，并在该线的两边取一帧图像的内容填充，来抑制“GHOST”现象发生.

动态规划算法是一种基于Bellman最优化原理，处理决策问题的优化算法：一个最优策略的子策略，对于它的初态和终态而言也必是最优的.如图2所示，最佳路线NM上有一点P，则PM也是最佳路线.

图2 最佳缝合线

在运用动态规划算法时，假设共有n阶段，则ri(Si,Xi)为第i阶段决策的数量指标，i阶段起点是Si，i阶段终点和i+1阶段的起点为Xi，则动态规划就是求解值E

E=opt[r1(S1,X1)*…*rn(Sn,Xn)]

(5)

其中，“*”为运算符号，opt为max或min，.在求解最短路径时，为了使各阶段相加和最小，opt取min，“*”取“+”.借鉴动态规划的思想，将上式作为求解策略指标值的准则式.首先从重叠区域的第一行出发，然后在该行上建立以每一个像素为起点的缝合线，最终找出最佳缝合线.具体步骤为：(1)初始化；(2)向下扩展计算过缝合线强度的一行，到最后一行为止；(3)从所得的所有缝合线的集合中选取强度值最小的为最佳缝合线.具体如图3所示.

图3 动态规划示意图

2.3图像融合

图像融合就是将配准后的图像根据对准位置进行合并，并消除色彩的不连续性和噪声对图像的影响.常用的融合方法[15]有：(1)多分辨样条法；(2)加权平均法；(3)泊松融合法.多分辨率样条法由于涉及到高斯塔和拉普拉斯塔的构造问题，它是一种颜色融合方法，其具有计算量大、费时等缺点.加权平均法较简单，但易造成明显的拼接缝.泊松融合在选择融合区域时简单且方便，融合以源图像块内的梯度场作为指导，将融合边界上源图像和目标图像的差异平滑的扩散到融合图像块中，使得融合后的图像块融入到目标图像中时达到无缝的效果，且其色调和光照与目标图像保持一致.因此，该文采用泊松融合算法对拼接后的图像进行平滑处理.

3 实验结果与分析

该文通过拍摄图像设备拍摄多图像，在一台装有Windows 7操作系统的PC机上进行实验，通过VisualStudio 2013和OpenCV2.4.9的平台下采用C++编程语言进行仿真实验.该文的具体实验平台见表1.

表1 实验平台

(1) 图像采用拍摄图像设备拍摄的图像进行实验，进行实验图像的像素为1024*768px，具体实验结果如图4所示，其中图(a)为原始的图像，图(b)为SIFT算法特征检测结果，图(c)为Hamming距离匹配结果，图(d)为RASANC算法去除误匹配点结果，图(e)为求取最佳缝合线的结果，图(f)为泊松融合平滑处理后的结果.

图4 图像拼接实验结果

(2)实验证明改进SIFT算法在提取特征点时误差较低，具有较高的特征提取精度.SIFT提取特征点间的误差相比较SURF算法和ORB算法的结果见表2.其中，RMSE为已知特征点坐标与检测出的特征点坐标间的整体均方根误差，x与y向的均方根误差分别为RMSEx与RMSEy.

表2 各算法提取特征点误差比较

仿真实验结果表明，该文提出的基于SIFT特征检测的图像拼接方法具有较高的稳定性和特征提取精度，同时具有较低的特征点提取误差，并对图像拼接中存在的拼接裂缝和“GHOST”现象有很好的抑制作用.

4 结论及展望

目前图像拼接方法中存在的特征提取精度低，以及拼接后存在的拼接裂缝和“GHOST”现象等问题，该文提出基于SIFT特征检测的图像拼接.通过采用图像特征点提取和匹配有较强的稳定性和精确度的SIFT特征检测算法，且通过采用较低复杂度的动态规划算法找到最佳缝合线，最后对拼接后的图像通过泊松融合进行平滑处理来完成图像的拼接，并采用自行拍摄的图像进行仿真实验.仿真实验结果表明，该文提出的基于SIFT特征检测的图像拼接方法具有较高的稳定性和特征提取精度，同时具有较低的特征点提取误差，并对图像拼接中存在的拼接裂缝和“GHOST”现象有很好的抑制作用.

[1] Ke Y,Sukthankar R.PCA-SIFT:A more distinctive representation for local image descriptors [C].Proceedings of the 2004 IEEE Computer Society Cinference on Computer Vision and Pattern Recognition.2004:506-513.

[2] Bay H,Tuytelaars T,Van Gool L.SURF:Speeded up robust features [C].European Conference on Computer Vision.2006:404-417.

[3] 索春宝,杨东清,刘云鹏.多种角度比较SIFT、SURF、BRISK、ORB、FREAK算法[J].北京测绘,2014(4):22-26.

[4] Alec Mills，Gregory Dudek.Image stitching with dynamic elements [J].Image and Vision Computing,2009,27(10):1593-1602.

[5] 梁群仙,许宏丽.一种基于点云数据的快速曲面重构方法[J].计算机工程,2013,39(2):237-240.

[6] 蔺海峰,马宇峰,宋涛.基于SIFT特征目标跟踪算法研究[J].Acta Automatica Sinica,2010,36(8):1204-1208.

[7] 单好民.一种改进的压缩感知信号重建算法在WSN中的研究[J].计算机测量与控制,2015,23(11):3766-3768.

[8] 阳建中,陈慧蓉,胡俐蕊.基于SIFT特征检测和三次插值样条的快速曲面重构算法[J].计算机测量与控制,2017,25(1):185-187.

[9] 周见光,石刚,马小虎.增强现实系统中的虚拟交互方法[J].计算机工程,2012,38(1):251-252.

[10] 张志禹,刘耀阳.基于SURF与光流法的增强现实跟踪注册[J].计算机工程与应用,2015,51(3):166-170.

[11] Lowe D G,Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[12] 赵新灿,张燕.基于图形处理器的增强现实自然特征注册算法[J].南京理工大学学报：自然科学版,2011,35(4):448-452.

[13] Rabin J,Delon J,Gousseau Y,et al.MAC-RANSAC:a robust algorithm for the recognition of multiple objects[J].Proceedings Ofdptv,2010:051.

[14] Peter M，Charles V S，David E T.Robust computer vision:an interdisciplinary challenge[J].Computer Vision and Image Understanding,2000:78,1-7.

[15] 黄立勤,陈财金.全景图拼接中图像融合算法的研究[J].电子与信息学报,2014,36(6):1292-1298.

Abstract:In view of the low precision of feature extraction,the stitching cracks and the “GHOST” phenomenon existing in the image mosaic method,an image mosaic method based on SIFT feature detection is proposed in this paper.By using the image feature extraction and matching of SIFT feature detection algorithm with stronger robustness and accuracy,and by using the dynamic programming algorithm with low complexity,the best suture line is found,at the end,the stitched image is smoothed by the Poisson fusion to complete image stitching,and the image of their own shooting simulation.Simulation results show that the stability and accuracy of feature extraction method for image mosaic based on feature detection with high SIFT is proposed,also which have the characteristics of low point extraction error,good inhibition effect on splicing cracks existed in image mosaic and the phenomenon of “GHOST”.

Keywords:SIFT algorithm; Image stitching; Dynamic programming algorithm; Poisson Fusion

(责任编辑：季春阳)

ImageStitchingBasedonSIFTFeatureDetection

Chen Hang

(Guangdong Polytechnic Normal University)

TP391.9

A

1000-5617(2017)02-0075-05

2017-02-02

*广东高校特色创新类项目(2015KTSCX184)；企业委托项目“图像识别定位软件攻关项目”(2016HKJ042801)；广东省本科高校教学质量与教学改革工程立项建设项目(2015SZL08);广东省高校优秀青年创新人才培养计划资助项目(2013LYM_0110)