结合变形函数和幂函数权重的图像拼接

李加亮 蒋品群

摘 要：针对图像拼接算法存在效率低下、特征点错误匹配、重影和拼接缝等问题，提出一种基于尺度不变特征变换、薄板样条函数和幂函数的图像拼接方法。该方法通过对输入图像进行采样匹配，计算输入图像间的点映射关系和重合区域，使用点映射关系对重合区域内的特征点进行定向配准，利用特征点集合计算出图像的局部扭曲模型，使用图像插值方法对图像进行变形映射;采用幂函数权重模型对变形图像中的像素进行平滑过渡，完成图像拼接。实验结果表明，在拼接相同图像的情况下，所提方法与传统的尺度不变特征变换算法相比，特征点配准效率提高了约59.78%，而且得到了更多的特征点对;与经典的图像拼接算法相比，该方法解决了图像的重影和拼接缝的问题，同时提高了图像的质量评估指标的得分。

关键词：图像拼接;多分辨率融合;重影;图像变形;尺度不变特征变换;权重

中图分类号：TP391

文献标志码：A

Abstract： An image stitching method based on Scale-Invariant Feature Transform （SIFT）， thin-plate spline function and power function was proposed to solve the problem of low efficiency， mismatching of feature points， ghosting and stitching seam in image stitching algorithm. The point mapping relationship and overlapping area between the images were calculated by sampling and matching the input images. The local distortion model of the image was calculated by the feature point set， and the deformation of the image was completed by image interpolation. The power function weighting model was used to realize smooth transaction of the pixels in the deformed image to complete the image stitching. Experimental results show that the proposed method improves the registration efficiency of the feature points approximately by 59.78% and obtains more pairs of feature points compared to the traditional SIFT algorithm. Moreover， compared with the classical image stitching algorithm， the method solves the problems of image ghosting and stitching seam， and improves the score of image quality evaluation index.Key words： image stitching; multi-resolution fusion; ghosting; image deformation; Scale-Invariant Feature Transform （SIFT）; weight

0 引言

圖像拼接技术将一组存在重合区域的图像融合，得到一幅包含该组图像信息的新图像，可分为特征点的配准、图像的变形和图像的融合等过程。

Lowe[1]结合高斯滤波器与尺度空间理论，提出了具有较强稳定性的尺度不变特征变换（Scale Invariant Feature Transform， SIFT）算法。Bay等[2]使用盒式滤波器代替高斯滤波提出加速稳健特征（Speeded Up Robust Features， SURF）算法结合积分图简化计算提升了SIFT算法的效率。Rublee等[3]通过对尺度不变性的图像金字塔应用角点检测，构建二进制串特征描述符提出了快速指向和旋转二进制描述符，提出了快速指向和旋转二进制描述符（Oriented fast and Rotated Brief， ORB）算法，提高了特征点的配准速度，但不具有尺度不变性，且稳定性较差。Brown等[4]提出自动拼接的算法（AutoStitch）利用全局单应性矩阵对齐图像，解决了微小视差图像的拼接问题，但无法处理大视差图像。Zaragoza等[5]首先将网格优化模型引入图像拼接，提出了尽可能如投影般的图像拼接（As Projective As Possible image stitching， APAP）对图像进行网格化，使用局部单应性矩阵完成图像拼接。Lin等[6]使用线性化的单应性矩阵控制透视变换的逐渐变化，并采用全局相似变换投影图像，提出尽可能自然的自适应图像拼接（Adaptive As Natural As Possible image stitching， AANAP），能够自适应确定图像旋转角度，使拼接图像更加自然。在拼接有曝光度差异以及较大视差的图像时，AutoStitch、APAP和AANAP等算法[4-6]均出现了物体变形、重影与拼接缝等问题。

为了解决拼接图像的过程中存在的特征点错误匹配，及拼接结果中存在重影和拼接缝等拼接痕迹的问题，本文提出一种定向配准特征点与优化的变形函数相结合的方法使图像的对齐更加精确，采用幂函数权重模型对变形图像的像素进行平滑过渡以消除拼接痕迹的问题。实验结果验证了本文方法能有效解决上述问题，使拼接图像更加自然。

[6] LIN C， PANKANTI S U， RAMAMURTHY K N， et al. Adaptive as-natural-as-possible image stitching[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1155-1163.

[7] BOOKSTEIN F L. Principal warps： thin-plate splines and the decomposition of deformations[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1989， 11（6）： 567-585.

[8] SHENG H， LOU C， XU W， et al. A seamless approach to stitching lunar DOMs with TPS[J]. Applied Mathematics & Information Sciences， 2013， 7（2L）： 555-562.

[9] CHEN C， HUNG Y， CHENG J. RANSAC-based DARCES： a new approach to fast automatic registration of partially overlapping range images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1999， 21（11）：1229-1234.

[10] HOSSEIN-NEJAD Z， NASRI M. An adaptive image registration method based on SIFT features and RANSAC transform [J]. Computers & Electrical Engineering， 2017， 62（8）： 524-537.

[11] MEYER C R， BOES J L， KIM B， et al. Demonstration of accuracy and clinical versatility of mutual information for automatic multimodality image fusion using affine and thin-plate spline warped geometric deformations [J]. Medical Image Analysis， 1997， 1（3）： 195-206.

[12] GUO H， HOU Y， ZHAO Y. An image matching algorithm using Thin Plate Splines （TPS） transformation model [J]. International Journal of Simulation Systems， Science and Technology， 2016， 17（8）： No.13.

[13] LI J， WANG Z， LAI S， et al. Parallax-tolerant image stitching based on robust elastic warping [J]. IEEE Transactions on Multimedia， 2018， 20（7）： 1672-1687.

[14] 谷雨，周陽，任刚，等.结合最佳缝合线和多分辨率融合的图像拼接[J].中国图象图形学报，2017（6）：842-851. （GU Y， ZHOU Y， REN G， et al. Image stitching by combining optimal seam and multi-resolution fusion [J]. Journal of Image and Graphics， 2017， 22（6）： 842-851.）.

[15] 瞿中， 乔高元， 林嗣鹏. 一种消除图像拼接缝和鬼影的快速拼接算法[J]. 计算机科学， 2015， 42（3）： 280-283. （QU Z， QIAO G Y， LIN S P. Fast image stitching algorithm eliminates seam line and ghosting [J]. Computer Science， 2015， 42（3）： 280-283.）.

[16] HORE A， ZIOU D. Image quality metrics： PSNR vs. SSIM [C]// Proceedings of the 20th International Conference on Pattern Recognition. Piscataway： IEEE， 2010： 2366-2369.