基于相位相关法与改进SURF算法的图像拼接方法

刘鹏飞 高如新

摘 要：为避免相邻图像非重叠区域特征点被检测和提取，加速图像配准，提出一种基于相位相关法与改进SURF算法的快速图像拼接方法。该方法采用相位相关算法确定待拼接图像的重叠区域，限定SURF特征点检测、提取范围，用改进的SURF算法进行特征点匹配;然后根据MSAC算法剔除误配后的特征点匹配对，求取单应性矩阵，实现图像之间的快速配准;最后采用多波段融合算法对配准后的图像进行处理以消除拼接缝。实验结果表明，与传统算法相比，该方法可提高特征点匹配正确率，加速图像配准过程，完成拼接图像间的平滑过渡。

关键词：图像配准; 相位相关法; 改进SURF算法; 特征点匹配; 图像融合; 多波段融合

0 引言

图像拼接技术是对取自不同时间、不同视角或不同传感器的有一定重叠区域的两幅或多幅图像进行拼接，从而形成一幅大型、无缝全景图像的技术。它因成本价格低廉、实现方法简单、性能质量优越成为获取全景图像的一种常用方法，被广泛应用于宇宙空间探测、医学图像、视频检索、虚拟现实等多个领域[1-2]。

图像拼接基本流程包括图像预处理、图像配准、图像融合等[3]，其中图像配准和融合对拼接速度与效果有主要影响作用。图像配准决定拼接成功与否，比较经典的配准方法有：Harris角点检测算法、SIFT算法、SURF算法。Harris角点检测算法在实际应用中最广泛，具有计算相对简单、稳定性较高等特点，但在提取角点时抗噪能力差及存在不必要角点簇等缺点[4];SIFT算法保持了尺度、旋转、亮度等不变性，且在角度变化、仿射变换和噪声处理方面有一定的稳定性，但时间性能较低、匹配精度不高[5];SURF算法优势主要体现在速度上，比SIFT算法快3倍左右，但3种算法均存在特征点匹配效率不高的缺点。本文采用相位相关算法确定待拼接图像的重叠区域，限定SURF特征点检测、提取范围，并用改进的SURF匹配算法提高特征点匹配效率，为消除拼接缝作准备;同时通过确定待融合图像重叠区域内每一个像素点的取值，实现图像平滑过渡。

1 图像配准

1.1 图像配准相应算法

图像配准指将不同时间、不同传感器（成像设备）或不同条件下（气候、照度、摄像位置和角度等）获取的两幅或多幅图像进行匹配、叠加，实现待配准图像几何意义上的对齐[6]。图像配准算法分为三大类：一类是基于频域的（相位相关度方法）Fourier变换位移理论;另一类是基于像素灰度级的算法，操作较简单的算法包括块匹配法、模板匹配法;第三类是基于特征点的算法，利用在图像中检测到明显特征点的正确匹配对计算图像之间的变换。郑志彬、叶中付[7]提出在给定参考图像小区域的情况下寻找待配准图像中相同大小的区域，使在对数极坐标表示下，这两个小区域图像的互功率谱经傅里叶反变换后是一个二维脉冲信号。由此得到图像配准所需的各项参数，配准效果良好;缺点是参考图像中心截取的区域在待配准图像中必须存在，否则配准失败;高新杰、李德胜[8]提出一种改进的基于比值法与模板匹配法的灰度图像拼接算法，通过设置拼接参数对话框找到待匹配图像中与参考图像某像素点对应的最佳匹配点，最后利用平滑因子对两幅图像的重叠区域进行数据融合操作，实现了灰度图像快速图像拼接，但该方法对图像重叠区域要求很高。Herbert Bay[9]提出的经典SURF算法是SIFT算法的改进，盒子滤波与积分图像的運用加速了SURF特征点检测和提取过程，同时利用Hessian矩阵迹的正负性加速特征点匹配。实验结果表明：SURF算法可保持旋转、尺度变换、亮度不变性，对视角变换、噪声也有一定程度的稳定性，是一种更高效的特征匹配方法，但在分辨率和流畅度较高的大型应用场合，仍不能满足实时性需求。本文结合两种算法的速度优势，在保证SURF算法鲁棒性的前提下，进一步提高图像配准速度。

1.2 相位相关法与改进SURF相结合的配准方法

传统SURF算法是在整幅图像而不是重叠区域提取特征点，不必要的特征检测和提取会导致配准时耗过大。为解决该问题，本文首先结合相位相关法的平移特性粗略获得待拼接图像的重叠区域，然后根据SURF特征点鲁棒性对具有重叠区域相邻两幅图像进行特征点提取，同时利用改进SURF匹配算法进行特征点匹配。

1.2.2 改进SURF算法特征点匹配与图像配准

SURF特征点检测和提取过程[13-14]主要包括：首先建立积分图像，并用不同尺寸的框状滤波器处理原始图像感兴趣区域，相邻层相减建立尺度空间;然后依靠近似的Hessian矩阵行列式求出局部最大值像素点，将其作为兴趣点，对应的二维数组下标即为兴趣点在图像中的位置;利用Haar小波确定兴趣点主方向后，构建描述子向量（见图4）。

在特征点匹配阶段，本文采用向量空间余弦相似度度量方法改进SURF匹配算法。余弦相似度测度[15]指计算特征点间的相似程度，将向量根据坐标值绘制到向量空间，计算向量夹角对应的余弦值，该余弦值可表征两个特征点向量的相似性。余弦值越大，说明两特征点向量之间的夹角越小，匹配相似度越大。度量标准——阈值K可由实验获得，保留大于阈值K的余弦值，反之则删除，以此作为计算匹配对数和索引匹配对位置坐标的依据。对于两个向量a和b，余弦相似度[S（a，b）]表达式为：

完成图像坐标变换[19-20]和映射的具体过程如下：使用输出限制法（Output Limit Method）计算待拼接的每幅图像变换矩阵最小、最大输出限制以及拼接后全景尺寸，创建一个初始化、空的全景，将所有图像映射到全景中。其中，全景尺寸由imref2d创建的二维空间参考对象定义，空的全景初始化依据水平和垂直方向最小、最大输出限制由zero函数完成，使用imwarp函数把单幅图像映射到全景当中，利用vision.AlphaBlender函数实现相邻两幅图像重叠区域的覆盖和对齐，效果如图7所示。

2 图像融合

图像融合指用特定算法对待拼接图像重叠区域进行融合，拼接重构后得到平滑无缝的全景图像。本文采用Burt & Adelson[21]的多波段融合算法对配准得到的全景图像进行融合。该融合算法基本思想是图像可以分解为不同频率的图像叠加，在不同频率上，应该使用不同的权重进行融合，在低频部分应该使用波长较宽的加权信号（例如高斯核函数中sigma比较大），在高频部分应该使用较窄的加权信号（例如高斯核函数的sigma比较小）。基本步骤为：①获取相邻两幅图像的Gaussian金字塔序列;②获得每一路图像的Laplacian金字塔;③Laplacian金字塔序列对应级融合[22]，可以得到融合后的全景图像（见图8）。从图中可以看到融合后的全景图在重叠位置过渡平滑自然，基本消除了拼接缝。

3 实验结果与分析

利用Matlab R2015b软件对采集的校园图像进行拼接，图片拍摄过程中相机处于大致同一水平高度，程序中输入的图像是降低分辨率的寝室图像。为验证本文算法可行性，对另一组图片进行拼接。原始图像和实验结果如图9-图11所示。由图10、11可以看到，拼接后的图像增大了视场，提高了空间分辨率。

特征点正确匹配率和匹配时间可体现算法效率和速度。本文算法从以上两个方面与经典Harris算法、SIFT算法、SURF算法进行对比，结果如表1所示。

经过多组相邻图像匹配实验可知：在经典算法中，SURF匹配速度最快，不到SIFT耗时的一半，两者正确匹配率相当;本文算法与经典SURF算法相比，正确匹配率高出了至少10个百分点，耗时约为后者的一半。因此本文算法在匹配效率和速度上均有比较明显的优势。

4 结语

本文充分利用相位相关算法与改进SURF算法的速度优势，提出了全景图像拼接的优化算法。该算法设计成熟且硬件实现较简单。由实验结果可知，该算法在提高拼接速度的基础上，提高了特征点匹配效率，具有一定的稳定性，拼接效果好。但对于图像特征丰富程度很低的仿真组，如墙壁、天空等图片，利用本文算法无法采集到有效特征点。此外，MSAC算法剔除误配过程中参数设置过于苛刻，导致大部分正确匹配的特征点对被剔除，因此图像某部分配准精度不高，甚至可能无法得到计算单应性矩阵所需的充分数据，最终造成图像拼接失败。未来将针对算法缺点作进一步深入研究。

参考文献：

[1] 叶朝阳. 大视图图像拼接：原理和应用[D]. 杭州：浙江大学，2004.

[2] 郑海珍. 图像拼接技术的研究与应用[D]. 杭州：杭州电子科技大学，2010.

[3] 罗群明，施霖. 图像拼接方法综述[J]. 传感器與微系统，2017，36（12）：4-6+12.

[4] 赵艳，江泽涛. 一种改进的Harris角点检测算法[J]. 桂林电子科技大学学报，2017，37（5）：401-405.

[5] 盛明伟，唐松奇，万磊，等. 二维图像拼接技术研究综述[J]. 导航与控制，2019，18（1）：27-34+96.

[6] 谢正. 基于特征点的快速图像匹配算法研究[D]. 长沙：国防科技大学，2011.

[7] 郑志彬，叶中付. 基于相位相关的图像配准方法[J]. 数据采集与处理，2006，21（4）：444-449.

[8] 高新杰，李德胜. 基于比值法和模板匹配法的灰度图像拼接[J]. 微计算机信息，2007，23（36）：277-279.

[9] BAY H，ESS A，TUYTELAARS T，et al. Speeded-up robust features[J]. Computer Vision and Image Understanding，2008，110（3）：346-359.

[10] 陈月，赵岩，王世刚. 基于SIFT特征矢量图的快速图像拼接方法[J]. 吉林大学学报：理学版，2017，55（1）：116-122.

[11] 吴宪祥，郭宝龙，王娟. 基于相位相关的柱面全景图像自动拼接算法[J]. 光学学报，2009，7（29）：1824-1829.

[12] 厉丹，肖理庆，田隽，等.  基于改进相位相关与特征点配准的多图拼接算法[J]. 计算机科学，2018，45（1）：313-319.

[13] 符秀辉，周文俊，赵茂鑫. 基于改进surf算法的室内环境图像快速拼接[J]. 计算机技术与发展，2015，8（25）：39-42+47.

[14] 赵书睿. 全景图像拼接关键技术研究[D]. 成都：电子科技大学，2013.

[15] 张晓宇，何文思，段红燕，等. 改进的SURF特征提取与匹配算法[J]. 机械设计与制造工程，2018，11（47）：58-62.

[16] TORR P H S， MURRAY D W. The development and comparison of robust methods for estimating the fundamental matrix[J].  International Journal of Computer Vision， 1997， 24（3）：271-300.

[17] CHOI S，KIM T，YU W. Performance evaluation of RANSAC family[C]. Proceedings of the British Machine Vision Conference，2009： 1-12 .

[18] 卜珂. 基于SURF的图像配准与拼接技术研究[D]. 大连：大连理工大学，2009.

[19] 潘子阳. 基于360°全景的图像拼接技术研究[D]. 合肥：合肥工业大学，2017.

[20] 杨艳伟. 基于SIFT特征点的图像拼接技术研究[D]. 西安：西安电子科技大学，2009.

[21] BURT P，ADELSON，E A. Multiresolution spline with application to image mosaics[J]. ACM Transactions on Graphics，1983，2（4）：217-236.

[22] 倪国强. 多波段图像融合算法研究及其新发展（II）[J]. 光电子技术与信息，2001，14（6）：1-6.

（责任编辑：江 艳）