基于改进ORB-GMS-SPHP算法的快速图像拼接方法

何佳华,申 冲,唐 军,刘 俊

(1.中北大学仪器科学与动态测试教育部重点实验室,太原 030051;2.中北大学仪器与电子学院,太原 030051)

0 引言

基于复眼的场景匹配是无人机视觉导航[1-2]的一种重要手段,复眼图像拼接质量决定着场景匹配的成功率。图像拼接是指通过图片特征点匹配、图像融合、平滑缝合线的方式,把两幅或多幅有重叠部分的图像拼接成单张高分辨率的图像的过程。由于单个摄像头视场有限,所以将多个安装角度不同的摄像头所获得的图像进行拼接,已经成为实现大视场高分辨率图像的主流方法。传统的图像拼接算法一般包含特征匹配与图像融合两部分,其中特征匹配是指对要拼接图像的特征点进行提取,再对两幅图像中相同的特征点进行匹配;图像融合是指利用匹配正确的特征点的位置关系,将待拼接的图像进行融合。

提取的图像特征点的数量与分布位置直接决定了图像拼接的准确度。近年来,对于特征点提取算法的改进主要集中在提升计算速度以及提取精度上。1988年,Mikolajczyk和Schmid[3]提出了用于特征点提取的Harris算法,通过图像灰度计算像素点的曲率以及梯度,从而确定特征点的位置。2004年,D.G.Lowe提出了尺度不变特征变换[4](scale invariant feature transform,SIFT),该算法通过对图像建立高斯差分空间,在不同尺度空间检测极值点并对其进行剔除与定位,取得高精度特征点。SIFT算法具有很强的鲁棒性、尺度不变性及旋转不变性、光照不变性,缺点是计算时间过长。2006年,H. Bay和A. Ess[5]为提高计算速度,提出了加速鲁棒特征(speeded-up robust feature,SURF)算法,在几乎不缩减SIFT性能的同时将计算时间缩短至原来的三分之一。2011年,E.Rublee 和 V.Rabaud[6]提出了一种新的特征点提取算法ORB(Oriented FAST and Rotated BRIEF),相较于SIFT与SURF算法,计算量小、速度快,但精度有所降低。2022年,秦绪佳[7]提出了一种改进的ORB匹配算法,在降低运算速度的同时提高了特征点的提取精度。可见现有的ORB算法在运算速度与特征点提取精度方面均有所提高,但仍难以解决图像特征点过于集中情况下的图像拼接重影问题。

在特征点提取后即可进行图像匹配,即通过两张图像特征点的相似度建立特征向量的对应关系。常用的有最近邻距离比率法[8-9](nearest neighbor dist-ance ratio,NNDR)与随机抽样一致(random sample consensus,RANSAC)算法[10-12]。NNDR通过设定与选定特征点最近距离点与次近距离点距离的比率阈值,小于阈值则判定为最近距离点与选定参考点为一对匹配点。但NNDR算法会消除大量正确匹配的特征点,降低图像拼接性能。RANSAC则是通过随机选取一个特征点子集估计出一个参数模型,再使用所有测试点测试此参数模型,并不断迭代优化,匹配出特征点适应数量最多的参数模型。RANSAC算法得到可信模型的概率与迭代次数成正比,若设置迭代次数低则可能导致错误结果,若迭代次数过高则会增加计算时间。2017年,Bian J.[13]提出了基于网格的运动统计(grid-based motion statistics,GMS)算法。它将平滑度约束合并到一个统计框架中进行分离,并使用网格进行快速计算,实现更加快速精准的特征点匹配。基于GMS算法的优点,是目前常用的特征点匹配算法。

图像融合常用的方法是最佳缝合线算法,1998年M. L. Duplaquet等[14]提出了一种利用动态规划求缝合线的方法;谷雨等[15]提出了一种基于差异图像加权的最佳缝合线算法,有效地避免了因缝合线通过运动物体导致的重影。2013年,Gao J.与Yu L.[16-17]提出了一种将Seam-cutting放入RANSAC迭代中的方法,使拼缝误差小于设定阈值以获得更好的拼缝,但缺点是寻找拼缝的速度较慢。Chang C.H.等提出了SPHP[18](shape-preserving half-projective)算法,实现了图像的高精度对齐,减少了重影。由上述分析可知,SPHP能获取更高的对齐精度,有效减少投影失真,在图像拼接中有较好的性能。

受上述研究现状启发,本文针对图像拼接过程中易出现的实时性较差、拼接重影与色差等问题,提出了一种基于ORB-GMS-SPHP(oriented FAST and rotated BRIEF_grid-based motion statistics shape-preserving half-projective)算法的快速图像拼接方法。该方法结合了ORB与GMS算法在计算速度、SPHP算法在图像对齐精度方面的优势,可实现运算速度快、无重影与色差的图像拼接效果。本文的主要贡献在于:

1)提出了一种基于高斯尺度空间网格化处理的ORB算法,实现了图像中特征点的均匀分布,解决了传统ORB-GMS算法由于特征点太过集中导致的拼接重影问题;

2)提出了一种基于ORB-GMS-SPHP算法的快速图像拼接方法,利用GMS算法网格化加速处理的特点,提高了特征点匹配速度且消除了拼接色差。

1 本文方法

1.1 图像拼接模型构建

本文提出了一种基于改进ORB-GMS特征匹配算法的SPHP图像拼接方法。算法模型如图1所示。

图1 本文方法流程图Fig.1 Flow chart of the method in this paper

在对特征点纹路相似且有周期性结构的图像特征点进行提取时,传统的SIFT、SURF等图像特征提取方法会提取大量密集且相似的特征点,导致在匹配期间出现大量的错误匹配。对于此现象, RANSAC算法通过周期迭代来筛除误匹配点,但是误匹配点过多时会导致迭代次数过多、筛选时间过长,且会剔除一部分正确的匹配点,导致图像匹配精度下降,出现重影现象;GMS算法则是根据正确的匹配点周围会有其他正确的匹配点支撑,而错误匹配点则几乎没有匹配点支撑这一原理来剔除错误匹配点,通过网格结构计算出每个网格的匹配点个数,以避免对每个匹配点的遍历筛选,大大降低了运算量。相较于RANSAC算法,GMS算法速度更快且得到的正确匹配点数量更多。GMS算法筛选得到的正确匹配点数量与特征点提取算法得到的特征点数量成正比,相较于SURF、SIFT算法,ORB算法提取的特征点数量最多,且计算时间最短。因此,本文采用ORB算法进行特征点的提取。针对传统ORB算法存在的特征点过于集中且在某些无纹理区域可能没有特征点的问题,本文提出了一种改进的ORB算法,使待拼接图像中的特征点均匀分布。

在图像拼接过程中,待拼接的图像会出现拍摄角度、亮暗程度不同等现象。传统的最佳缝合线法针对上述现象的拼接效果并不理想,SPHP算法具有图像对齐精度更高的优点,可以解决上述问题,实现较好的拼接效果,并且运算速度更快。因此,本文拟采用SPHP算法进行图像拼接。

1.2 优化ORB特征点提取算法

传统ORB算法在构建完高斯尺度空间后就会利用FAST算法提取角点,其原理是在每一层取像素点的灰度值与半径为3个像素点的圆上的像素点灰度值的差别设置一个固定的阈值,若灰度差大于此阈值则此点为角点。在一些部分位置纹路不清晰的图像中,FAST算法在此部分提取不到角点,而在纹路丰富的位置上,则会提取出大量聚集的角点。为使提取到的角点均匀地分布在待拼接图像上,本文提出了一种改进的FAST算法提取角点,相对于传统算法,本算法在高斯尺度空间每一层都划分30×30的网格,通过改变FAST阈值使每个网格都能提取到特征点。具体算法流程如下:

1)构造高斯尺度空间(高斯金字塔)。

2)对高斯金字塔的每一层划分30×30像素的网格。

3)设置FAST阈值,对每个网格提取角点,若提取不到角点就降低阈值,使每个网格最少提取到一个角点。

4)用非极大值抑制法选取每个网格中响应值最大的角点。计算p点是否为最大响应的方法如式(1),其中,V为最大响应值;t为阈值。

V=

(1)

经过改进的FAST算法提取出大量的角点后,使用Oriented FAST算法计算每个角点的旋转角度,再利用上一步求解的角点旋转角度指导BRIEF对角点进行描述。BRIEF描述子是二进制描述子,在后续计算中可以采用图形处理器(graphic processing unit, GPU)加速,进一步提高匹配效率。具体流程为先在特征点邻域内随机选取n个点对,形成n维二进制描述子,定义一个像素点P的二进制比较

(2)

(3)

此时得到的BRIEF描述符还不具备旋转不变性,定义一个2×n的矩阵S

(4)

(5)

通过像素点方向θ计算旋转矩阵Rθ,此时Sθ矩阵为

Sθ=RθS

(6)

结合式(4)可以得到具有旋转不变性的BRIEF描述子

gn(p,θ)=fn(p)|(xi,yi)∈Sθ

(7)

1.3 GMS特征点匹配预筛选

本文方法通过暴力匹配与GMS相结合的方式对正确的匹配点进行筛选,具有筛选速度更快且正确匹配点保留更多的特点,有效提高了图像拼接效率。

GMS算法是一种基于网格运动统计特性的快速、超鲁棒的特征匹配算法,算法的核心思想是一个正确的匹配点旁边一定会有几个正确的匹配点作为支撑,具有运动一致性;但一个错误的匹配点,它的旁边几乎没有同样错误的匹配点作为支撑(假设错误匹配是随机发生的)。

GMS算法的主要原理如下:在图2左右两幅图片中分别有a区域和b区域,假设匹配到a区域的正确概率为t,对于a区域中一个匹配点是错的,但匹配点还落在b区域的概率为

图2 GMS原理Fig.2 Principle of GMS

(8)

a区域中匹配正确的特征点匹配到b区域的概率为

(9)

(10)

其中,n为区域a中特征点的个数。由式(10)可得Si的概率密度图如图3所示,其中mt、mf为均值。

图3 Si的概率密度分布图Fig.3 Probability distribution map of Si

在一张图像中,对于一个小区域的运动是平滑的,对于一个更大区域的运动同样也是平滑的。对于一个3×3的区域如图4所示,每个格子的对应关系为

图4 图像的一个3×3区域Fig.4 A 3×3 area of the image

i1→j1i2→j2…i9→j9

(11)

对于3×3的区域Si变成了式(12),Si的分布变成了式(13),其中K表示选定的区域内的网格数目。

(12)

(13)

此时,标准差st、sf分别为

(14)

从Si的分布图中可得,正确的匹配点与错误匹配点的支撑点分布是不同的,为快速筛除错误的匹配点,利用Si的均值与方差设置一个指标P,定义如下

(15)

(16)

即Sij满足式(16)则匹配对正确,否则匹配对错误。其中,Sij表示网格区域{ik,jk}与其周围8个相邻网格区域匹配点的总数目。示意图如图5所示。α是常数因子,Ni是3×3网格区域中匹配点的总数目,通常取Ni=6。

图5 网格区域[i,j]示意图Fig.5 Schematic diagram of grid area [i,j]

由GMS算法筛选出两幅图像间正确的匹配点,使用RANSAC算法可以得到两幅图像间的映射关系,从而得到单应性矩阵H为

(17)

1.4 基于SPHP的图像拼接算法

本文方法通过改进的SPHP算法对经过GMS筛选特征点的图像进行图像拼接,传统的SPHP算法并未对鬼影做处理,导致拼接效果较差。本文方法在原有拼接方法的基础上引入泊松融合算法,使改进后的SPHP算法可去除拼接鬼影。

改进的SPHP拼接算法主要分为四部分:部分投影变换;重合区域边缘平滑过渡;相似变换保持非重合区原有视角;泊松融合去除鬼影。

(1)部分投影变换

SPHP算法首先将图像划分为两个区域,分别为RH重叠区和RL其他区。对于重叠区域图像,SPHP直接应用投影变换H,对于其他区域的图像则采用相似变换S。然而,在重叠区RH与其他区RL的分界处,由于变换方式的不同导致边界无法完全重合。因此,需要引入另一个区域平滑过渡区。

(2)重合区域平滑过渡

将其他区RL划分为两个区,平滑过渡区RT与非重叠区RS。其中平滑过渡区是一个缓冲区,变换逐渐从H变为S。变换函数ω(u,v)定义如下

(18)

(3)相似变换

非重叠区采用相似变换,保持了原有视角。结合前面的投影变换区与平滑过渡区,构成拼接完整的图像。

(4) 泊松融合

首先计算重合区域形状,寻找几何变换后的重合区域掩膜mask,使用mask取下几何变换后图像的重合区域RH,并计算RH的梯度场μ。将原拼接图像作为背景,计算背景图像的梯度场s,将μ覆盖在梯度场s上,最后再将覆盖区域内每个像素点求偏导,获得散度,构造系数矩阵和约束方程,求解拼接图像。

2 实验与结果分析

2.1 实验装置与运行环境

本文方法实验环境如下:AMD RYZEN 7-4800H 2.9 GHz CPU,GTX 1650显卡,16 G内存,64位Windows10操作系统,编程语言python,在PyCharm中运行。实验图像拍摄地为中北大学。

2.2 特征匹配结果对比与评价

为验证本文所提方法的优越性,本实验分别采用SIFT、ORB、SURF与本文所提的优化ORB-GMS四种算法对两组图像进行特征点提取与匹配,并进行对比,四种方法的图像匹配效果如图6所示。其中一组是在同一位置下从不同角度拍摄的具有尺度变换特征的建筑物图像,另一组是在同一水平面从不同位置航拍的具有大量重复结构特征的地面场景图像。具有上述两种典型特征的图像易出现误匹配现象,导致在最终拼接时出现重影和色差。所以本文使用上述两种图像首先验证改进的ORB-GMS算法在图像具有重复结构和尺度变换情况下的特征匹配性能。在实验中,ORB、SIFT和提出的优化ORB-GMS算法均设置为获取10 000个特征点,而SURF设置较低阈值以尽量获取更多的特征点。

图6 四种方法的图像匹配效果图Fig.6 Image matching effect diagram of four methods

由图6可以看出,当图像中具有尺度变换及大量重复结构时,在同样获取10 000个特征点的参数设置情况下,传统的特征匹配算法在处理过程中产生了大量的错误匹配点,而优化ORB-GMS方法产生的错误匹配点远少于传统方法,且获取的特征点更加均匀,更有利于后续的图像拼接。表1是对这四种算法的客观评价对比,可以看出优化ORB-GMS算法具有更高的计算效率和匹配成功率。其中具有尺度变换特征的图像,由于同一目标特征点分布不同导致传统图像匹配方法出现错误匹配,本文提出的优化ORB-GMS算法在对特征点进行提取时进行了基于高斯尺度空间的网格化处理,从而有效降低错误匹配;具有大量相似特征的图像,由于相似特征点过多导致传统图像匹配算法容易出现误匹配,本文提出的优化ORB-GMS算法在网格化特征点筛选时可以剔除更多的错误匹配点,从而有效提高匹配精度。SIFT与SURF算法在进行关键点检测和描述时速度较慢,而ORB采用了FAST与BRIEF算法进行特征点检测与描述,因此运行速度更快。在错误特征点筛除阶段,传统算法都采用RANSAC算法,而本文提出的改进ORB-GMS算法采用GMS算法进行误匹配点的筛选,速度更快。

表1 不同匹配方法对比Tab.1 Matching comparison of different methods

2.3 图像拼接结果对比与评价

图像拼接实验中所用的图像集与2.2节中使用的一致。其中建筑物图像尺寸为2 736像素×3 648像素,拍摄时间为亮度较低的傍晚,该建筑物图像具有尺度变换的特征,且受光线干扰,导致拼接时易出现明显的重影和色差,如图7所示;地面场景图像尺寸为5 472像素×3 648像素,拍摄时间为天气晴朗的白天,该图像具有大量重复特征的特点,导致拼接时易出现重影。为保证不同算法对比效果的可信度,本文实验过程中除了采用的拼接算法不同外,其余条件都一致,并与SIFT+最佳缝合线法、SURF+最佳缝合线法两种经典图像拼接算法进行了比较。其中,最佳缝合线法是对两张图像的像素的每一行进行自上而下求和,选取最小能量函数的一种动态规划,寻找强度值最优路径的图像拼接算法。评价指标主要包括拼接时间、有无重影、有无明显拼缝及均方根误差值等4个方面,对于图像匹配精度,则通过不同算法配准得到的均方根误差值RMSE来评价,主要使用式(19)进行计算

RMSE=

(19)

式中,M、N是待拼接图像重叠区域O的大小;IO(i,j)、I′O(i,j)分别代表了待拼接图像重叠区域像素和参考图像重叠区域像素。RMSE越小则拼接精度越高。实验结果如图7所示。

图7 图像拼接效果对比Fig.7 Image mosaicing effect comparison

通过图7对拼接完成的图像画框部分进行对比,可以发现SIFT算法在画框处拼接没有对齐,这是因为该算法在特征匹配过程后的变换模型计算不够精确。在SURF算法的图像中出现了重影,且其画框的位置还有部分未对齐,说明相较于SIFT算法,SURF算法在加快拼接速度的同时降低了拼接的精度。在两张图像具有明显的亮度区别时,SIFT与SURF两种算法同时都使用最佳缝合线法进行图像的拼接,拼接完成后的图像有明显的拼缝。而本文方法采用的SPHP算法并无明显的拼缝,拼接效果更好。表2所示为三种拼接方法的客观对比,通过表2中不同算法的RMSE值对比可以看出,SIFT+最佳缝合线法RMSE值最小为9.27,SURF+最佳缝合线法RMSE值最小为13.61,而本文方法RMSE值最小为3.43,精度有明显提升。

表2 不同拼接方法对比Tab.2 Comparison of different mosaicing methods

2.4 多张图像拼接结果

使用基于改进的ORB-GMS-SPHP图像拼接算法对多张航拍图像进行逐次拼接,最终的拼接结果如图8所示。从图8可以看出,最终的拼接图像无拼缝、无鬼影,重叠区域过渡自然,亮度变化均匀,拼接效果好。

图8 多张图像拼接效果图Fig.8 Multi-image mosaicing effect diagram

3 结语

1) 在进行图像特征点提取时,本文提出的算法构建了基于高斯尺度空间网格化处理的ORB算法,实现了图像中特征点的均匀分布,解决了传统ORB-GMS算法由于特征点太过集中导致的拼接重影问题;利用GMS算法网格化加速处理的特点,提高了特征点匹配速度;采用SPHP算法进行图像拼接,拼接后对图像进行泊松融合消除拼接重影,以保证图像拼接的空间一致性,提高了图像拼接精度。

2) 经实验结果证明,本文提出的基于改进ORB-GMS-SPHP算法的快速图像拼接方法,相较于传统算法图像拼接速度明显变快,且无鬼影与色差,拼接效果好,可以用于地形航拍或者遥感地图绘制。

3) 由于拼接速度仍不足以支持实时图像拼接,后续仍需在不降低拼接质量的同时提高拼接速度,实现视频画面的实时拼接。