基于改进特征点检测的全景图像拼接方法

郑 宇，张晓燕（通信作者）

（厦门大学嘉庚学院信息科学与技术学院 福建 漳州 363105）

0 引言

近年来，随着互联网、物联网的快速发展，对具有较大视域全景图像的需求也越来越迫切，全景图拼接技术也得到了迅速发展。兰红等[1]提出了一种针对优化SIFT算法的全景图拼接技术，他们通过结合图像单元信息投影熵原理提取分块图像特征，依据投影熵矢量欧氏距离进行特征匹配，最后利用改进的随机抽样一致性算法删除误匹配的方法进行技术优化；沈鹏[2]提出了一种基于SIFT特征的全景图拼接技术，通过加入面向柱面投影的图像边缘锯齿消除算法来提高图像质量；刘旭[3]提出了一种基于SIFT和RANSAC的全景图拼接算法，结合了距离、角度、随机抽样性等特性，并将匹配阶段分为粗细两个阶段进行，采用了渐进渐出的融合算法。虽然近些年涌现了很多关于全景图像拼接的方法，但是对准确度高、低性能开销、速度快的相关算法研究仍然是研究热点。

本文提出了一种基于改进特征点检测的全景图拼接算法。通过对Harris角点检测方法加入自适应阈值算法进行改进，实现图像特征提取的优化，再利用改进的加权RANSAC算法进行误匹配对剔除，通过空间变化法对拼接融合后产生的局部畸变进行几何校正处理，提高了全景图拼接的效率和准确性。

1 改进特征点检测

图像特征点检测方法主要有SIFT、SURF、Harris、ORB等方法。其中Harris角点检测于1988年被提出，在图像特征匹配中较为常用。传统Harris角点检测算法在提取角点质量与速度上都有一些局限性[4]，本文对Harris角点检测算法进行了如下改进：

（1）计算图像在x、y方向上的梯度Ix、Iy，分别求出x、y方向上的梯度乘积，并对和Ixy进行高斯加权。在此过程中我们去除梯度较小的点，只对梯度幅度比较大的像素点进行计算提取，减少了伪关键点的干扰。

（2）由于Harris算法用于提取角点的阈值是固定的，故存在忽略有效像素点的可能性。为此提出自适应阈值设置方法，提高检测算法的精确性，避免伪角点的产生。

根据公式（1）计算出每个像素的响应值R：

其中w为窗口函数，代表了窗口下每个像素点的权重，一般采用高斯函数，表示越靠近所选点，其权值越大。Ix和Iy分别为x和y坐标下的像素位置。k一般取0.04-0.06。

对响应值进行判定的阈值T求解如下：

设置迭代终止值K及迭代开始值A0,A0取R值矩阵中最大值Rmax与最小值Rmin的平均值，即公式（2）：

使用A0对R值矩阵中的各个像素点进行分类，其中大于A0的分为T1区域，小于A0的分为T0区域。计算T0和T1两个区域中像素的平均值ρ1和ρ2，并通过公式（3）获取ρ值：

求出ρ与A0的差的绝对值，若小于预先设置的K即停止迭代，输出阈值A0。若大于预先设置的K，则将A0的值等于ρ，并进行重复迭代，直到取得符合条件的阈值即暂停。

使用不同的算法进行特征提取，结果如图1所示。

图1 不同特征提取效果对比

从直观的对比结果可以看出，本文改进的Harris角检测算法在识别的精度上明显优于原算法以及其他算法，可以精确提取绝大部分的关键点，尤其是减少了伪特征点的干扰，能够有效提高图像匹配的准确性。

本文还对四种特征提取方法的时间开销进行对比，结果如表1所示。

表1 不同算法时间开销对比

从表1可以看出，本文改进的Harris算法在时间性能开销上有显著提升，明显较快。

2 误匹配点剔除

对特征点进行匹配后通常会存在较多误匹配对[5]，影响后续拼接效果。采用改进RANSAC算法进行误匹配点剔除，得到精确匹配结果。

RANSAC算法的实现如公式（4）所示：

式中（x,y）、（x',y'）为待拼接图像的角点位置，s为尺度参数，H为变换矩阵，其中H共有9个未知参数，使用奇异值的分解方法来计算图片的变换矩阵。

在传统的RANSAC算法中，每次选取的样本点都是随机的，但是每一对匹配的程度都不一样，因此需要增大产生合适单应矩阵模型的可能性。为此我们提出根据不同特征点匹配度给予不同的权重，匹配程度越大的点赋予更大的权重。具体公式如下：

其中W表示权重，λ1表示像素点与最优匹配点间的欧式距离，λ2表示像素点与其次匹配点间的欧式距离。而λ1与λ2的比值与匹配的正确率成反比，比值越小正确率越高。为此应当赋予更大的权重。

3 图像拼接

全景图拼接的主要实现方法是依次不断地将前一张图片和后一张图片进行匹配拼接，直至完成所有图像，其过程如图2所示：

图2 拼接过程

为了提高拼接结果，我们加入了基于加权平均法的图像融合这一步骤，消除图像匹配后产生的缝合痕迹。加权平均法的图像融合原理如式（6）：

在相同像素点对灰度值赋予权重值，融合图像的灰度值为两图灰度值加权之和。加权平均法融合实现速度快，完成的图像自然清晰，达到更好的视觉效果。

4 实验结果分析

基于上述方法获得的全景图如图3所示，该图中存在的径向畸变严重影响了全景图的效果，本文采用空间变换法改进全景图结果，基本流程如图4所示：

图3 几何畸变的全景图

图4 几何畸变校正流程图

对畸变图像建立校正函数为：

其中gu（x，y）为几何畸变图像，gv（x，y）为基准几何坐标的图像。由于计算的（u，v）不是每次都刚好在畸变图像的像素中心上，采用双线性内插进行处理[6]，再基于公式8对每个像素进行校正输出，其中α和β为双线性内插权值。

经过几何畸变矫正之后的全景图如图5所示，可以看出全景图的质量得到明显改进。

图5 输出的拼接全景图

我们将基于SIFT特征的图像拼接结果与本文算法结果进行对比，结果如图6所示：

图6 SIFT特征拼接与本文算法结果比较

可以看出，图6（a）中存在明显的拼接缝隙，色彩误差以及畸变。而上述问题在本文改进的技术中并未出现且自然美观，如图6(b)所示。

5 总结

本文通过对Harris角点检测算法进行自适应阈值改进，提高了特征点提取的准确性，采用加权RANSAC算法剔除误匹配对以提高匹配效果，并对拼接后图像进行几何畸变校正得到高质量的全景图。本文算法简单高效，能够获得较好的拼接结果，在一定程度上提高了拼接算法的精度和速度。