基于SIFT匹配和RANSAC算法的超分辨率重建

张 省，朱 伟

(山东省国土测绘院,山东 济南 250013)

随着传感器等技术的发展，高分辨率图像的应用日趋深入。现如今提高图像分辨率主要有两种途径，一种主要从硬件层次，但受制于技术限制与投入成本等因素，发展较慢；另一种为软件层次，主要是利用多幅图像间的信息互补提高图像分辨率，这类方法应用广泛，效果较好，即为图像超分辨率重建方法[1-2]。文献[3]于 1984年首次提出超分辨率重建方法。超分辨率重建技术近年来得到巨大发展，在计算机视觉领域发展迅速，提高了信息处理效率。

1 图像超分辨率重建技术

序列图像超分辨率重建是根据序列图像间信息互补重建高分辨率图像的技术[4]。如图1所示，超分辨率重建方法是，通过将4幅低分辨率图像利用图像重建，按照序列图像位置偏移获取最终图像的高分辨率像素值。图像超分辨率重建的目标即是获取上述高分辨率图像的像素值。

序列图像超分辨率重建中，序列图像的运动估计是重建的重要步骤，运动估计的精度与后续重建结果的质量密切相关。

运动估计算法主要考虑全局性变化，如序列图像间整体的平移、旋转和缩放，部分运动估计算法可处理一般化运动模型，Keren算法作为其中经典的算法，可进行局部或整体的运动估计。但现实中，重建的图像场景更为复杂，上述模型并不能很好地满足实际需求。近年来光流法运动估计算法等研究较为深入，应用情况更为广泛。但是为了使运动估计算法更适应应用实际，本文结合摄影测量领域图像匹配算法，引入SIFT匹配运动估计算法，提升同名点匹配的质量。算法能够满足超分辨率重建的精度要求，有利于实现图像高精度运动估计[5-7]。

2 基于SIFT匹配和RANSAC的运动估计方法

部分超分辨率重建算法都是以序列图像间运动幅度较小为基础开展的，如轻微的移动等，但现实获取的序列图像中，大多存在移动、旋转和缩放等多种复杂变换，运动估计较为复杂和困难，针对上述复杂序列图像的运动估计算法较少。由此，本文提出基于SIFT匹配和随机采样一致性算法(RANSAC)的运动估计方法，以实现旋转缩放图像序列的超分辨率重建。

2.1 SIFT算法

尺度不变特征转换(SIFT)算法由文献[8]提出并完善，在图像匹配领域应用广泛，对于尺度缩放等图像具有较好稳健性。SIFT算法可分为两部分：一是SIFT特征提取，通过构建DOG尺度空间，生成特征点相关信息；二是对SIFT特征点进行匹配，采用KD-tree索引和BBF(best-bin-first)查询机制进行匹配。

2.2 RANSAC算法去除误匹配点

RANSAC算法于1981年由文献[9]针对试验数据的拟合问题提出。针对SIFT粗匹配的结果，RANSAC算法可以从原始匹配结果计算出精确模型，达到剔除粗差点的作用[10]。

2.3 基于SIFT和RANSAC的运动估计算法

本文提出的基于SIFT匹配和RANSAC算法的运动估计是以图像匹配为基础。图像匹配主要获取图像间同名点，但超分辨率重建的运动估计主要获取序列图像间的关系模型，因此需在SIFT匹配获取同名点的基础上建立图像变换模型[11-12]。由于本文需要解决图像的平移、旋转、缩放等变换，因此采用投影变换模型描述图像间变换关系。

(1)

式中，mi(0≤i≤8)为图像变换参数；∝为尺度因子。

基于SIFT匹配和RANSAC算法的运动估计原理如图2所示，首先采用SIFT匹配算法提取序列图像的同名特征点，然后使用RANSAC算法去除误匹配的同名特征点，最后根据上述同名点计算投影变换矩阵。算法流程如图3所示。

图4(a)为SIFT特征点匹配的结果，图4(b)为RANSAC算法消除误匹配之后的结果，RANSAC算法较明显地去除了部分特征点对。

3 试验及分析

3.1 运动估计算法试验

本文试验使用分辨率为256×256像素的Lena图像，如图5所示，对该图像进行平移并下采样获取4幅低分辨率图像(64×64像素)。其中低分辨率图像序列的相对位移分别为(0，0)、(2.5，3.5)、(3.6，4.2)、(4.7，5.6)，图6(a)和图6(b)的相对位移为(4.7，5.6)。表1列出了上述运动估计算法对x和y方向位移的平均绝对误差。SIFT-RANSAC为在SIFT匹配基础上，采用RANSAC算法消除误匹配点。本文使用Keren算法作为对比算法，Keren图像匹配算法于1988年由文献[10]提出，主要应用于图像之间存在全局位移和旋转，精度较高且运算速度较快，在超分辨率重建领域应用较广。Keren算法使用开源软件包superresolution_v_2.0实现，本文两种基于影像匹配的运动估计算法在VS2010环境下，使用C++语言实现。由表1可得，SIFT-RANSAC运动估计算法精度优于Keren算法。

3.2 序列图像超分辨率重建算法试验

为了验证算法对于尺度缩放图像的支持，本次试验选择分辨率为512×512像素的手表示例图像，对该图像进行处理获取两幅不同尺度的图像，图像大小为256×256像素。重建算法选择迭代反投影法[13](iterative back-projection，IBP)，并与一种基于SIFT匹配的超分辨率重建方法SIFT-MAP[14-15]进行比较。由图7可得，SIFT-MAP算法(图7(f))重建效果一般，稍好于单幅插值算法，主要原因是该算法是针对视频图像、采用分区SIFT特征匹配的方法，对于图像尺度因子估计精度不足。由图7中的视觉效果和表2中的量化指标都可看出，本文采用算法重建结果效果良好，细节信息丰富，对于多分辨率图像序列的超分辨率重建具有较好的效果。

表1 序列图像运动估计算法平均绝对误差比较 像素

表2 手表图像超分辨率重建结果量化比较

4 结 语

本文着重研究具有较为复杂变换关系的序列图像运动估计算法，探讨了基于SIFT匹配和RANSAC算法的运动估计算法。试验结果表明，相比传统运动估计算法，本文提出方法精度较高，重建结果较好。但序列图像的超分辨率重建技术涉及的领域较大，新的技术和方法不断涌现，因此在以后的研究中还有较多的难点需要关注。为了更好地推广超分辨率重建技术在实际中的应用，为图像处理领域提供高分辨率图像，仍有许多工作需要进一步研究和改进。