基于鲁棒迭代优化的图像拼接算法＊

杜培明 ，邢 硕 ，2

（1.安徽工业大学电气信息学院，安徽 马鞍山 243032；2.铜陵学院电气工程学院，安徽 铜陵 244061)

基于鲁棒迭代优化的图像拼接算法＊

杜培明1，邢 硕1，2

（1.安徽工业大学电气信息学院，安徽 马鞍山 243032；2.铜陵学院电气工程学院，安徽 铜陵 244061)

针对保持直线边缘不畸变和改善拼接区域精度的需要，提出了一种基于鲁棒迭代优化的图像拼接算法。采用SIFT特征匹配算法提取不变特征，依据RANSAC鲁棒算法估计单应性矩阵获取精确内点匹配点对，参照内点匹配点对作为参数，利用最小二乘法重新估计单应性矩阵，最终通过鲁棒迭代优化重新计算更多内点直至内点收敛。实验结果表明，所提出的算法使得直线边缘维持直线化，同时拼接精度得到提高。

SIFT特征匹配；RANSAC鲁棒估计；最小二乘估计；迭代优化

1 引言

图像拼接技术是依赖采集的重叠图像集合，利用计算机视觉进行图像间的相互匹配，并将其拼接成无缝高分辨率图像的过程。其本质是获取最优坐标空间映射的单应性矩阵，对待拼接图像进行空间几何变换，使得位于不同视点下的图像公共区域相互匹配，实现图像公共区域相互重叠和非公共区域相互拼接。现今，图像拼接技术已经成为计算机视觉的研究热点，并被广泛应用到遥感图像处理、医学图像处理、超分辨率图像重构等领域。

图像匹配是指通过匹配算法识别两幅或多幅图像间的同名点，其是实现图像拼接的关键和核心，可划分为区域匹配［1，2］和特征匹配［3～5］。区域匹配利用区域统计量的相似性度量来实现图像匹配，但其不能实现校正图像形变，且域搜索的运算量较大，特征匹配利用提取不变性特征来估计图像匹配，其依据不变性特征间的匹配关系来建立图像间的映射关系，因而大大减少了算法的复杂度，但其关键在于如何有效提高匹配质量。

特征匹配是指通过提取图像的特征和对特征进行参数描述，再运用描述参数来进行匹配的过程。文献［3］提出了依据不变特征实现全景图像自动拼接，而对于近景图像拼接直线部分会产生曲线化；文献［4，5］针对空间变换简单的眼底图像进行图像拼接，图像不存在大幅度的旋转变换和尺度变换，仅依据MLESAC算法进行剔除，难以得到精度较高的图像拼接；文献［6］给出了利用圆柱拼接算法来实现的柱面全景图拼接，然而柱面拼接会导致图像发生畸变，使得图像中的直线变化为曲线，不适用于矩形度检测等场合。

鉴于图像拼接保持直线化和提高精度的需要，本文提出了一种基于鲁棒迭代优化的图像拼接算法。通 过 SIFT（Scale-Invariant Feature Transform)特征匹配算法提取初始匹配点对，依据RANSAC（Random Sample Consensus)算法估计单应性矩阵获取内点，用以剔除匹配过程中的误匹配点对，再参照内点利用最小二乘法来重新估计单应性矩阵，采用迭代优化重新计算内点，重复循环直至内点数目收敛，从而最终获取图像拼接的映射关系。

2 SIFT特征匹配

在采集拼接图像过程中，图像存在旋转变换和尺度变换，使得传统信息匹配和角点匹配难于适用，而 SIFT 特征提取［7，8］具有光照、尺度、旋转不变性，且稳定性较好，从而适用于拼接图像的旋转变化和尺度变化。

SIFT算法主要包含以下步骤：（1)建立DoG尺度空间，搜索该空间下的极值；（2)依据DoG空间极值，精确定位其位置和尺度；（3)计算关键点梯度直方图，确定其主方向；（4)利用梯度直方图，生成特征描述子。

SIFT特征提取完成后，需要依赖特征描述确定匹配点对。通常采用特征描述的欧氏距离作为相似性度量，取基准图像的某个SIFT基准点，利用kd-树在待匹配图像中搜索最近邻和次近代匹配点，若最近距离除以次近距离小于某个阈值，则接受该匹配点对。

3 射影变换

射影变换［9］描述着空间坐标点在不同坐标系下的投影映射关系，设基准图像中点x和待匹配图像中点x′为同一空间坐标点，则存在单应性矩阵H 满足式（1)：

矢量x′和矢量Hx相互平行，则有式（2)：

基准图像的基准点到待匹配图像的映射关系如式（3)所示：

单应性矩阵H的自由度为8，则有：

其中，h为H的前八个元素组成的八维矢量，i＝1，…，4。

4 图像拼接

4.1 RANSAC鲁棒估计

设经SIFT特征匹配获取的匹配点对数目为N，匹配点对为xi和，则依据代价函数Jr值最优来估计单应性矩阵H，如式（5)所示：

RANSAC鲁棒估计［9］步骤如下：

（1)随机从N对SIFT特征匹配点对中选取四对匹配点对，并以此作为参数依据式（4)求取单应性矩阵H。

（2)利用单应性矩阵H将N 对匹配点对xi和分别映射到对方空间中，依据式（5)计算代价函数Jr值。

（3)修正循环变量Count，当Count为正时，重复（1)～ （3)。其中，Count＝log（1－p)/log（1－（1－ε)s)，p＝0.99，1－ε表示内点概率，ε表示野值概率。

（4)选取代价函数Jr值最小的单应性矩阵H作为RANSAC映射矩阵Hr，并由式（6)和式（7)依据欧氏距离dist判别xi和为内点或野值，其中内点数目为M，则野值数目为N－M。

4.2 最小二乘估计

经RANSAC算法获取的单应性矩阵Hr，仅由4个匹配点对其进行描述，使其精度难以达到可靠保证，在此希望依据RANSAC算法获取的内点，利用最小二乘法来重新估计LS映射矩阵Hl。

依据式（4)变换可得式（8)：

依据M个内点对应的代价函数Jl值最优来增强估计单应性矩阵Hl，如式（9)和式（10)所示。

4.3 鲁棒迭代优化

经最小二乘估计获取的单应性矩阵Hl，在此希望获取更多的内点使得估计精度更高，考虑利用单应性矩阵Hl重新计算内点数目，并重复该循环直至内点数目收敛。

鲁棒迭代优化步骤如下：

（1)依据RANSAC鲁棒估计获取RANSAC映 射矩阵，并据此计算内点数目M（0)；

（2)依赖 M（i－1)内点坐标利用最小二乘估计获取LS映射矩阵，并据此重新计算内点数目M（i)；

（3)判别 M（i)＞，若该式成立，重复（2)～（3)，否则结束循环，并以作为最终的单应性矩阵。

5 实验结果与分析

5.1 近距场景

近距场景图像包含旋转变换和尺度变换，以几本相互平行的书置于实验台上，离摄像机镜头较远的书变形较强，如图1a和图1b所示，以书和实验台的边缘保持线形为要求，进而依据本文算法实现图像拼接。

近距场景图像经由SIFT特征匹配，获取97对初始匹配点对，如图1c所示；通过RANSAC鲁棒估计，获取62对内点匹配点对，如图1d所示；经过最小二乘估计，获取LS映射矩阵进行图像拼接，如图1e所示；经过三次迭代优化，获取74对内点匹配点对，获取LS映射矩阵进行图像拼接，如图1f所示。

Figure 1 Close shot experiment图1 近距场景实验

从实验结果可以看出，图1a经单应性变换后，书与实验台能较好地保持直线不畸变，书矩形度恢复情况表现较好，同时拼接交界处能够实现无缝拼接，随着迭代次数增加，内点数目逐步增加，拼接效果逐步增强，如图1e、图1f和图2所示。

Figure 3 Distant view experiment图3 远距场景实验

Figure 2 Relation of inner points number and iterations图2 内点数目与迭代次数变化关系

5.2 远距场景

远距场景图像包含旋转变换和尺度变换，包含远处建筑、湖面和山体，离摄像机镜头较远场景几何变换较为简单，如图3a所示。

远距场景的实验过程与近距场景基本一致，依据各幅图像的匹配区域进行拼接，此处以第二幅图像为拼接中心，其他图像参照第二幅图像进行拼接。从实验结果可以看出，距离拼接中心较近的图像在拼接过程中变形相对较小，各幅图像基本实现无缝拼接，整合为一幅高分辨率图像。

6 结束语

本文应用鲁棒迭代优化方法对存在旋转和尺度变换的图像进行拼接，采用SIFT特征匹配算法提取匹配点对；依赖RANSAC鲁棒算法估计单应性矩阵；并据此获取精确内点匹配点对，依照内点匹配点对作为参数，利用最小二乘法重新估计单应性矩阵，再依据鲁棒迭代优化重新计算更多内点直至内点收敛。实验结果表明，在近距场景和远距场景图像拼接过程中，本文方法均能得到较为满意的拼接结果。

［1］ Wolberg G，Zokai S.Robust image registration using log－polar transform［C］∥Proc of IEEE International Conference on Image Processing，2000：493-496.

［2］ Viola P，Willian M.Alignment by maximization of mutual information［J］.International Journal of Computer Vision，1997，24（2)：137-154.

［3］ Brown M，Lowe D G.Automatic panoramic image stitching using invariant features［J］.International Journal of Computer Vision，2007，74（1)：59-73.

［4］ Wang Yu-liang，Shen Jian-xin，Liao Wen-he，et al.Automatic fundus images mosaic based on SIFT feature［C］∥Proc of the 3rd International Congress on Image and Processing，2011：2747-2751.

［5］ Wang Yu-liang，Shen Jian-xin，Liao Wen-he.Automatic fundus images registration and mosaic based on SIFT feature［J］.Journal of Nanjing University of Aeronautics ＆ Astro-nautics，2011，43（2)：222-228.（in Chinese)

［6］ Shum H，Szeliski R.Panoramic image mosaics［R］.Redmond：Microsoft Research，2001：1-50.

［7］ Lowe D G.Distinctive image features from scale-invariant keypoints［J］.International Journal of Computer Vision，2004，60（2)：91-110.

［8］ Beis J S，Lowe D G.Shape indexing using approximate nearest-neighbour search in high-dimensional spaces［C］∥Proc of IEEE 1997Computer Society Conference on Computer Vision and Pattern Recognition，1997：1000-1006.

［9］ Hartley R，Zisserman A.Multiple view geometry in computer vision［M］.UK：Cambridge University Press，2000.

附中文参考文献：

［5］ 王玉亮，沈建新，廖文和.基于尺度不变特征的眼底图像自动配准与拼接［J］.南京航空航天大学学报，2011，43（2)：222-228.

Image mosaic based on robust iterative optimization

DU Pei-ming1，XING Shuo1，2
（1.School of Electrical Engineering ＆Information，Anhui University of Technology，Ma’anshan 243032；2.School of Electrical Engineering，Tongling University，Tongling 244061，China)

Aiming at the requirements of keeping edges in a straight line and improving the mosaic precision，an image mosaic algorithm based on robust iterative optimization is proposed.Firstly，SIFT feature matching algorithm is employed to extract features with invariance.Secondly，inlier matching points are obtained accurately through the homography matrix that is estimated according to RANSAC robust algorithm.Thirdly，the homography matrix is re-estimated utilizing least square method by treating inliers as parameters.Finally，more inliers are recomputed until converge based on robust iterative optimization.Experimental results show that，with the proposed method，edges are maintained as a straight line and the precision of image mosaic is greatly improved.

SIFT feature matching；RANSAC robust estimation；least-squares estimation；iterative optimization

TP391.41

A

10.3969/j.issn.1007-130X.2014.04.029

2012-10-24；

2013-01-21

通讯地址：244061安徽省铜陵市铜陵学院电气工程学院

Address：School of Electrical Engineering，Tongling University，Tongling 244061，Anhui，P.R.China

1007-130X（2014)04-0741-05

杜培明（1964-)，男，安徽马鞍山人，副教授，研究方向为图像处理。E-mail：dpm1717＠ahut.edu.cn

DU Pei-ming，born in 1964，associate professor，his research interest includes image processing.