基于图像点特征的拼接技术研究

周美丽，郭建峰

（延安大学 陕西 延安 716000）

日常生活中，人们总希望能拍摄出场景范围大，分辨率高的图象。但由于各种限制，两者很难同时满足。若照片场景范围较大，则分辨率就会较低，反之若对分辨率要求高，则拍摄场景范围自然就会缩小。而图像拼接技术就可以有效地解决这个问题。国外早在1996年Hueng Yueng Shun和Richard Szeliski[就提出了一种模型，它是基于运动的全景图像拼接，具体操作是先计算出拼接图像间的几何变换，再进行融合。到了2000年，Shmuel Peleg及其团队提出了另一种模型——自适应图像拼接模型，而首次出现SIFT算法是在在2003年ICCV大会上Brown提出的，他使用SIFT算法进行图像拼接，该算法能够自动拼接过程，并且证明有良好的效果。Brown的此次发言再次掀起了人们研究图像拼接技术的兴趣。近年来,我国的图像拼接技术同样取得了较好的成绩。1996年，钟力等人提出进行图像匹配时参照两列像素的灰度比值，最后拼接图像时采用加权融合的方法。李跃等人在2001年,对电路图采用模板进行图像匹配，从而实现拼接。2007年，李寒等人在国内成功使用SIFT特征点进行图像拼接，此算法有效突破了在光照和尺度下的局限。目前，图像拼接技术已经取得许多可喜成果，并且应用已逐步扩展到航天航空、工业领域、医学图像等领域。

1 数字图像拼接流程图

典型的基于特征点[1]的数字图像拼接系统主要包含以下步骤：开始先对图像进行预处理、然后提取图像特征、并且根据特征进行匹配、寻找最优的匹配点对、变换模型参数估计、最后进行图像融合。总体如框图4所示。

图1 像拼接系统的构成Fig.1 Image mosaicing system

图像拼接适用于多幅图像，为了简化步骤，这里只研究两幅图像的拼接问题，其与多幅图像原理一样。在两幅图像中任选一幅图像为参考图像不做任何处理，则另一幅图像是待拼接图像需要进行变换，然后投影到参考图像的坐标系中进行比较，最后进行图像的融合。在上图1系统中图像预处理主要是对数字图像进行基本处理，如直方图处理、高斯滤波处理等，通过对图像进行变换，如快速傅立叶变换，Gabor变换[1]，小波变换等，得到图像的匹配模板。特征提取即提取图像的角点特征。特征匹配部分此处为角点匹配，即找出唯一对应角点，本文采用归一化互相关及误差平方和的办法来匹配，初步找出所有可能正确的匹配角点，然后采用RANSAC算法进行处理确定最优匹配点对，删除不满足要求的点对，最终留下来的点对就是所需点；变换模型参数估计也称做映射模型（Mapping Model）参数估计，即是将输入图像向参考图像映射的坐标变换函数；图像融合模块是图像拼接的最后一个步骤，在此过程中需要消除图像拼接之后产生的拼接线。本文所要进行拼接的图像如图2和图3所示。

图2 为参考图片图Fig.2 Reference image map

图3 为待拼接图片Fig.3 Photo stitching

2 图像特征点的提取

图像特征点通常包括线交叉点、拐角、边界线曲率最大点、封闭曲线的质心点等，本文主要讨论采用Harris角点来实现图像拼接。Harris角点检测算法拥有很多优点[2]：计算量小；具有较高的稳定性和鲁棒性；能够准确对经过任意旋转、灰度改变后的图像提取角点。基于以上几点，本文采用Harris角点法来提取图像的特征点，如式（1）：

其中，M为矩阵，Ix和Iy分别为图像I在X，Y方向上的一阶导数，k为高斯模板，CRF的局部极大值点就是角点[3]。图像拼接过程中，为了得到匹配的特征点才进行角点检测，因此要求角点检测算法所检测到的角点中，匹配点对比例尽可能大。所谓角点匹配通俗的讲就是在图1和图2中找出唯一对应角点，这是自动匹配的关键步骤。常用的角点匹配方法有两种：即不相似测度SSD和相似测度NCC，本文采用的是相似测度NCC[4]来完成特征点匹配，如式（2）：

采用NCC匹配方法，有效排除了其它信息的干扰，进行角点初始匹配过程中，由于物体的独立运动和噪声的干扰，难免会造成一定的错误匹配.本文针对这个问题提出了改进的算法，用来消除错误匹配。这种改进的特征匹配对缩放或角度旋转程度小的图像非常有效。如式（3）、式（4）：

如果在两幅图像中的对应特征点满足这一条件，就是一个有效的匹配对，反之，则是误匹配对。采用这种方法处理完所有的初始匹配点对后，就可以得到所有合适的匹配点对。本文进一步采用RANSAC算法再次消除误匹配[5]，从而得到精确度更高的匹配点对。如图4和图5所示即为提取特征点图像。

图4 对图1提取特征点Fig.4 The points of Fig 1 extraction

图5 对图2提取特征点Fig.5 The points of Fig 2 extraction

3 图像融合

整个图像拼接处理过程当中的最后一个步骤是图像融合（Image Blending），图像融合就是把匹配后的两幅图像根据对应的位置合并为一幅图像。图像融合的目的是要消除图像中较强的光或间断的色彩。常用算法有：平均值法、加权平均法、欧式距离法[8]，本文进行图像融合采取的是加权平均法。为了要使拼接区域不出现明显间断，消除拼接线，采用加权平均算法[9]，如式（5）：

产生加权平均的作用为了使用图像实现平滑过渡的效果，使颜色慢慢过渡，避免图像模糊不清或出现明显的边界，其中，d为渐变因子，它的取值为重叠区图像宽度的倒数，I11（x，y）为参考图像中重叠部分，I22（x，y）是待匹配图像中的重叠部分，融合后为 I（x，y）。

有了可靠的的图像特征点对，就可以对整个图像进行拼接处理。图像拼接的目的是要消除拼接缝。实际操作中，通常对重叠区域角点采用加权平滑方法[6]，从而实现平滑过渡。如图6所示。

图6 消除拼接缝原理Fig.6 The elimination of seam diagram

拼接后图像重叠部分象素点的灰度值GrayLevel由拼接前具有相同重叠区域图像中对应点的灰度值LGrayLevel和RGrayLevel加权平均得到，其数学模型如式（6）所示：

其中：k是渐变因子，满足0＜k＜l，由左边图像的重叠部分慢慢过渡到右边图像重叠部分的平滑拼接，是通过k由1渐变至0实现的，其渐变方向为从左到右。下图中阴影部分是图像待匹配的重叠区域，左图中重叠部分中的一点LGrayLevel与右图中对应点RGrayLevel在拼接时重叠，当把二者合二为一时，重叠的LGrayLevel与RGrayLevel就变成了一点Graylevel，从而实现过渡时能够保持平滑。如图7所示为图像融合后的效果图。

图7 是拼接后图像Fig.7 The mosaic image

4 结束语

通过上述实验可以看出采用本文所建立的图像拼接模型可以对图像进行很好的拼接。把拼接后的图像与原图进行比对，几乎肉眼观察不到二者的差别。这一系统模型是在VC++6.0平台下构建的，它具备界面制作简单、运行速度良好等优点，可广泛用于图像修复领域。

[1]Chale A，Naghdy G，Mertins A，Sketch-based image matching using angular partitioning systems[J].IEEE Transactions on Man and Cybernetics，Part A，2005，35（1）:28-41.

[2]章毓晋，图像工程，图像处理[M].2版.北京：清华大学出版社，2005.

[3]胡社教，葛西旺，陈宗海.基于角点特征的KLT跟踪全景图像拼接算法[J].系统仿真学报，2007，19（8）:1742-1744.HU She-jiao，GE Xi-wang，CHENG Zong-hai.The stitching algorithm based on the image feature point of tracking KLT panoramic[J].Journal of System Simulation，2007，19（8）:1742-1744.

[4]李晓娟.图像拼接技术研究[D].西安：西安电子科技大学，2007.

[5]陆方杰.基于特征的数字图像拼接技术研究[D].杭州：浙江大学，2007.

[5]Sevket Gumustekin.An introduction to image mosaicing.[EB/OL].（2008-03-20）http://www.iyte.edu.tr/eee/sevgum/research/mosaicing99/.

[6]李寒，牛纪祯，郭禾.基于特征点的全自动无缝图像拼接方法[J].计算机工程与设计，2007，28（9）:2083-2085.LI Han，NIU JI-zhen，GUO He.The mosaic method of Automatic seamless image based on feature points[J].Computer Engineering and Design，2007，28（9）:2083-2085.

[7]Szeliski R，Video mosaic for Virtual Environments[J].IEEE Computer Graphics and Applications，1996，16 （2）：22-30.

[8]Harris C，Stephens M.A combined corner and edge detector，Proceedings Fourth Alvey Vision Conference[J].Manchester，1988:147-151.

[9]徐馄.稳健的图像拼接算法研究[D].南昌：南昌大学，2005.

[10]葛西旺.一种精确的图像拼接方法[J].安徽建筑工业学院学报，2007，15（1）:69-72.GE Xi-wang.An accurate method for image mosaic[J].Journal of Anhui Construction Industry Institute，2007，15（1）:69-72.