基于Sobel算子和改进SURF算法的图像拼接方法

王小平，王建勇，杨 埙

(重庆城市管理职业学院，重庆401331)

基于Sobel算子和改进SURF算法的图像拼接方法

王小平，王建勇，杨 埙

(重庆城市管理职业学院，重庆401331)

针对基于SIFT算法的图像拼接算法计算量大、算法复杂、匹配效率低的问题，提出一种基于Sobel算子和改进SURF算法的图像拼接方法。首先采用Sobel算子快速检测图像兴趣点，然后利用改进的SURF算法进行图像匹配，采用随机抽样一致性算法消除错误匹配点。最后对图像通过加权平均法进行图像融合，消除拼接缝隙。实验结果表明，与基于SIFT算法的拼接方法相比，该方法具有较好的匹配精度，方法容易实现，且在匹配阶段具有更好的匹配效率，同时能够更好地处理拼接缝隙。

Sobel算子;改进SURF;图像匹配;图像融合

数字图像拼接是利用计算机技术将一组或多组具有重叠信息的图像经过匹配和融合过程，获得单幅宽视角、广视场的图像。图像拼接能够剔除图像中的冗余信息，压缩图像信息量的存储，将真实世界更加客观而形象地表现出来。该技术广泛应用于遥感测量、海底勘探、医学图像处理、边防巡逻等领域，如2013年10月，台风“菲特”造成的浙江余姚地区水灾，通过无人机航拍，然后进行图像拼接，为政府从大局把控灾情，进而及时救灾治害提供可靠依据，因此研究图像拼接技术具有十分重要的意义。图像拼接过程有3个主要步骤:图像预处理、图像匹配和图像融合，其中图像匹配是最重要的一个步骤［1］。文献［2］提出一种新的基于多尺度的Harris角点配准方法，该方法通过将图像分块进行角点检测，来避免图像角点分布不均的问题，最后根据图像特征点的最近邻和次近邻的欧氏距离进行匹配对的确定，有较好的匹配效率和匹配精度。文献［3］针对复制粘贴伪造图像鉴定中传统方法的鉴定方式耗时较长的不足，提出一种非对称搜索的图像盲检测算法，该算法是基于SIFT特征所具有的较好的匹配性能对疑似区域进行初步定位，使得检测效率比传统方法提高了1～2个数量级。SURF算法是对SIFT算法的改进，比SIFT算法的匹配效率高出2～3倍左右，但其匹配精度较SIFT算法低［4］。

本文提出一种基于Sobel算子的图像拼接方法，通过提取图像特征点，采用改进的SURF算法进行图像匹配，用随机抽样一致性算法消除错误匹配点，提高匹配计算速率和匹配准确率，在图像融合阶段采用加权平均法，消除拼接缝隙。

1 图像匹配

图像匹配就是在不同影像设备采集的并且存在一定重叠部分的两幅图像中寻找到相重合的点，然后利用寻找到的空间变换完成图像对齐操作的过程。根据匹配所利用信息的不同，图像匹配方法大致可归纳为3类:基于灰度、基于特征和基于变换域的图像匹配方法等［5］。

SURF［6］(Speeded-Up Robust Features)算法是Herbert Bay在2006年提出的一种基于特征的图像匹配算法，该算法是在SIFT［7］算法的基础上改进而来的，SURF算法具有优良的尺度、旋转、光照不变性，计算速度优势是其最突出的性能。SURF算法比SIFT算法的优势在于匹配阶段的快速匹配，本文借助SURF算法的思想，对检测到的特征点采用改进的SURF算法进行描述。SURF算法的极值点检测过程是通过对图像构造尺度空间，然后采用Hessian矩阵并使用积分图像来进行特征点的检测，构造尺度空间的目的是得到稳定的特征点，而采用Sobel算子得到的极值点具有很好的稳定性［8］。

1.1 特征点提取与描述子的生成

Sobel主要是通过以一个像素点为中心，对周围一定范围内的像素值做加权处理，进而判断该点是否处于极值状态，Sobel算子将处于极值状态的像素点标记为边缘点。具体过程如下:

1)Sobel算子采用3×3的模板进行卷积计算，其函数矩阵为

3)由Gx，Gy可以计算得出

然后将提前设定的阈值和G(x，y)相比，如果阈值小于G(x，y)，则该点为边缘点。

图像检测完极值点后，接下来对检测到的点采用本文改进的SURF算法进行描述子的生成，本文改进的SURF描述子的生成分为以下几个步骤进行:

1)以求得的特征点为中心，对半径为6σ的圆域内的任一点，求它们在x和y方向上的haar小波响应系数。

2)然后以一个半径为起点，取50°的扇形区域为计算区域，然后令该扇形区域在圆域内逆时针方向旋转，每隔30°换一个位置，并分别对这个扇形区域内x和y方向的haar小波系数的和进行计算。

3)该系数和形成一个向量，总共有12个向量，确定这12个向量中模最大的一个向量，然后将此向量的方向作为特征点的主方向。

4)接下来，选取上文所检测到的一个特征点，并以该点为中心，将坐标系旋转到主方向，并作一个边长为20σ的正方形，将此正方形分为4×4的小区域，分别计算每一个小区域内像素的x和y方向的haar小波系数，小波方形在计算时的边长为5σ×5σ，方向和主方向一致。

5)将步骤4)求得的方形区域内的每一像素点的x和y方向的haar小波系数进行求和操作，分别得到dx和dy，然后将该区域的每一点像素的haar小波系数的绝对值求和，分别得到∑dx，∑dy。

6)每个区域内得到一个向量v=［∑dx，∑dy，∑|dx|，∑|dy|］，总共有16个区域，所有的子区域的窗口向量构成了该描述子，其维数大小为4×4×4=64。

1.2 匹配

在匹配过程中，本文相似性度量采用的是欧氏距离，即用最近距离与次近距离之比，若该比值小于某个设定阈值，则认为是最佳匹配，否则抛弃;该阈值设置越大，则得到的匹配对数目越多，否则，得到的匹配对数目越少，本文所用的相似性判断阈值取值为0.8。

1.3 消除错误匹配

由于匹配图像的不唯一性，不同类型的图像对应的欧氏距离比的阈值设置也不同，因此同一个相似性度量，可能存在部分图像错误匹配对较少，部分图像出现大量的错误匹配对。本文采用随机抽样一致算法［9］进行错误匹配对的去除。随机抽样一致性(Random Sample Consensus，RANSAC)是由Fishler和Bolles在1981年提出的一种估计数学模型参数的迭代算法，该算法的优点是随着模型迭代次数的增加，样本空间的准确对应点所占的比率进一步得到提高。

在RANSAC算法中，有3个参数对算法去除错误匹配对的性能有较大影响，这3个阈值分别是估计次数、判定内外点距离的阈值以及判断一致性集合大小的阈值。

通过不同的视角方向对同一个场景采集图像，所采集的两图像之间存在某种一一对应关系［7］，并且两图像X(x，y，1)T和X'(x'，y'，1)T之间满足如下的透视变换关系

式中:左右两边存在的比例关系用“～”来表示;矩阵H有8个具有旋转不变性的独立变量，并且其满足的透视变换关系可表示为

由式(7)、式(8)可看出，两幅图像间的变换关系可以通过4个对应的像素匹配对来求取。

2 图像融合

由1.3节计算出的变换关系，可以对两幅图像进行变换，从而确定图像之间的重叠区域，将两幅图像的匹配点进行对齐操作，可以初步实现图像的拼接。但是图像在采集获取过程中，由于各种各样的干扰和光照影响等因素，使得图像存在一定程度的亮度变化，这种差异会导致拼接后的图像在拼接缝隙处出现亮度变化，使图像拼接质量下降。因此，图像对齐后存在的拼接缝隙需要进一步的处理，处理拼接缝隙的方法很多，图像融合方法是较常见和效果较好的一类方法。

本文采用加权平均融合法进行图像的融合操作，处理拼接产生的缝隙。加权平均融合法的主要思想是:首先对重叠区域的图像灰度值进行加权平均，按一定的权值对每个像素点灰度进行平均，然后进行叠加处理［10］。计算公式为

式中:d1和d2分别是第一幅图像和第二幅图像中重叠区域对应像素的权值，并且满足d1+d2=1，0＜d1＜1，0＜d2＜1。适当地选择权值，可以使得重叠区域实现平滑过渡，同时消除拼接痕迹。

3 实验结果与分析

为验证本文方法的有效性，采用配置为Pentium 2.80 GHz，内存为2 Gbyte的台式计算机，在Windows XP系统下采用MATLAB进行仿真验证。

为验证本文方法对旋转、缩放、仿射变换以及亮度变化的鲁棒性，本文采用国外计算机视觉领域专业用于匹配测试的图像对本文算法的匹配性能进行测试，如图1所示。其中，图1a存在较大程度的缩放、旋转和仿射变换，图1b存在较大幅度的旋转和图像模糊，a、b两组图像能够较理想地对图像的缩放、旋转、仿射、模糊等情况进行测试。

图1 测试图像

对上述测试图像用本文改进的SURF算法进行匹配，首先对测试图像进行Sobel特征点提取，然后将提取的特征点采用改进的SURF算法进行64维描述子的构建，接着采用欧氏距离作为相似性判断准则进行相似性判断，获得初始匹配对，最后对初始匹配对进行RANSAC提纯，消除错误匹配对，结果如图2所示。

图2 匹配结果

经过仿真验证，本文方法有较好的匹配效果，在图2a测试结果中，匹配145对，正确匹配138对，匹配准确率达到95.17%;在图2b测试结果中，匹配413对，正确匹配396对，匹配的准确率达到95.88%。除此以外，本文分别用本文匹配方法、SIFT算法、PCA-SIFT算法及SURF算法对5组不同类型的图像进行测试，为较快对本文方法的有效性进行检验，本文选取的5组图像均为分辨率较小的图像。

对实验的匹配准确率和匹配时间进行统计，结果如表1所示。

表1 实验数据统计

通过表1中的数据统计可以发现，在匹配准确率方面，与PCA_SIFT算法、SURF算法相比，经典的SIFT算法在图像匹配中的匹配准确率较高，高出后两者的2%～6%;与SIFT算法相比，本文方法在匹配准确率方面优势较为明显，高于SIFT算法6%～9%。在匹配时间方面，SIFT算法的效率明显低于PCA_SIFT算法与SURF算法，本文算法在匹配时间方面优势明显，大约为SIFT算法匹配时间的60%，同时高于PCA_SIFT算法与SURF算法。

最后，对图像进行对齐操作以后，应用加权平均融合法对图像进行融合处理，因为本文的图像匹配阶段，具有较好的匹配精度，因此，图像拼接的效果十分理想。对图像进行加权平均融合后，较好地处理了图像的拼接缝隙，达到较理想的拼接目的。拼接实验结果如图3所示。

图3 图像拼接结果

4 结束语

本文提出一种改进的图像拼接方法，对图像拼接的关键——图像匹配步骤进行改进，结合Sobel算子提取算法的突出检测性能，通过改进的SURF算法进行描述子构建，最后经过匹配和融合将图像进行拼接，具有良好的匹配精度和匹配效率，尤其在图像像素点数目较多的时候，能获得更好的匹配性能;并且通过图像融合，能够很好地处理拼接缝隙，实现图像快速精准拼接。在遥感图像拼接、地理信息勘测等高分辨率图像处理领域具有一定的应用价值。

［1］刘春晓，金剑秋，彭群生.利用大位移视图的自动可信图像修补［J］.中国图象图形学报，2013，18(3):351-357.

［2］常丽萍，冀小平，赵梁.分块的基于Harris角点检测的图像配准方法［J］.电视技术，2013，37(1):45-47.

［3］杜振龙，杨凡，李晓丽，等.利用SIFT特征的非对称匹配图像拼接盲检测［J］.中国图象图形学报，2013，18(4):442-449.

［4］罗楠，孙权森，耿蕾蕾，等.一种扩展SURF描述符及其在遥感图像配准中的应用［J］.测绘学报，2013，42(3):383-388.

［5］谢辉，刘浏，李建勋.基于局部结构特征的红外与可见光图像匹配［J］.计算机工程，2012，38(15):230-233.

［6］BAY H，TUVTELLARST，GOOL L.SURF:speeded up robust features［C］//Proc.the European Conference on Computer Vision.［S.l.］: IEEE Press，2006:404-417.

［7］ LOWE D.Distinctive image features from scale-invariant key points［J］.International Journal of Computer Vision，2004，60(2):91-110.

［8］吴丽丽，余春艳.基于Sobel算子和Radon变换的车牌倾斜校正方法［J］.计算机应用，2013，33(S1):220-222.

［9］FISHLER M，BOLLES R.Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography［J］.Communications of the ACM，1981，24(6):381-395.

［10］宋宝森，付永庆，宋海亮.一种消除图像拼接痕迹的新方法［J］.计算机科学，2011，38(2):260-264.

Image Stitching M ethod Based on Sobel Operator and Im proved SURF Algorithm

WANG Xiaoping，WANG Jianyong，YANG Xun
(Chongqing City Management College，Chongqing 401331，China)

Aim at the problem of SIFT-based algorithm of image stitching algorithm intensive calculation and complicated algorithm，low efficiency of thematching problem，amethod based on Sobel operator and improved image stitching method SURF algorithm is presented.Firstly，detecting image points of interest quickly by Sobel operator，and then doing imagematching algorithm by the improved SURF algorithm，and eliminating the error consistencymatch point by random sampling.Finally，eliminating splicing gap of image fusion by weighted averagemethod.Experimental results show that，compared with the imagemosaic method of SIFT algorithm，thismethod is easy to implement，and has a bettermatch efficiency and precision，at the same time thismethod can handle the splicing gap much better.

Sobel operator;improved surf;imagematching;image fusion

TN949.6

A

王小平(1973— )，硕士，副教授，主要研究方向为通信系统、数字信号处理、嵌入式系统开发等，为本文通讯作者;

�� 雯

2014－04－09

【本文献信息】王小平，王建勇，杨埙.基于Sobel算子和改进SURF算法的图像拼接方法［J］.电视技术，2014，38(13).

国家自然科学基金项目(61275099)

王建勇(1983— )，硕士，讲师，主要研究方向为图像处理、通信网等;

杨 埙(1983— )，女，硕士，讲师，主要研究方向为数字信号处理、通信技术。