基于改进SURF算法的无人机遥感图像拼接方法

么鸿原，王海鹏，焦 莉，林雪原

（1.海军航空大学，山东烟台264001；2.烟台市芝罘区教师进修学校，山东烟台264001）

图像拼接是指将由某一待观测环境中拍摄取得的两幅或多幅影像通过图像处理等方法，拼接成一幅视角更宽广的全景图像的技术[1-3]，而图像配准是这一技术的关键步骤。当前，在图像处理的各个领域中，基于图像特征点的配准方法被大量应用[4]，基于图像特征点的配准方法能够对光照强度的变化、拍摄角度旋转等变化表现出良好的鲁棒性以及较高的可靠性。对于图像的特征匹配算法而言，能够找到具有高鲁棒性的特征点是其关键，常用的特征点提取算法主要有 Harris[5]、SIFT[6]和 ORB[7]等。

针对遥感图像拼接技术中面临的2个常见问题：①传统图像拼接算法计算复杂度过高，拼接速度过慢，且误匹配率较高；②由于采集到的图像之间存在曝光差异等情况，直接进行叠加拼接后极大可能会在边界处产生重影错位的情况。

本文提出了一种无人机的遥感图像拼接的改进算法。首先，在特征检测阶段，本文将SURF算法与Harris角点检测算法结合，快速得到图像特征点以及特征描述子；在特征匹配阶段分为粗匹配与精匹配两个步骤，通过采用KNN算法得到待拼接图像之间特征点的粗匹配，随后为去除无匹配点对采用RANSAC算法进行精匹配；在图像融合阶段，采用基于距离的加权平均算法进行图像融合，有效地提高图像拼接后的质量与效果，抑制了拼接痕印明显、重影错位等现象的产生。

1 传统SURF算法

Speeded Up Robust Features是一种稳健的特征检测与特征匹配算法，其基本流程可以分成3部分：特征检测、特征提取、特征匹配。比起SIFT算法，SURF通过使用Hessian矩阵和降维的特征描述子来增加了执行效率，具体实现流程图如图1所示。

图1 传统SURF实现流程图Fig.1 Traditional SURF flowchart

但若将经典SURF算法直接应用于图像拼接处理，虽然相比于SIFT算法性能有所提高，但拼接速度仍然过慢，误匹配率仍较高，且图像拼接后得到的画面在边界处有明显的拼接痕迹，甚至发生重影错位的错误现象；因此，本文对传统SURF算法进行了部分优化改进。

2 改进的SURF算法

2.1 优化Hessian矩阵

在构建Hessian矩阵之前，首先对待检测图像f(x,y)进行高斯滤波，而后构建Hessian矩阵，并得到图像中所有的关键点；Hessian矩阵基础表达式及所得表达式为：

接下来，求得Hessian矩阵的判别式，如式（3）所示，当判别式在某点取得了局部极大值时，判别当前点是周围邻域中最亮的点还是最暗的点，并借此取得关键点的位置。

在改进的SURF算法中，采用的是盒式滤波器来替代高斯滤波器，由于盒式滤波器应用查找积分图的方法来取得图像不同区域间的像素和，因而极大地提高了SURF算法的运算速度。同时，本文在Hessian矩阵判别式中的Dxy上乘了一个固定系数0.9，以减小因使用盒式滤波器而非高斯滤波器所带来的误差，改进后的Hessian矩阵判别式为：

2.2 改进的特征检测

角点因其具有纹理丰富、区分性高等特点，被作为一种重要的图像的局部特征而广泛使用。在众多角点检测算法中，Harris算法具有优秀的光照与旋转仿射不变性，因而其能够不轻易受到光照强度变化以及拍摄角度旋转变化等干扰。但是当尺度变化过大或图像的噪声变化过大时，Harris算法的鲁棒性及尺度不变性很差。而传统SURF算法具有较强的鲁棒性与尺度不变性，但其亮度与旋转仿射不变性较差。

针对以上描述，本文提出了一种将Harris与SURF特征检测相结合的H-S算法[9]：应用Harris算法与SURF算法对图像分别提取Harris角点与特征点，在去除重复点与尺度不稳定点后将其合并，得到新的特征点集，新的特征点集在保证了特征点个数的情况下，特征点分布更加均匀。H-S算法同时继承了Harris算法的光照、旋转仿射不变性与SURF算法的鲁棒性与尺度不变性，既提升了特征检测的速度，又提升了准确度。

改进后的H-S特征检测算法主要步骤为：① 获取Harris角点，通过采用单尺度Harris检测算法，得到图像的角点集；② 提取图像特征点。通过计算Hessian矩阵的极值点寻找到图像的特征点，并得尺度值，得到图像的特征点集；③ 将前2步中得到的点集去除重复点以及尺度变化不稳定的点后进行合并，得到最终的特征点集。

图2 Harris-SURF特征检测算法原理示意图Fig.2 Harris-SURF feature detection algorithm principle diagram

2.3 改进的特征点匹配

经典SURF算法里，在确定2个特征点之间的匹配度时，不仅通过计算2点之间的欧氏距离判断，还要通过计算2点的Hessian矩阵迹的符号来判断2个特征点是否匹配。虽然相比于SIFT算法有了很大提升，但仍然存在大量的误匹配点影响拼接效果，且拼接速度仍然不满足图像拼接的实时性要求。针对上述情况，本文提出了一种将特征匹配阶段分为粗匹配与精匹配2个步骤的方法，通过采用KNN算法得到待拼接图像之间特征点的粗匹配，随后为去除无匹配点对采用RANSAC算法进行精匹配，提高了匹配的准确度。

本文采用KNN算法[11]（K-Nearest Neighbors Algorithm）对特征点进行快速匹配，通过计算欧式距离d的值来判断2个特征点间的匹配程度，即：

KNN算法能够通过比较权重来判断与相邻点的距离，即距离近的点所占权重就高，距离远的点所占权重就低。任意选取待匹配图像1的特征点，并通过计算欧氏距离得出其与待匹配图像2中最近的2个点：最近邻点与次近邻点，如果2点的比值低于某一阈值，那么最近邻点就是其正确的匹配点。

为了在进行图像拼接前将可能会影响拼接效果的错误匹配去除，本文选择采用RANSAC算法，即随机取样一致性算法。

随机取样一致性算法[12]采取的是采样与验证的策略，其主要思路是求解出一个样本点均可满足的单应性矩阵H的8个参数，这是去除错误匹配点的重要环节，将（x,y）（x′,y′）设为待匹配点坐标，而单应性矩阵H描述了对应的2组坐标之间的变换关系，即图像之间的几何变换关系：

3 图像融合

为了有效消除或减弱图像拼接后可能会出现的拼接痕迹明显、重影错位、错误拼接等情况，本文提出了一种改进的融合方法——基于距离的加权平均融合算法，不同的图像由于重叠区域明暗强度、亮度值不同，如果使用简单的加权平均值算法[13-14]，就会出现明显的拼接缝，甚至有可能会出现错位等错误拼接的现象，基于距离的加权平均融合算法主要思路是计算出重叠区域里点到左右边界的距离，并将他们的比值作为对应点的权值，将合并后点的像素值用f(x,y)表示为：

由式（7）可知，图像在融合之后，新的像素点的像素值是通过重叠区域中匹配点的像素值按照其各自对应的权重相加而得到的[15]，这种方法有效地消除了由图像间曝光差异等问题引起的亮度差和色彩差。实验表明，应用改进后的融合算法，图像拼接的质量有了明显提高，拼接痕迹几乎消失，并未发生重影错位等错误拼接的现象，图像拼接效果平滑自然。

4 实验结果与分析

本文实验的算法流程图如图3所示。实验平台计算机的配置为Intel Core i5-2450M 2.5GHz，4GB内存，操作系统为32位Windows7，算法基于OpenCV2.4.8，用C++进行编程并在Visual Studio 2010中进行实验。实验数据为50张大疆无人机航拍获得，拍摄地点位于黑龙江大庆，图像格式为JPEG。其中，第1组图像为建筑物近照拍摄，拍摄高度为100 m；第2组图像为山林湖泊（纹理稀疏区），拍摄高度为400 m；第3组图像为学校体育场及宿舍楼（纹理丰富区），拍摄高度为300 m；本次实验采用这3组类型的图像验证本文算法的有效性。

图3 改进算法流程图Fig.3 Improved algorithm flowchart

4.1 图像粗匹配结果对比

图4、5分别为3组遥感图像的基准图像与待匹配图像。在特征提取方面，采用本文算法与经典SIFT算法进行对比，并选取第3组图像实验结果做展示；在特征点粗匹配方面，都使用KNN算法对2幅图像进行粗匹配。图6为特征点提取结果图对比，图7为SIFT算法（左）与本文算法匹配及运行结果，表1为2种算法特征提取与匹配性能对比。从实验结果可以看出，本文提出的改进的SURF算法所提取的特征点个数大于传统SIFT算法所提取个数，匹配个数却与传统SIFT算法的匹配个数接近，说明了本文所提出的改进方法在提取特征点方面的高效性，有效性方面比传统SIFT方法高。且本文算法所需维数为64维，比经典算法128维低，处理速度约是SIFT的5倍，说明在实时性方面也高于传统方法。

图4 基准图像Fig.4 Benchmark image

图5 待匹配图像Fig.5 To be matched image

图6 特征点提取结果图对比Fig.6 Feature point extraction result chart comparison

图7 SIFT算法（左）与本文算法匹配及运行结果Fig.7 SIFT algorithm（left）and improved algorithm（right）match and run results

表1 2种算法特征提取与匹配性能对比Tab.1 Comparison of feature extraction and matching performance between two algorithms

4.2 图像精匹配结果

在图像进行了粗匹配后，采用随机取样一致性算法将匹配后的特征点中错误匹配点筛除，经RANSAC算法优化后，匹配特征点个数均大量减少，说明了大量的错误匹配点被筛选出来并去除，表明采用RANSAC算法对图像特征点进行精匹配的想法的正确性与可行性。

图8 3组图像精匹配结果图Fig.8 Three groups of image matching results

4.3 图像融合拼接结果

为防止因亮度与拍摄角度不同引起的模糊、重影、错位、拼接线明显等现象，一般不能在图像配准后便直接拼接。图9（左）为图像配准后直接拼接的结果图，能够明显看出由色彩差异引起的拼接线存在；图9（右）为本文算法的图像融合结果，图10为应用本文算法连续拼接的结果图。

图9 图像融合结果对比图Fig.9 Image fusion results comparison chart

图10 2幅、10幅、30幅图像连续拼接效果图Fig.10 2 images，10 images and 30 images continuously stitched together

5 结论

本文提出了一种改进的SURF算法与融合算法用于无人机的遥感图像拼接，针对图像特征配准、匹配与图像融合2个方面存在的问题进行了改进。首先，在特征检测阶段，本文将SURF算法与Harris角点检测算法2种算法相结合，快速得到图像的特征点与特征描述子；在特征匹配阶段分为粗匹配与精匹配2个步骤：通过KNN算法对待拼接图像间特征点的粗匹配，以及应用RANSAC算法去除误匹配点的精匹配；在图像融合阶段，采用了基于距离的加权平均算法进行图像融合。最后，实验表明：本文所提出的算法处理速度相比于传统SUFT算法提升了近5倍，相比于其他改进算法，匹配精度也有所提高，并且本文算法能够有效提高图像拼接后的质量与效果，解决了拼接痕印明显、重影、错位等现象可能发生的问题。

[1]黄钰雯，胡立坤，卢泉，等.基于改进SURF-BRISK算法的航拍图像拼接方法[J].广西大学学报：自然科学版，2017（6）：1058-1068.HUANG YUWEN，HU LIKUN，LU QUAN，et al.Aerial image mosaicing method based on improved SURFBRISK algorithm[J].Journal of Guangxi University：Natural Science Edition，2017（6）：1058-1068.（in Chinese）

[2]BI J，MAO W，GONG Y.Research on image mosaic method of UAV image of earthquake emergency[C]//3rdInternational Conference on Agro-Geoinformatics.Beijing：International Conference on Agro-Geoinformatics，2014：494-499.

[3]LI Z，ISLER V.Large scale image mosaic construction for agricultural applications[J].IEEE Robotics＆Automation Let-ters，2016，1（1）：295-302.

[4]张一茗，付慧.基于间隙度的无人机林地航拍图像序列拼接方法[J].北京林业大学学报，2017，39（6）：107-115.ZHANG YIMING，FU HUI.A method of splicing aerial image sequences of UAV forest land based on gap degree[J].Journal of Beijing Forestry University，2017，39（6）：107-115.（in Chinese）

[5]HARRIS C，STEPHENS M.A combined corner and edge detetor[C]//Proceedings of the 4thAlvey Vision Conference.Manchester，1998：147-151.

[6]LOWE D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[7]RUBLEE E，RABAUD V，KONOLIGE K，et al.ORB：an efficientalternative to sift or surf[C]//Proceedings of the 13thIEEE International Conference on Computer Vision.Washington，USA：IEEE，2011：2564-2571.

[8]佘建国，徐仁桐，陈宁.基于ORB和改进RANSAC算法的图像拼接技术[J].江苏科技大学学报：自然科学版，2015（2）：164-169.SHE JIANGUO，XU RENTONG，CHEN NING.Image mosaic technology based on ORB and improved RANSAC algorithm[J].Journal of Jiangsu University of Science and Technology：Natural Science，2015（2）：164-169.（in Chinese）

[9]邓涛，侯东平，乐琴兰，等.结合SIFT和Harris算法的小型无人机影像拼接方法[J].信息工程大学学报，2015，16（3）：321-326.DENG TAO，HOU DONGPING，LE QINLAN，et al.Image mosaic method of small drone combined with SIFT and Harris algorithm[J].Journal of Information Engineering University，2015，16（3）：321-326.（in Chinese）

[10]BEKELE D，TEUTSCH M，SCHUCHERT T.Evaluation of binary keypoint descriptors[C]//IEEE International Conference on Image Processing.Melbourne，Australia：IEEE，2013：3652-3656.

[11]刘松华，张军英，许进，等.Kernel-kNN：基于信息能度量的核k-最近邻算法[J].自动化学报，2010，36（12）：1681-1688.LIU SONGHUA，ZHANG JUNYIN，XU JIN，et al.Kernel-kNN：nuclear k-nearest neighbor algorithm based on information energy measure[J].Acta Automatica Sinica，2010，36（12）：1681-1688.（in Chinese）

[12]贾银江，徐哲男，苏中滨，等.基于优化SIFT算法的无人机遥感作物影像拼接[J].农业工程学报，2017，33（10）：123-129.JIA YINJIANG，XU ZHENAN，SU ZHONGBIN，et al.Remote sensing crop image mosaicing based on optimized SIFT algorithm[J].Journal of Agricultural Engineering，2017，33（10）：123-129.（in Chinese）

[13]唐晓微，孔军，蒋敏，等.多尺度空间特征提取的脊柱图像拼接算法[J].计算机工程与应用，2014，50（2）：156-161.TANG XIAOWEI，KONG JUN，JIANG MIN，et al.Spinal image mosaic algorithm for multi-scale spatial feature extraction[J].Computer Engineering and Applications，2014，50（2）：156-161.（in Chinese）

[14]张懿，刘艺.基于FAST特征的快速图像拼接系统研究[J].计算机工程与应用，2016（10）：167-170.ZHANG YI，LIU YI.Research on fast image mosaicing system based on FAST features[J].Computer Engineering and Applications，2016，52（10）：167-170.（in Chinese）

[15]秦绪佳，王琪，王慧玲，等.基于最佳缝合线的序列遥感图像拼接融合方法[J].计算机科学，2015，42（10）：306-310.QIN XUJIA，WANG QI，WANG HUILING，et al.Sequential remote sensing image mosaic algorithm based on optimal sutures[J].Computer Science，2015，42（10）：306-310.（in Chinese）