基于SURF算法的无人机遥感影像拼接技术

胡同喜，牛雪峰，谭　洋，陈新鹏

(1. 吉林大学地球探测科学与技术学院，吉林 长春 130026；

2. 中国科学院遥感与数字地球研究所，北京 100000)

Unmanned Aerial Vehicle Images Mosaic Based on SURF Algorithm

HU Tongxi，NIU Xuefeng，TAN Yang，CHEN Xinpeng



基于SURF算法的无人机遥感影像拼接技术

胡同喜1, 2，牛雪峰1，谭洋1，陈新鹏1

(1. 吉林大学地球探测科学与技术学院，吉林 长春 130026；

2. 中国科学院遥感与数字地球研究所，北京 100000)

Unmanned Aerial Vehicle Images Mosaic Based on SURF Algorithm

HU Tongxi，NIU Xuefeng，TAN Yang，CHEN Xinpeng

摘要：在影像匹配的研究上，SIFT算法在特征匹配方面的应用一直是国内外学者关注的热点之一。最近几年，有研究者提出了SURF算法，该算法是在SIFT算法基础上作了一些改进后得到的新算法。为了比较这两种算法在影像特征点提取上的优劣性，本文开发了相应的软件程序，并采用无人机遥感影像数据进行了算法的实例验证。发现相比于SIFT算法，SURF算法在影像特征点提取中无论是运算速度还是提取的特征点数量都有较大进步。基于此将SURF算法应用到无人机遥感影像拼接中,并通过高斯滤波对拼接影像进行平滑处理，获得了令人满意的拼接影像。

关键词：SIFT算法；SURF算法；特征点提取；影像匹配；影像拼接

一、引言

影像匹配[1]在影像拼接过程中处于关键地位，是计算机视觉、虚拟现实研究过程中的一个热点问题，由于飞行高度低等条件的限制，在无人机遥感平台下无法获取全景影像，因而需要用影像拼接技术来形成全景图，而影像拼接效果的好坏在很大程度上取决于影像匹配的精度[2]。不少研究者对匹配问题作了大量的研究，也得到了很多匹配算法，如相位相关算法、基于比值的一些算法，以及基于灰度、面积[3]等的配准算法等，但是这些算法对获取后的影像都有严格要求，尺度变化、旋转度、整体变形等不能太大，所有影像的拍摄焦距要保持一致等。随着计算机科学技术及影像处理技术的不断进步，有学者提出了基于特征的配准方法[4],影像特征有3种，分别是点特征、线特征、面特征。数字影像的基础就是点，点特征是最基本的特征且具有良好的性质，它不随光照、投影、平移、缩放的变形发生变化，计算过程变得简化，而且能保持影像重要的灰度特征不受损失，因此在处理复杂变形及不同性质的影像上显得特别有用，而另外两种特征在这些方面就显得较弱了。但是，影像中的点特征检测起来较难，而且用来检测特征点的算法目前还不是很成熟和稳定。不同研究者在点特征提取上提出的一些较好的算子有：Moraverc[5]算子，实现简单，速度快，但易受噪声的影响，并对边缘敏感；Forstner[6]算子，相对比较复杂，提取特征点时间较长，提取精度较高，但只有设定合适的阈值时才能提取出精度高并合理的特征点；Harris[6]算子相对简单，检测速度快，稳定性好,特别在影像无缩放变化的情况下,能够较好地处理无缩放旋转较小的影像特征点提取的问题；Trajkovic算子，计算速度非常快，试验证明，其速度是Harris算子的5倍以上，但稳定性不好。

SIFT(scale invariant features transform)算法是Lowe D于2004年提出的一种特征匹配算法[7]，其总结了目前特征点提取的方法，尤其是基于具有不变性特征的技术，提出了这种对影像之间的一些缩放平移旋转的变换上保持不变的点特征配准算法。该算法具有良好的稳定性和较好的配准能力，能够处理发生旋转缩放、平移、仿射、投影、视角、光照变换等复杂情形下的匹配。虽然SIFT在影像特征提取方面有着很大的优势[8]，但该算法也有其不足之处，算法运算量大，对模糊边缘或特征点较少的影像无法进行准确的特征点识别和提取，不能清晰地识别边缘和轮廓而且提取出的点并不能进行配准，尤其是影像中目标物的角点，提取的精度并不能让人满意。基于此，后续研究者提出了更优越的SURF(speeded up robust features)算法[9]， SURF算法除了具有SIFT算法提取特征点的优良特征外还在其弱点上有了很大的进步，是一个运算速度更快、实时性更强的特征点提取算法。

为获得一种快速、高效的算法，实现低空无人机遥感影像拼接，本文在研究SIFT算法及SURF算法的基础上，针对影像特征点提取问题，开发了相应的软件程序，并采用无人机遥感影像数据进行了算法的实例验证。通过对比分析该两种算法提取影像特征点效果的差异，将优势算法应用到无人机遥感影像拼接试验中，获得了令人满意的拼接影像。

二、影像特征提取及拼接算法

1. SIFT算法

利用SIFT算法提取影像特征点的简要过程为：①检测尺度空间极值，尺度空间理论[10]的核心内容是在原影像上使用高斯卷积核进行变换得到在多尺度空间下的表示序列，并从这些序列中提取出空间极值进行特征提取[11]；②定位和筛选特征点，利用拟合函数法并求取泰勒级数，以求取特征点的位置和尺度，用海森矩阵剔除不稳定的边缘响应点增强抗噪能力提高稳定性；③为特征点赋方向值，赋给每个方向特定的值后，每个特征点即具有了一个特征向量，该向量具有旋转不变性；④描述方法[12]，通过以上步骤得到的特征点具有位置、尺度、方向三重属性。一个特征点描述方法的复杂性由其方向数和直方图组数(即采用多大的局部区域)决定，如图1和图2所示：每个方格代表特征点邻域所在尺度空间的一个像素，箭头所示为梯度方向及梯度大小，在4×4窗口计算8个方向的梯度。

图1　邻域梯度方向　　　　图2　关键点特征向量

2. SURF算法

文献[13]在研究SIFT算法的基础上对其作了改进，提出了SURF算法。该算法在求取特征点的速度和稳定性上有了很大提高，实现方法是对原影像求积分，使用harr小波求导代替高斯滤波，以达到加速的目的，而采用Hessian[14]矩阵增加了特征点的健壮性。其主要实现的过程如下：

1) 对原始影像进行积分运算[15]：将原影像的灰度值累加起来得到积分影像，用灰度的积分值取代SIFT算法中的高斯滤波，可以提高获取特征点的速度，达到加速的目的。

2) 检测极值点： 数字影像是一个二维非连续矩阵，通过高斯卷积平滑处理，再进行差分运算，对于非连续的影像像空间点X(x,y)和尺度参数σ,Hessian矩阵可写为

(1)

(2)

式中，g(σ)是高斯-拉普拉斯变换算子中的高斯扩展函数。

D函数是差分运算，对于数字影像只能通过空间域的差分去近似，SURF算法中以横向、纵向和对角线方向的差分来近似代替微分，如图3 所示。

图3　空间域差分示意图

该算法的极值检测没有使用金字塔影像方法，而是采用伸缩模板方法，避免了对影像每次都要进行光滑处理和重采样。伸缩模板法就是根据影像积分后的特点定义不同的尺度的模板对影像进行滤波处理以进行尺度搜索。金字塔影像法每次运算中都要给影像重新分配空间占用内存，而伸缩模板法则不需要，因此，提高了计算机的运算效率。

3) 定义特征描述方法:SURF算法首先定义一个以6σ为半径的圆形邻域，在该范围内使用一个张角为π/3的扇形进行旋转搜索，每次转动的角度为π/12，每转动一次赋一个值，最后将这些值中的最大值作为主方向。搜索过程如图4所示。

图4　特征点主方向搜索示意图

为了削弱灰度的强度与对比度变化对结果的影响，SURF算法用一个4×4×4=64维向量来描述一个特征点，并对其进行归一化处理。

4) 对提取特征点后的影像进行匹配：首先将一幅影像中的一个特征点作为目标点，在另一幅影像中让每个特征点与之进行匹配，当某个特征点与目标特征点的特征向量之间的距离小于某个阈值时则判定此点为同名特征点。常用的比较方法是欧氏距离法，其计算式如下

统计另外一幅影像中所有特征点与目标点的距离，获得最短的2个距离Dist1和Dist2，计算它们之间的比率

如果该比率小于设定的阈值，则判断该两点为同名点。

3. 影像拼接流程

本试验的流程主要是先对无人机获取的遥感影像进行预处理，主要包括用滤波方法减小噪声的影响和对影像进行直方图、增强等处理；然后用SURF算法提取影像的特征点，通过欧氏距离的计算进行同名点的匹配，利用RANSAC算法剔除匹配错误的点；最后将两幅影像变换到一个坐标系下，拼成一幅全景图，如图5所示。

图5　影像拼接流程

三、影像特征提取及拼接实例

1. 试验数据

无人机(UAV)遥感即以低空无人驾驶飞机为平台，根据任务不同而搭载不同的仪器对地表进行遥测以获取必要的地表信息，常见的搭载仪器有合成孔径雷达、扫描仪、CCD数码等。无人机搭载CCD数码相机获取地表影像时机动灵活、精度高，但是由于高度低无法获得目标区域内的全景影像，因而需对其进行拼接以获得满足要求的影像。本文试验采用无人机携载的配24 mm定焦镜头的佳能5D MarkII单反相机于2011年4月拍摄的郊外影像数据，影像重叠度60%，气象条件优良，无人机平台稳定，成像清晰，有利于进行影像特征提取及拼接试验。图6为一个像对的试验影像。

图6　试验影像像对

2. 影像特征提取试验对比

针对SIFT算法和SURF算法两种影像特征提取算法，本文开发了相应的软件程序，并将其应用到试验影像数据中进行影像特征提取，特征提取结果如图7 和图8 所示。

图8　SURF算法提取特征点

结果显示SIFT提取出了203个特征点，用时为461.551 ms；SURF提取出了405个特征点，用时为342.504 ms。从特征提取影像上可以看出，图8提取出的特征点明显比图7提取出的点多，时间上比SURF明显短，而且提取的特征点质量较高，可见在特征提取方面SURF算法有优势。在此基础上，本文选用SURF算法进一步进行影像拼接试验。

3. 影像拼接

影像拼接就是将两幅甚至多幅具有一定公共部分的影像转换到一个统一的坐标系中，从而合成一幅视野范围较大的影像。在对影像进行拼接的过程中，主要有两个问题需要解决：一个是算法中经过匹配得到的影像特征点对并不能保证每对都是正确的，一旦有匹配错误的点对参与运算，将会大大降低匹配的精度，甚至使影像匹配错误，因而需要剔除；另一问题是任意两幅影像即使重合度很大，但是在拍摄过程中由于光照条件、拍摄时间和角度等稍加变化即可导致影像的亮度不一致。因此，在拼接完成后会形成程度明显不同的拼痕，这就需要对影像进行一些处理来削弱这些拼接痕，常用的方法就是平滑处理。

针对以上两点必须解决的问题， 在剔除错误匹配的特征点对时，本文采用RANSAC算法。RANSAC算法是Fischler[16]等于1981年提出的。该算法是针对一些具有明显错误或不当的数据，选取一组作为样本求取该集合的数学模型参数，再根据求得的数序模型对样本数据进行处理，剔除误差较大的数据，这样能够很好地剔除匹配错误的同名点对。由于无人机遥感影像连续拍摄时两张相片几乎是在同一环境下拍摄，亮度差异不会太大，应用常规影像平滑滤波即可达到很好的效果，因此本文采用了高斯平滑滤波，经过参数调整，发现高斯卷积核参数取3×2时效果较佳。图9为拼接影像效果图。

图9　拼接影像效果图

四、结束语

本文在研究SIFT算法和SURF算法两种影像特征提取算法的基础上，开发了相应的软件程序，并将其应用到无人机遥感影像特征提取及影像拼接中。通过对比两种算法对同一幅影像提取特征点的结果，可以发现SURF算法不但在提取影像特征点数量和时间方面明显比SIFT算法更有优越性，而且特征点提取质量更高，进而应用到影像拼接中获得了较好的效果。另外，鉴于该两种算法对角点的提取不是很理想，提取的特征点对影像的三维重构不是很理想，建议将SURF算法和Harris算子等其他角点提取算子结合应用。本文研究的不足之处，如高斯平滑滤波中参数的设置问题、算法效率问题等，希望在以后的研究中加以完善。

参考文献：

[1]何文峰，查红彬. 基于平面特征的深度影像配准[C]∥中国人工智能进展.广州：中国人工智能学会，2003.

[2]姚喜，卢秀山. 基于特征的影像拼接算法[J].城市勘测，2008(6)：75-76.

[3]袁建华，殷学民，邹谋炎 一种用于影像超分辨的实时高精度像素内配准方法[J].电子与信息学报，2007,29(1)：47-49.

[4]王军，张明柱. 影像匹配算法的研究进展[J].大气与环境光学学报，2007,2(1)：11-13.

[5]陈浩. 基于SURF特征匹配算法的全景图拼接[D].西安：西安电子科技大学，2010.

[6]官云兰，张红军，刘向美. 点特征提取算法探讨[J].东华理工学报，2007，30(1)：41-45.

[7]LOWE D. Distinctive Image Features from Scale-invariant Key Points [J]. International Journal of Computer Vision，2004，60(2)：91-110.

[8]YANG Qiuju, XIAO Xuemei. Improved SIFT Algorithm Based on Canny Feature Points[J].Computer Engineering and Design, 2011,32(7):2428-2431.

[9]MURILLO A C,GUERRERO J J, SAGUES C.SURF Feature for Efficient Robot Localization with Omnidirectional Images[C]∥IEEE International Conference on Robotic and Automation.[S.l.]：IEEE International Conference on Robotics and Automation,2007:3903-3907.

[10]LINDEBER T G.Seale-space for Discrete Signals[J].IEEE Trallsactions on Pattern Analysis and Machine Intelligence，1990，12(3):234-254.

[11]曹楠，王萍. 基于SIFT特征匹配的影像无缝拼接算法[J].计算机与应用化学, 2011，28(2)：242-244.

[12]明洋，侯文广，吴颖丹. SIFT特征匹配旋转补偿的影像匹配方法[J].测绘科学，2011,36(3)：19-21.

[13]BAY H, TUVTELLARS T, GOOL L V .SURF: Speeded Up Robust Features[C]∥Conference on Computer Vision.Graz：Springer，2006.

[14]宋延爽，耿楠. 基于SURF算法的全景图拼接与实现[J].计算机工程与设计，2013,33(12)：4647-4651.

[15]李士强. 基于SURF算法的视频拼接技术的研究[D].杭州：浙江工商大学，2011.

[16]FISCHLER M A,BOLLES R C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J].Comm. of the ACM，1981，24(6):381-395.

引文格式：胡同喜，牛雪峰，谭洋，等. 基于SURF算法的无人机遥感影像拼接技术[J].测绘通报，2015(1)：55-58.DOI:10.13474/j.cnki.11-2246.2015.0010

作者简介：胡同喜(1989—)，男，硕士生，研究方向为微博地表遥感。E-mail：niuxf@jlu.edu.cn

收稿日期：2013-12-20

中图分类号：P237

文献标识码：B

文章编号：0494-0911(2015)01-0055-04