适用于倾斜影像的加速KAZE-SIFT特征提取算法

薄单 李宗春 王晓南 乔涵文

摘 要：针对传统正摄影像的特征提取算法处理倾斜影像匹配效果不佳的问题，在已有特征提取算法的基础上，提出了一种适用于倾斜影像的特征提取算法——加速KAZE-尺度不变特征变换（AKAZE-SIFT）算法。首先，为保证特征检测的准确性与独特性，采用充分保留图像轮廓信息的加速KAZE（AKAZE）算子进行特征检测;其次，为提升特征描述的稳定性，采用稳健的尺度不变特征变换（SIFT）算子进行特征描述;然后，依据目标特征向量和候选特征向量间的欧氏距离确定粗匹配点对;最后，采用随机抽样一致性算法进行单应性约束，提高匹配纯度。模拟影像在倾斜摄影条件下的模糊、旋转、亮度、视角和尺度变化，对特征提取算法性能进行评估，实验结果表明，AKAZE-SIFT算法相比SIFT算法和AKAZE算法召回率分别提高了12.8%和5.3%，精准率提高了6.5%和6.1%，F1值提升了13.8%和5.6%;提取效率优于SIFT算法，略逊于AKAZE。AKAZE-SIFT算法具有良好的检测和描述能力，更适用于倾斜影像特征提取。

关键词：加速KAZE算法;尺度不变特征变换算法;倾斜影像;特征提取;特征匹配

Abstract： Concerning that traditional vertical image feature extraction algorithms have poor effect on oblique image matching， a feature extraction algorithm， based on Accelerated KAZE （AKAZE） and Scale Invariant Feature Transform （SIFT） algorithm called AKAZE-SIFT was proposed. Firstly， in order to guarantee the accuracy and distinctiveness of image feature detection， AKAZE operator， which fully preserves the contour information of image， was utilized for feature detection. Secondly， the robust SIFT operator was used to improve the stability of feature description. Thirdly， the rough matching point pairs were determined by the Euclidean distance between object feature point vector and candidate feature point vectors. Finally， the homography constraint was applied to improve the matching purity by random sample consensus algorithm. To evaluate the performance of the feature extraction algorithm， the blur， rotation， brightness， viewpoint and scale changes under the condition of oblique photography were simulated. The experimental results show that compared with SIFT algorithm and AKAZE algorithm， the recall of AKAZE-SIFT is improved by 12.8% and 5.3% respectively， the precision of AKAZE-SIFT is increased by 6.5% and 6.1% respectively， the F1 measure of AKAZE-SIFT is elevated by 13.8% and 5.6% respectively and the efficiency of the proposed algorithm is higher than that of SIFT and slightly worse than that of AKAZE. For the excellent detection and description performance， AKAZE-SIFT algorithm is more suitable for oblique image feature extraction.

Key words： Accelerated KAZE （AKAZE） algorithm; Scale Invariant Feature Transform （SIFT） algorithm; oblique image; feature extraction; feature matching

0 引言

傾斜摄影测量技术通过多视角摄影获取建筑物顶部和侧面信息，克服了传统垂直摄影测量因拍摄视角单一，只能获得建筑物的高度和顶部纹理信息的不足，得到了迅猛的发展。常用无人机搭载5台相机，从1个下视方向和4个侧视方向采集影像，并由定位定姿系统（Position and Orientation System， POS）记录摄影位置、飞行航高、航速和航向等信息。倾斜影像经过特征匹配、多视影像联合平差、密集匹配，构建地物三维模型。

由于倾斜影像受多相机焦距和倾角不一致影响，图像尺度和亮度差异明显;受旋偏角和视角影响，图像旋转和视角变化剧烈;受云雾、光线和视线影响，模糊、阴影和遮挡现象突出，导致影像特征难以实现良好的重现性和高度的独特性。简单应用传统基于垂直正摄影像的特征匹配算法，往往出现匹配数量少且匹配正确率低，严重影响影像联合平差的精度[1-3]，故对倾斜影像提取优质高效的特征是倾斜摄影测量技术的关键。

1 相关工作

自Lowe[4-5]提出尺度不变特征变换（Scale Invariant Feature Transform， SIFT）算法以来，众多学者在其基础上提出了一系列的特征提取算法，如加速稳健特征（Speeded Up Robust Feature， SURF）[6]、ORB（Oriented FAST and Rotated BRIEF）[7]、KAZE[8]、加速KAZE（Accelerated KAZE， AKAZE）[9]算法等，用来解决图像特征匹配的问题。

SIFT算法很好地保持了尺度、旋转和亮度不变性，作为主流算法，广泛应用在遥感图像的自动配准中，但该算法计算量大、耗时长。SURF算法在SIFT算法的基础上进行了改进，引入积分图像的概念，对高斯差分进行了简化，把卷积运算转化为简易的加减运算，降低了算法复杂度，在提高程序运行速度的同时，提取效果与SIFT算法相当。SIFT和SURF算法使用高斯滤波构建图像尺度空间时，对图像的轮廓和噪声同时进行了高斯平滑，模糊了轮廓信息，造成边界模糊和细节丢失，影响特征定位的独特性和准确性。为解决上述问题，KAZE特征算法引入非线性扩散滤波的方法，构建非线性尺度空间，具有鲁棒性强、匹配效果好的优点，但运行效率明显低于其他算法，限制了其在工程实践中的应用。AKAZE算法作为KAZE算法的加速版本，采用改进的局部差分二值描述符（Modified-Local Difference Binary descriptor， M-LDB），大幅縮短了特征提取的时间。AKAZE算法通过非线性滤波构建尺度空间，自适应滤除噪声和细枝末节的同时，保留图像轮廓的关键特征信息，但由于M-LDB描述符的稳定性弱于SIFT描述符，使得AKAZE算法总体表现不如SIFT算法[10]。

文献[11]针对无人机影像受拍摄条件或区域复杂环境的影响，匹配效果不佳的问题，提出了SURF算法和单应性约束结合的方法，对无人机影像进行特征匹配。文献[12]为了稳定、高效、精确地进行无人影像匹配，提出一种改进的AKAZE算法，首先利用AKAZE算法构造非线性尺度空间检测特征点，然后利用学习安排的三元组（Learned Arrangements of Three patCH， LATCH）描述符对获取的特征点进行描述。文献[13]对近景影像和普通影像数据进行研究，评估了几种特征提取算法在旋转、亮度及尺度等方面的性能。文献[14]对遥感影像进行研究，在光谱、时相及尺度方面分析了特征提取算法的稳定性。文献[15]对密集城区、稀疏城区、平原及高山的正摄影像进行特征匹配实验，指出SURF-SIFT算法具有良好的性能，AKAZE算法次之。

上述文献主要研究无人机正摄影像，缺少针对倾斜影像特征提取算法的性能评估研究。倾斜影像的影像配准，更加注重特征提取质量和匹配效果，为此，结合高性能特征提取算法，本文提出一种适用于倾斜影像的AKAZE-SIFT特征提取算法。首先，为保证特征检测的独特性和准确性，在非线性尺度空间中，采用AKAZE算子检测特征;其次，采用稳健的SIFT算子描述特征向量;然后，根据特征向量的欧氏距离进行粗匹配;最后，采用单应性约束的随机抽样一致性（RANdom SAmple Consensus， RANSAC）[16-18]算法提高匹配纯度。本文提出的特征匹配算法流程如图1所示。

2 AKAZE-SIFT算法

2.1 AKAZE特征检测

AKAZE作为加速的KAZE算法，采用快速显式扩散 （Fast Explicit Diffusion， FED）算法替代加性算子分裂（Additive Operator Splitting， AOS）算法构建非线性尺度空间。既保留了非线性尺度空间特征检测的独特性和准确性的优点，又较KAZE算法提高了计算速度。AKAZE算法首先通过FED算法构建非线性尺度空间，然后利用Hessian矩阵行列式检测特征点位置。

2.1.1 构建非线性尺度空间

AKAZE算法使用各向异性扩散公式，通过非线性扩散滤波器构造尺度空间，使得亮度在平缓区域扩散快，在边缘处扩散慢，充分保留了图像边缘和细节。非线性扩散滤波的各向异性扩散公式可表示为：

式中：L为图像亮度矩阵;div、c（x，y，t）和分别表示散度函数、传导函数和梯度函数;（x，y）为图像坐标;时间t为尺度参数。

传导函数c（x，y，t）可表示为：

式中：Lσ表示图像L经过尺度因子σ高斯平滑后的梯度图像;g（·）为传导函数，默认采用优先保留宽度较大区域的g2函数。g2函数可表示为：

式中：参数λ为控制扩散程度的对比度因子。

对比度因子λ依据梯度图像Lσ直方图的分位值计算，可表示为：

式中：NumberofBins为梯度直方图的分位数量;MaxGradient为梯度直方图的最大梯度;bin为梯度直方图达到70%时的分位值。

对输入图像进行高斯滤波，将平滑后的影像降采样2倍形成下一组影像，重复降采样过程，构建影像金字塔（O组S子层）。图像尺度因子σi可表示为：

由于非线性扩散滤波模型是以时间为单位，需要建立尺度σi到扩散时间ti之间的转换关系，可表示为：

根据各向异性扩散式（1），显式构建非线性尺度空间，可表示为：

式中：I为单位矩阵;A（Li）为Li的传导矩阵;τ为时间步长。

根据先验估计Li+1，0=Li，不断迭代生成Li+1，n，迭代过程可表示为：

2.1.2 特征检测

非线性尺度空间构建后，采用Hessian矩阵检测特征点位置，此处采取与SIFT相同的检测策略，即寻找归一化后不同尺度的Hessian矩阵行列式LHessian的局部极值点，LHessian可表示为：

式中：Lxx、Lyy分别为水平方向和垂直方向的二阶导数;Lxy为二阶交叉导数。

在非线性尺度空间内，比较当前点与上下两层及当前层（3×3邻域）的26个点的值，判断其是否为极值点，从而确定特征点的位置，如图2所示。

2.2 SIFT特征描述

首先，在非线性尺度空间内，建立梯度方向直方图，求取特征点的主方向;其次，以特征点为中心，将特征点邻域内图像梯度的位置和方向旋转至主方向，实现描述符的旋转不变性;然后，在特征点邻域内对影像特征进行描述，把12×12的邻域划分成4×4个等间隔子区域，计算每个子区域8个方向的梯度方向直方图，形成128维SIFT特征向量。由于关于SIFT特征描述的研究[15-16，19-20]较多，此处不再赘述。

2.3 特征匹配与提纯

特征向量生成后，根据向量间的欧氏距离E进行特征匹配。E值越小，表明两个向量越相似。欧氏距离E可表示为：

式中：特征向量a=（a1，a2…，a128）;b=（b1，b2，…，b128）。

由于相似的纹理特征，在匹配的特征点对中，存在大量的误匹配点对，需要对匹配结果提纯，减少错误匹配数量，提高特征匹配效果。本文采用单应性约束的RANSAC算法[16-18]对匹配结果进行提纯。

3 匹配评价标准

3.1 点对匹配正确的判断

在参考图像和待匹配图像上，若两个特征向量间的欧氏距离E很小，判断这两个特征点对应同一场景，认为是同名点对，坐标分别为（x1，y1）和（x2，y2）。参考图像特征点（x1，y1）经理论单应性矩阵映射到待匹配图像的理论点位为（1′，1′），可表示为：

在待匹配图像上，理论点位（1′，1′）与实际匹配点位（x2，y2）存在偏差，即重投影误差d，可表示为：

若d小于经验阈值 （本文设为3像素），则认为点对匹配正确;否则认为点对匹配错误。

3.2 召回率

召回率（Recall）为两幅相似影像中的正确匹配点对数n与理论特征点对数量M的比值，反映了特征检测的性能，可表示为：

3.3 精准率

精准率（Precision）即匹配正确率，为两幅图像中正确匹配点对数量n与特征匹配点对数量N的比值，反映了特征描述的稳定性，可表示为：

3.4 F1值

F1值（F1-measure）为召回率和精准率的加权调和均值，同时兼顾了召回率和精准率，可表示为：

3.5 提取用时

每个特征提取的平均用时Point_Time为每幅图像提取特征平均用时TIME与提取特征点的数目均值NUM的比值，反映了特征提取算法的运行效率，可表示为：

4 实验结果与分析

为测试本文算法效果，在Windows 7操作系统，CPU为Intel Core i7-4790M，内存为8GB，编程平台为Microsoft Visual Studio 2013的实验环境下，基于OpenCV 3.3.1进行实验。以云南玉溪某地倾斜摄影的前视影像作为研究对象，相机为SONY ILCE-5100，倾角45°，焦距16mm，光圈值f/5.6，曝光时间1/2000s，拍摄时间上午10时许，天气晴朗无风，影像尺寸为6000×4000。由于原图像较大，为减少计算时间，对原图像进行降采样，压缩后的影像尺寸为1500×1000。

选取应用广泛、性能高的SIFT、SURF、AKAZE算法进行对比实驗。此次实验中，上述4种算法的特征检测子和描述子均采用OpenCV的默认参数。

4.1 模拟倾斜摄影的图像变化

为评价各种算法的稳健性，模拟倾斜摄影条件下的5种图像变化，分别描述如下：

a）高斯模糊。模拟拍摄时受到噪声影响引起的模糊变化，对原始影像进行高斯模糊，模糊半径从0变化到10，步长为1，得到11张影像作为a组。

b）旋转变化。模拟不同相机朝向和航向变化造成的影像旋转变化，把影像顺时针旋转0°至180°，步长20°，得到10张影像作为b组。

c）亮度变化。模拟影像因光照强度改变引起的亮度变化，图像亮度增量从-125至125，步长25，得到11张影像作为c组。

d）视角变化。模拟不同视角或相机倾角下，相同地物在影像上的差异，将影像沿垂直方向翻转-50°至50°，步长10°，得到11张影像作为d组。

e）尺度变化。模拟航高变化和相机倾角造成的影像地物尺寸变化，缩放系数从0.25变化至2.0，步长0.25，得到8张影像作为e组。

通过模拟得到5组图像，如图3所示（为简化只显示部分图像）。

4.2 结果分析

对原始前视影像分别与上述模拟图像进行特征匹配与提纯实验，采用召回率、精准率、F1值和运行时间评估各种特征提取算法的性能。

4.2.1 特征提取效果分析

F1值兼顾了召回率和精准率，综合反映了算法的检测和描述质量。统计4种算法在上述5种模拟条件的F1值，结果如图4所示。

在图4（a）中，随着高斯平滑半径的增大，图像愈发模糊，F1值逐渐降低。由于AKAZE算法采用非线性扩散滤波的方式建立尺度空间，增强了图像轮廓局部特征的表现能力，使得特征显著性更高，AKAZE和AKAZE-SIFT算法的F1值高于另两种算法。

在图4（b）中，在处理图像旋转变化时，采用局部不变特征的4种算法都能出色地描述图像特征信息，取得了较好的匹配效果，但由于SURF算法引入积分图像对高斯差分进行了简化，降低了描述向量的维度，在处理旋转变化时，匹配效果差于其他算法。

在图4（c）中，在面对亮度均匀变化时，由于4种算法都采用差分的方法解决了亮度均匀变化的问题，提取效果相当。

在圖4（d）中，在处理图像视角变化时，随着图像翻转角度的增加，4种算法的匹配效果都明显变差，表明图像视角变化是影响匹配效果的关键因素。其中，本文算法的F1值高于其他算法。

在图4（e）中，引入尺度空间构建影像金字塔，能够很好解决尺度变化的问题，4种算法的匹配效果相当。随着图像尺寸的缩小，图像的信息量变小，特征点的提取数量减少，且描述向量的显著性变差，匹配效果明显下降;尺寸放大时，图像的信息量没有明显丢失，特征匹配效果缓慢变差。

为定量分析4种算法的匹配效果，统计召回率、精准率、F1值在上述5种模拟变化下的均值，结果如表1所示。

从表1可以看出，旋转和亮度变化对匹配效果影响较小;视角和尺度变化是影响匹配效果的主要因素，这也正是倾斜摄影与垂直摄影的主要差异。其中，AKAZE-SIFT较SIFT算法召回率提高了12.8%，精准率提高了6.5%，F1值提升了13.8%;较SURF算法召回率提升了35.2%，精准率提升了23.4%，F1值提升了31.9%;较AKAZE算法召回率提升了5.3%，精准率提升了6.1%，F1值提升了5.6%。AKAZE-SIFT算法的召回率、精准率、F1值均高于另3种算法，表明其针对上述变化具有较强的稳健性。

SIFT算法计算量大，提取时间约1.39ms，用时最长;SURF算法较SIFT算法，运行效率有明显提升，提取时间约0.85ms;由于AKAZE采用了加速的FED算法，每个特征点的提取时间约0.50ms，运行时间最短;AKAZE-SIFT算法作为AKAZE和SIFT的组合算法，每点特征提取时间为0.80ms，约为SIFT和AKAZE算法的均值。本文算法运行效率低于AKAZE，但优于SIFT和SURF。

综合考虑影像5个方面的变化，AKAZE-SIFT算法的召回率、精准率和F1值均高于其他算法，具有良好的检测和描述能力，匹配效果最好，AKAZE和SIFT算法次之。

5 结语

本文针对倾斜影像与正摄影像的差异，在研究已有特征提取算法的基础上，设计了一种AKAZE-SIFT特征提取算法。考虑模糊、旋转、亮度、视角及尺度变化的影响，把AKAZE-SIFT与现有的特征提取算法进行了对比，以特征匹配召回率、精准率、F1值和提取用时作为评价标准，评估了4种算法在多视角此处是否应该为“多视角”？请明确。回复：英文表达为multiple-view ，可译作“多视”，也可作“多视角”。查阅他人文献，二者均有使用。为表达流畅，建议使用“多视角”倾斜影像上的特征提取性能。模拟实验结果表明：视角和尺度变化是影响倾斜影像特征匹配效果的关键因素;而旋转和亮度均匀变化对匹配效果的影响较小。AKAZE-SIFT算法在倾斜影像特征提取时，具有较高的检测和描述稳定性，匹配效果优于典型的SIFT、SURF和AKAZE算法，可作为一种实用的倾斜影像特征提取算法。

由于本文实验为倾斜影像受各种因素影响的模拟变化，而真实情况要远复杂于模拟影像，如模拟时未考虑到地物遮挡和光照不均匀的情况，故实验时各种算法的匹配正确率要高于真实情况，下一步考虑在真实数据库上测试提取效果。

参考文献 （References）

[1] 杨国东，王民水.倾斜摄影测量技术应用及展望[J]. 测绘与空间地理信息，2016，39（1）：13-15，18.（YANG G D， WANG M S. The tilt photographic measuration technique and expectation [J]. Geomatics and Spatial Information Technology， 2016， 39（1）： 13-15， 18.）

[2] 邢帅，徐青，刘军，等.多源卫星遥感影像的光束法区域网平差[J].测绘学报，2009，38（2）：125-130.（XING S， XU Q， LIU J， et al. Bundle block adjustment with multi-source satellite remote sensing images [J]. Acta Geodaetica et Cartographica Sinica， 2009， 38（2）： 125-130.）

[3] 张祖勋，张剑清.城市建模的途径与关键技术[J].世界科技研究与发展，2003（3）：23-29.（ZHANG Z X， ZHANG J Q. Solutions and core techniques of city modeling [J]. World Science-Technology Research and Development， 2003（3）： 23-29.）

[4] LOWE D G. Object recognition from local scale-invariant features [C]// Proceedings of the 7th IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 1999： 1150-1157.

[5] LOWE D G. Distinctive image features from scale-invariant keypoints [J]. International Journal of Computer Vision， 2004， 60（2）： 91-110.

[6] BAY H， TUYTELAARS T， GOOL L V. SURF： speeded up robust features [C]// Proceedings of the 2006 European Conference on Computer Vision， LNCS 3951. Berlin： Springer， 2006： 404-417.

[7] BRADSKI G， KONOLIGE K， RABAUD V， et al. ORB： an efficient alternative to SIFT or SURF [C]// Proceedings of the 2011 IEEE International Conference on Computer Vision. Washington， DC： IEEE Computer Society， 2011： 2564-2571.

[8] ALCANTARILLA P F， BARTOLI A， DAVISON A J. KAZE features [C]// Proceedings of the 2012 European Conference on Computer Vision， LNCS 7577. Berlin： Springer， 2012： 214-227.

[9] ALCANTARILLA P F， NUEVO J， BARTOLI A J. Fast explicit diffusion for accelerated features in nonlinear scale spaces [C]// Proceedings of the 2013 British Machine Vision Conference. Durham， UK： BMVA Press， 2013： 1-11.

[10] 張一.无人机遥感影像点特征匹配算法研究[D].郑州：解放军信息工程大学，2015：39.（ZHANG Y. Research on point feature matching algorithms of UAV remote sensing images [D]. Zhengzhou： PLA Information Engineering University， 2015： 39.）

[11] 王晓红，邓仕雄，何志伟，等.结合SURF算法和单应性矩阵的无人机影像匹配[J].测绘通报，2018（7）：38-42.（WANG X H， DENG S X， HE Z W， et al. Study of UAV image matching based on SURF algorithm and homography matrix [J].Bulletin of Surveying and Mapping， 2018（7）： 38-42.）

[12] 宋伟，王永波.基于改进AKAZE算法的无人机影像匹配[J].电子测量与仪器学报，2018，32（8）：96-102.（SONG W， WANG Y B. UAV image registration based on improved AKAZE algorithm [J]. Journal of Electronic Measurement and Instrumentation， 2018， 32（8）： 96-102.）

[13] 张春美，龚志辉，黄艳.几种特征点提取算法的性能评估及改进[J].测绘科学技术学报，2008，25（3）：231-234.（ZHANG C M， GONG Z H， HUANG Y. Performance evaluation and improvement of several feature point detectors [J]. Journal of Geomatics Science and Technology， 2008， 25（3）： 231-234.）

[14] 叶沅鑫，慎利.面向遥感影像匹配的特征点检测算子性能评估[J].西南交通大学学报，2016，51（6）：1170-1176.（YE Y X， SHEN L. Performance evaluation of interest point detectors for remote sensing image matching [J]. Journal of Southwest Jiaotong University， 2016， 51（6）： 1170-1176.）

[15] 胡佳怡，赵栋梁，刘荣，等.基于特征的影像匹配算法性能评估[J].北京测绘，2018，32（2）：179-185.（HU J Y， ZHAO D L， LIU R， et al. Performance evaluation of feature-based image matching algorithms [J]. Beijing Surveying and Mapping， 2018， 32（2）： 179-185.）

[16] 贾雯晓，张贵仓，汪亮亮，等.基于SIFT和改进的RANSAC图像配准算法[J].计算机工程与应用，2018，54（2）：203-207.（JIA W X， ZHANG G C， WANG L L， et al. Image registration algorithm based on SIFT and improved RANSAC [J]. Computer Engineering and Applications， 2018， 54（2）： 203-207.）

[17] 陈艺虾，孙权森，徐焕宇，等.SURF算法和RANSAC算法相结合的遥感图像匹配方法[J].计算机科学与探索，2012，6（9）：822-828.（CHEN Y X， SUN Q S， XU H Y， et al. Matching method of remote sensing images based on SURF algorithm and RANSAC algorithm [J]. Journal of Frontiers of Computer Science and Technology， 2012， 6（9）： 822-828.）

[18] 高帅华，安巧绒.RANSAC在影像匹配中的应用[J].中国科技信息，2018（6）：69-70.（GAO S H， AN Q R. Application of RANSAC in image matching [J]. China Science and Technology Information， 2018（6）： 69-70.）

[19] 代玉强，杨絮，熊昊，等.SIFT特征算法改进研究[J].现代计算机（专业版），2018（17）：55-59.（DAI Y Q， YANG X， XIONG H， et al. Research on the improvement of SIFT feature algorithm [J]. Modern Computer （Professional Edition）， 2018（17）： 55-59.

[20] 陈虹，肖越，肖成龙，等.基于SIFT算子融合最大相异系数的自适应图像匹配算法[J].计算机应用，2018，38（5）：1410-1414.（CHEN H， XIAO Y， XIAO C L， et al. Adaptive image matching algorithm based on SIFT operator fused with maximum dissimilarity coefficient [J]. Journal of Computer Applications， 2018， 38（5）： 1410-1414.）