基于KAZE特征的露天矿无人机影像匹配
2022-04-21陈保宇
陈保宇,张 锦
(太原理工大学 矿业工程学院,山西 太原 030024)
0 引言
无人机航空遥感平台具有机动灵活、快速高效、获取影像空间分辨率高等优点,广泛应用于资源调查、城市建模、地形监测和应急救援等多个领域[1]。影像匹配是在2幅或多幅具有重叠区域的影像之间获取同名点的过程,是无人机影像数据处理的重要环节,现阶段影像匹配的方法主要包括基于灰度的影像匹配方法和基于特征的影像匹配方法[2]。
基于点特征的影像匹配方法广泛应用于遥感影像和无人机影像的匹配,常用的基于点特征影像匹配算法如SIFT[3],SURF[4],ORB,BRISK等,对尺度、缩放和旋转具有不变性,同时对光照和旋转具有一定的鲁棒性[5]。特别是基于SIFT算法无人机影像之间的匹配,有众多学者进行研究,并且提出了多种改进方法。文献[6]最先验证SIFT算法应用于遥感影像配准的可行性,文献[7-9]从特征点描述符和匹配策略方面对SIFT算法进行了改进。但对于特殊区域影像,SIFT算法由于采用高斯滤波建立尺度空间,会造成图像边缘模糊和细节丢失,从而导致特征点检测精度下降,KAZE算法通过建立非线性尺度空间可以避免这种问题。文献[10]证明了KAZE算法在多源影像的匹配效果优于SIFT算法。文献[11]验证了KAZE算法在林区无人机影像拼接方面的优势。文献[12]基于改进的KAZE算法应用于铁路路基探地雷达的图像配准。文献[13-14]验证了AKAZE算法在喀斯特地貌无人机影像匹配中结果优于SURF和BRISK算法。以上研究证明了KAZE算法在特殊区域影像匹配的优越性,但针对露天矿无人机影像匹配的研究相对较少,KAZE算法是否具有适用性还有待研究。
本文针对露天矿阶梯状地形在影像匹配中匹配点数量少的问题,在分析露天矿各功能区影像特征的基础上,提出利用KAZE算法进行无人机影像匹配,通过实验证明该方法的有效性,对露天矿无人机影像匹配进行了有益探索。
1 研究区特征分析
露天煤矿采场是由露天开采形成的采坑、台阶和露天沟道的总称,露天采场按照功能区划分为:剥离区、采煤区、排土场、矿坑边端帮和运输通道。露天矿开采过程中形成高陡的边坡,这些高陡边坡的分层称为台阶,台阶是露天矿采场的基本构成要素[15]。露天矿采区无人机正射影像如图1所示,表1描述了各区域的影像特征。
图1 露天煤矿采区无人机正射影像
表1 露天煤矿区域影像特征
2 影像匹配方法
2.1 KAZE算法
2.1.1 非线性尺度空间的建立
KAZE算法通过非线性扩散滤波和加性算子分裂算法(AOS)建立非线性尺度空间,非线性扩散滤波应用于图像时,通过流动函数的散度对图像亮度进行表示,非线性扩散滤波通过偏微分方程表示为:
(1)
式中,c(x,y,t)为传导函数,(x,y)为像素点坐标,t为扩散时间;div 和分别为散度和梯度算子;L为输入图像的亮度。传导函数表示为:
(2)
(3)
式中,k为对比度因子,控制扩散级别,能够决定保留多少边缘信息,k值越大,保留边缘信息越少。
KAZE算法通过AOS对非线性偏微分方程求解,得到非线性尺度空间不同时间对应的图像:
(4)
KAZE构造尺度空间与SIFT算法类似,不同的是各层图像都与原始图像分辨率相同。构造完成后的尺度空间共分为O组S层,需要将以像素为单位的尺度参数σi转化为时间单位,转化关系如下:
(5)
2.1.2 特征点检测
KAZE特征点检测通过搜索不同尺度归一化后Hessian局部极大值点,Hessian矩阵的计算如下:
(6)
与SIFT算法类似,将所有像素点与其周围和上下2层周围相邻像素点共26个点进行比较,获取特征点后利用三维二次函数进行拟合,利用泰勒展开进行亚像素定位:
(7)
2.1.3 特征点描述
KAZE特征点描述子的构建与SURF算法类似,特征点定位以后,以特征点为中心,6σi为半径建立圆形搜索区域,计算搜索区域内所有临近点的一阶微分值并进行高斯加权,使距离更近的特征点响应更加明显。利用一个角度为60°的扇形窗口围绕特征点进行旋转,统计区域内叠加后的向量最大值,最大值的向量方向作为主方向。
KAZE算法使用M-SURF描述特征点,以特征点为中心取一个大小为24σi×24σi的窗口作为描述区,将窗口划分为4×4个子区域,每个子区域计算长度为4的描述向量,4×4个区域共形成64维的描述向量:
(8)
2.2 特征点匹配流程
本文实验特征点匹配采用欧式距离[17]作为相似性测度,采用近似最邻近算法(ANN)在待匹配影像上搜索基准影像特征点对应的最邻近与次邻近点,利用最邻近比值法(NNDR)保留小于设定阈值的匹配点对,作为粗匹配点对。误匹配点的剔除采用随机采样一致性(RANSAC)算法,通过RANSAC算法计算2幅影像之间的单应性矩阵,剔除粗匹配中的误匹配点对。具体的实验流程如图2所示。
图2 实验方法匹配流程
为了验证本文提出算法的有效性,NNDR的阈值设为0.6,随机采样一致性内点的距离阈值设为3,迭代次数设置为30。
2.3 实验结果评价标准
本文的影像匹配结果评价标准主要采用精匹配结果、正确匹配点数量、匹配精度和匹配时间4项内容作为影像匹配质量的评价指标[18]。
正确匹配点数量是使用RANSAC算法提出错误匹配点后剩余匹配点数量,匹配正确率是正确匹配点数量与粗匹配点数量的比值,粗匹配点是采用NNDR匹配得到的匹配点数量。
均方根误差(RMSE)作为匹配精度的衡量指标,采用左影像上匹配点经过单应矩阵变换后在右影像上的坐标与右影像上匹配点坐标之间的均方根误差:
(9)
3 实验结果与分析
3.1 实验数据
本文的研究区为平朔安家岭露天煤矿,位于山西省朔州市平鲁区境内。影像来源于搭载SONY-ILCE-7R相机的无人机拍摄的露天煤矿影像,幅面大小为7 360 pixel×4 912 pixel,焦距35 mm。为加快匹配速度,在特征提取和匹配前对原始影像进行降采样处理,压缩后影像尺寸为920 pixel×614 pixel。本次实验运行环境为Inter(R)-Core(TM)-i5-8250U,1.80 GHz,内存8 GB,64位Win10笔记本操作系统。
选取了露天矿5组无人机影像作为实验数据,如图3所示。
(a)剥离区影像
3.2 实验结果分析
根据实验方案,使用SIFT算法、SURF算法和KAZE算法分别对5组影像进行影像匹配实验,统计提取特征点数量、粗匹配点数量、正确匹配点数和匹配时间等指标,统计结果如表2所示。
表2 5组影像匹配实验结果统计
3.2.1 各算法精匹配结果分析
图4~图8是SIFT,SURF,KAZE三种算法经过RANSAC优化后5组影像的精匹配实验结果。从匹配结果可以看出,KAZE算法正确匹配点对数量高于SIFT算法和SURF算法,在D组匹配实验中获得了更好的匹配结果,在图像弱边缘信息较弱的区域也能得到正确匹配点。这是因为KAZE算法采用非线性空间进行特征点检测,能保留更多的边缘信息,在D组边端帮影像存在阴影的区域,也成功匹配出特征点。
(a)SIFT算法
(a)SIFT算法
(a)SIFT算法
(a)SIFT算法
(a)SIFT算法
3.2.2 正确匹配点数量分析
根据表2统计的5组影像匹配实验结果,从正确匹配点数量(图9)分析,利用KAZE算法实验得到的正确匹配点数量最多,约为SIFT算法的2倍,SURF算法提取数量较少。分析其原因,露天矿主要是运输通道及台阶状的功能区组成,运输通道路面较为平滑,在影像上难以提取有效的特征点,因此匹配的特征点主要以台阶边缘点为主。由于KAZE算法在特征点提取阶段采用非线性滤波构建尺度空间,能够在平滑内部区域的同时保留边缘信息,因此能够提出大量有效的边缘特征点,所以正确匹配点数量高于SIFT和SURF算法。
图9 正确匹配点数量对比
3.2.3 匹配精度分析
本文采用经过单应矩阵变换后的匹配点预测位置与对应匹配点正确位置之间的RSME作为匹配精度的评价指标,RMSE值越小,匹配精度越高。匹配精度RMSE对比如图10所示。可以看出,在5组实验中,有4组实验中的SURF算法精度较高,但SURF算法正确匹配点数量太少。有3组实验中KAZE算法匹配精度高于SIFT算法,有2组实验中KAZE算法匹配精度低于SIFT算法,整体匹配精度与SIFT算法相近。
图10 匹配精度RMSE对比
3.2.4 匹配时间分析
图11和图12显示了5组影像实验总时间和单点匹配时间对比,在匹配总时间方面,SURF算法由于提取特征点数量太少,因此总时间最短。
图11 匹配总时间对比
图12 单点匹配时间对比
在单点匹配时间方面,SURF算法单点匹配时间最高,匹配效率最低。KAZE算法在5组实验中,总匹配时间和单点匹配时间都优于SIFT算法,在匹配效率方面更适用于露天矿无人机影像匹配。
4 结束语
本文针对露天矿不同区域多样的地形环境,提出了一种基于KAZE算法的露天矿影像匹配方法,实验结果表明,在露天矿无人机影像匹配中,本文提出的方法相比经典的SIFT和SURF算法,在特征点数量方面均优于这2种方法,在匹配精度与SIFT算法保持接近的情况下,匹配点数量和匹配时间较SIFT算法均有优势。同时,在特征点分布方面,KAZE算法匹配点也较为均匀,在边缘信息较弱的区域也能成功匹配特征点。因此,在露天矿无人机影像匹配应用中,基于KAZE特征和RANSAC的匹配方法是一种稳定有效的方法,适合应用于露天矿无人机影像匹配。但该方法匹配正确率和匹配总时间优势不明显,后期研究考虑在特征点筛选和特征描述符构建方面进行优化改进,进一步提高算法的效率和匹配精度。