基于改进NBCS的遥感图像特征点匹配算法
2022-08-23吴锐
吴 锐
(厦门城建市政建设管理有限公司,厦门,361026)
遥感图像配准是许多遥感图像处理过程中的关键步骤,例如在实现变换检测、图像融合、图像叠加、目标识别等均需要先完成图像的精确配准[1]。图像配准是对两个或多个来自同一场景区域,所获取不同视角、不同时相或者不同传感器的图像进行对齐归一化于同一地理坐标系下[2]。目前图像配准主要分为基于灰度和基于特征2种配准方法,然而面对数据量较大的遥感图像,且由于不同传感器所形成遥感图像灰度差异较大,使得基于灰度的图像配准往往效率低下。基于特征的图像配准由于其计算量小且提取的特征对于灰度变化具有不变性,因此成为目前图像配准领域的研究热点。基于特征的图像配准方法需要提取图像特征,包括点特征、线特征、面特征等,但最终特征匹配均要转化成点来估计变换模型,再用变换模型对待配准图像进行变换获得配准结果。
针对于特征点匹配提出了经典的随机采样一致性(Random Sample Consensus, RANSAC)算法[3],同时统计内点数,依次按照此步骤进行迭代,寻求最大内点数所对应的变换模型即为最优变换模型。基于RANSAC提出了快速采样一致性(Fast Sample Consensus, FSC)算法,通过在采样集中随机选取采样点对来估计变换模型,在完成FSC计算后,再进行迭代选取更为准确的点,并移除不精确的点,用最终剩下的内点来估计变换模型。基于归一化重心坐标系(Normalised Barycentric Coordinate System,NBCS)的特征匹配算法[4],计算其他点对的变化误差来剔除外点,最终得到最大内点数的变换模型。通过初始匹配得分选出10对种子点对[5],进行多次迭代求解最优变换模型。上述算法均能得到较好的匹配结果,但容易出现同名点对一对多或者同名点定位不准确的问题,此研究在NBCS算法的基础上,进行迭代计算剔除误差过大的点和选取定位更为准确的点,可解决上述问题,并提高了匹配精度。
1 NBCS特征匹配算法
NBCS特征匹配算法是Li等提出的一种能快速准确地匹配特征点的算法,由于其基于归一化重心坐标系进行特征匹配,相比于LLT[6]、VFC[7]、RANSAC、MLESAC[8]、AC-RANSAC[9]、FSC等特征匹配算法具有更高的鲁棒性,在特征点匹配中具有优异的性能。
此外,遥感图像间的配准由于在配准前对图像进行了预处理,使得图像间仅存在旋转、缩放、平移差异,所以遥感图像配准一般采用仿射变换模型。而在仿射变换模型下,图像特征点对之间所建立的归一化重心坐标系NBCS具有不变性。在图像的初始匹配点对中,选取4对点对构成四边形建立归一化重心坐标系,若其满足严格的对应关系,则其归一化重心坐标相等,因此在图像中建立归一化重心坐标系后,则其余点均可由笛卡尔坐标转为归一化重心坐标。由于此特性,NBCS相比于笛卡尔坐标系更适合用于特征点匹配。
2 改进NBCS特征匹配算法
基于NBCS的特征匹配算法能够快速准确地挑选出内点,且具有较高的正确匹配率,但由于特征检测算法的缺陷,其匹配结果中容易出现同名点对一对多或者同名点定位不准确的问题,进而影响其配准精度。
先用SIFT算法[10]进行特征检测得到初始匹配点对,再用NBCS特征匹配算法剔除误匹配,其中白色点对为正确匹配点对,黑色点对为错误匹配(图1)。由其右侧的局部放大图可知其匹配结果存在定位不准确的匹配点对,这是由于特征检测算法所检测的点定位有所误差所致,从而影响匹配精度。先用RIFT算法[11]进行特征检测,再用NBCS特征匹配算法得到特征点匹配结果,由于其检测的特征点较为密集且特征点定位存在差异,导致其匹配结果出现同名点一对多的问题(图2)。
图1 SIFT+NBCS特点匹配结果Fig.1 SIFT+NBCS feature-matching results
图2 RIFT+NBCS特征匹配结果Fig.2 RIFT + NBCS feature-matching results
针对上述问题,在NBCS特征匹配算法的基础上提出一种迭代计算剔除误差过大的点和在特征点领域自动选择最优点。其步骤如下:一是使用NBCS特征匹配算法得到匹配内点集,仿射变换模型T;二是使用T对内点集进行变换,并计算其变换误差,若误差大于1个像素,则剔除该点对,若小于1个像素,以参考图像的点P1为基准,所对应的待配准图像的点P1'为中心n×n领域内n×n个点为最优点候选点,然后用T依次计算P1'领域内所有点变换后与P1的欧式距离,选择距离最小的点替换P1'做为最优定位点。重复以上2个步骤直至内点集所有点对计算完毕。
3 遥感图像特征匹配实验
3.1 实验数据及实验参数设置
在上述算法中,参数均需要经过实验验证来设置,以取得最佳匹配结果,经多组实验验证,实验参数为M=100、δ=0.03、ε=3时得到最佳匹配结果,但还需进行实验验证以设置领域大小n的最优值。
实验数据为10对遥感图像,其中第1~7对图像为文献所公开的数据,包括图像与所对应的地面真实的几何变换模型,第8~10对图像来自于的公开数据[12],包括了图像与图像检查点数据,其详细信息(图3,表1)。
图3 遥感图像实验数据Fig.3 Experimental data of remote sensing images
表1 遥感实验图像信息
参数设置取10对图像进行实验,采用“SIFT+”改进NBCS算法获得匹配结果,以邻域大小n的变化对匹配点对的均方根误差RMSE(Root Mean Square Error)所产生影响来选择n的最佳值。
邻域大小n选用了3~11共5个值,每对图像其特征点匹配精度随着邻域的增大而有所提高,当邻域增大到5×5以后,其RMSE变化不大,某些图像对甚至出现精度降低,所以考虑其点匹配精度和算法的计算速度,邻域大小取n=5时取得最佳结果(图4)。
图4 参数n设置实验Fig.4 Parameter n setting experiment
3.2 特征匹配实验
为验证改进的 NBCS特征匹配算法相比于传统的NBCS特征匹配算法具有更高的匹配精度,对二者进行了对比实验,算法性能的评估从特征点匹配结果目视检查、匹配精度、正确匹配率[13]3个方面进行。
特征点匹配结果目视检查仅选取部分图像进行展示(图5、图6),对于第1~7对同源遥感图像采用“SIFT+NBCS”和“SIFT+改进NBCS算法”进行实验,对于第8~10对异源遥感图像,由于SIFT不适用于异源遥感图像的特征匹配,故采用“RIFT+NBCS”和“RIFT+改进NBCS”算法进行实验,实验结果(表2)。
表2 特征匹配实验结果统计
图5 pair-6图像特征匹配实验Fig.3 Pair6 image feature matching experiment
图6 pair-8图像特征匹配实验Fig.6 Pair8 image feature matching experiment
pair-6图像特征匹配实验图中,改进的NBCS特征匹配算法在迭代计算邻域最优点位后纠正其点位,能够很好地解决同名点对定位不一致的问题。在pair-8图像特征匹配实验图中,由于所检测的特征点比较密集,出现了同名点一对多的现象,如在“RIFT+NBCS”实验室图的2、4号局部放大图中,可见对于同一地物的一角,参考图像的5个点与待配准图像的2个点进行了匹配,而在“RIFT+改进NBCS”实验的2、4号局部放大图中,可见待配准图中的同名点定位得到了纠正,实现了同名点一对一匹配。
对于多组遥感图像的特征匹配实验的统计结果可看出,改进的NBCS特征匹配算法相比于传统的NBCS特征匹配算法在具有更高的特征点匹配精度的同时保持了较高的正确匹配率,其中多组图像的匹配精度达到了亚像素,而且正确匹配率达到了1。而异源遥感图像的特征匹配结果相对于同源遥感图像的特征匹配结果较差一些,这是由于异源遥感图像间存在较大的辐射差异,其地物特征点的定位存在更大的偏差。
4 结语
特征点匹配是遥感图像配准中的重要环节,直接影响到其特征点匹配精度,对于NBCS特征匹配算法在特征点匹配中出现所匹配的同名点定位不准确和一对多的问题,在NBCS特征匹配算法的基础上,加入了迭代计算以剔除误差过大的同名点对和选取邻域最优点。经过多组遥感图像的特征匹配实验,从特征匹配结果目视检查、RMSE、CMR 3个方面验证改进的NBCS特征匹配算法相比于传统的NBCS特征匹配算法具有更好的匹配精度。但由于迭代计算最优点位是建立在NBCS特征匹配的结果上的,NBCS特征匹配算法对于初始匹配中存在大量误匹配时其计算成本将会更高,如何解决此问题,后续将做进一步的研究。