基于景象匹配的航摄影像二维定位方法
2018-11-09孙世宇李建增胡永江
孙世宇, 张 岩, 李建增, 胡永江
(陆军工程大学无人机工程系, 河北 石家庄 050003)
0 引 言
景象匹配是将图像区域从不同传感器摄取的相应景象区域中确定出来,或找到它们对应关系的一种计算机视觉技术[1]。基于景象匹配理论,对无人机的航摄影像(视频与照片数据)内目标的定位方法,即为基于景象匹配的无人机目标定位方法[2]。该方法需要的任务设备较少,定位精度与实时性较高,不易受外界干扰[3],所以该方法的研究意义重大。
基于景象匹配的无人机目标定位方法的研究重点在于异源匹配与定位策略。异源匹配要求特征检测、描述与模型估计的鲁棒性与实时性较高[4-5]。定位策略要求底图与目标影像的对应性较好,对任务设备的依赖较少,坐标解算快速准确[6]。对于这种定位方法,国内外学者做了大量研究。
文献[7]提出基于局部特征与拓扑约束的遥感图像匹配与目标定位方法。首先利用多尺度角点检测算法进行特征检测,然后利用尺度不变特征匹配[8](scale invariant feature transform, SIFT)描述子进行特征描述,最后基于拓扑约束剔除误匹配点,实现图像匹配并获取定位点经纬坐标。该方法定位精度有待提高,且特征匹配的实时性与鲁棒性有待增强。文献[9]提出了一种全局图像配准的目标快速定位方法,首先将航摄影像进行适当层级的小波分解,其次结合SIFT与角点进行特征检测,利用SIFT描述子进行特征描述,再次利用随机抽样一致性[10](random sample consensus, RANSAC)算法与最小二乘法优化单应性矩阵,实现图像匹配并获取定位点经纬坐标。该方法定位精度较高,但特征匹配的实时性有待增强。文献[11]提出了基于CenSurE-star的无人机景象匹配算法。首先提出CenSurE-star进行特征检测,然后利用快速视网膜特征进行特征描述,最后利用RANSAC剔除误匹配点,实现图像匹配并获取定位点经纬坐标。该算法运行效率较高,并能满足无人机视觉辅助导航的需求。但是该算法中特征匹配算子的鲁棒性有待改善。文献[12]提出了一种基于定位定向系统(position and orientation system, POS)与图像匹配的无人机目标定位方法[12],首先利用SIFT算法进行航摄影像同源匹配,其次利用匹配区域搜索方法自动生成底图,再次利用SIFT算法将航摄影像与对应底图进行异源匹配,最后解算航摄影像二维地理坐标。该方法利用无人机POS数据自动生成了对应底图,实现较为准确的定位。但该算法中特征检测子与描述子的鲁棒性与实时性有待改善,RANSAC的执行效率有待提高,匹配区域搜索方法完全依赖POS设备。
上述算法针对基于景象匹配定位的不同步骤进行了创新与改进,但仍存在以下问题:①特征匹配算法的鲁棒性有待增强;②描述符匹配与模型估计算法的鲁棒性与实时性有待增强。③底图难以自动获取,或依赖POS系统。
针对以上问题,本文提出了一种基于景象匹配的航摄影像二维定位方法(two-dimensional location of aerial photography based on scene matching, TDLAPSM),首先进行任务规划,来获取某固定区域的航摄影像。其次基于特征匹配来完成景象匹配。再次提出坐标解算及底图生成方法,来实现航摄影像二维定位。最后进行了理论说明和实验验证。
1 方法流程
TDLAPSM的方法执行步骤如下:
步骤1任务规划。利用无人机获取某固定区域(已知地理信息)的航摄影像,同时生成该区域底图。
步骤2景象匹配。将底图与航摄影像进行特征匹配得到单应性矩阵,同时将该时刻与下一时刻的航摄影像进行特征匹配得到对应的单应性矩阵。特征匹配方法流程如图1所示。
图1 特征匹配流程图Fig.1 Diagram of feature matching
特征匹配包括同源影像间匹配(航摄影像之间)与异源影像间匹配(航摄影像与底图)。按照特征检测、特征描述、描述符匹配、与模型估计顺序进行。其中:首先,利用基于快速自适应鲁棒性尺度不变的特征检测子(fast adaptive robust invariant scalable feature detector, FARISFD)[13]检测出特征点。其次,利用鲁棒性交叠的标准特征描述子(robust overlapped gauge feature descriptor, ROGFD)[14]生成特征点的描述符。再次,利用基于欧氏距离的暴力匹配方法对描述符进行匹配,并利用基于网格的快速、超鲁棒特征匹配运动统计算法(grid-based motion statistics for fast, ultra-robust feature correspondence, GMS)[15]剔除误匹配。最后利用基于特征距离与内点的随机抽样一致性(random sample consensus based on feature distance and inliers,RSCFDI)[16]算法计算得到单应性矩阵。两种特征匹配并行处理。
步骤3坐标解算及底图生成。解算该时刻航摄影像内所有点的二维地理坐标。同时生成下一时刻航摄影像对应底图。
步骤4步骤循环。按顺序重复步骤2与步骤3,直到完成所有航摄影像的二维定位。
2 坐标解算及底图生成方法
2.1 方法流程
步骤1按图3所示方式,提取该固定区域数字卫星地图M1作为底图,设:A~D点的二维地理坐标分别为(W1,B1)、(W2,B1)、(W2,B2)以及(W1,B2),底图图幅为C×R像素。
图2 底图示意图Fig.2 Diagram of base map
步骤2求解该区域的航摄影像I1内任一点(x1,y1)(计算机图像坐标系)的二维地理坐标(W,B),计算公式如式(1)所示。所有航摄影像的图幅为c×r像素。其中,由景象匹配得到的两个单应性矩阵为:以M1为基准,将I1进行特征匹配,得到单应性矩阵H1,H1如式(2)所示;以相邻航摄影像I1为基准,将I2进行特征匹配,得到单应性矩阵H2。
(1)
(2)
步骤3计算I2的对应底图M2的4个角点二维地理坐标(w1,b1)、(w2,b1)、(w2,b2)以及(w1,b2),公式为
(3)
(4)
(5)
步骤4将M2替换M1作为新的底图。
2.2 式(1)的证明
证明由计算机图像坐标系与单应性矩阵定义可得
(6)
式中,k1为非零常数;(X,Y)为计算机图像坐标系下的M1内任一点坐标。
由于底图为数字卫星地图的一部分,已作地图投影,则有如图2所示几何的关系,则
(7)
联立式(6)与式(7),所以式(1)成立。
证毕
2.3 式(3)的证明
证明由计算机图像坐标系与单应性矩阵定义可得
(8)
式中,k2为非零常数;(x2,y2)为计算机图像坐标系下的I2内任一点坐标。
联立式(7)与式(8),可得
(9)
式中,(w,b)为(x2,y2)的二维地理坐标。
按图3所示方式,在数字卫星地图上,提取I24个角点外接矩形作为M2,所以式(3)成立。
证毕
3 实验验证
3.1 实验设置
3.1.1 实验平台参数
笔记本计算机配置:处理器为2.5GHz i7第4代,系统为64位Win10,编程环境为链接OpenCV 3.00的Visual Studio 2015。
3.1.2 数据集
对某地区进行实验,技术参数如表1所示,部分无人机航片与相关谷歌数字卫星地图数据如图3与表2所示。
表1 实验影像主要技术参数
图3 测试所用航片与谷歌数字卫星地图Fig.3 Aerial images and Google digital satellite mapused for evaluation
影像纬度/(°)经度/(°)高度/m横滚/(°)俯仰/(°)航向/(°)134.59110.132302.28-2.030.32258.34234.59110.122306.480.130.18257.02
3.1.3 实验对象及相关参数设置
不同方法的步骤与参数对比表如表3所示。
表3 不同方法的步骤与参数
3.1.4 评估准则
为了衡量算法的鲁棒性与运行效率,本文主要通过定位误差与耗时2个指标衡量算法。
指标1定位误差的定义式为
(10)
式中,S为目标的定位误差;(xk,yk)为第k个目标二维坐标理论值;(Xk,Yk)为第k个目标二维坐标测量值。
指标2在相同硬件平台上,达到相同目标时,算法的所用时间。
3.1.5 实验过程
首先选取不同航带的200幅航片,利用基于POS与图像匹配的无人机目标定位方法与TDLAPSM进行定位。然后在每幅航片中较为平均地选取10个测量点,共计2 000个地物点,以谷歌数字卫星地图的地理信息为理论值来计算定位误差,同时计算平均每幅耗时。
3.2 实验结果与分析
全部地物点定位误差曲线如图4所示。
图4 定位误差结果Fig.4 Results of positioning error
将实验结果分析如下:
文献[11]匹配方法的定位误差平均值为19.28 m,最大定位误差为41.67 m,拼接200幅时平均每幅耗时18.92 s。TDLAPSM的定位误差平均值为12.73 m,最大定位误差为26.49 m,拼接200幅时平均每幅耗时6.41 s。
将实验结果分析如下:
(1) 文献[11]所采用的SIFT的实时性与鲁棒性较弱,而TDLAPSM采用了FARISFD与ROGFD,大幅提高了特征匹配的鲁棒性,这直接增强了同源与异源匹配准确性。
(2) 文献[11]采用RANSAC进行模型估计实现拼接,而本文提出的改进的随机抽样一致性算法在保证RANSAC鲁棒性的同时,大幅提高了执行效率,保证了TDLAPSM模型估计环节的准确性与实时性。
(3) 相对于匹配区域搜索方法,坐标解算及底图生成方法运算速度更快;并且减小了匹配范围,提高了基于景象匹配的定位速度;同时避免了POS的使用,减少了对机载设备的依赖。
4 结 论
本文提出TDLAPSM,并通过理论与实验验证了方法的可行性与优势,主要得到以下结论:
(1) 坐标解算及底图生成方法不仅提高了基于景象匹配的定位速度,同时减少了对机载设备的依赖。
(2) RSCFDI与GMS在保证算法鲁棒性的同时,提高了执行速度。
(3) FARISFD与ROGFD,增强了特征匹配的鲁棒性。
(4) 局限性:如果改进的随机抽样一致性算法二次跳出子循环的阈值很小,则算法鲁棒性降低,如果阈值很大,则实时性降低。TDLAPSM对特征匹配的鲁棒性与实时性要求较高。
(5) 推荐应用范围:TDLAPSM在小型无人机对目标定位、干扰环境下无人机对目标定位等情况,应用前景较好。