一种无人机视频影像快速配准方法
2019-07-05孙新博李英成王恩泉耿中元王思雪
孙新博,李英成,王恩泉,耿中元,王思雪
(1. 自然资源部航空遥感技术重点实验室,北京 100039; 2. 北京市低空遥感数据处理工程技术研究中心,北京 100039; 3. 中测新图(北京)遥感技术有限责任公司,北京 100039)
随着各种轻小型高精度传感器的不断问世及无人机平台整体性能的提升,无人机搭载不同传感器进行作业已成为常态[1],其中视频传感器得益于能够获取动态变化影像及数据实时回传的特性而受到行业关注。受视频传感器幅面、视角和无人机飞行高度影响,单帧无人机视频影像所覆盖的区域面积较小,在一些任务中需要对多帧视频影像进行拼接。拼接的前提是视频帧的有效配准,在应急测绘中无法按照传统的航空摄影测量流程生成标准正射影像实现视频帧的配准,因此研究基于实时回传的无人机视频帧快速配准方法对于应急响应具有重要意义。文献[2—4]采用SIFT等算法对影像进行匹配,剔除误匹配点对后建立影像间空间变换模型,统一坐标系,从而完成影像配准。这种方法偏重于纹理丰富的区域,在纹理单一区域就无法获取有效特征点信息且匹配过程计算复杂,耗时较长。文献[5—9]借助无人机影像的定位定姿信息快速建立影像间的空间变换关系,再分别通过采用校正模型、构建平衡二叉树、建立仿射变换模型、地理坐标局部修正等手段减少误差积累,改善配准效果,这种方法大大提高了无人机影像的配准速度,但对于姿态稳定性更差的视频帧的处理较少涉及。文献[10—11]基于获取的带有重叠的无人机影像估计相机位姿,恢复场景三维结构,根据影像的相对位姿进行图像坐标变换,统一坐标系,从而实现影像间的配准。该方法与基于特征匹配的方法相似,但其对消除误差累计处理得更好且具有实时处理的能力。
本文从应急测绘需求出发,提出一种无人机视频影像快速配准方法。该方法首先对视频传感器进行标定,获取其内方位元素和畸变参数信息;然后基于时间索引和线性/球面插值方法,实现视频帧与地理信息同步;最后利用外方位元素和数字高程模型对视频帧进行正射纠正,通过匹配获取同名特征点,快速计算正射影像间仿射变换模型,基于仿射尺度不变坐标微调方法,调整正射影像地理坐标,从而实现视频帧间精确配准。配准后的视频帧经过融合即形成带有地理坐标的拼接影像,可进行快速定位与空间分析,为应急救灾提供参考资料。
1 视频传感器标定
针孔成像模型是相机及视频传感器最常用且较为简单的几何模型[12],用来描述三维世界中坐标点映射到二维图像平面的过程。理想情况下,针孔成像模型描述了地面点、投影中心及对应像点三者之间严格的数学关系,在摄影测量学中共线方程是针孔成像模型的数学基础,其公式如下
(1)
式中,x、y为像点坐标;X、Y、Z为对应的地面点坐标;f为主距;x0、y0为像主点坐标;Xs、Ys、Zs为外方位元素线元元素;ai,bi,ci(i=1,2,3)为旋转矩阵元素。
由于传感器镜头设计、制作、装配等误差造成像点偏离其理想成像位置,主要包括径向畸变和切向畸变。其中径向畸变是指像点沿物镜向径向方向偏离其准确理想位置的畸变差,切向畸变是由透镜与成像平面不平行引起的。一般来说,视频传感器的非线性畸变模型主要是径向畸变和切向畸变,除此之外还包括平面不平畸变和平面内变形畸变等附加畸变[13]。在传感器标定精度要求不是特别严格的条件下,径向畸变和切向畸变就能够描述其非线性畸变,因此本文研究主要考虑视频传感器的径向畸变和切向畸变。
本文采用基于标定物的视频传感器标定方法[14-15],该方法是利用几何结构已知的标定参照物,通过建立参照物上已知点坐标与图像坐标点之间的对应关系,结合传感器成像几何模型约束条件,使用优化算法精确求解标定参数。完成视频传感器的标定工作后,利用求解出的参数对视频帧影像进行畸变差改正,消除传感器畸变模型带来的误差以提高配准精度。
2 基于坐标信息的影像配准
无人机获取的定位定姿数据和视频流数据存在时间基准不统一、采集频率不一致等问题。针对这一问题,文献[16]利用定位定姿系统输出的PPS(pulse per second)触发摄影机拍摄图像,机载计算机记录图像的同时解析全球导航卫星系统GNSS信息数据包,并将每帧图像的曝光时间、位置、姿态数据记录到计算机中,实现定位定姿数据与图像在时间上的同步。本文所采用的视频传感器为近似连续采集图像设备,不适合采用文献中脉冲信号触发曝光动作实现数据时间同步的方法。
为了解决上述问题,本文采用基于时间索引和线性/球面插值方法建立视频流数据与定位定姿数据之间的对应关系[17]。具体实现方法如下:
(1) 以计算机系统时间为参考,分别记录定位定姿数据和视频帧的采集时间,时间单位由时-分-秒-毫秒转换为毫秒。
(2) 以时间为自变量,分别以位置坐标和姿态数据为因变量建立线性插值方程、球面插值方法。
(3) 利用视频帧的采集时间索引相应插值方程,计算视频帧对应的定位定姿数据,建立二者的对应关系。
通过上述方法实现了视频帧与定位定姿数据的一一对应,在精度要求不是很高的情况下,惯性导航系统获取的位置和姿态信息可以直接作为传感器曝光瞬间的外方位元素。本文采用间接法数字微分纠正[18]实现视频帧影像的快速地理编码。地理编码后的视频帧可根据坐标信息实现配准,但在实际应用中发现由于定位定姿数据自身精度问题造成了纠正后每帧视频影像间均有位移偏差,如图1所示。为了消除位移偏差,本文采用地理坐标微调方法改善视频帧之间的配准质量。
3 无人机视频影像地理坐标微调
3.1 视频影像变换模型
利用特征匹配和RANSAC(随机取样一致性)算法[19-21]获取视频帧影像间匹配关系后,则可以选择合适的几何变换模型对待配准影像坐标进行几何变换,将待配准影像坐标调整到参考影像坐标系下,从而改善基于坐标信息的视频帧配准质量。图像变换模型主要包括刚体变换、仿射变换、相似性变换及透视变换等,视频帧之间存在旋转、缩放变化,可以采用仿射变换或相似性变换拟合几何变换关系,但仿射变换在拟合效果方面优于相似性变换[22],因此本文采用仿射变换对视频帧坐标进行调整。仿射变换的矩阵形式表示如下
(2)
式中,x1、y1为参考影像像点坐标;x2、y2为待配准影像像点坐标;mi(i=0,1,2,3,4,5)为仿射变换系数。从式(2)可以看出仿射变换模型有6个未知参数,至少需要3对匹配特征点求解仿射变换模型参数,在同名特征点多于3对的情况下,需要采用最小二乘法求解仿射变换模型未知参数。本文以航线内第一帧正射纠正后的视频帧作为参考影像,通过仿射变换模型调整相邻视频帧的地理坐标。调整效果如图2所示。
从视频帧地理坐标调整结果可以看出该方法很好地消除了相邻视频帧间的位移偏差,却又引入了尺度误差,即仿射变换模型中的缩放变换。这是由于参考影像受误差影响自身并非与地面信息严格一致,不可避免地存在投影误差,误差随着视频帧数的增加会越来越大。在仿射变换模型中则会表现为尺度变化越来越大,为此需要控制仿射变换模型中的缩放因子。
3.2 基于仿射尺度不变的坐标微调
为了解决视频帧坐标调整过程中仿射变换模型缩放因子不受控制的问题,本文提出了基于仿射尺度不变的坐标微调方法。该方法通过比较仿射变换前后影像x和y方向上分辨率大小变化,获取仿射变换模型缩放比例系数scale_x和scale_y,假设仿射变换后影像中心不存在平移变化,则按图3位置关系计算坐标微调量值。A(x,y)为仿射变换后影像左上角坐标,A′(x′,y′)为坐标微调后影像左上角坐标,Δx、Δy为坐标微调量,用下式表示为
(3)
按照式(3)计算出坐标微调量,进而改正仿射变换后影像左上角坐标,同时x和y方向上的分辨率大小采用仿射变换前影像的分辨率大小。
以正射纠正后的参考帧为基准依次调整相邻视频帧的地理坐标,消除航线内视频帧之间的位移偏差,结果如图4所示。
4 试验与分析
选取某型号无人机拍摄的两条航线的视频数据,按照自适应关键帧提取算法实时获取满足重叠度要求的视频关键帧共148张,帧影像大小为1920×1080像素。首先利用传感器标定参数对视频帧进行畸变差改正,消除畸变差影响;接着利用每帧对应的定位定姿数据快速对每条航线的视频帧进行正射纠正;再利用SURF特征提取算法对航线内正射纠正后的视频帧两两匹配,计算两两之间的仿射变换模型;最后采用基于仿射尺度不变的坐标微调方法对航线内视频帧进行坐标微调,消除两两之间的位移偏差,单条航线内视频帧配准效果如图5所示。
从图5可以看出房屋、道路、山丘连接良好,未出现位移偏差现象。本次试验是选择第一帧视频影像作为参考影像从左至右两两进行坐标微调,航带尾部配准效果略差于其他部分,这是由于误差积累引起的,可以采用从航带中间选取参考帧的方法减少误差积累。
5 结 语
本文针对应急测绘中对无人机视频流快速处理的需求,提出了一种无人机视频影像快速配准方法。该方法基于时间索引和线性/球面插值方法实现视频帧与定位定姿信息的一一对应,利用定位定姿信息对视频帧进行正射纠正,纠正后的视频帧按照坐标信息进行配准,由于定位定姿信息精度的影响,导致视频帧间存在位移偏差。尽管基于仿射变换模型的方法能够消除位移偏差,但缩放因子的影响造成影像形变严重,在此基础上本文采用控制仿射变换模型中缩放因子不变的坐标微调方法很好地解决了上述问题,实现了航带内视频帧的精确配准。但是本文方法在航带间视频帧的配准试验中并未取得较好的效果,下一步工作将继续开展航带间视频帧的近实时配准研究,为应急测绘数据快速实时获取提供技术支持。