无人机影像序贯实时平差

无人机影像序贯实时平差

于英1，2，张永生1，薛武1，2，卢学良1，2

(1.信息工程大学，郑州 450052；2.江西省数字国土重点实验室，江西 抚州 344000)

摘要：无人机已经成为突发事件应急测绘的首要选择，但采用传统的POS辅助光束法平差仍是一种“延迟”事后处理的方法。本文将平差中序贯平差的方法作用于POS辅助光束法平差，极大地减少了平差的计算量。采用真实数据进行了实验，实验结果表明本文方法的测量平差精度优于40cm，且达到了实时平差的效果。

关键词：无人机影像；序贯平差；实时

doi:10.3969/j.issn.1000-3177.2015.01.004

中图分类号：P207文献标识码：A

收稿日期：2013-12-18修订日期：2014-03-06

基金项目：国家高技术研究发展计划课题(2012AA121302)；国家科技支撑计划课题(2012BAH12B01、2012BAH12B03)。

作者简介：齐银凤(1988～)，女，硕士研究生，从事遥感影像信息的快速提取与处理的理论和应用研究。

Real-time Sequential Adjustment for UAV Images

YU Ying1，2，ZHANG Yong-sheng1，XUE Wu1，2，LU Xue-liang1，2

(1.InformationEngineeringUniversity，Zhengzhou450052；

2.JiangxiProvinceKeyLabforDigitalLand，Fuzhou344000)

Abstract：Emergency UAVs have become the first choice of mapping，but traditional POS-supported bundle adjustment is still a delay post-processing method.This paper presents sequential adjustment method on the POS-supported bundle adjustment，which can greatly reduce the amount of calculation adjustment.Using real data，the experimental results show that the adjustment accuracy of the proposed method is better than 40cm，and it performs adjustment on a real-time basis.

Key words：UAV image；sequential adjustment；real-time

1引言

相比传统的卫星遥感和航空摄影获取的数据，无人机由于自身的优势可以动态高效廉价获得某地区高分辨率影像，可为自然灾害等突发事件的决策提供地理空间信息支持[1-2]。在应急情况下，需要无人机动态获取影像数据和几乎同步对这些数据进行实时处理得到地球参考坐标系下的DSM和正射影像。应急条件下，依靠地面布设控制点的方法，地面条件很多时候不具备，在时间上也不满足。

GPS/INS组合导航系统(通常称POS系统)尺寸、重量和功率的进一步缩小，使其可以安装在无人机平台上并与相机构成集成数据获取系统。POS系统获取曝光时刻相机的空间位置和姿态数据(影像外方位元素)，可用于摄影测量。已有试验表明，直接利用POS系统获取的影像外方位元素进行立体测绘，其精度特别是高程精度难以满足大比例尺地形测图的精度要求[3]，为此需将POS系统测定的影像外方位元素观测值与像点观测值进行联合平差(POS辅助空中三角测量)以提高精度，是一种数据后处理提高精度的方法。为实现动态数据获取和数据实时处理，就必须采用一种序贯处理的思路改进POS辅助空中三角测量[4]。此时，POS系统得到影像外方位元素的观测值，相当于以多视影像连接点作为一种随机约束，实时平差处理得到较为精确的影像外方位元素。

图1为无人机影像外方位元素高精度实时赋值的全过程。当获得新的影像后，不仅要更新当前影像的外方位元素，还要更新之前影像的外方位元素。采用经典的POS辅助空中三角测量重新进行整体解算，显然达不到实时的要求，序贯处理凭借数据的充分挖掘和降低的计算量是有潜力做到这一点。在摄影测量和计算机视觉领域，目前序贯算法主要包含卡尔曼滤波、上三角矩阵更新和固定转化3种方法[5-7]。上三角矩阵更新在计算速度和存储空间需求上都优于卡尔曼滤波，固定转化是目前最有效率的算法，但因不能顾及参数间的协方差矩阵，因此理论上不严谨。

图1　无人机影像外方位元素实时赋值

本文的无人机影像序贯实时平差的思路分为两个阶段：初始化阶段，对一定数量的影像进行POS辅助空中三角测量；序贯平差阶段，计算与新影像其相关的已经平差的影像，新影像与其相关影像一起序贯平差。

2初始化阶段

在初始化阶段，当一定数量的影像获取后，就可以进行POS辅助空中三角测量。由于安装在无人机上的相机已经在控制场进行了精确的标定，因此本文待平差的未知数只包括两类即影像外方位元素(EOP)和地面点坐标(GP)。POS辅助空中三角测量中观测数据包括像点坐标和POS数据，分别按式(1)和式(2)列误差方程。记相机焦距为f，像点在像空间坐标系中的坐标为(x,y)，对应物方点坐标为(X,Y,Z)，影像的外方位元素为(Xs,Ys,Zs,Omega,Phi,Kappa)，POS观测数据和影像的外方位元素构造的旋转矩阵元素分别为：(XGPS,YGPS,ZGPS,OmegaIMU,PhiIMU,KappaIMU)和(a1,a2,a3,b1,b2,b3,c1,c2,c3)，(u,v,w,ex,ey,ez)是偏心矢量和偏心角。

(1)

RIMU(OmegaIMU,PhiIMU,KappaIMU)=

R(Omega,Phi,Kappa).RMIS(ex,ey,ez)T

(2)

对式(1)和式(2)线性化，得：

(3)

其中，y11是像点观测值，z1是POS观测值，XEOP1和XGP1分别是像片外方位元素未知数和地面点坐标未知数，其他是对应的系数矩阵和残差矩阵，按最小二乘原理对其法方程化后得：

(4)

整理得：

(5)

则：

(6)

其中，Py11和Pz1是根据像点量测精度和POS数据精度确定的经验权阵[8]。

3序贯平差阶段

在初始化阶段后，又得到了一些新获取的影像，此时就要进行序贯平差。这里面有两个关键点：第一，参与序贯平差的影像由新影像和部分相关影像(初始化阶段平差过的影像)两类组成，即参与序贯平差的相关影像的确定。第二，有效利用初始化阶段的平差信息进序贯平差。

3.1相关影像确定

随着影像获取数量的增加，未知数向量维数程线性增大。在序贯平差阶段，如果让所有影像都参与序贯平差，显然无法做到实时序贯平差。实际上，POS辅助空中三角测量的平差中相隔很远的影像间几乎没有相互影响。为达到实时的平差，需要一个固定的未知数向量尺寸。依据经验值可以设定一个常数，比如前面10张影像与新获取的影像一起进行序贯平差，但显然这是不科学的。

在初始化平差阶段，不仅得到了影像外方位元素和地面点坐标的平差结果，同样得到了未知数间的协方差矩阵Q，通过协方差矩阵可以计算得到两个未知数之间的相关系数。任意两个未知数之间的相关系数可由式(7)求出：

(7)

显然新获取的影像与前一张已经参与平差的影像很近，因此可以用前一张影像代替新获取的影像计算相关系数。每张像片有6个外方位元素，则两张像片的相关系数可以构成6×6矩阵，该矩阵元素中的最大值用来确定两张影像之间的相关程度。设定一个相关程度的阈值，就可以获得与新获取的影像一同参与序贯平差的影像。

3.2序贯平差

在序贯平差阶段，可以将观测量分为三类。第一类观测量是y1，只与已经存在的影像有关；第二类观测量是y2，与新影像和已经存在的影像都有关；第三类观测量是y3，只与新影像有关。

(8)

其中：

按最小二乘原理对式(8)法方程化：

(9)

在最小二乘平差中，最耗时的步骤是求解法矩阵的逆矩阵，特别是当法矩阵的维数很大时，尤其明显[9]。为此，在序贯平差阶段求解法矩阵的逆矩阵时，要充分利用前一平差阶段的结果。法矩阵的逆矩阵可以写成如下形式：

W1=M12(M22+K22)-1;

(10)

(11)

4实验

本文所需实验数据，通过在无人机平台上搭载面阵相机和POS测姿定位传感器构成的集成传感器获取。该集成传感器的具体参数为：相机焦距为50mm，影像分辨率为，POS位置测量精度0.3m，POS的俯仰角和横滚角测量精度0.003deg，航向角测量精度为0.05deg。实际飞行时的相对航高为2200m，对应的地面分辨率(GSD)约为20cm，每3s拍摄一张影像，采用拍摄影像中的56张像片作为实验数据。采用高精度特征点提取算子进行了连接点提取，56张像片共提取了2452个像点，对应421个地面点，像点提取的精度约为0.3Pixel。

为验证该数据的质量，在地面布设了4个控制点和7个检查点，采用传统的POS辅助光束法平差得到的检查点外符合情况如表1所示，平差精度优于1个像素。

表1　POS辅助光束法平差检查点外符合情况

利用本文序贯平差方法对上面同样的数据进行处理，其中初始阶段选用了15张像片，相关系数阈值设定为0.3。如图2所示，以传统POS辅助光束法平差的外方位元素为基准，本文的序贯平差方法的外方位元素在开始阶段的误差急剧上升，随着新影像的不断加入逐渐趋于平稳在35mm和10mdeg。如图3所示，以传统POS辅助光束法平差的地面点坐标为基准，本文的序贯平差方法得到的地面点坐标的误差可以控制在40cm。图4为本文方法与传统POS辅助光束法平差计算时间的比较，传统POS辅助光束法平差随着影像的增加其计算时间近乎显著增加，但本文的序贯平差方法的计算时间可以在2s内，低于拍摄间隔3s，达到实时平差的效果。

图2　本文方法与传统POS辅助光束法 平差外方位元素比较

图3　本文方法与传统POS辅助光束法 平差地面点坐标比较

图4　本文方法与传统POS辅助光束法 平差计算时间比较

5结束语

本文研究将序贯平差的方法作用于传统POS辅助光束法平差，实验结果证明该方法可以实现序贯实时平差的效果。应用本文方法将进一步凸显出无人机机动和迅速的特点，为抢险救灾为代表应急情况提供更加实时的测绘服务。

参考文献：

[1]张永生.现场直播式地理空间信息服务的构思与体系[J].测绘学报，2011，40(1)：1-4.

[2]CHOI K，LEE I，HONG J，et al.Developing a UAV-based rapid mapping system for emergency response[C].SPIE Defense，Security，and Sensing.International Society for Optics and Photonics，2009：733209-733212.

[3]袁修孝.POS 辅助光束法区域网平差[J].测绘学报，2008，37(3)：342-348.

[4]姜柱.序贯平差在空三加密中的应用研究[D].中南大学硕士论文，2012：53-59.

[5]MATTHIES L，KANADE T，SZELISKI R.Kalman filter-based algorithms for estimating depth from image sequences[J].International Journal of Computer Vision，1989，3(3)：209-238.

[6]RUNGE A.The use of Givens transformation in on-line triangulation[C].Proceedings of ISPRS Intercommission Conference on “Fast Processing of Photogrammetric Data”，Interlaken，Switzerland，June，1987：2-4.

[7]DOGAN S，TEMIZ M，KULUR S.Real time speed estimation of moving vehicles from side view images from an uncalib-rated video camera[J].Sensors，2010，10(5)：64-71.

[8]袁修孝.当代航空摄影测量加密的几种方法[J].武汉大学学报(信息科学版)，2007，32(11)：1001-1006.

[9]黄维彬.近代平差理论及其应用[M].北京：解放军出版社，1990：49-55.

E-mail：xiaoqixzy@gmail.com