空基下视时序影像瞬时成像模型研究

高 力，刘 智，江振治，张向荣

(1. 信息工程大学，河南 郑州 450052； 2. 西安测绘研究所，陕西 西安 710054； 3. 地理信息工程国家重点试验室，陕西 西安 710054； 4. 西安电子科技大学，陕西 西安 710071)

空基下视时序影像瞬时成像模型研究

高 力1,2,3，刘 智1，江振治2,3，张向荣4

(1. 信息工程大学，河南 郑州 450052； 2. 西安测绘研究所，陕西 西安 710054； 3. 地理信息工程国家重点试验室，陕西 西安 710054； 4. 西安电子科技大学，陕西 西安 710071)

物方空间的物体随着时间的推移进行着绝对运动，运动导致了相对位置的变化，时间序列影像记录了物方三维空间的动态变化。本文基于下视时间序列影像的动态特性，在共线方程中引入时间元素，提出了空基下视时间序列影像瞬时成像模型，描述了动态“物像”间的瞬时投影关系；针对地表不同类型动态物体，构建了“由像到物”的应用模型，实现了从像方动态特征计算地表物体特征的目的。通过仿真和真实航空下视序列影像的试验与分析，验证了序列影像瞬时成像模型能够定量计算像地动态特征。

时间序列影像动态特征；瞬时动态投影；曝光时间间隔

摄影测量是以获取被摄物体的形状、大小、位置、特性及其相互关系为目的的技术[1]。传统航空摄影测量针对静止地物进行测量，忽略了地表的动态物体。航空序列影像与常规航片包含的信息不同，航空下视时间序列影像相机在运动过程中可以对地表动态物体、静态物体连续、高频率成像。

序列影像的研究主要分为两条技术途径：一方面起源于机器视觉的理论和应用，以光流算法[2-3]为主，可以提高光流算法的精度[4]，通过结构特征和轮廓特征增强稠密光流算法的稳定性[5-6]，像空间分区域分析光流特征[7-8]，基于物体运动的特点研究光流的平滑[9]。这类研究围绕序列影像的像方变化特征提高像方分析算法的精度、速度、稳定性等性能，并且将光流算法应用于地物分类[10-11]，静止地表背景识别[12-13]，这一研究方向不关注物方和像方间的成像几何关系。另一条技术途径是以摄影测量的严格成像模型为研究手段[14-15]，基于几何约束条件提高序列影像同名点提取精度[16]，改正视频相机的镜头畸变[17]以优化相机精度，采用传统面阵相机的方法进行视频数据标定[18]，该技术途径容易以静态影像处理方法处理动态序列影像数据。本文以画幅式光学相机成像模型为基础，按照摄影测量的方法，推导时间序列影像瞬时动态投影模型，实现序列影像的物方与像方动态映射，并从像方变化特征计算物方特征，达到对地表动态信息感知的目的。

1 下视序列影像的物像映射关系

相机按照时间轴等间隔、连续摄影，获得时间序列影像。相邻两帧序列影像间存在曝光时间间隔，是两帧影像各自曝光开始时刻的差值T(单位为s)，序列影像的采样频率为1/T(单位为Hz)。

1.1 下视序列影像瞬时动态成像模型

序列影像是时间轴上的离散化采样，曝光时间间隔内的信息没有记录。曝光时间间隔短暂，其间的相机与物体的剧烈运动状态属于异常突变情况，不需要考虑。因此，物方复杂的运动问题可以分解为短暂的匀速直线运动的叠加，物方和像方的坐标系设置如图1所示。

图1 物方和像方坐标系示意图

图1(a)中以tn时刻相机位置为物方原点O，tn+1时刻相机位置为终点Q，图1(b)中像主点s在像方中心，像方主点与物方O点重合，坐标轴重合。相机以恒定高度，从图1(a)中的O点向Q点运动，用时一个曝光间隔。引入时间要素，得到空基下视时间序列影像的像地对应关系为

(1)

式(1)由4个方程构成，分别为共线方程、相机运动方程、物体运动方程、相机姿态角方程，描述了序列影像的像点p(x,y)与物方点P(Xt,Yt,Zt)的动态映射关系。时间t为一个曝光时间间隔。式(1)共线方程中，f为面阵相机的焦距；共线方程采用φ、ω、κ转角系统；a1、a2、a3、b1、b2、b3、c1、c2、c3参照文献[1]定义。物体运动方程中，X0、Y0、Z0为物体运动起始点坐标；VX、VY为物体速度分量，物体进行瞬时等高(Z0)运动，当VX=VY=0时物体静止。相机运动方程中，相机摄站点为S(XS、YS、ZS)；相机进行高度为H的匀速直线运动，沿图1(a)中的OQ线段运动。φS、ωS、κS为相机的瞬时姿态参数，本文假设相机姿态角经过标定，姿态角为零。

式(1)不适用于长时间动态场景，而是针对短时间运动场景，其目的是使用短时间简单、分段描述完成长时间运动的连续、复杂描述，这是将复杂的过程分解为简单的步骤，是重要、必要的研究方法。本文针对一般平稳运动情况、短时间内的瞬时匀速直线运动特征，推导获得式(2)为

(2)

式(2)为一个曝光间隔内的动态成像模型，将物方运动物体的瞬时位置投影到像平面，随时间t的连续投影会获得像方物体运动轨迹。

1.2 序列影像瞬时速度投影“物像”变换

式(2)中像方的每个投影像点都具有速度和运动方向。将t+1与t分别代入式(2)并相减，得到式(3)

(3)

式(3)描述每个像点的运动速度和方向，即物方运动速度的像方投影。Δx和Δy为像方速度分量(单位为像素/s，乘以像素大小转换为像方速度m/s)。

1.3 静态地物的瞬时“像物”变换

当VX=VY=0时，表示地面静止物体，则由式(3)推导出式(4)为

(4)

式(4)说明静止物体的序列影像瞬时动态投影中地物高度与像方位移纵坐标相关，由式(4)可以通过像方速度Δy、相机速度VCAM、相机航高ZS、相机焦距f，计算物方静止物体的高程信息。带有相机的航空平台，获取瞬时速度和像方速度后可以感知其下方静止地表的相对距离(Z0-ZS)，实现相对测高的功能。

1.4 动态物体的瞬时“像物”变换

地面动态物体具有物方速度VX和VY，由式(3)推导出式(5)为

(5)

式(5)从已知像方速度计算地面物体运动速度，实现空基平台对下视场内动态物体的检测，可用于空基下视对地表瞬时动态信息的观察和提取。

2 试验与结果分析

验证试验使用两组数据：数据1组，按照图1所示坐标系，仿真获得空基下视序列影像；数据2组，使用大疆无人机获得真实下视序列影像。试验目的是验证本文提出的空基下视序列影像“物像”动态瞬时映射关系，验证序列影像动态特征由像到物的应用方法。

2.1 试验场景介绍

2.1.1 试验一：仿真下视序列影像获取场景

按照图1构建仿真场景如图2所示，仿真包括三维坐标系和时间、地表静止物体、地表运动物体、下视相机等要素。

下视序列影像相机包括相机、摄影、运动三方面仿真。①相机仿真：仿真镜头焦距(0.018 m)，像素数(4000×3000)，成像传感器尺寸(36×27 mm)，像素尺寸(0.000 009 m/像素)，内方位元素(无畸变、像主点为像幅中点)；②摄影仿真：等间隔序列成像(曝光间隔1 s)，成像GSD为0.05 m/像素；序列影像帧速率为1 Hz；③相机运动仿真：外方位元素(航高100 m， 相机沿着图1(a)中的O点向Q点移动，速度为1 m/s)。

仿真场景中地表物体仿真见表1，其中包括静止物体和运动物体。

表1 仿真物体的位置与运动参数

2.1.2 试验二：真实下视序列影像试验

使用大疆精灵4无人机(拥有速度、航高记录)在地势平坦拥有不同高度物体(路面、围墙、建筑、树木)的场景中飞行获取两组数据。数据1(序列影像)：下视相机以30 Hz获取视频，后续按照200 ms时间间隔从视频中抽取获得序列影像。数据2(试验场精细三维测绘)：获取试验区DSM(数字表面模型)和DOM(数字正射影像)数据作为基准静止背景数据。

2.2 仿真序列影像处理与分析

2.2.1 仿真序列影像

仿真场景获取40帧序列影像，其中1帧、20帧、第40帧如图3所示。仿真影像中的编码标靶分别为表1中的14个仿真物体，仿真物体随着时间推移在物方运动，同时仿真相机获取序列影像记录物方运动。

2.2.2 量测标靶获得物体像方速度特征

量测40帧影像中每个标靶的像坐标(精度优于1/10像素)绘制成像方运动轨迹，如图4所示。

图4展示了像平面内不同运动特性物体的运动轨迹。通过物体序列影像坐标，可以获得该物体的像方速度，速度的不同方向和移动量代表了不同的地物动态特征。

图3 仿真序列影像

图4 仿真物体像方运动轨迹

2.2.3 由物到像的投影试验

通过式(3)将表1中物体的物方速度(1～14号点)计算获得像方速度，与仿真影像测量值的差异很小(小于0.02像素/s)，表明式(3)能够准确地将物方速度投影到像方速度。

2.2.4 由像到物的应用试验1

通过式(4)，由仿真序列影像像方变化特征计算静止点(1～6号)的高度值与已知值作比较，误差最大点小于0.02 m。计算结果与已知高程差异微小，验证了式(4)能够由像方运动特征获取地表静止物体高程。

2.2.5 由像到物的应用试验2

通过式(5)由像方速度特征计算地表运动物体(7～14号点)的运动速度与已知速度值差值，最大差值为0.001 2 m/s。这一试验验证了式(5)由像方速度特征获取运动目标的运动速度的应用模式有效。

2.3 真实数据处理与分析

将试验二的两组数据联合平差。①获得试验区精细地表DOM和DSM(处理时间超过30 min)；②获得序列影像参数，镜头焦距(0.003 61 m)，像素尺寸(2.66E—06 m/像素)，相对航高(40.2 m)，GSD为0.029 8 m/像素，飞行速度7.6 m/s(来自飞机速度记录)；③基于DSM和DOM数据，获得地面10个特征的点的物方高程，作为真值；④量测相应10点的序列影像特征点像方坐标。

表2 通过像方动态特征计算地物高程

如表2所示，基于序列影像像方动态特征，通过式(4)计算地表目标点的高程，3次计算结果间存在差异，10个高程点中，较高的点计算结果较好。15帧联合计算结果较好，但是实际应用中15帧耗时太长、相机自身动态特征难以稳定。

将像点量测值绘制为图5所示像方运动轨迹。

图5 真实数据试验的像方运动轨迹

从图5可以看出，轨迹与像方纵轴方向有偏移，说明空基相机的指向角与相机运动轨迹存在偏差。试验二中的表2说明由像方动态特征计算静止物体高程可行。造成高程计算误差的原因：①序列影像时间间隔不精确、相机速度测量的设备精度不高，导致序列影像测高误差；②图5说明相机指向与飞行方向间存在夹角误差，需要基于像方瞬时动态特性动态标定修正夹角误差。

序列影像获取时间为0.2 s，本文的动态投影计算耗时小于0.1 s，体现了序列影像感知环境动态信息的方法具有瞬时、速度快的特点。

3 结 语

本文在光学面阵成像模型中引入时间要素，推导航空下视时间序列影像的瞬时投影模型，并且推导由像方变化特征定量分析物方动态特征的方法。通过仿真航空下视序列影像，验证序列影像“物-像”间的严格映射关系。通过真实无人机下视序列影像试验，验证了序列影像的物像对应关系。机载下视序列影像瞬时测量的意义在于能够提供空中机器人动态感知下视场景的能力。该项技术未来还需要在相机动态标定、机载多类型传感器间融合应用等方面进行深入研究。

[1] 王之卓.摄影测量原理[M].武汉：武汉大学出版社,2007.

[2] 宋爽，杨健，王涌天.全局光流场估计技术及展望[J].计算机辅助设计与图形学学报,2014,26(5):841-850.

[3] 李秀智，贾松敏，尹晓琳,等.视觉光流矢量场估计算法综述[J].北京工业大学学报,2013,39(11):1638-1643.

[4] 涂志刚，谢伟，熊淑芬，等.一种高精度的TV-L1 光流算法[J].武汉大学学报(信息科学版),2012,37(4):496-499.

[5] ALVAREZ L,WEICKERT J,SNCHEZ J.Reliable Estimation of Dense Optical Flow Fields with Large Displacements[J].International Journal of Computer Vision,2000,39(1):41-56.

[6] SEVILLAGLARA L,SUN Deqing,LEARNED-MILLER E G, et al. Optical Flow Estimation with Channel Constancy [C]∥Proceedings of the 13th European Conferenceon Computer Vision.Switzerland: Springer,2014:423-438.

[7] BRUHN A,WEICKERT J,SCHNÖRR C.Lucas/ Kanade Meets Horn/Schunck: Combining Local and Global Optic Flow Methods[J].International Journal of Computer Vision,2005,61(3):211-231.

[8] 陈震，张聪炫，晏文敬，等.基于图像局部结构的区域匹配变分光流算法[J].电子学报,2015,43(11):2200-2209.

[9] 李秀智，尹晓琳，贾松敏，等.改进的TVGL1 平滑光流估计[J].光学学报,2013,33(10):1015-1017.

[10] 李庆忠，何东晓.基于聚类的背景建模与运动目标检测方法[J].计算机工程与应用,2008,44(8):193-195.

[11] STAUFER C,GRIMSON W E L.Adaptive Background Mixture Models for Real-time Tracking[C]∥Proc. of IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,1999:246-252.

[12] TOOYAMA K,KRUMM J,BRUMIT B,et a1.Principles and Practice of Background Maintenance[C]∥Proc. ICCV.Corfu,Greece:IEEE,1999:246-261.

[13] 闫利，巩翼龙，张毅，等.光流动态纹理在土地利用/覆盖变化检测研究中的应用[J].光谱学与光谱分析,2014,34(11):3056-3061.

[14] 曹凤海，宋占武，李燕,等. 无人机航摄拍照瞬间精确空间位置的确定[J]. 测绘通报, 2016(6):144-145.

[15] 李志学，颜紫科，张曦. 无人机测绘数据处理关键技术及应用探究[J]. 测绘通报, 2017(S1):38-43.

[16] 邓非， 张祖勋，张剑清. 基于序列影像的城市三维建模[J]. 计算机工程, 2007, 33(8):208-209.

[17] 王霞，张过，沈欣,等. 顾及像面畸变的卫星视频稳像[J]. 测绘学报, 2016, 45(2):194-198.

[18] 张过. 卫星视频处理与应用进展[J]. 应用科学学报, 2016, 34(4):361-370.

StudyonInstantaneousImagingModelofAerialTimeSeriesImages

GAO Li1,2,3，LIU Zhi1，JIANG Zhenzhi2,3，ZHANG Xiangrong4

(1. Information Engineering University，Zhengzhou 450052, China； 2. Xi’an Research Institute of Surveying and Mapping， Xi’an 710054, China； 3. State Key Laboratory of Geo-information Engineering， Xi’an 710054, China； 4. Xidian University， Xi’an 710071, China)

Object in the object space is moving absolutely with the time. The differences of movement caused the changes of the relative position. Time series images recorded the dynamic changes of the object space. Based on the dynamic characteristics of time series images, this paper introduced the time element to the collinear equation and derived instantaneous imaging model of time series images in order to describe the dynamic relationship between the object space and image space. This paper established the application model which different dynamic object can extract the motion features or elevation information from the dynamic image characteristics. Through simulation and analysis of real aerial image sequences test, it is shown that the instantaneous imaging model of time series images proposed in this paper can quantitatively calculate the mapping relationship between the image and the object.

motion characteristics of time series images；instantaneous image model of aerial time series images；exposure time interval

2017-08-18；

2017-10-29

国家自然科学基金(61772400)；十三五国防预研(301020603；41412010401)

高 力(1976—)，男，硕士，助理研究员，主要从事摄影测量的几何成像模型研究工作。E-mail: to-gaoli@126.com

高力，刘智，江振治,等.空基下视时序影像瞬时成像模型研究[J].测绘通报，2017(12)：33-37.

10.13474/j.cnki.11-2246.2017.0374.

P237

A

0494-0911(2017)12-0033-05