无人机视频流影像的数据获取与预处理

杨娟+贾周云+管续栋

摘 要 以无人机为飞行平台，获取视频流影像，与传统航空像片获取不同。针对流式媒体，本文提出了一种非量测型视频传感器的检校方法，为保证每一帧视频影像均有对应的GPS信息，采用合适的GPS插值算法，为后续影像处理提供基础数据。

关键词 无人机；视频流影像；摄像机的标定；GPS插值

中图分类号 V279+.2 文献标识码 A 文章编号 1674-6708（2016）161-0078-02

视频流影像是由一系列空间和时间连续的视频帧组成，而视频帧实质是一副静态影像，它是构成视频流的最小单元[ 1 ]。获取无人机视频流影像数据时，由于无人机视频流影像数据与相机影像数据格式不同，因此在进行数据获取和预处理时，可不考虑曝光间隔等因素，只需简单进行航线规划，再检查获取的视频数据即可。视频流数据的预处理主要包括摄像机的标定、GPS插值计算。与搭载非量测型数码相机的无人机数据处理流程相同，在对无人机视频流影像数据进行处理之前，需对视频传感器进行严格检校，经像元畸变改正后，再对影像进行其他处理操作；由于关键帧影像的帧率较高，为保证影像重叠率，每隔一点时间提取一张关键帧影像，而通过无人机搭载的GPS设备获取的数据为离散点坐标，为保证后续处理中提取的关键帧影像均有GPS信息，则对GPS数据进行插值处理。

1 无人机视频流影像数据获取

1.1 飞行前准备

与传统航空影像获取方式一样，在进行无人机视频流影像数据获取之前，需进行前期工作准备，包括资料收集、测区踏勘、仪器设备的检查等[ 2 ]。此外，对无人机视频流影像获取系统而言，还需测试硬件设备。硬件系统主要包括机上发射部分（12V电池组、无线图传发射器（VVLINK-C6000-TX）、天线及天线连接线）和地面接收与显示部分（无线数字图传接收机（VVLINK-C4000-RX）、电源及笔记本电脑）。在静态环境下，测试视频摄像机、天线、无线图传发射器与地面接收机之间的连通性及数据传输能力，检查视频摄像机、天线、电源系统、存储系统等工作是否正常，验证系统电磁兼容性、数据记录存储及数据输入输出功能等。

1.2 飞行计划

飞行计划指无人机飞行器的航线设计，根据测区具体情况、应急测绘对数据的要求及系统相关参数，得到无人机外业作业时必备参数，即飞行航高、旁向间隔、航线条数、航线总长度及飞行时间等。

1.3 外业飞行数据检查

外业飞行获取的数据可通过机上实时传输系统传回到地面站[3]，同时对获取数据的质量进行检查。与检查传统航空影像质量不同，视频影像的数据形式为流媒体，不需要考虑航向方向的重叠度，只需保证视频影像质量清晰，反差适中，颜色饱和，色彩鲜明，色调一致，无云雾遮挡、有较丰富的层次、能清晰地辨别地物影像、满足外业全要素调绘和室内判读的要求，无需对影像航向重叠度进行检查。

2 无人机视频流影像数据预处理

2.1 摄像机的检校

摄像机检校是后续工作的前提，提高摄像机的检校精度也是完成视频流影像地理编码与拼接的重要步骤。在对摄像机检校之前，应先确认摄像机的机械结构坚固稳定，不存在晃动，同时要保证其光学结构和电子结构同样可靠稳定时，才能对其进行检校[ 4 ]。综合考虑摄像机标定的室内检定法、恒星摄影检定法及试验场摄影检定法等算法，本文拟采用室外检校场进行摄影机的几何标定，再利用Australia软件解算其参数。其基本原理为：基于最小二乘平差理论，利用光束法区域网平差模型对获取的检校场数据和高精度控制点数据进行区域网空中三角测量，解求出所需的摄像机几何检校参数，即像片内方位元素、径向畸变系数、切向畸变系数、CCD非正方形比例系数以及CCD非正交性的畸变系数。以中国测绘科学研究院家属楼作为检校场地，具体过程如下：

1）检查工作。在摄像机检校之前，先将摄像机加固，固定拍摄距离保持不变。摄像机视频拍摄时，应检查摄像机是否清晰、设置摄像机参数是否正确等，确认无误后进行视频拍摄。

2）视频拍摄。首先在检校场对面五楼楼顶进行视频拍摄。每隔一定距离按-90°、90°、180°旋转摄像机获取的视频数据。拍摄时采取凹凸形式路线行走，上下路线相差大致1m左右，再进行楼下的视频拍摄。拍摄时要求尽量保证所摄视频的大幅面中均含有标志点。

3）几何检校数据处理。其内业处理流程如下：导入影像、设置相机参数、同名点提取、人工选取名点、自动匹配同名点、光束法平差、查看结果和输出报告等步骤。

2.2 GPS数据预处理

为使轻小型无人机视频关键帧影像与GPS信息的时间同步，利用时间可将GPS信息与关键帧影像一一对应。在轻小型无人机飞行平台上主要安装用于测图的双频GPS和飞行控制系统中用于导航的单频GPS。其中，单频GPS导出的数据，能与相应视频影像数据时间相对应，而从双频GPS中导出的数据本身含有GPS时间信息。利用两者时间，视频影像与双频GPS数据可对应。由于双频GPS数据不连续，因此需构造数学模型使其能计算每一个时刻的双频GPS数据。方法如下：

采用牛顿插值算法，以时间变化量Δt为变量，三维坐标（X，Y，Z）为因量，拟合GPS轨迹信息。其中，以双频GPS和单频GPS的时间坐标轴相对应的起始时刻T0为时间起点，定义与此时刻的时间间隔为变量Δt，与此时刻相对应的GPS坐标为因变量（X，Y，Z）。记GPS坐标信息（T0，X0，Y0，Z0），（T1，X1，Y1，Z1），…，（Tn，Xn，Yn，Zn）等为GPS数据插值计算的已知数据，依次求出X、Y、Z 3个坐标方向的插值函数。以X坐标方向为例，具体过程如下：

首先，求X坐标方向的各阶均差，定义插值函数为X，则各阶均差计算式为：

由此便可得出视频流影像数据采集过程中，任意时刻的GPS信息。在进行无人机视频流影像数据处理研究时，重点应用GPS定位数据，保证提取的任何时间点的关键帧影像均有GPS信息，应对GPS数据进行插值处理，为后续视频影像地理编码与拼接工作做准备。

3 结论

针对应急测绘的需求，以无人机为飞行平台，搭载视频摄像头为传感器，利用集成的无人机视频流遥感系统实时获取应急数据，通过视频数据实时查看，能够获取灾区实时情况。区别于传统航空影像数据的获取与处理，针对视频流数据的获取与处理，在无POS信息和地面控制点数据的情况下，实现了影像的地理编码与拼接。

参考文献

[1]毕凯.无人机数码遥感测绘系统集成及影像处理研究[D].中国测绘科学研究院，2009.

[2]林宗坚，崔红霞，孙杰，等.数码相机的畸变差检测研究[J].武汉大学学报：信息科学版，2005，30（2）：122-125.

[3]赵小松，张宏伟，张国雄，等.摄像机标定技术的研究[J].机械工程学报，2002，38（3）：149-151.

[4]向珉江，高厚磊，安艳秋，等.一种提高数据同步精度的自适应插值算法[J].电力系统自动化，2012，36（8）：77-81，91.