面向矿山监管的无人机视频关键帧影像动态提取方法

2020-04-01张航卢小平张晓强路泽忠

遥感信息 2020年1期

张航，卢小平，张晓强，路泽忠

(1.河南理工大学矿山空间信息技术国家地理信息局重点实验室，河南焦作 454003；2.黄河勘测规划设计研究院有限公司，郑州 450003)

0 引言

矿产资源是人类赖以生存和发展的物质基础。针对矿区违法开采屡禁不止，相关部门的监测难度也越来越大的现象，可以利用无人机远距离操控的特点解决此难题，并对采集的视频数据进行三维重建，为基层部门执法监测提供了强有力的证据支持[1-2]。由于视频影像每秒包含多达24帧连续图像，存在大量的冗余数据，极大地影响了监测区域三维重建的效率[3]。因此，如何从视频影像快速提取出反映视频主要事件的关键帧影像，利用较少的帧来代表整个视频序列，是国内外学者研究的热点[4-9]。

Li[10]、Szeliski[11]等采用逐帧计算的方法可以精确获取满足要求的关键帧，但由于该方法需要逐帧计算，效率太低，无法满足实效性要求较高的应用领域。Fadaeieslam[12-13]等通过 Kalman滤波预测影像4个角点的运行轨迹，然后计算相邻帧图像之间的重叠度。但此方法角点位置的精度会随着拼接范围的增大而降低，因而也会影响Kalman滤波提取关键帧的精度。刘永等[14]提出了一种分层式自适应帧采样的关键帧提取算法，对关键帧进行二次筛选，该方法可获取满足重叠度需求的关键帧，但需要对整个视频序列进行搜索，且需建立重叠度分段的线性模型。曹长青[15]、蒋元友[16]、刘华咏[17]等提出了基于内容聚类的关键帧提取算法，该算法对所有的帧进行聚类，并计算剩余帧与初始关键帧的变化值，如果变化值大于设定的阈值，则选取该帧为关键帧，但此算法选取的关键帧不一定有代表性，且计算量大，效率低。Hartley等[18]提出了基于采样的关键帧提取算法(SKF)，该算法等时间差的从视频中抽取关键帧，其算法相对简单，但视频的最佳关键帧提取时间很难确定，容易造成关键帧的缺失或数据的冗余。

上述基于图像信息及时间信息提取关键帧的方法，存在计算量大和提取信息冗余等问题。因此，本文提出一种基于无人机瞬时航飞速度的关键帧提取方法，该方法根据无人机飞行高度、飞行速度、像元尺寸、相机焦距等参数来动态计算抽取关键帧的时间间隔。在保证重叠度的同时又避免了信息的冗余，且运算简单，针对抽取有瞬时速度信息的航飞视频影像的关键帧有良好的效果。

1 基于瞬时航飞速度的关键帧抽取方法

1.1 算法原理

低空无人机航向重叠一般为70～85%，旁向重叠一般为35～55%。因此，可以根据航高、飞行速度、传感器参数、航向重叠度来动态计算关键帧之间的时间间隔。基于飞行速度提取关键帧的原理如下：

相邻任意帧之间的时间间隔为1/ft，故航向方向上相邻视频帧之间的距离△L为：

ΔL=V/ft

(1)

再根据摄影比例尺公式[19]：

(2)

相邻视频帧之间的重叠度：

ΔP=1-ΔL/LD

(3)

相邻n帧视频帧之间的重叠度：

P=1-n×ΔL/LD

(4)

当要求重叠度为P时，需要间隔的视频帧数为n，且视频帧数为整数值，因此用到向下取整函数floor：

(5)

相邻n帧所需要用的时间为：

(6)

式中：f、H、V、ft、P分别为相机焦距、飞行航高、飞机的速度、相机拍摄帧率、航向重叠度；D、WD、LD、△L分别为视频帧航向上像素个数、像素尺寸、视频帧航向方向对应的地面距离、航向方向上相邻视频帧之间的地面距离。

1.2 技术方法

无人机监测矿区的具体技术步骤如下：

①航拍视频数据预处理。对无人机航拍视频影像中内嵌的地理编码信息提取，得到编码信息中有关无人机的瞬时飞行速度、飞行航高等信息。

②初始关键帧的设定。根据获取的视频流数据，选择某一帧影像作为初始关键帧。

③计算关键帧时间间隔。由无人机的瞬时飞行速度、飞行航高、航向重叠度以及相机的相关参数计算抽取关键帧的时间间隔。

④计算时间约束阈值。由无人机的平均飞行速度、飞行航高计算抽取关键帧间隔的时间阈值。

⑤确定关键帧影像。判断由步骤③计算得出的关键帧时间间隔是否在由步骤④得出的时间约束阈值内。若在，则选定该帧为关键帧，否则依次跳过抽帧间隔大于时间约束阈值的帧，直到抽帧间隔小于时间约束阈值，并把此帧作为步骤②的初始关键帧进行循环，直到读取视频的最后一帧影像。

⑥影像匹配与三维建模。根据获取的关键帧影像提取特征点，并基于特征点进行影像的匹配，完成地表三维建模。

2 实验与分析评价

2.1 实验区概况

本文选择鄂尔多斯某露天非法开采的矿区作为实验研究区域，该矿区南北长约0.35 km，东西宽约0.34 km，面积约0.12 km2。矿区内有简易平房、道路、车辆、煤场、树木等建(构)筑物和其他人工设施。当天天气晴朗，风力小于4级，且区域地势起伏较大，侧风飞行。

根据要监测区域的卫星影像图量测出矿区最低海拔和最高海拔近似分别为1 256 m和1 352 m，得出该矿区高差大致为96 m，为无人机安全飞行提供了参考依据。

2.2 实验过程

本次飞行采用的无人机为大疆 PHANTOM 4 PRO，其相机为1英寸CMOS，焦距为24 mm。其飞行视频数据内嵌有相关的地理坐标信息和飞行速度信息。如图1所示，其中110.245 3为经度，39.593 2为纬度，15为卫星个数，D 680.30 m为飞机到起飞点的水平距离，H 253.90 m为飞机到起飞点的竖直距离，H.S 2.30 m/s为水平速度，V.S 0.00 m/s为竖直速度。

图1 内嵌地理信息的视频数据

无人机飞行信息在视频流存储的主流方向有2种：一种是将视频帧位置与地理信息位置对应，将相应的数据存储在外部文件或者外部数据库中，即为外部融合；另外一种是在视频数据采集过程中，对每帧图像进行编码，将相对应的地理信息数据作为影像的属性信息编码内嵌到视频中，即为内部融合。本次实验所采用的大疆无人机位置和速度信息编码为内部融合方式，对视频中的飞行信息进行提取，提取的结果如图2所示。

图2 提取的飞行信息

依据提取出的瞬时飞行速度信息和相机的相关参数，并将航向重叠度设置为80%，代入上述原理公式即可计算抽取关键帧的时间间隔。因为提取出的飞行速度信息为瞬时速度信息，不能准确反映无人机飞行的状态过程。所以对相邻9个速度加权求平均，作为带入公式的速度值，求取所抽关键帧的时间间隔，对求取的相邻的9个关键帧时间间隔加权求平均作为实际抽取关键帧的时间间隔，得出的部分结果如表1所示。

表1 速度与关键帧的关系

以第9秒作为初始关键帧按上述方法进行抽取，可以得出要抽取的关键帧的所对应时间轴的秒数为33，41，48，57，70……。但此方法要对抽取间隔进行预判，如果飞机在飞行过程中出现悬停，按照上述方法计算出的抽帧间隔会非常大，所以要对抽帧间隔按下述公式进行阈值约束。

(7)

(8)

式中：Vave为整个航飞过程中的均值，为3.57 m/s；T为时间约束阈值，求解可得为28.5 s，按向下取整设置为28 s若抽帧过程中抽取关键帧的间隔大于28 s，跳过处理。直到遇见抽取关键帧间隔小于28 s，把此帧重新设置为初始帧。按照上述方法一共抽取34帧关键帧，抽取的部分关键帧影像如图3所示，其中DJI为无人机的品牌，中间四位数字0003为视频号，后三位数字为抽取视频关键帧的序号。

图3 抽取的部分关键帧图像

实验采用Agisoft Photoscan Profession软件建模，此软件为一款基于影像数据生成三维模型的专业软件，经过对齐照片、建立密集点云、生成格网、生成纹理、生成瓦片模型一系列操作，可得到如图4所示的三维模型。

图4 生成的三维模型

2.3 分析评价

按照本文方法提取出的影像关键帧个数为34帧，而按等时差方法提取关键帧，提取间隔设为3 s，提取的关键帧数为173帧。由此可见，采用本文方法大大减少了数据的冗余。为验证本文算法的有效性，以时效性和信息量这2个指标对本文算法评价。

在同一电脑配置下，利用等时差算法和本文算法执行各步骤所需时间如表2所示。采用本文的算法提取的关键帧进行地表三维建模所需时间仅为等时差法提取关键帧建模时间的1/5，极大提高了三维重建的效率。对比通过本文算法提取的关键帧建立的三维模型(图4)和通过等时差法提取关键帧建立的三维模型(图5)可知，本文的算法并没有造成关键帧的丢失，在保证处理效果的同时减少了数据的处理量，对信息量并未造成太大影响。