关于无人机视频跟踪技术的研究

　

(浙江农林大学　浙江　杭州　310000)

一、引言

目前，由于人类社会需求的日新月异，技术不断革新，其中，无人机事业的蓬勃发展和在诸多领域的创新应用，不断推动社会的进步。无人机技术的兴起和发展为森林防火事业拉开了新的篇章，无人机技术在森林养护中的应用取得了瞩目的成效。陈鑫深入的分析了无人机在森林防火领域的应用现状，并对无人机应用过程中的系统发展趋势进行了完整的分析[1]；李滨等研究了无人机系统在森林防火方面的应用及其发展[2]；崔新宇等关于无人机在森林防火监测方面的探究[3]等，详细地指明了当前国内森林防火领域的现状和无人机技术在森林防火领域的理论应用倾向和发展展望，为无人机的功能开发研究和森林防火体系的建设带来了方向。

在国外，Dios M D等研究了无人机自动火灾探测与监测的实验，源于欧盟委员会IST计划项目“COMETS：多种无人机的实时协调与控制”，使用低成本多功能无人机进行自动火灾探测与监测[4]；Merino L等研究了使用无人机作为森林火灾监测的工具，监测火前形状演化的实时计算以及与火焰传播有关的潜在的其他参数，利用无人机的悬停功能，近距离观测森林火灾，联合使用多架无人机进行森林火灾监测[5]；Zhang L等根据无人机平台上林业应用要求处理无人机空中影像数据的功能。同时无人机在飞行中获得航空数据，帮助用户快速掌握火点的数量和位置，还提供了较好的用户可视化界面，方便用户操作和交互[6]；Ghamry K A等研究了森林火灾检测和跟踪任务的多台无人机的容错合作控制，在森林监测，检测和跟踪中使用合作无人机容错协同控制(FTCC)战略，该算法解决了森林资源的监测和检测问题，即使在一个或多个无人机发生故障时也是能很好的监测[7]。

在国内，郭伟研究了一款用于森林防火的小型无人机设计[8]，张庆杰等研究了森林防火无人机系统设计与林火识别算法[9]，李宁研究了基于网络传输的四旋翼飞行器在森林防火中的应用[10]；周宇飞等基于多智能体系统建设思想,综合卫星遥感监测、无人机监测、无线射频传感器网络监测和自动气象站监测等多种林火监测平台,建立一个松散耦合的森林火灾火情监测的协作运行体系,并进行了一次林火现场点烧试验.结果表明,应用多智能体的思想建立的松散耦合林火协作监测体系可采集丰富的火场数据,实现对火场多方位的描述,为林火现场实时监测提供了新的思路和办法[11]；郭伟等针对森林这种复杂大空间场景，常规传感式火灾监测方法不能满足现代林火监测灵活性、实时性和高效性的要求，提出一种基于无人机平台和动态特征分析的视频图像型火灾检测算法，通过机载摄像机拍摄森林视频图像，建立基于混合高斯背景模型和颜色模型多级火灾隐患特征验证算法[12]。

综上所述，无人机以其轻巧、方便、廉价等优势在森林养护技术中，成为越来越普遍和重要的技术。视频跟踪定位技术是重要的监测手段，以往的视频监控技术大多是基于组网设备，但是，组网设施耗资大、设备更新换代慢和位置固定等因素严重制约视频监控技术的发展和应用，无人机由于其廉价、机动性强，可以克服以往的困难环境进行监视和管控，但是，现阶段无人机在林业中的应用处于初级阶段，无人机在森林养护中的视频跟踪技术还不成熟，其中，由于当前的技术制约，无人机定位信息与无人机搭载的拍摄设备结合的还不足，民用无人机研发公司在PC端和手机端应用开发不统一，导致信息割断，GPS定位信息获取与视频信息获取不同步，无人机视频跟踪技术仍不能实时用于森林监控。因此，本文着重研究了民用无人机独特的视频跟踪技术，以期用于补足应用短板，在森林养护中贡献一份力量。

二、问题的提出和解决方法

无人机视频跟踪技术能够实现实时监控森林的功能，不仅克服了固定组网设备设施搭建困难、成本高和监控范围容易受自然条件制约的缺点，无人机视频跟踪技术还能够根据需要实时提供跟踪、探查和指挥服务。廉价、低成本、便捷和机动性强等优势为无人机在森林康养中提供新的技术引领，并将在未来形成独特的监控手段。

无人机视频跟踪技术的实现不仅需要实时定位支持，还需要提供实时视频信息，将视频定位信息与视频匹配整合，获取目标区域数字高程图和影像图，制作三维影像图，通过处理视频，获取图片集，通过算法程序实现图片集与经纬度信息的匹配，然后再将匹配结果与三维影像配准融合，形成独特的视频场景信息。以下为本文具体的实现方法：

(一)部署无人机信息平台

在PC端上安装Microsoft Visual Studio 2010(C++C#)、SQL Sever数据库、服务器和Android studio，搭建测试开发平台，配置测试程序，并将测试程序在手机端上安装和运行，把手机端与无人机遥控端连接起来。

(二)获取GPS信息和视频信息

启动无人机和无人机遥控端，在Android studio中通过编程实现无人机飞行数据的接收，当测试程序运行时，无人机通过无线网络将无人机飞行数据信息和传输到服务器，用SQL Sever数据库接收并存储无人机飞行数据信息，通过查询语句提取GPS信息。无人机通过无线网络将视频信息传输手机端，再通过网络利用手机端应用程序推流到服务器。

(三)搭建视频跟踪开发平台

在PC端上安装ArcGIS Engine、Arc Object for Microsoft.Net Framework、Open CV库，结合Microsoft Visual Studio 2010(C++C#)搭建视频跟踪开发平台，各个软件通过环境配置统一联系起来，共同组成开发平台，再通过接口获取服务器和数据库中的视频数据和无人机飞行数据信息，利用开发平台功能，将视频数据分解成图片集，通过控制帧数将图片与GPS信息匹配起来，再获取目标区域DEM和影像图，将DEM和影像图匹配形成三维影像(三维场景)，再应用算法将结果与三维影像配准并融合在一起，如图1，然后再通过线程控制，不断将图片集与三维场景匹配融合。实现视频流与三维影像的配准和融合，从而实现无人机拍摄目标的视频跟踪。

图1　目标区域三维影像图的合成

(四)平台测试

首先，对各个软件搭建的无人机测试开发平台和视频跟踪开发平台分别进行调试，确保实验过程的顺利进行。然后，检测平台中各个功能控件是否准确运行，窗口1、窗口2输出效果是否流畅。再次，根据计时器计算窗口1和窗口2的运行延迟，通过调试代码参数控制，使其达到理想效果。最后，根据平台运行能力、展示效果和实验结果对平台综合评价。

三、主要应用工具设备

Android studio、ArcGIS Engine 10.2、Arc Object for Microsoft.Net Framework、Microsoft Visual Studio 2010(C++/C#)、SQL Sever数据库、Nginx流媒体服务器、无人机手机端应用程序和测试程序、实验区域数字高程图和影像图、Global Mapper、Arc Scene 10.2、PC端、手机端和相关无人机设备。

四、技术路线和研究方法

图2　技术路线图

图3　数据处理开发平台功能示图

功能一区：在开发平台中用于实现视频文件的处理，将视频文件处理成一帧一帧的图片，通过设置参数可以控制图片帧数，根据实验功能的流畅度和准确度，调节参数可以知道当视频被分割为多少帧的时候，可以使图片与经纬度匹配后再与三维影像配准融合的速率与准确度最好。

功能二区：在平台中主要负责图片与经纬度的匹配，当视频经过功能一区处理后，可以获取图片，然后根据无人机飞行时，记录并传输到服务器的经纬度信息，开发平台通过接口从SQL Sever数据库中调用与视频配对的经纬度信息，调用字段分别为经度、纬度和高度，将调用到的经纬度信息与图片通过算法匹配起来，让每一张图片都具有位置信息，然后再将输出结果传递到功能三区。

功能三区：在平台中主要负责具有位置信息的图片与三维影像的配准融合，三维影像是具有位置信息和高度信息的三维场景模型，当带有位置信息的图片输入到三维场景中的时候，图片不能及时匹配并定位到三维场景中，因为虽然图片具有了位置信息，但是图片没有空间参考，而实验应用的三维影像图是具有空间参考和空间坐标系的，如果不给图片赋值一个空间参考，那么图片就不能够投影到三维场景中，因此在处理前还需要为图片赋值一个投影信息，即图片与三维影像图共用一个投影(本研究应用的是UTM投影)。然后再将图片与三维场景匹配，这样图片就能够迅速定位到其在三维场景中的位置，此时，只需要再通过控制图片高度信息即Z轴，使三维场景的目标像元点Z轴与图片的中心点Z轴叠加，如图4，X为纬度，Y为经度，Z为高度，这样就可以让图片与三维场景融合起来，从而实现图片与三维场景的简单融合，再通过程序算法中的线程控制可以实现无人机视频跟踪效果。其中，在图片与三维场景的匹配融合中，需要根据图片的长度和宽度来计算图片在三维场景中的实际范围大小，即可视域的范围大小，当图片整幅投影到三维场景中，长度和宽度要按照一定比例放大，所用公式为：

f=w*D/W & f=h*D/H

公式

f=m*H/M & f=n*H/N

公式2

根据实验要求由公式1可得公式2，f为无人机相机的焦距，m为图片的长度，H为无人机拍摄视频时距地高度，M为图片投影到三维场景的可视域边界的长度，n为图片的宽度，N为可视域边界的宽度，通过公式计算就可以将图片转化成可视域。A、b、c、d为图片的顶点，O1为图片中心点，A、B、C、D为可视域边界顶点，O为可视域中心点，如下图：

图4　功能三区中图片与三维场景匹配示意图

五、实验预测试

研究经过实验预测试，两个平台配置环境运行正常，平台界面展示如下图所示，在实验中两个平台需要同时打开，当无人机数据获取平台运行的时候，数据处理平台就开始通过接口调用数据库和服务器中的信息，当无人机在工作中时，视频流就可以在展示窗口1中观看，然后根据预设窗口中的控件按钮执行相应的操作，数据加载按钮是控制加载三维影像图，视频加载是打开视频流获取程序，点击视频播放按钮就可以播放视频，启动和停止按钮是用来控制视频流转化为图片集的线程，可以通过打开图片按钮查看截取到的图片集，定位融合按钮即为用来实现图片定位赋值，并且通过算法转化成实际可视域，在三维场景中展现出来。经过实验预测试，本研究可以实现视频的定位跟踪，并在展示窗口2实现视频在三维场景中的展示，通过与正常视频播放时间相比，经过程序处理后的视频定位功能存在延迟，实验参数的设置，代码的实现以及网络传输速度都对研究有制约，在误差允许的范围内，通过算法和代码的后期优化可以达到预期效果。

图5　无人机数据获取平台

图6　数据处理平台预设窗口视图

六、结论与讨论

无人机视频跟踪技术是为了解决现有视频组网设备在森林火灾监控中的局限性，同时将无人机技术深入推广进入森林防火应用中，相比于现有的森林无人机应用技术，无人机视频还不能高效运用，大多数应用仍然只限于无人机摄影技术，但是图片与视频相比，视频更能涵盖更多的信息，根据实验室项目支持，无人机技术实现了无人机视频流可以实时传输到本地服务器的功能性突破，用户可以及时获取无人机在飞行过程中观察到的信息，这些信息是无人机通过网络传输到服务器，用户通过手机端网络从服务器端下载，从而实现无人机信息的实时传输和观察，PC端也可以通过网络传输获取有效信息并处理，为实验研究和应用提供技术支持。因此，本文在此基础上研究的无人机视频跟踪技术可以有效地利用无人机拍摄的视频，实现现场定位，并且能够通过定位观察现场三维实景，从而可以为森林应用领域提供更多有效信息。无人机视频跟踪技术不仅可以用于森林防火，而且可以用于森林资源观察，在开发平台中还可以深入研究森林火灾识别检测和资源检测，迄今为止，森林资源康养技术还不能系统化，单个功能模块的应用已经不能满足现有的需求，因此，本文提出并研究的无人机视频跟踪技术和开发平台可以开源出更多的应用方法，为解决森林资源问题提供了新的森林资源系统应用方向，希望本文的实验研究能够提高研究人员在森林系统应用中新的研究水平。

通过实验测试表明，本技术在实际应用中实现了视频跟踪功能，但是同时也为新技术带来了诸多问题，本文研究的是无人机在飞行过程中镜头垂直向下的视频，针对无人机任意变换角度的视频还不能够实现，摄像机角度的变换可以拍摄出更大范围的场景信息，但是这种角度变换在研究中也是出现了诸多难点，比如如何实现场景信息的真实化，如何换算由于角度信息变化带来的图像经纬度和高度变化等，都是研究中的难点。还有研究中出现的三维场景与图片的融合，如何实现三维立体化目标信息，都亟待解决。另外，由于无人机技术的制约，无人机不能全天候的进行森林监控，如续航能力、抗风能力和传输通道和距离等，如何实现无人机联合作业的数据互通，如何使无人机实现工作接力等都对于研究无人机在森林资源应用领域产生制约。但是，问题是推动技术发展的基石，有了问题和需求才能不断推进新技术的发展和应用，无人机技术的应用和发展永远在路上。