无人机高清视频跟踪监控系统的设计

刘宏娟，贺若飞，马丽娜，赵　娜

(1.西安爱生技术集团公司，陕西 西安 710065；2.西北工业大学 第365研究所，陕西 西安 710065)



无人机高清视频跟踪监控系统的设计

刘宏娟1，贺若飞2，马丽娜1，赵娜1

(1.西安爱生技术集团公司，陕西 西安 710065；2.西北工业大学 第365研究所，陕西 西安 710065)

针对无人机地面控制站上，操纵手实时监测飞机飞行准备、起飞和飞机回收阶段的需求，提出了一种应用在地面控制站内的高清视频跟踪监控系统的设计方案。该方案有效地解决了操作手在地面控制站内视野狭隘，获取飞机状态信息量不足的问题，使得飞行起飞阶段和回收阶段操作更加简单直观，且系统借用无人机系统数据链天线对准功能与视频跟踪功能实现了自动化监控飞机状态，系统硬件采用嵌入式平台，尺寸小，经济、可靠，节约了地面控制站内部的宝贵空间。

地面控制站；无线数据链；监控系统；嵌入式

0　引言

地面控制站是无人机系统的重要组成部分，承担着无人机系统的飞行监控、导航监控和任务载荷监控等功能。现有的地面控制站，在飞行准备、起飞和回收阶段，需要密切关注飞机的状态，除了通过数据链交互的飞机参数外，还需要用目视的方式观察飞机舵面是否按照指令动作，飞机俯仰角度是否符合惯导参数，飞机起飞过程是否正常，火箭脱落是否正常等。传统的方式是由飞机附近的工作人员使用对讲机与地面控制站上的操作手进行沟通，每个指令需要地面控制站告知指令发出，飞机端观察飞机动作，然后飞机端告知飞机动作状况。这种功能指令循环费时费力，对于地面控制站工作人员，十分不便；在回收阶段，地面控制站工作人员观察范围有限，获得的飞机信息量更加不足。

目前国内将视频监控系统应用在无人机地面控制站内的设计不断涌现[1]，但是仅仅是人工手动控制摄像头云台，监控飞机状态，没有实现实时自动化监控[2]，而且并无精确跟踪飞机功能[3]。

本文将高清视频跟踪监控系统应用在无人机地面控制站上，操作手可以利用地面控制站上任意一台计算机监控视频，实现实时自动监测飞机在地面起飞准备状态和飞机回收等情况，为操纵手提供了判定飞机真实状态和飞行姿态的辅助信息功能，利用数据链的跟踪引导功能，完成了摄像头自动对准飞机，免去了在监控飞机状态时操作手的手动控制操作，实现粗略跟踪飞机，然后利用视频跟踪算法，精确跟踪飞机，使操作手即使在飞机飞行时也能轻松观察到飞机的飞行状态。

该高清视频监控系统处理视频数据量大、压缩数据率高、传输码流可自适应不同带宽，视频显示人机界面设计友好，可实现1080p和720p的实时高清视频解压存储显示，满足操作手清晰地观察飞机状态的目标。

1　系统工作原理

1.1系统组成

高清视频跟踪监控系统的自动监控功能利用数据链的跟踪功能与图像跟踪算法实现。视频监控部分包括视频采集设备和视频显控软件，视频采集设备安装在地面控制站内，接收地面控制站数据链天线上的摄像头数据，进行编码压缩，通过网络将压缩码流传输至地面控制站内部计算机，操作手通过安装在地面控制站内部计算机上的视频显控软件对高清视频图像进行显示与控制，系统组成如图1所示。

图1　系统组成

图1中，视频采集设备即视频采集模块，采用嵌入式软件编程方式，完成摄像头高清视频的采集，编码压缩与传输等工作。

视频显控软件实现接收编码码流和解压编码码流，进行实时显示或者存储，并且可控制摄像头焦距，视场变化等；图像跟踪算法嵌入视频显控软件内，实现精确跟踪标注飞机功能。

1.2工作原理

系统利用数据链系统的跟踪引导功能捕捉到飞机，通过摄像头采集视频数据，直接传输至视频采集设备，视频采集设备对视频数据进行转换编码压缩，通过网口输出，传输至地面控制站内路由器，地面控制站内计算机可通过路由器获得压缩后的视频流，视频显控软件安装在地面控制站内各个计算机上，将获得的视频流进行解压显示。

摄像头云台安装于地面控制站天线上，可随天线自动引导粗略跟踪飞机，然后在视频显控软件内利用图像跟踪算法，在图像上自动精确跟踪标注飞机，或者也可通过人工手动控制摄像头云台查看飞机周边状态。系统工作原理如图2所示。

图2　系统工作原理

2　视频采集模块设计

视频采集模块将采集到的视频数据经摄像头连线接口送入核心处理器中进行图像信号处理，利用处理器的硬件加速器(协处理器)进行相应的编码压缩等操作，得到编码流数据；基于TCP/IP协议通过网络将编码后的数据传输至与它同网络的地面控制站计算机中。

2.1硬件设计

视频采集设备硬件平台的核心处理器为TI公司片上系统TMS320DM365芯片[1]，集成有ARM等子系统。其中ARM子系统的内核为ARM926EJ-S，是一个32位处理器内核，主频为300 MHz。为了保证系统的正常有效运行，采用了一片容量为128 MByte的K9F1G08U0B-PIB0的NAND Flash芯片，以及一片容量为128 MByte的MT47H64M16HR-3的DDRII存储器。以太网模块则采用了10BASE-T/100BASE-TX/FX物理层收发器KS8001L。

视频采集模块硬件平台核心电路板实物如图3所示。

图3　硬件电路板实物

2.2软件设计

选用TI公司专门用于开发DaVinci系列产品的MontaVista Linux(MVL)操作系统，其内核为2.6.18[4]。根文件系统采用特定制作的ramdisk，u-boot使用1.2.0版本，ubl作为系统的启动引导程序。应用程序方面采用了AV SERVER的架构，编写独立的多线程应用程序核心代码。

当系统启动时，将激活4个主要线程：

① 数据获取线程

通过图像传感器捕获视频数据，采用内存映射方式，内存映射返回的地址为存放图像数据的起始地址。通过循环，不断捕获视频。数据获取线程流程如图4所示。

图4　数据获取流程

② 编码流线程

对视频数据进行处理(去噪等)并编码，可进行多种编码方式[5]，包括CIF、H.264[6]、MPEG[7]和JPEG等，在循环缓冲区和高速缓存缓冲中管理和存储编码数据；接收视频显控软件指令，执行其他应用的请求。

③ 系统服务线程

存储和恢复系统参数，根据报警信息或者日程时间表保存或上传视频文件到FTP服务器或者本地磁盘。

④ http以及rtp线程

通过内嵌Web Server创建相应文件目录生成ramdisk；根据TCP/IP协议，设置视频采集设备为服务器，发送客户端所需视频码流。

3　视频显控软件设计

视频显控软件采用面向对象的C++设计，界面分为视频显示区和控制区，包括接收编码流线程、编码流解压线程、视频流播放线程和控制视频采集功能。

3.1接收编码流线程

设置TCP/IP协议网络客户端，实时监听网络上的数据状态，发送通知消息，循环获取网络上传输来的视频信息头与视频编码流。

3.2编码流解压线程

在网络接收获取的码流中寻找视频信息头，提取信息头后，对每一帧收到的编码数据进行数据解码，形成可以播放的帧图像。可自适应选择多种编码解压方式，包括H.264、MPEG、JPEG和CIF等编码方式[5]。

3.3视频流播放线程

利用DirectX11.0根据显控软件显示区域大小，自适应显示每帧图像。

3.4控制视频采集

3.4.1控制视频采集模块

通过可视化界面控制区按钮对编码传输系统进行相应的控制操作，如将视频数据通过FTP以文件的形式保存至地面控制站计算机上，或者选取何种编码压缩方式，视频是否需要去噪去雾、视频显示大小的设置等。

3.4.2控制摄像头

拖动鼠标控制云台转动方向查看飞机状态，滚动鼠标转轮变化摄像头的视场大小。

视频显控软件界面布局除标题栏外，整个窗口为摄像头显示视频，控制摄像头操作完全通过鼠标拖拽和滚轮完成。对于视频的其他设置通过菜单栏完成。视频显控软件设计流程如图5所示。

图5　视频显控软件设计流程

4　自动跟踪引导功能实现

本系统自动跟踪引导功能的实现利用了无人机系统数据链的跟踪引导功能与图像跟踪算法实现。

无人机系统数据链具备2种对准飞机的模式：模式1为搜索跟踪模式[8]，即地面控制站天线自动对无人机数据链信号进行搜索并寻找最强信号方向进行对准跟踪；模式2为数字引导模式[9]，即地面控制站根据飞机位置与地面控制站位置计算出地面控制站天线指向飞机天线的方位角和俯仰角，数据链系统根据这2个角度引导天线对准飞机，达到粗略跟踪飞机，实现自动监控飞机状态的第1步。

摄像头安装在数据链天线上时，当数据链天线对准飞机时，则摄像头自动对准了飞机方向。考虑到对准的误差，摄像头云台还具有微调功能，可以在视频显控软件上利用鼠标微调使飞机位于画面中心。

第2步精确对准监控飞机状态，采用图像跟踪算法，将开源Opencv[10]的代码，嵌入在视频显控软件中，直接对解压后显示的图像，进行算法实现寻找飞机目标，进行跟踪标注，实现精确跟踪飞机，自动监控飞机状态。

5　应用结果分析

将本系统应用在无人机地面控制站内，由天线引导跟踪飞机，获得安装在天线上的摄像头图像，经过压缩传输解压后，显示在地面控制站内计算机上，飞行验证前的调试准备阶段在夜间，所以选用了夜间模式的红外摄像头，手动控制鼠标操作视频显控软件，实时观察飞机状态。在视频显控软件中，观察飞机夜晚飞行前准备状态如图6所示。

图6　飞行准备监控

由天线引导粗略跟踪飞机，捕获安装在天线上的摄像头图像，经过压缩传输解压后，显示在地面控制站内计算机上，通过操作视频显控软件，调用图像跟踪算法，精确跟踪飞机，实时观察飞机状态，在白天起飞、回收和飞行阶段，图像清楚连续，均可清晰地观察飞机的状态，安排飞行验证一次，完整自动跟踪飞机回收过程，调用图像跟踪算法后，在视频上用方框标注出飞机，如图7所示，自动跟踪监控飞机回收状态。

图7　回收跟踪监控

6　结束语

经过多次飞行试验验证，通过天线自动引导粗略跟踪飞机状态与图像跟踪算法精确跟踪飞机状态配合应用，将这种自动化监控系统应用在无人机系统，很好地解决了操作手视野狭隘，在地面控制站内获得外界信息不足的情况，且此监控系统组件灵活，自动化程度高，功能扩展性强，标准化程度高，方便在多型无人机系统地面控制站内推广使用。

[1]李晓庆，杨奇，高峰.基于FPGA的无人机多路视频监控系统设计[J].电子设计工程，2012，20(24)：51-52，56.

[2]李淼.基于H.264的无人机地面站视频监控终端研究[D].成都：电子科技大学，2011.

[3]GUO M,AMMAR M H,ZEGURA E W.V3:a Vehicle-to-vehicle Live Video Streaming Architecture[C]∥Third IEEE International Conference on Pervasive Computing and Communications,2005:171-180.

[4]NASCIMENTO J C,MARQUES J S.Performance Evaluation of Object Detection Algorithms for Video Surveillance[J].IEEE Transactions on Multimedia,2006,8(4):761-774.

[5]李娜，王中元，朱福喜.国际主流视频编码标准优化代码的对比测试[J].计算机应用研究，2008，25(10)：3 075-3 077,3 087.

[6]WIEGAND T,SULLIVAN G J,BJONTEGAARD G,et al.Overview of the H.264/AVC Video Coding Standard[J].IEEE Transactions on Circuits and Systems for Video Technology,2003,13(7):560-576.

[7]RICHARDSON Iain E G.H.264 and MPEG-4 Video Compression-Video Coding for Next-generation Multimedia[M].New York:John Wiley & Sons Ltd.,2003.

[8]李瑞榜.地空高速数据链跟踪测角技术研究[J].无线电工程，2005，35(2)：23-25.

[9]刘国栋，李华伟，底哲，等.Kalman滤波在天线数字引导跟踪中的应用[J].无线电工程，2010，40(8)：22-25.

[10]王福斌，李迎燕，刘杰，等.基于OpenCV的机器视觉图像处理技术实现[J].机械与电子，2010(6)：54-57.

刘宏娟女，(1987—)，硕士，工程师。主要研究方向：无人机任务控制、无人机情报信息处理等。

贺若飞男，(1982—)，博士，助理研究员。主要研究方向：无人机自动任务规划、导航控制等。

Design of UAV High-definition Video Tracking and Monitoring System

LIU Hong-juan1,HE Ruo-fei2,MA Li-na1,ZHAO Na1

(1.Xi’anASNTechnologyGroupCo.,Ltd,Xi’anShaanxi710065,China;2.The365thResearchInstitute,NorthwestPolytechnicalUniversity,Xi’anShaanxi710065,China)

This paper introduces the design of a high-definition video tracking and monitoring system to satisfy the monitoring demand of UAV operator in the preflight take-off and recovery phases.The issues of narrow vision and insufficient UAV status information are solved effectively,which makes the take-off and recovery phases more simple and intuitive.By the functions of radio data link antenna alignment and target tracking in images,the UAV can be automatically monitored by the operator.And with the use of an embedded platform,the hardware is small,economical and reliable,thus the space of GCS is saved.The experiment results show that the proposed system provides an effective monitoring approach for GCS.

GCS;radio data link;monitoring system;embedded

10.3969/j.issn.1003-3106.2016.09.13

2016-05-13

国家自然科学基金资助项目(61074155)。

VTP311.1

A

1003-3106(2016)09-0051-04

引用格式：刘宏娟,贺若飞,马丽娜,等.无人机高清视频跟踪监控系统的设计[J].无线电工程,2016,46(9):51-54.