基于4G的无人机远程巡逻系统*

2015-03-25谢相博徐光辉范凯鑫肖映彩杨晗竹

通信技术 2015年11期

关键词：数据包命令蓝牙

谢相博，徐光辉，范凯鑫，肖映彩，杨晗竹

(中国人民解放军理工大学通信工程学院，江苏南京 210007)

基于4G的无人机远程巡逻系统*

谢相博，徐光辉，范凯鑫，肖映彩，杨晗竹

(中国人民解放军理工大学通信工程学院，江苏南京 210007)

近些年，在科研、工业、等众多领域中，无人机巡逻系统开始担负起现场勘查、远程高空监视等任务。但是无人机与控制中心的通信部分一直是研究无人机的重点与难点，为解决无人机通信距离受限的问题，提出了基于4G的无人机远程巡逻系统。本系统能够实现无人机的远程控制和数据采集，设计基本思路是基于4G无线通信网络在无人机端、服务器端和地面控制端的相关硬件平台上进行软件开发和设计。实际飞行结果表明，该系统不仅能实现远程飞行控制而且能显示清晰的监控视频和准确的飞行状态信息，在未来电路巡检、物流传输、高空监视等领域具有重要的实用价值。

4G；远程监控；无人机; 视频传输

0 引言

近几年，民用无人机市场发展迅速，小型无人机由于构造简单、操作简易，在高空航拍、电力巡检、边防巡逻、安全监控等领域发挥了很好的作用。但是现有的无人机系统主要是采用wifi或者射频进行控制以及视频传输，操作距离受到限制。然而近几年4G移动通信技术飞速发展，它具有高速数据传输，高移动性支持能力，以及快速部署等优势[1]。4G通信的理论下载速率已经高达每秒100 Mb/s[2]，使用4G来实现无人机的远程巡逻监控成为可能。

1 系统整体框架

本系统在整体结构上由无人机端、服务器端、地面控制端三部分组成，如图1所示。

(1)无人机端。无人机端搭载一台Android平台的4G手机，它一方面接收来自服务器端的遥控信息，并通过蓝牙转发给无人机，控制无人机执行相应的操作；另一方面，将飞控板上的传感器信息和手机拍摄的实时视频下传，实现地面端的态势感知。

(2)服务器端。服务器端的主要功能是实现控制信息、姿态信息、视频数据的转发。其中控制信息是上行通道，姿态信息和视频信息是下行通道。

(3)地面控制端。地面控制端包括电脑和遥控手柄。遥控手柄通过USB口连接到电脑上，电脑解析来自手柄的控制信息，组包后通过服务器转发给无人机端的Android手机。地面端还可以实现无人机航拍实时视频的显示、无人机状态(高度、经纬度、方向等)指示和无人机的位置在地图上显示等功能。

图1 系统整体结构

2 系统硬件结构

本系统选择了Phantom 2四旋翼无人机，飞机下方搭载Android系统手机，一方面拍摄视频并下传到地面控制端，另一方面接收地面控制端的控制命令实现远程控制。由于手机本身没有I/O口可直接控制飞机，因此考虑手机和无人机之间采用蓝牙进行通信，为此，本系统给无人机增加了一个HC-05主从一体式蓝牙模块和一个tNano FPGA开发板，用来实现控制命令的传输与解析。

2.1 蓝牙收发模块

本系统采用的HC-05主从一体式蓝牙模块，是目前使用最为广泛的一款实现无线收发传输的蓝牙模块。内置2.4 GHz天线(无需用户调试)，外置8M FLASH，工作电压3.3 V(3.1 V～4.2 V)，工作电流不大于50 mA，发射功率3 dBm，具有体积小、功耗低、高性能无线收发的特点。

蓝牙通信范围大约9 m，数据传输速率最高可达1 Mb/s。系统采用时分双工传输方案实现全双工传输，可以实现手机把控制命令发送给无人机同时接收无人机的状态信息。

2.2 FPGA模块

本系统采用友晶公司的tNano FPGA开发板，tNano设计小巧，用户可以方便地访问和控制不同的外部设备。本系统使用tNano控制蓝牙模块实现手机和无人机的通信。无人机原有的云台为tNano提供了5 v的供电接口。

3 系统的软件设计

本系统软件设计主要围绕无人机端、服务器端、地面控制端三个部分开发。

3.1 无人机端软件开发

无人机上装配有蓝牙模块、FPGA模块以及Android系统手机，主要完成控制命令接收转发和解析、视频传输、飞行姿态传输等功能。

3.1.1 控制命令接收、解析和转发

地面控制端的控制命令是通过服务器转发给无人机端的，二者之间通过TCP连接建立的数据传输通道传递控制命令。控制命令的接收、解析、转发过程是在无人机端Android系统手机的程序中完成。程序设计的流程图如图2所示。

图2 控制命令接收、解析与转发

程序首先打开手机的蓝牙设备，然后在一个单独的子线程中通过无人机上蓝牙模块HC-05的硬件地址与其建立连接，连接成功后即可通过蓝牙数据传输通道给无人机发送数据。

为了实现控制命令的可靠传递，需要无人机端与服务器通过TCP建立可靠的数据传输通道，这个过程可以用Java的Socket编程来实现。通过Socket类创建一个Socket对象并传入服务器域名、服务器绑定的端口号，就可以向服务器发送一个TCP连接请求[3]。服务器接收到客户端的请求后，会创建一个Socket用于与客户端的通信。服务器与客户端的数据交换放在一个单独的线程中，通过读写InputStream、OutputStream来实现[4]。收到地面控制端的控制命令数据包后，程序根据数据包的组包协议格式把命令解析出来，然后把命令通过蓝牙转发给无人机，之后无人机执行相应的动作。

3.1.2 视频传输软件设计

视频传输系统的结构示意图如图3所示。在本系统中，无人机端Android系统手机通过摄像头获取原始视频数据，然后采用H.264硬件压缩编码，编码后的每一帧数据都被添加一个RTP协议报文头，形成RTP数据报文，然后数据报文通过UDP协议传输给流媒体服务器[5-6]。在实时视频传输过程中，由于RTP协议无法保证服务质量，也没有流量和拥塞控制，所以采用实时流传输协议RTSP来建立和控制会话，并在数据传输过程中进行相应的流量和拥塞控制[6]。开始视频传输后，无人机端将视频流发送给流媒体服务器，服务器建立一个通道对外提供服务。如果有远程客户端请求这个通道的服务，服务器在建立与客户端的会话连接后，就会将该通道的实时视频数据发送给客户端。

图3 视频传输系统结构示意

视频传输过程中用到的传输协议介绍如下：

RTP(Real-time Transport Protocol)，实时传输协议，是一个网络传输协议。该协议详细说明了在互联网上传输音频和视频数据的标准数据包格式，为数据提供了具有实时特征的端对端传送服务。

RTSP(Real Time Streaming Protocol)，实时流传输协议，是一个应用层协议，用来流式传输实时多媒体数据比如音频或视频。RTSP用于在客户端和服务器之间建立一个实时流会话。

RTMP(Real Time Messaging Protocol)，实时消息传送协议，是Adobe Systems公司为Flash播放器和服务器之间传输多媒体数据开发的开放协议。在系统中，RTMP被用于Flash播放器从服务器获取视频流数据的过程中。

在视频传输软件中我们添加了视频参数设置的功能，经过多次实验检测，在兼顾清晰度、流畅度、流量控制等因素的同时，搭配了以下6种可选参数，如表1所示。

表1 视频参数选项

3.2 地面控制端软件开发

3.2.1 无人机实时位置监控系统设计

为了能够实时地监控无人机的飞行位置，我们设计了无人机实时位置监控系统。该系统借助高德地图提供的JavaScript API，实现了在网页地图上监控无人机的实时位置的功能,见图4。

无人机端程序将无人机的GPS数据通过HTTP通信方式实时地发送给服务器，服务器收到GPS数据后将数据保存到MySQL数据库中。同时服务器对外提供Web服务，客户端要进入系统的监控界面只需要通过浏览器访问服务器上相应的网页。客户端网页定时地向服务器请求无人机的GPS数据，服务器收到请求后从数据库中调出最新的无人机GPS数据然后发送给客户端。客户端根据请求到的GPS数据，通过高德地图提供的JavaScript API在地图上显示无人机的位置。服务器和客户端之间的数据交互采用AJAX技术，以实现在不刷新整个网页页面的前提下实时地更新无人机的飞行位置。

图4 无人机实时位置监控系统效果

3.2.2 地面控制端控制命令发送程序

地面控制端控制命令发送程序的作用是读取遥控手柄的输入数据，然后封装成一定格式的数据包，再将数据包通过基于TCP连接的专用数据通道发送给服务器，通过服务器转发给无人机端。程序设计的流程如图5所示。

图5 地面端控制命令发送程序流程

程序初始化完成后，会检查遥控手柄是否已成功接入电脑，如果没有则提示用户先接入。用户点击连接按钮后，程序通过服务器的域名获得服务器的IP地址，然后根据IP地址与服务器建立TCP连接。连接成功后，程序等待手柄的数据输入，有数据输入就把输入的数据通过特定的格式组成数据包，然后把数据包发送给服务器。

遥控手柄的输入数据由DirectX提供的接口提供。DirectX是由微软公司创建的多媒体编程接口，采用C++编程语言实现，支持多种输入设备。其中的Microsoft DirectInput API为本系统所用的遥控手柄提供编程接口。

4 系统实验结果

经过实际飞行实验，我们对视频传输效果和飞行控制实时性进行了测试和分析，视频参数选择了640*480、30fps、3 000 kb/s，结果表明地面控制端看到的实时画面清晰流畅，但是由于手机摄像头采集视频信息后要经过硬件压缩、数据封装、4G传输一系列过程，因此使视频传输产生了2～3 s的时延。因为应用场合的特殊性，2～3 s的延时并不影响本系统的使用效果。另外，因为控制指令的数据量较小，因此实时控制效果良好。

通过观察网页地图GPS信息我们发现，地图上标注的运行轨迹和显示的GPS信息存在轻微偏差，我们通过多个GPS定位系统的设备多次测量修正地图轨迹和状态信息，最终结果满足系统要求。图6为本系统总体效果图。

图6 系统整体效果

5 结语

本文提出了一种基于4G的无人机远程巡逻系统，在此基础上完成了系统分析、软硬件的设计等内容。经过多次实际运行、测量，该系统参数准确，性能稳定，工作正常，并清晰地接收到无人机传输的视频数据和定位无人机飞行位置，达到设计目的与要求。本系统采用4G无线通信网络，这是与市场上流行的射频图传和数字电台显著不同之处。今后，只要有4G网络的地方，就可以随时随地对目标区域进行监控巡逻，简便易用，达到“足不出户，便知千里”的效果。

[1] 张雷，许飞，隋天宇. 4G移动通信技术在战术通信中的应用研究[J].通信技术，2015，48(04):423-429. ZHANG Lei, XU Fei, SUI Tian-yu. Application of 4G Mobile Communication Technology in Tactical Communication System[J]. Chengdu: Communications Technology, 2015，48(04):423-429.

[2] 马骉. 4G通信技术及其应用前景分析[J]. 北京:中国新通信, 2014(08):71-71. MA Biao. Communication Technology and Its Application Prospect[J].Beijing:China New Communication, 2014(08):71-71.

[3] 曹大有, 张斌. 通过Java Socket建立连接类实现与Web服务器的交互操作[J]. 福建:福建电脑, 2007(01):192-192. CAO Da-you, ZHANG Bin. Achieving Interactive Operation with Web Server by Establishing Connection Classes with Java Socket [J]. Fujian: Fujian Computer,2007(01):192-192.

[4] 李刚. 疯狂Android讲义[M]. 北京：电子工业出版社，2013：676-680.

LI Gang. Crazy Android Lecture[M]. Beijing：Electronics Industry Press，2013：676-680.

[5] 宋强, 齐贵宝, 宋占伟. 基于Android系统的H.264视频监控设计[J]. 长春：吉林大学学报，2012，(03):272-278. SONG Qiang, QI Bao-gui, SONG Zhan-wei. Design of H.264 Video Monitoring based on Android System[J]. Changchun: Journal of Jilin University,2012，(03):272-278.

[6] Bailey J M. Live Video Streaming from Android-Enabled Devices to Web Browsers[J]. Dissertations & Theses - Gradworks, 2011.

UAV Remote Patrol System based on 4G

XIE Xiang-bo，XU Guang-hui，FAN Kai-xin，XIAO Ying-cai，YANG Han-zhu

(College of Communications Engineering, PLAUST, Nanjing Jiangsu 2100007, China)

In recent years, the UAV patrol system has been undertaking site surveying, remote high-altitude surveillance and so on in scientific research, industry, and many other fields. However, the communication section of between UAV and the control center is always been a research focus and knotty point. In order to solve the problem of limited communication distance of UAV, a UAV remote patrol system based on 4G is designed. This system implements the remote control and data acquisition via 4G network. The basic idea is to carry out software development and design on the related hardware platforms of UAV, the server and ground control terminal based on 4G network. Experiement results show that this system could complete the remote flight control and display clear surveillance video and accurate flight status information, and in the future would be of important practical value in circuit inspection, logistics transmission, high altitude surveillance and other fields.

4G; remote surveillance; UAV; video transmission

10.3969/j.issn.1002-0802.2015.11.020

2015-06-17；

2015-10-08 Received date:2015-06-17；Revised date：2015-10-08

TP242.6

1002-0802(2015)11-1305-05