基于多旋翼飞行器的视频传输系统的设计

扬州苏水科技有限公司 沈 逸

扬州大学信息工程学院 李忍忍 张正华

基于多旋翼飞行器的视频传输系统的设计

扬州苏水科技有限公司 沈 逸

扬州大学信息工程学院 李忍忍 张正华

针对小型飞行器巡检的任务重和实时性差的问题，介绍了以多旋翼无人飞行器为载体的视频传输系统的结构。综合利用传感器技术、图像处理技术和无线通信技术，设计了一个可以越过复杂的地理环境，及时将飞行工况送达上位机的视频传输系统，提高了电力线路巡检效率。实验证明，该系统可以实现小型多旋翼飞行器的视频传输和远程姿态控制功能，能够保障电力系统安全稳定运行。

无人飞行器；视频传输；图像处理；电力检测

0　引言

随着微机控制技术的快速发展，微型多旋翼飞行器也逐渐得到了广泛关注，由于其具有多旋翼飞行器具有姿态控制能力好、续航时间长、抗电磁干扰能力强等优点，因此在军事和民用领域都有着广阔的应用前景，目前，我国已有利用无人机进行电力巡线的先例[1]。但是在将视频传回的过程中，由于干扰的因素众多，存在实时性差和图像质量不高的问题。

针对以上问题，本文设计了一种基于多旋翼飞行器的视频传输系统。利用视频回传方式实时监测环境状况，可以调整微型多旋翼飞行器的飞行姿态[2]。该系统以实时性为优先考虑要素，以清晰度为重点，在恶劣信号环境中允许损失一定的帧数。本设计还充分利用航拍影像的图像处理与识别技术，以完成对输电线路故障的快速智能诊断任务。

1　多旋翼飞行器的运动原理及建模

多旋翼飞行器结构简单、控制方便，它通过多个旋翼的正反桨以及不同的转向与转速，形成一个由多个与机体垂直的升力和多个反扭力合成的动力面，通过改变这些力的大小与方向，动力面便具有全角度的牵引机体的能力[3]。多旋翼飞行器的硬件主要包括飞控（飞行控制器）、电调（无感无刷电子调速器）、电源模块和视频传输模块。

为了保证飞行状态的稳定，在正常的飞行工作中，多旋翼飞行器自动提取传感器数据，并计算出实时的姿态与位置数据。多旋翼飞行器飞行控制的方法主要包括姿态算法和控制算法。利用姿态算法将上一时刻的飞控状态与传感器输出进行结合，可计算出当前时刻的状态。将采集的数据通过欧拉角算法和卡尔曼滤波器进行数据融合并对姿态做积分，接着通过数据转换矩阵得出实时的无人飞行器姿态与角度。飞行器控制器的MCU利用上一步计算得到的实时姿态与角度，与控制器的期望的姿态与角度做对比，得出差值即偏差角。最后，根据PID控制算法，将输出三个方向上的修正量分别映射到电机输出。

将各个传感器的数据提取后，需要通过姿态算法的计算，才能得出实际的角度值。本设计利用欧拉角算法进行姿态计算，其中，欧拉角由旋翼的3次连续转动形成，假设地理坐标系是固定的，而机体坐标系是实时变化的。可以通过对地理坐标系的三次转变得到任意位置的机体坐标系，即：围绕Z轴正方向旋转的ψ角为航向角；围绕Y轴正方向旋转的θ角为俯仰角；围绕X轴正方向旋转的φ角为滚转角[4]。按照以上定义，从大地坐标系转到卡尔丹系的转换矩阵如下：

控制算法需要使用姿态算法的结果，即当前姿态角度来修正多旋翼飞行器的误差。控制算法的职责是在尽可能短的时间内，将姿态误差减少到可以接受的误差范围内，使多旋翼飞行器向期望的姿态靠近。

2　系统设计

本系统在设计时综合考虑系统结构、设备选择及响应能力等方面，软件设计采用模块化、分层隔离的设计思想，保证系统能够可靠、连续地运行[5]。整个系统主要由720P高清摄像机、前端图像采集器、平板计算机、网桥和路由器组成,包括影像的采集、处理、存储和传输四个过程。本设计采用了一个720p高清摄像机进行视频捕捉，图像通过前端图像采集器的USB高速接口输送给处理端，处理端将数据通过网桥和路由器转发传回地面站进行分析，从而对电力线路进行分析和判断，做到远程诊断，整个系统的硬件结构如图1所示。

为了把高清视频流才能快速而又准确无误地传回地面站，采集后需要在平板计算机内二次编码成视频流。数据汇聚时，由于计算机平板具备USB接口、蓝牙无线接口和无线网卡，可以快速而高效地采集已有数据，并通过互联网实时传输。

2.1网络传输部分设计

网络传输系统主要作用是将处理器融合后的图像数据实时传输到地面站，为判断提供原始资料，实现巡检作业及快速反应。地面站与飞行器之间的通信采用WiFi无线技术,本设计选用的WiFi模块是TendaW541U V2.0，核心芯片为Ralink 2070，最大传输速率为54Mbit/s，兼容IEEE 802.11g/b两种网络标准，支持WPA/WPA-PSK等多种安全机制[6]。

图1　系统的硬件结构图

2.1.1Linux嵌入式系统板设计

首先需要初始化Linux嵌入式系统。在命令行输入初始化指令后退出root账户，创建交叉编译资源文件夹Mkdir openwrt，键入命令Cd openwrt，下载Linux嵌入式系统源码svn co svn∶//svn.openwrt. org/openwrt/trunk/。然后切换到所在目录Cd trunk，更新软件包并进入定制界面make menuconfig添加基本界面、mjpg以及摄像头驱动等，最后使用命令执行编译操作。将编译完成的固件写入Linux嵌入式系统板当中，重启即完成初始化配置。

完成Linux嵌入式系统的初始化后，还要配置嵌入式图像采集软件。在浏览器地址栏输入http∶//192.168.1.1∶8080/?action=stream，可以看到摄像头抓取的视频。这个视频的帧数很低，表现为小型摄像机反应迟钝，所以需修改/etc/config/mjpg-streamer里面的fps参数。首先修改防火墙，使它接受来自8080端口的外网请求。然后添加下面配置文件到 /etc/config/firewall.

config rule

option src wan

option prototcp

option dest_port8080

option target ACCEPT

配置完成后重启防火墙并配置用户名和密码，重新启动mjpgstreamer后配置即可生效。

2.1.2去噪设计

由于电力巡线任务所处的环境十分复杂，整个网络传输受电磁环境、地理环境和网络信号等因素的影响很大，为了传输的及时和准确，本设计采用Mavlink机器人协议完成飞行器与地面站系统之间的通讯，并使用软件算法对叠加在模拟信号上的噪声进行抑制。

视频码流需经过压缩编码后再送到以太网上传输，达到减轻网络负荷和减小电磁干扰的目的。视频传输模块选用DM368做为主控芯片，通过专用视频接口接收前端采集的视频数据，压缩后的视频流通过网络接口传输[7]。由于无线通信设备和小型摄像机一起搭载在多旋翼飞行器上，为了在移动的状态下工作，无线通信时采用跳频技术。跳频技术是一种利用载波跳变实现频谱展宽的扩频技术，它可以有效的避开干扰，跳频示波器演示如图2所示。

图2　跳频示波器演示图

2.1.3网络带宽的计算

网络带宽的需求与分辨率和帧率两个因素有关。通常视频监控系统要求在帧率为25帧/s、 分辨率为1280×720（即720P）时，码流大小为1M-2M。基于本设计对图像的实时性、流畅性的要求，视频编码器编码采用H.264的方式进行编码，根据智能算法，图像所需网络带宽为2M[8]。

2.2地面站系统设计

地面站是整个视频监控系统的核心，实现视频图像资源的汇聚，并对视频图像资源进行统一管理和调度。地面站终端实时显示现场图像，在巡检模式中还应处理图像，并将图像信息存入历史数据库[9]。

2.2.1界面设计

巡检模式下，地面终端发送指令，无人机按照指定的巡航路线监控电力线，将采集的影像传输到地面终端并进行处理，得出最终的结论。根据系统设计需求，用c#编写了一个支持流媒体接收的低资源占用的客户端，用于接收并记录检测视频，界面如图3所示。

图3　流媒体接收界面示意图

本文设计的多旋翼飞行器飞行控制系统中的与飞行器地面站上位机通信的通信协议是Mavlink协议。使用源码中自带的基于python平台的Mavlink Generator 即可很方便地生成相关头文件。Mavlink是使用xml文件来描述协议中定义的参数的，所以生成头文件之前，需要编写xml 文件。本设计直接使用common.xml 进行生成，生成好后得到一个完整的Mavlink协议包，里面包括所有Mavlink支持的消息格式和类型定义，上位机操作界面如图4所示。

图4　上位机操作界面

2.2.2图像处理部分设计

当巡检系统的工作环境比较恶劣（如大雾，光线条件较差）时，可以利用图像增强增加影像的可视性[10-12]。本设计引入图论方法及图形处理方法，使图像处理更加精确，便于能够在各种恶劣环境下进行电力系统的安全测试。本文通过算法分离飞行器传回的图像中的电力线相关图像部分，并加亮显示，便于准确的诊断电力线的损伤情况。本设计采集图像后通过霍夫变换，将所拍到的图像转换为灰度图像，如图5所示。然后使用OpenCV，通过软件计算识别出目标电力线，去除无意义的图像，帮助巡线人员分析大量的电力线数据，图6为识别电力线的演示DEMO。后期配合变电站等工作数据，工作人员就可以进一步分析电力线的工作状态。

图5　灰度图像

图6　电力线演示DEMO

2.2.3地面站的带宽计算

地面站的带宽需求取决于访问前端设备的路数，前文已计算每路视频所需带宽约为2M，客户端所需的带宽为2M×N(N为同时要预览的并发视频路数)，即为地面站的占用带宽。通常情况下，为了保证视频的流畅性，实际占用带宽应低于地面站接入网络带宽的50%[13-14]。

图7　系统性能测试

3　实验验证

当多旋翼飞行器的硬件与程序都构建好后，需要调整参数。主要包括传感器的标定与校准、PID的自动调整、手动遥控设备的校准、加速度计校准和罗盘校准。在5-6级风平原20℃的条件下，自主飞行与人工操控飞行相比平均节省20%以上的电力，飞行演示平台如图7所示。

经过测试，理想状态下使用14.8v 8800mah动力电池并在具有良好散热条件测试10分钟，结果如下：

起飞时单电机拉力：460g；

起飞时单电机的力效率：8.36g/W；

最大功率时单电机的拉力：1360g；

最大功率时单电机的力效率：5.81(g/W)。

4　结束语

本文在多旋翼飞行器的硬件基础上，设计出一套视频传输系统，可以监控电力线路的运行状况。飞行器能够在室外恶劣的天气下稳定运行，并能将拍摄到的图像信息及时传回地面站。该系统成本低、可扩充性能强，能够实现对电力线路运行状况的巡视，有着十分广阔的应用前景。

[1]王磊.基于视频监控的智慧农业系统设计[J].信息技术,2015(12): 198-200.

[2]翁松伟,赖斯聪,陈海雄,等.基于小型四旋翼无人机的道路交通巡检系统[J].电子设计工程,2016,24(3):78-81.

[3]赵晓丽,陈慧,宋占伟.微型四旋翼飞行器的嵌入式视频监控终端[J].吉林大学学报,2016,34(1):122-126.

[4]杨珂,王鹏.小型化高清视频压缩传输系统设计[J].电子科技,2016,29(9):118-121.

[5]李文超.X750四旋翼飞行器建模与飞行控制研究[D].南京:南京理工大学,2014.

[6]周勇君,李鹤.基于MATLAB 的飞行器仿真平台非线性PID控制策略研究[J].电子测试,2016(9):36-37.

[7]MEJAS L,CORREA J F.COLIBRI:A vision-guided UAV for surveillance and visual inspection[C].2007 IEEE International Conference on Robotics and Automation,New York:IEEE,2007.

[8]陈海,何开锋,钱炜祺.基于非线性L1自适应动态逆的飞行器姿态角控制[J].控制理论与应用,2016,33(8):1-8.

[9]KOHNO S,UCHIYAMA K.Design of robust controller of fixed-wing UAV for transition flight[C]//2014 International Conference on Unmanned Aircraft Systems.Orlando:IEEE,2014:1111-1116.

[10]林旭梅,王婵.四旋翼飞行器的自适应鲁棒滑膜控制器设计[J].仪器仪表学报,2015(7):7-14.

[11]EHASANA,MOHAMMADA.Attitude Control using an extended classifier system algorithm for offline auto-tuning of a PID controller[C]//IEEE RSI/ISM International Conference on Robotics and Mechatronics,2014:930-935.

[12]李运堂,贾宇宁,王鹏峰,等.基于多传感器的四旋翼飞行器硬件系统设计[J].传感器与微系统,2015(02):119-121,142.

[13]MONTAMBAULT S,BEAUDRY J,TOUSSAINT K,et al.On the application of VTOL UAVs to the inspection of power utility assets[C].2010 1st International Conference on Applied Robotics for the Power Industry,New York:IEEE,2010.

[14]黄宵宁,张真良.直升机巡检航拍图像中绝缘子图像的提取算法[J].电网技术,2010,34(1):194-197.

The Design of Video Transmission System Based on Multiple Rotor Aircraft

SHEN Yi1，LI Ren-ren2，ZHANG Zheng-hua2
（1.Yangzhou Sushui Technology Co.Ltd，Yangzhou Jiangsu 225000，China；2.School of Information Engineering，Yangzhou University，Yangzhou Jiangsu 225000，China）

In view of the problem that it’s heavy patrol tasks and it’s real-time performance is poor for rotor aircraft,this paper introduces the structure of video transmission system which is carried by multiple rotor unmanned aerial vehicles.This paper designs a video transmission system that can across the complex geographical environment，flight conditions and submit it to the PC in a timely manner by using sensor technology，image processing technology and wireless communication technology.Experiments show that this system have function of video transmission and controlling attitude and it can ensure power system to run safely and stably.

unmanned aerial vehicles；video transmission；image processing； power detection

江苏省产学研联合创新资金（前瞻性联合研究）项目（BY2013063-10）；扬州市2012年产学研合作专项（2012038-8）。