地震灾情获取中无人机直播关键技术研究1

李晓阳 郭 慧 李晓慧 谢恒义 韩贞辉

1）河南省地震局, 郑州 450016

2）应急管理部大数据中心, 北京 100013

引言

无人机遥感系统具有灵活性好、成本低、空间分辨率高的优点，已成为卫星遥感和地面遥感的有效补充手段，在震后应急中发挥着越来越重要的作用（郭建兴等，2018；张顺等，2019）。近年来，无人机遥感技术已分别在2011 年盈江地震、2013 年芦山地震、2015 年尼泊尔地震中得到实际应用（温奇等，2012；Xu 等，2014；王晓青等，2015；王之等，2018），对震后灾情评估起到了一定作用。河南省是地震灾害较严重的省份之一，同时作为人口大省，部分地区建筑物抗震性能差，现场灾情获取手段尚不完善，因此震后快速获取灾情尤为重要。河南省地震局现有1 架无人机及2 名操控手，可用于解决现场灾情获取及无人机影像有效应用的问题，进一步完善河南省灾情获取手段，提升灾情研判能力。在河南省近两年的地震应急演练中，多次测试了无人机系统各项功能，一是无人机影像传输功能，通过单兵及直播技术将拍摄的影像实时回传至指挥大厅，音视频效果正常；二是航线规划功能，利用航线规划软件对周边部分区域实现自动拍摄，影像中建筑物轮廓特征清晰，分辨率达厘米级。

本文以震后将无人机获取的灾情信息实时传输到前后方指挥中心为目的，研发了2 种不同通信方式，并在应急演练中测试了通信效果，得到更符合实际应用的云服务器直播通信方式，结合现场应急通信车实现了在4G 网络中断的情况下无人机信息的传输，以满足震后灾情研判、应急专题图制作及辅助决策信息的产出。以某次应急演练为例，模拟了震后4G 网络中断的情况下将现场灾情信息回传至指挥大厅，利用应急通信车的卫星组网功能，实现了云服务器直播方式下的无人机图像回传，但存在依赖现场环境及卫星带宽的问题，偶尔出现图像卡顿、不流畅的情形，可通过调整图像传输清晰度、不同的播放协议加以改善。在实践过程中仍存在一些问题，如受飞行空域的影响，在个别区域飞行时，信号干扰较大，画面传输效果差。另外，对于云直播手段中拍摄影像的建筑物识别、灾情自动报警等功能还有待深入探索。

1 灾情获取中的无人机系统方案

1.1 无人机的应用

无人机最早源于军事，主要作为靶机用于军事训练。到20 世纪后期，无人机因其机动性强、侦查范围广、战场适应性强等特点受到广泛重视（石珺等，2017）。随着无人机技术的不断进步，其应用领域逐步扩展，在民用方面的应用迅速发展，按照不同行业特点，无人机通过搭载不同载荷完成不同应用目的，如无人机可以根据需要搭载不同的相机、灭火装置、喊话喇叭、植保农药、红外扫描仪、合成孔径雷达等，目前无人机已应用于灾害监测评估、农林植保、地图测绘、电力巡检、影视拍摄、应急救援等领域（杜强，2019；陈楠等，2020）。

本文主要研究无人机在地震行业中的应用。地震应急救灾中，无人机因其机动灵活、成本低、分辨率高等特点，可获取多角度、多分辨率影像，第一时间到达救援人员无法到达的危险区域，及时获取灾区影像数据并实时回传，为灾区的灾害排查、灾情评估、救灾力量部署、人员安置等应急工作提供科学依据（黄海峰等，2017）。震后灾害调查内容主要包括建筑物破坏、道路交通破坏、次生灾害及生命线工程破坏等，除现场工作人员实地调查外，也可利用无人机完成受灾点航拍识别，地形、地貌、救援路线勘察，受灾人员临时安置点选址调查等（王林，2016）。

1.2 无人机系统建设情况

河南省地震局现有1 架多旋翼型无人机、2 名操控手及包括现场图像获取设备的无人机地震灾情获取系统。无人机型号为大疆M200，搭载禅思X5S 云台，通过将单兵设备与遥控器连接，采集图像信息，再上传至远端服务器中，通过4G 公网的形式在前后方电脑端访问回传的影像。

无人机及采用的通信方式原理分别如图1、图2 所示。

图2 无人机通信原理Fig.2 Uav communication schematic diagram

经多次系统测试，在用的单兵图传系统常存在无法获取无人机图像的问题，经分析发现为后方服务器的问题，因维护不及时导致系统运行不稳定，且第三方公司保障能力有限，已影响正常使用。针对该问题，为快速获取现场灾情，第一时间将无人机采集的图像信息回传至指挥大厅，以稳定性好、操作便捷、成本低为出发点，研究了云服务器视频传输方式。首先确定推流、播放地址，该过程需提前准备2 个域名，且域名均需完成CNAME 解析，可登录DNSPod 控制台完成，并在腾讯云控制台地址生成器中按照规则自动生成地址，需注意设定的直播应用名称、数据流名称及过期时间等参数。然后利用直播的方式，将图像信息先通过无人机操作平台推流至云服务器，再实现直播信号的拉流处理，可同时在前后方电脑端、手机端实时显示。该方式较依赖现场环境，可依据现场信号干扰、网络情况设置无人机操作平台中信道模式、图传码率及图传模式等参数，调整传输效果。最后将信号以4G 或卫星网络的方式通过应急通信车中的视频会议系统传输至后方指挥中心。

2 无人机直播方案中的关键技术

利用无人机航拍采集地震现场图像信息，通过4G 网络推流至云端流媒体服务器，再采用拉流的方式实现视频实时直播，可完成在不同客户端的展示。系统采用实时消息传输协议（Real Time Messaging Protocol，RTMP）用于服务器和播放器之间的流式音视频数据传输，传输层采用Transmission Control Protocol（TCP）协议，为保证数据传输流畅，RTMP 将流数据分段，把基本的数据单元信息拆分成消息块，通过TCP 协议发送消息块。云端服务器接收到数据后，重组消息块即可恢复原先的流数据（石珺等，2017）。系统方案如图3 所示。

“互联网+教育”脱离传统课堂，增强了学生学习的自主性。首先在教学资源上，学生可以按自己的需要直接在网上搜索。其次在教学模式上，在线学习、互动学习成为主流，改变了传统教育中以教师在课堂教授为主的模式[3]。最后在教学形式上，没有时间和地点的限制，学生可以根据自己的实际情况进行复习和回顾。

图3 系统方案Fig.3 System scheme

无人机操作平台使用的软件为DJI GO 4，兼容iOS 及安卓系统，考虑到该软件本身具备RTMP 流媒体直播能力，可为推流端节省费用与时间成本。需搭建RTMP 流媒体服务器，利用DJI GO 4 软件中的直播推流功能，通过4G 网络将视频流推送到云服务器，并将其输出到客户端，然后利用现场应急通信车中的视频会议系统将无人机影像回传至后方指挥中心。因地震灾害现场可能出现4G 网络中断的情况，导致该系统中无人机图像传输至服务器端时数据中断，无法完成灾情信息传输。利用应急通信车卫星通信优势，将网络切换至卫星通信后，应急通信车内的无线网络可正常使用，该系统可通过连接现场无线网络恢复视频流的传输。除可采用电脑端直接访问视频直播画面显示到指挥大厅屏幕上以外，也可通过视频会议系统将现场拍摄的影像信息传到后方指挥中心，但存在卫星带宽不够时图像卡顿的问题，尤其是视频会议系统占用带宽较大，可选择在后方指挥大厅电脑端直接播放直播画面，通过调整图像传输清晰度、不同的播放协议加以改善。DJI GO 4 中推流直播界面如图4 所示。

图4 直播推流界面Fig.4 Live push stream interface

流媒体服务器是流媒体应用的核心系统，主要功能是对流媒体内容进行采集、缓存和传输播放，数据传输的质量也取决于流媒体服务器的性能和服务质量（牛志，2017）。经对比流媒体处理能力、成本、操作性等方面，选用腾讯云服务器，具体搭建过程如下：

第1 步确定域名，使用云直播服务需要2 个域名，即推流域名和播放域名，且不能使用相同的域名，开通云直播服务后自动获得1 个域名，将其作为推流域名。播放域名可在域名注册、域名备案后使用。其中，域名备案需提前购买云服务器资源，可根据实际需要选用不同规格、带宽的服务器，如拉流端并发连接数较多，可选用支持高带宽的云服务器。然后分别添加自有域名作为推流、播放域名，添加成功后系统自动分配以.liveplay.myqcloud.com 为后缀的CNAME 域名，完成配置后即可访问。CNAME 域名配置需登录DNSPod 控制台进行解析，按照域名类型填写主机记录、记录类型、记录值及秒数等参数。

第2 步获取推流、播放地址。除在地址生成器中自动生成地址外，还可通过自主拼装的方式完成，地址生成中需注意直播应用名称、流ID 及过期时间等参数，需保持参数一致。标准的推流统一资源定位符（Uniform Resource Locator，URL）如图5 所示，其中，domain 为推流域名，AppName 为直播的应用名称，默认为live，可自定义；StreamName（流ID）为自定义的流名称，为每路直播流的唯一标识符；鉴权Key（非必需）包含txSecret 和txTime 两部分，开启推流鉴权后需使用包含鉴权Key 的URL 进行推流，若未开启推流鉴权，则推流地址中无需“?”及其后内容；txTime（地址有效期）表示何时该URL 会过期，格式支持十六进制的UNIX 时间戳。

图5 标准的推流URLFig.5 Standard push stream URL

播放地址规则与推流地址相同，也由播放前缀、播放域名（domain）、应用名称（AppName）、流名称（StreamName）、播放协议后缀、鉴权参数及其他自定义参数组成。

播放协议及前缀对比如表1 所示。

表1 播放协议及前缀对比Table 1 Comparison of broadcast protocol and prefix

第3 步进行直播推流及播放。直播推流方式包括PC 端、Web 端、APP 端和小程序端，因本系统中使用的DJI GO 4 软件本身具备流媒体直播能力，所以进行推流时直接选用APP 端。推流端参数可根据现场信号干扰、网络情况设置，通过多次测试，一般情况下内置信道模式设置为自动选择，图传码率选择4 Mbps，图传模式设置为720 P。为便于多渠道展示直播画面，采用PC 端及APP 端分别完成播放，其中PC 端使用Visible Light Communication 播放工具，该播放器适用所有常见的直播格式，操作便捷，安装后打开网络串流，输入拉流地址，点击播放即可。APP 端使用视频云SDK 的直播播放功能，采用延迟低、支持超高并发的HTTP-FLV 播放协议，以“http”开头，以“.flv”结尾。SDK 功能集成中通过添加View、创建Player、启动播放等步骤实现。对于传回影像的画面调整、屏幕截图、截流录制、直播回看等功能，需继续深入研究。通过多次测试，FLV 和WebRTC 协议播放效果更佳，考虑到标准直播通常采用FLV 协议，快直播使用WebRTC 协议，而快直播流量费用基本为标准直播费用的2 倍，因此本系统在满足传输效果的情况下采用FLV 协议。

第4 步是将现场灾情信息传回后方指挥大厅。无人机获取的现场灾情信息推流至云服务器后，可在前后方电脑端、手机端实现视频直播，后方指挥大厅可直接将电脑端直播信号投屏到大屏显示，另外也可利用现场通信车中的视频会议系统，以信号线的形式将视频图像传输至后方指挥中心，可完成多方视频调度中灾情信息的显示。现场通信车中包含4G 和卫星2 种通信方式，如遇现场通信中断，可使用卫星通信方式临时完成视频传输过程，在一定程度上丰富了通信手段，解决了现场通信单一的问题，可依靠非常规手段将无人机拍摄到的现场画面回传至后方指挥中心。

3 现场不同数据传输方式对比

本文使用单兵图传和无人机直播传输的方式测试视频传输效果，重点考虑画面显示效果、数据安全及便捷性等因素，通过对比确定了较适用的无人机直播传输方法，可在震后网络正常或中断的情况下实现无人机图像的实时传输。经查阅相关文献，黄恩钊等（2018）在无人机信息传输过程中主要通过基于小鱼视频和应急卫星的方式实现，其他行业中也存在通过视频监控平台端访问、视频直播、在本地服务器上建立通信系统等方式，以实现无人机信息的实时传输。

本研究采用的单兵图传方式为：单兵设备与遥控器连接，采集图像信息，将图像信息上传到远端服务器中，通过4G 公网的形式在前后方电脑端访问回传的影像，显示效果如图6 所示。该通信手段可完成影像的传输，在单兵设备使用初期效果较好，但因远端服务器建立在第三方公司，常存在服务器维护不及时、运行不稳定的情形，影响正常使用。该方式仅支持在电脑端登录专用软件访问，显示形式较单一，且传回的图像信息清晰度较差，视频质量损失较严重，其中帧率仅为12 帧/s，有卡屏现象。无人机直播传输效果如图7、图8 所示。

图6 单兵图传系统回传画面Fig.6 The picture returned by individual soldier map transmission system

图7 电脑端直播画面Fig.7 Computer broadcast screen

图8 手机端直播画面Fig.8 Mobile phone live screen

本系统可实现前后方电脑端及手机端的实时显示，播放形式更灵活，且云服务器具备云直播功能，按照FLV 协议设定推流、播放地址相关参数后，基本无须人工日常维护。通过肉眼观察回传画面可知，直播传输画面较单兵系统清晰度高，视频质量基本无损失，帧率＞30 帧/s，稳定性较好。另外，也可通过云服务器后台查看每次直播信息，包含流数据、SDK 质量监控等，便于掌握通信效果，保证通信质量。

在无人机直播方式中测试了RTMP、FLV、WebRTC 播放协议下的传输效果，在播放延迟方面，RTMP 协议延迟较高，接近3 s，FLV 和WebRTC 协议延迟保持在2 s 以下。在拉流端并发连接数多的情况下，WebRTC 协议播放效果最佳，FLV 协议次之，RTMP 协议不支持；在拉流端低并发的情况下，FLV和WebRTC 协议播放效果差别较小，均可满足使用需求。

4 结论

地震发生后，利用无人机进行现场拍摄，快速获取灾情，并在第一时间将灾情信息回传至后方指挥大厅，对灾情研判、指挥决策具有重要参考意义。本文研究了通过无人机视频直播快速获取现场灾情信息的方法，对比分析了该方法和单兵图传的传输效果，并在应急演练中开展了模拟测试，确定无人机直播方式效果更佳，更符合实际应用需求。在该系统中选用3 种不同的播放协议，从时延、流畅度及流量费用等方面进行了综合分析，选用效果佳且流量费用低的FLV 播放协议。该系统为现场灾情信息回传至后方指挥大厅缩短了时间，提高了工作效率。

本研究使用的直播手段可完成现场灾情信息的传输，并实现电脑端及手机端的显示，同时可满足在网络中断时依靠现场应急通信车的卫星组网功能恢复灾情信息的传输。一般情况下，后方指挥大厅可直接将电脑端直播信号投放到大屏显示，也可利用现场视频会议系统将灾情信息回传至后方指挥中心，完成多方视频调度中灾情信息的显示。但对于无人机灾情获取手段，在实践中仍存在一些问题，如受飞行空域的影响，在个别区域飞行时，信号干扰较大，画面传输效果差，通过调整信道模式，传输效果虽有一定改善，但图像仍不稳定。另外，对于云直播手段中拍摄影像的截流录制、直播回看及灾情自动报警等问题仍有待深入探索与实践。

获取的现场灾情信息如何更好地为后方指挥决策提供支持取决于拍摄影像的质量及数据可处理能力，本系统仅对图像传输进行了研究，未涉及所获取灾情信息的图像处理功能，下一步工作中将针对现场灾情信息的快速处理开展研究，包括正射影像的快速拼接、建筑物的识别、震害信息的提取等。