基于RTMP协议的视频传输技术在智慧市政中的应用

2022-12-17童伟光

电气自动化 2022年6期

童伟光

(上海电气自动化设计研究所有限公司，上海 200023)

0 引言

近几年来，智慧城市已经上升到国家经济、科技的战略层面。中国工程院常务副院长潘云鹤说智慧城市就是将当下传感器技术、互联网技术、大数据技术和各种高新技术融入城市的各个系统，形成城市建设、城市经济、城市管理和服务的升级发展。

要想更合理地构建智慧城市，需要一双明亮的“眼睛”，而基于实时消息传输RTMP协议(real time messaging protocol， RTMP)的视频传输技术就是这双充满智慧的“眼睛”。传统的设备和视频监控不够灵活，前者只能看到固定的数据，后者即使是球机，尽管视频越来越清晰，但监控范围终究有限。

本文紧跟科技前沿，基于目前最主流的RTMP视频传输协议，结合科技感十足的AR眼镜和无人机终端，针对传统监控的缺点，以“人工”+“智慧”的方式加以改善，为智慧城市的建设添砖加瓦。

1 视频传输协议RTMP

1.1 选择RTMP的原因

视频传输协议有很多，如表1所示。

RTMP、RTSP和HLS是最主流的要数。

HLS实际上并不是真正的实时流协议，HLS协议在服务器端将数据流存储为连续的、短时长的MPEG-TS格式文件，客户端不

表1 视频传输协议

断下载并解析播放这些小文件从而实现实时流效果。可以认为，HLS是以点播流技术方式来实现实时流的协议。这样的缺点是延时长，并不适用于本文对于“眼睛”的需求。

RTSP和RTMP则各有优劣，前者实时性较高，后者视频质量更好。如果仅从实际需求的角度，两者不相上下。本文选择使用RTMP还有两个主要原因：其一，RTMP服务器搭建极其方便；其二，CDN大部分是基于RTMP协议的。简而言之，成本低，上手快。

1.2 RTMP概述

RTMP协议基于TCP，是一个协议族，包括RTMP基本协议及RTMPT/RTMPS/RTMPE等多种变种。RTMP是一种设计用来进行实时数据通信的网络协议，主要用在Flash/AIR平台和支持RTMP协议的流媒体/交互服务器之间进行音视频和数据通信。支持该协议的软件包括Adobe Media Server/Ultrant Media Server/red5等。RTMP与HTTP一样，都属于TCP/IP四层模型的应用层[2]。

1.3 RTMP运用

视频传输服务采用了RTMP作为流媒体协议，FLV作为封装格式，H.264作为视频编码格式，AAC作为音频编码格式,如图1所示。FLV是RTMP使用的封装格式，H.264是当今实际应用中编码效率最高的视频编码标准，AAC则是当今实际应用中编码效率最高的音频编码标准。

图1 基于RTMP协议的视频软件架构

librtmp是RTMP协议的实现，使用librtmp来实现协议的解析和数据的收发。服务器可以基于nginx+rtmp实现；客户端方面采用librtmp负责推流。收看客户端可以直接采用VLC，本文自主研发，移动端采用的是nodemediaclient，网页采用HTML5的video，PC客户端采用的是ffmpeg。

视频传输本身并不复杂，基本上分为视频服务器、直播客户端和收看客户端，直播客户端推流给视频服务器，而收看客户端从服务器拉流直播客户端推流给服务器的视频流。要想达到互动的目的也很容易，直播客户端和收看客户端交换一下即可，原理相同。

从AR眼镜和无人机直播中得到启发，让AR眼镜直接观看无人机在飞行过程中的直播画面，原理没有任何变化。可以想想，在未来，无论是何种视频终端，只要支持rtmp/rtsp协议，都能运用此技术实现远程实时直播，真正成为具有无限可能的智慧“眼睛”。

2 AR眼镜在智慧市政中的应用

AR眼镜的特点是语音操控，解放双手，灵活方便。从硬件本身来说，也不易损坏，达到了三防标准。AR眼镜在市政方面的应用是多方面的，本文主要讲述其三个方面的典型应用场景：远程协助维修、恶劣环境巡检以及培训。

2.1 远程协助维修

由于智慧工厂、工业4.0等概念兴起，工业场景可以说是目前AR眼镜最常见的应用领域。本文着眼于智慧市政，发现在工业场景中，维修场景是其重要难点之一。之所以难，原因有三。

(1) 故障排除难。由于现场环境复杂，维修专业性强，很多时候，无法通过问题现象直接推测出问题原因。不仅需要多领域专家会诊、多领域技术工人排故，还可能牵涉到多单位合作施工维修等问题。

(2) 时间紧。市政工程关乎民生大事，有些故障是需要第一时间处理的，否则需要大量人力物力去弥补，不仅大大提高了维修成本，还间接导致一些不稳定因素。

(3) 协作难。现场实际情况的反馈、问题分析等信息的共享，协作时间上的安排，以及实际维修现场碰到的二次问题等，每一个环节都需要时间，每一个环节都不能出现问题，但是在前两点的压力之下，无形中增加了难度。

AR眼镜的出现，不能说完全解决了上述问题，但大大提高了维修效率和成本，为切实解决实际问题提供了一个卓越有效的解决方案。

一个工人在现场实时直播，后台专家多方会诊。这种工作方式完全打破了现有臃肿复杂的维修模式，大大降低了人力和时间成本，避免了繁琐的信息传递失真率。这样可以第一时间获取最真实的现场故障现象，第一时间分析原因，解决问题。如果无法及时分析出原因，可以第一时间进行专家会诊。只要有手机，在有网络的情况下，无论是在地铁公交，还是在家或单位，都能第一时间获得第一手的现场资料。无论是时间、地点还是协作上的沟通都不存在任何问题。除非有更重要的事情，否则就能在第一时间没有任何阻隔的情况下解决问题。除此之外，专家们由于大部分在自己舒适的办公环境下会诊，还能随时调阅手中的资源，方便更快进行总结会诊。即使在地铁公交上，专家们也能根据实际情况做出合理安排，尽快进入工作状态。

最佳情况下，第一时间发现问题原因，并指导现场人员立即完成维修工作。估计从发现问题到解决问题，总时间最快可以压缩在一个小时之内。即使在最不理想的情况下，至少专家们都已经获取了第一手的现场资料，不存在沟通障碍和信息共享方面的问题，为后续的维修工作提供强有力的保障。

除此之外，AR眼镜在维修场景中还有很多应用值得开发。比如专家在后台坐镇，很多现场人员在各个地方同时进行维修任务。如果现场碰到问题，专家可以随时进行远程支援。若是碰到协作维修任务，而双方又可能不是面对面的时候，专家又能起到一个指挥官的作用。

2.2 恶劣环境巡检

普通巡检自不必说。结合AR眼镜的自身特点，一些恶劣环境下的巡检更能体现出其优越性。

在高空作业时，AR眼镜能够解放双手，使人员集中精力完成任务，语音控制按照巡检规范进行可视化比对巡检，确保各个系统更加稳定运行，推动巡检工作标准化、管理的科学智能化和监督的自动化。

在狭小空间作业时，解放双手和语音操控的优势将被无限放大。常见的刮蹭碰撞，对三防的AR眼镜来说问题不大。如果再算上后台的远程协助，对现场巡检人员的安全更是多提供了一层保障。

2.3 培训

培训的特点是一人演讲，多人围观。传统培训就好像上课一样，枯燥乏味。对于市政项目来说，没有实物参照，培训效果大打折扣，更不用说这种完全提不起半点兴趣的上课模式了。随着时代的发展，模拟仿真成为了培训的主流，确实大大提高了培训效果。但比起能看到实物的AR眼镜，孰优孰劣，结果非常明显。

AR眼镜可以将复杂的机器使用说明变得可视化，直接代替枯燥无味的纸质版使用说明书。它的另外一个重要作用是提供全景化第一视角。以市政项目中不可或缺的消防培训为例，AR眼镜可以配合无人机使用，消防员可以通过高空视角观看目标房屋的火势，或找出合适的逃生路线。同样，在预防自然灾害时，AR眼镜通过和无人机以及地面控制基站连接，可以准确地将现场发生的灾害问题传送到相关部门，进行实时把控，降低危险损害。显然，在安防领域，AR眼镜与无人机的成功配合将会被广泛应用。

在培训领域，本文的研究仅仅是AR眼镜应用中的冰山一角，小试牛刀罢了。在未来，在教育和医疗等等各个场景中，AR眼镜明显都能大显身手。

3 无人机在智慧市政中的应用

比起AR眼镜，无人机更加专业，针对不同的需求，对应不同型号的无人机，甚至可以搭载不同的专业设备。它的应用场景极其广泛，本文主要讲述其在市政项目中比较典型的三个应用场景：超高超长巡检,应急救援,以及国土资源普查和监控。

3.1 超高超长巡检

所谓超高超长巡检，是指超过个人巡检能力的长度和高度的巡检范围。

典型的超长巡检如天然气管道，不说总体上贯穿整个国家，就算分割管理，其范围对个人来说也是望尘莫及的。传统的天然气管道被分割成无数小段，以适应个人巡检。但如此这般，花费的人力物力成本消耗极大、时间长、效率低。若用无人机替代，则大大降低了成本消耗，提高了巡检效率，巡检质量也有小幅提升，毕竟人眼的观察范围和无人机的视野范围根本无法相提并论。

超高巡检情况类似，典型的有信号塔、桥梁顶端等光靠人力，有些难以企及的地方。传统方法费时费力，检测效率难以令人满意。无人机的出现，使成本、时间和效率等各方面都得到了大幅度改善，为智慧城市的建设作出了不小的贡献。

3.2 应急救援

针对大范围搜索救援任务，无人机比起人力搜索优势明显，同时可以搭载诸如红外成像等不同的专业设备来针对不同的复杂环境。针对人类短时间无法企及的地理环境，无人机不仅能起到侦察作用，还能投放物资，在灾难环境下，即使一包方便面也能起死回生。

无人机在救灾活动中起着传统手段无法替代的作用，并越来越多地应用于各种救灾活动中。随着传统手段的局限性日益凸显，无人机技术的逐渐成熟，无人机技术用途越来越广泛，在救援开始大显身手。汶川地震、雅安地震和青海地震等突发灾害事件救援中，均表现出不可替代的作用，成为信息化救援的有力武器。

3.3 国土资源普查和监控

水利行业装备多旋翼无人飞行器三维激光遥感扫描系统可用于水利资源调查、水域覆盖面积调查、水利巡查成图、洪涝灾害、干旱缺水、水库蓄水水位监测、上下游河流的水文情况监测、水利资源工程动态监测、非法排污、水面清洁监测、重要水利设备设施安全监测，以及水库坝区的周边环境监测等，为流域水土保持、水调度指挥、水质评价、生态环境监测和防洪监测等决策方案提供依据。

利用多旋翼无人飞行器开展国土资源调查与土地利用监测，可及时地反映各种国土资源的具体情况，增强资源开发、环境保护与灾害防治的预见性。多旋翼无人机便与携带数码相机在城市上空飞翔，为城市开发的规划信息系统提供依据，广泛应用于建筑密度分布规律研究，在建工地调查，中心城市简房漏棚调查，施工占路情况，露天停车场调查，垃圾堆场的空间分布、污水治理和改造工程的补充论证，以及为建厂规划或改造提供影像资料等。