基于ARM11的高清网络实时监控系统

刘伟杰 李博

摘 要： 针对高清远程监控带来传输带宽增加的压力和时延、保存监控视频的周期短的问题，设计一种基于ARM11的高清网络实时监控系统。采用USB摄像头基于V4L2接口采集图像，结合H.265视频编解码技术，以RTP协议打包封装H.265视频码流经网络传输到Web服务器，利用CGI，JavaScript技术实现多种智能终端登录浏览器显示监控画面，在此基础上实现在LCD终端实时显示监控画面。经测试，该监控系统画面清晰无抖动，网络延时在500 ms以内，视频压缩比在130左右，满足高清视频监控数据的存储。

关键词： ARM11; V4L2接口; 网络实时监控; RTP协议; Web服务器; LCD终端

中图分类号： TN949.197?34 文献标识码： A 文章编号： 1004?373X（2018）12?0047?05

Abstract： In allusion to the problems of pressure and delay caused by transmission bandwidth increase， and short period of stored monitoring videos in high?definition remote monitoring， a real?time monitoring system for high?definition network based on ARM11 is designed. The USB camera is used to collect images on the basis of V4L2 interface. By combining with the H.265 video codec technology， the H.265 video code streams are packaged and encapsulated by using the RTP protocol， and transmitted to the Web server via network. The CGI and JavaScript technologies are used to realize multiple intelligent terminals′ login onto the browser for the display of monitoring screen， and on the basis of which， the real?time display of monitoring screen on the LCD terminal can be realized. The test results show that the monitoring system has clear images without any jitter， network delay within 500 ms， and video compression ratio of about 130， which can meet the storage requirement of monitoring data for high?definition videos.

Keywords： ARM11; V4L2 interface; network real?time monitoring; RTP protocol; Web server; LCD terminal

随着安全性意识逐渐提高，安防监控在公共安全、交通安全和工业生产等各个方面起到至关重要的作用，传统的本地模拟监控已经无法满足重要领域的大范围、远距离监控的需求，网络视频监控以其不受地区、时间限制，在授权的情况下可以随时按需监控，实现即插即用即看，使用方式相当便捷，已经成为监控发展的新趋势。目前网络监控高清已经成为主流，视频编码方面已经由应用广泛H.264标准发展到最新H.265标准，H.265标准是继承H.264的架构并且采用了多种编码的新技术，相比H.264编解码技术H.265能够更好地支持高清视频;同样质量的图像，H265比H.264有20%～40%的码流节省并且压缩视频占用空间是后者的1/3～1/2，而且增加了更多的并行机制和网络传输机制，为高清视频实时传输和实时浏览提供便捷。

伴随着网络监控系统的到来，对监控系统的要求也不断提高，要求实时可靠、经济实用、方便灵活。而嵌入式系统的特点恰好满足以上要求，嵌入式网络监控系统应运而生。本文在嵌入式系统中移植Web boa服务器，搭建网络监控系统应用平台，应用H.265编码技术和RTP网络协议实现视频的采集、编码、发送和实时显示功能。

1 系统设计与实现

1.1 硬件系统设计

本文采用飞凌公司推出的OK6410开发板作为实时视频监控终端。OK6410开发板是以三星公司生产的S3C6410微处理器，ARM1176JZF?S为内核，主频533 MHz/667 MHz，具有64/32位的内部总线，由AXI/AHB/APB总线构成，集成了好多硬件加速器，非常适合音/视频、2D图形、显示运算等运用[1]。S3C6410具有优化的外部存储器接口，256 MB的NOR FLASH，保证程序快速运行，2 GB的NAND FLASH用于启动代码、内核代码、根文件系统和用户程序。开发板包含多种硬件外设，包括USB摄像头接口、24位真彩色LCD控制器、SD卡插座等。硬件系统设计结构图如图1所示。

1.2 软件系统设计

OK6410从S3C6410为主控芯片，基于Linux?2.6.30操作系统，系统软件主要是U?boot，zImage和根文件系统，配置内核相关驱动和网络协议，移植ARM端X265和Web boa应用软件。应用软件部分采用多线程编程，包括视频采集线程、LCD终端显示线程、视频压缩存储线程、网络传输线程。应用软件结构框图如图2所示。

1.2.1 图像采集线程

V4L2[2]是Linux内核中关于视频设备的驱动模块，它为针对视频设备的应用程序提供了一系列的API[3]。V4L2的驱动程序调用流程如图3所示。

在Linux中，视频设备是设备文件，可以像访问普通文件对其进行读/写，驱动程序在/dev/video*目录下，关键代码部分如下[4]。

1） 打开摄像头设备，调用函数fd=open（"/dev/video0"，O_RDWR）第一个参数是视频设备在/dev/目录下的设备名，视频设备以非阻塞方式打开。

2） 检查视频设备支持的标准，调用ioctl（fd，VIDIOC_QUERYSTD，&std）检测到的视频设备支持属性保存到std结构中[5]。

1.2.4 网络传输线程

基于视频监控的实时行要求，网络传输机制选择实时传输协议RTP/RTCP。RTP协议负责传输具有实时特性的音视频文件，其是一个应用层程序，既可以工作在TCP协议上又可以工作在UDP协议上。相对TCP协议，UDP协议传输时延更低并且具有更小的网络开销，选择RTP/UDP协议格式进行视频码流传输。RTCP协议是实时传输控制协议，用于实时监控传输数据，为系统提供拥塞和流控制。RTP协议的组成框架在RFC3550中有详细介绍，每个RTP数据包由固定包头和荷载两部分组成。包头由固定的12个字节构成，荷载就是音视频流。H.265的基本流结构分为二层，包括视频编码层（VCL）和网络适配层（NAL）。VCL为被压缩视频序列，VCL数据要封装NAL中才能用来传输和存储。H.265标准指出，当数据流存储在介质上时，在每个NALU上添加起始码：0x00000001，用来指示一个NALU的起始结束。结合RTP协议和H.265的基本流结构，RTP传输H.265视频码流，最新的RF3894提供了传输H.265媒体流RTP打包的方法。在H.265视频码流中剥离出每个NALU，在每个NALU头前添加RTP包头，添加NALU的数据包到荷载，通过UDP协议网络传输。根据RF3894标准，本文算法流程见图5。

2 实验结果与测试

2.1 系统测试

Web boa服务器主要对网上信息浏览提供服务，支持多端访问。嵌入式boa服务器支持多HTTP连接，同时能够进行远程管理和维护，还能提供公关网管接口（CGI）。客户端通过HTTP协议远程访问boa服务器;服务器通过访问请求判断后，运行相应CGI程序，将数据上传客户端，方便信息交互。实验测试平台采用OK6410开发板。系统启动初始化完成，NFS模式启动内核，开启摄像头，设置采集分辨（1 280×720），运行程序。可在LCD终端看到监控画面，如图6所示。同时浏览器通过服务器IP地址访问服务器，客户端通过JavaScript技术将VLC播放器加载到网页中，客户端点击播放，服务器根据客户端请求运行CGI程序（网络传输线程），可在VLC播放器看到监控画面，如图7所示，图像质量清晰，无抖动。

2.2 动态视频测试

动态图像测试采用手机端精准计时器软件，启动摄像头采集秒表时间，LCD终端显示图像如图8所示，网页客户端显示画面如图9所示，可以观察到监控画面清晰无抖动，对比手机终端计时器时间变化可得到网络延迟在500 ms以内。

2.3 视频压缩比

本次实验视频采集的时间为5 min，视频的输入格式为PAL，帧率为25 f/s，分辨率为1 280×720。计算后可知：未压缩的数据量为11 203.5 MB。硬盘中压缩后的文件的大小为86.18 MB，可以计算得出压缩比为130.4。

3 结 语

本文涉及以ARM11为处理器，Linux为操作系统的嵌入式实时监控系统，重点阐述了V4L2接口，H.265视频编码，RTP协议打包封装。H.265视频码流通过网络传输Web服务器在浏览器加载VLC播放器，实现了视频播放，解决了高清网络监控传输带宽的压力和网络延迟。同时采用LCD终端直接显示监控画面，降低了应用成本。实验结论证明，该系统监控的实时性良好，画质清晰无抖动，符合设计的预期要求，对安防监控有一定的借鉴作用。

参考文献

[1] 成敏，谢杉杉，徐强，等.基于Android的音视频同步交互系统[J].吉林大学学报，2016，34（4）：507?514.

CHENG Min， XIE Shanshan， XU Qiang， et al. Audio and video synchronous system based on Android [J]. Journal of Jilin University， 2016， 34（4）： 507?514.

[2] 陈晓伟，孟利民.基于B/S架构的视频监控音视频模块的设计[J].电声技术，2014，38（6）：77?80.

CHEN Xiaowei， MENG Limin. Design of client software of the video monitor based on B/S structure [J]. Audio engineering， 2014， 38（6）： 77?80.

[3] 王莉，周伟.基于ARM的嵌入式Web服务器设计[J].计算机工程与应用，2012，48（14）：90?93.

WANG Li， ZHOU Wei. Design of embedded Web server based on ARM [J]. Computer engineering and applications， 2012， 48（14）： 90?93.

[4] 许刚.基于ARM11的嵌入式视频采集监控系统设计[J].测控技术，2013，32（12）：37?40.

XU Gang. Design of an embedded video capturing system based on ARM11 [J]. Measurement & control technology， 2013， 32（12）： 37?40.

[5] 胡江涛.安防工程中音视频监控系统的优势与应用[J].自动化与仪器仪表，2017（8）：131?132.

HU Jiangtao. Advantages and applications of audio and video monitoring system in security engineering [J]. Automation & instrumentation， 2017（8）： 131?132.

[6] 廖志川，俞子荣，陈黎娟.基于ARM的移动视频监控终端设计与实现[J].现代电子技术，2012，35（10）：9?11.

LIAO Zhichuan， YU Zirong， CHEN Lijuan. Design of mobile video monitoring terminal based on ARM [J]. Modern electronics technique， 2012， 35（10）： 9?11.

[7] 史凯，雒江涛，张治中.基于RTP的h.264无线视频传输和Qos控制[J].微计算机信息，2009，25（6）：162?164.

SHI Kai， QI Jiangtao， ZHANG Zhizhong. Transmission of H.264 video over wireless networks based on RTP and QoS control [J]. Microcomputer information， 2009， 25（6）： 162?164.

[8] 戎玲，游寒旭.数字视频对讲系统的全程唇音同步测试方法[J].电视技术，2017，41（6）：143?146.

RONG Ling， YOU Hanxu. Lip sync test method for IP video intercom system [J]. Video engineering， 2017， 41（6）： 143?146.

[9] 王开宇.基于C#的数据与视频监控系统上位机软件设计[J].现代电子技术，2017，40（10）：62?64.

WANG Kaiyu. Design of C#?based PC software for data and video monitoring [J]. Modern electronics technique， 2017， 40（10）： 62?64.

[10] 陈岚，鲍可进.基于S3C6410和3G的无线视频传输系统的设计与实现[J].无线通信技术，2014，23（2）：42?46.

CHEN Lan， BAO Kejin. Design and implementation of wireless video transmission system based on S3C6410 and 3G [J]. Wireless communication technology， 2014， 23（2）： 42?46.