基于大数据远程视频监控Web显示技术

焦冬冬 尤 颖 贾莉莉

（公安部第三研究所安全防范技术部 上海 200031）

1 大数据时代下的安防监控

全球在2010年正式进入大数据时代，全球数据量大约每两年翻一番，意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。爆炸式增长的数据，正推动人类进入大数据的时代。对于视频监控行业产生的大数据来说，一台1080P高清网络摄像机，速度能够高达每秒 60帧，1.8T的数据就由这样的摄像机一个月产生，如果摄像头数量较多或多系统集成造成数据类型较多，长时间存储的负担一般企业难以承担。存储压力剧增，一方面对于存储服务器的承载能力要求很高，除了有能力存储大量的数据之外，还要面对更多的数据类型，这些数据的来源包括网上交易、网络社交活动、自动传感器、移动设备以及科学仪器等等。另一方面对于数据管理尤为重要，数据永远都在增长之中，当有需求去寻找某一段监控片段的时，必须与智能检索与智能分析技术相结合，才能更有效的攫取，成本也会相应提高很多。

如果网络长时间不佳，排队机制的队伍会很长，影响Web端视频显示的实时性。当采用丢包的方式，虽然从实时显示的角度看，提高了用户的实时显示的体验度，当用户需要录像回放的时候，有些重要的信息就没有记录，因为无法判断哪些应该丢的包数据。基于大数据远程视频监控Web显示技术，利用多地视频存储设备和平台中心组成集散存储中心，利用Hadoop集散数据分析，在Web端远程实时显示最佳视频。

2 视频监控显示技术Web应用

基于大数据远程视频监控Web显示技术，结合视频监控业务特点，引入 Hadoop的架构，以顶层设计的视角来构建面向大数据视频监控架构：数据源层、大数据存储层、大数据计算层、业务及管理层。

数据源层，包括实时数据和非实时数据。实时数据指 IPC和传感器产生的实时流媒体数据。非实时数据指从DVR、编码器、第三方系统导入的媒体数据，存储本地服务器。

大数据存储层，采用了HDFS和HBASE技术，实现数据低成本、高可靠的管理。把采集的视频流保存在HDFS集群内，通过HBase建立访问的索引。把传统NVR和专用存储进行重构，把异地的存储大数据和数据中心组成集群平台的方式组成云平台，纳入到整体的分布式文件系统中来。

大数据计算层，实现智能分析和数据挖掘。通过MapReduce把对大视频的分析进行分解，充分利用闲置异地资源，把计算任务交由多台服务器进行并行计算分析，另外一方面，根据智能分析产生的视频元数据，通过Hive挖掘视频元数据的价值信息。

业务及管理层，实现设备和业务管理。基于异地存储设备和数据中心组成的服务器集群，可以保证业务系统的无故障运营，基于大数据网络诊断分析实现对摄像头等设备的监管，达到远程视频监控的Web实时显示。

当网络传输数据到云平台出现大量并发加上网络状态不佳出现传输瓶颈。Web远程客户端直接连接IPC保证显示的实时性，然后视频高清数据存储于本地，同时采取分层分段传输到最佳网络云平台服务器，或者到网络空闲时传入云平台存储，云平台对后传入的录像按录像时间进行一系列的拼接整合，给用户的体验是一段完整的视频录像数据。当云平台存储到Web远程客户端出现网络传输瓶颈，摄像机的数据虽然能实时传入云平台，但是Web远程客户端不能实时显示数据。此时云平台对实时数据源进行处理压缩和前一帧进行比对算法，采用异步更新、局部替代的方式保证Web远程客户端的显示实时性，最慢以图片的方式显示。同时采用主动推送的方式推送到Web远程客户端，从而减轻了浏览器的主动请求压力，避免Web浏览器不必要的资源消耗，降低浏览器假死现象。提高用户的体验度。

实时大数据显示的分段优化比较方法，IPC感知层把大数据传输到持久层，持久层的大数据分析比对在研判层，经过研判层的分段优化比较，推送到响应层Web服务器，最后传输到交互层web远程客户端，可参考图1实时大数据分段优化对比。所述的研判层分段优化比较包括以下步骤：

a.持久层向研判层传输，控制当前推送的实时大数据；

b.持久层等待响应层反馈消息；

c.判断响应当前控制的实时大数据，若没有响应，判断是否超时，若超时，执行步骤a，若没有超时执行步骤b；若有响应，执行步骤d；

d.分段优化比较，修正成最优大数据；

e.显示当前的大数据是否完毕，若显示完毕，结束；若没有显示完毕，待优化的大数据片段继续执行步骤d；

上述研判层包括控制层、分段比较算法、优化算法，响应层包括web服务器和视频服务器等，持久层是大数据云平台存放。

图1 实时大数据显示的分段优化比对流程

此优化机制只要采用实时大数据显示的分段对比优化，实现远程监控的实时性不可或缺，保障后期的回看获得高清晰流畅画面的质量。在传统的安防远程监控系统中，数据传递的流程：先数据获取或者直接丢包，采用一些机制达到低时延、高并发的交易、高度灵活的数据结构；然后进行数据传输；最后对数据进行梳理，进行一些深度分析，保证视频传输。

3 结束语

基于大数据远程视频监控 Web显示技术的发展由于环境因素影响，如由于实际环境中光照变化、目标运动复杂性、遮挡、目标与背景颜色相似、杂乱背景等都会增加分段优化比对的分析与Web浏览器的响应欺骗。现在网络传输连续性中断造成视频数据丢失，一些历史工程改造，对系统进行二次或者多次的长周期的开发、部署、升级也是问题，大数据远程视频监控Web显示技术是安防行业发展热点和难点。基于大数据远程视频监控Web显示技术能更快更广泛地应用于金融、交通等各个领域中，普及到人们的日常生活当中，给人们的工作和生活带来安全保障。高清化、网络化和智能化的安防行业在新的纪元中，虽然会面临这样那样的问题，但是我相信随着云计算、大数据应用和HTML5等技术的成熟和完善，基于大数据远程视频监控Web显示技术必定会更广范围的应用，势必加快安防行高速发展，降低集成商的集成维护升级成本，降低旧工程改造成本，最大化利用已有的资源，同时为用户提供更好的的实时体验。Web端的实时显示可以达到跨平台、跨终端，在 4G网络的越来越普及的环境下，基于大数据远程视频监控Web显示技术在移动端依然同样可以获得广泛的应用。

[1]胡传平，梅林.视频监控如何应对深度应用的挑战.人民公安报，2012，12，27（4）：581-589.

[2]Zhe Sun，Jun Shen，Jianming Yong.Integrated Computer-Aided Engineering，2013，20（1）.

[3]Dalman，T.，Drnemann，T. Juhnke，E. e.g Cloud MapReduce for Monte Carlo bootstrap applied to Metabolic Flux Analysis Future generations computer systems.

[4]Leu，J.-S，Yee，Y.-S，Chen，W.-L.Comparison of Map-Reduce and SQL on large-scale data processing.Journal of the Chinese Institute of Engineers.

[5]Kathleen Ericson，Shrideep Pallickara.On the performance of high dimensional data clustering and classification algorithms.Future generations computer systems.

[6]Cui Jie，Li Taoshen，Lan Hongxing.Design and Development of the Mass Data Storage Platform Based on Hadoop.Journal of Computer Research and Development，2012，49（z1）.（崔杰，李陶深，兰红星.基于Hadoop的海量数据存储平台设计与开发.计算机研究与发展，2012，49（z1））.

[7]XIAO Qin-yu.Key techniques about video surveillance based on intelligent video.Manufacturing Automation，2012，34（12）.（肖沁雨.智能视频监控关键技术分析.制造业自动化，2012，34（12））.

[8]Lu Jiyuan，Huang Chenghui，Hou Fang，Li Bin.Image Classification and Annotation Based on Hadoop Cloud Computing Platform.Telecommunications Science，2014，30（2）.（陆寄远，黄承慧，侯昉，李斌.基于Hadoop云计算平台的图像分类与标注.电信科学，2014，30（2））.

[9]彭俊.基于内容的图像分布式处理平台的设计与实现[硕士学位论文].华中科技大学：2013.

[10]LIU Min-xian，MA Qiang.Research of web real-time recommendation model based on mixed.Computer Engineering and Design，2011，32（10）.（刘敏娴，马强.基于混合型的Web实时推荐模型研究.计算机工程与设计，2011，32（10））.