安防大数据下的分布式云计算模型*

仵 博，冯延蓬，孟宪军，江建举，何国坤

（深圳职业技术学院 教育技术与信息中心，广东 深圳 518055)

在安防领域，信息孤岛问题突出．在一座城市，有公安部门安装的摄像监控设备，也有各个单位安装的摄像监控设备．这些设备或系统产生的监控数据难于实现互联互通，造成信息孤岛现象，“只见树木，不见森林”．近年来，以云计算和物联网为核心的智慧城市建设提出大安防概念[1]，试图将这些孤立的视频信息集成在一起，从而实现联网和共享．然而，视频信息数据量巨大，造成通信带宽的巨大消耗．

在安防视频监控领域，随着高清监控时代的到来，产生了越来越多的海量视频数据，是一种典型的大数据．如何以较小的通信代价实现安防大数据的互联互通，并具有较高的扩展弹性和易于实施的特点，是目前安防大数据的挑战难题．针对这一挑战难题，本文提出一种基于大数据的分布式云计算模型．

1 安防大数据

安防大数据具有2个明显的特点：1）数据规模海量化；2）数据类型非结构化．数据规模海量化造成数据传输和存储的困难，数据类型非结构化为数据利用带来了极大的挑战，为了解决这些难题需要大数据．IDC将大数据视为一个融合的体系：具备大规模的体量（Volumes）、多样化的种类（Variety）的数据集以及对这种数据集进行高速（Velocity）采集、处理与分析以提取价值（Value）的技术架构与技术过程[2]．

Hadoop技术正是在此背景下诞生，历经数年的积累，Hadoop已成长为一个强大的生态系统，成为IT领域广泛采用的大数据模型框架．Hadoop主要由分布式文件系统（HDFS）、并行计算架构（MapReduce）和分布式数据库（HBase）组成．其中，HDFS是针对大规模数据的高容错性和高吞吐的分布式文件系统，它可以构建从几台到几千台由常规服务器组成的集群中，并提供高聚合输入输出的文件读写访问．HBase是一个分布式的、按列存储的、多维表结构的实时分布式数据库，它可以提供大数据量架构化和非结构化数据高速读写操作，为高速在线数据服务而设计．MapReduce适用于大数据量处理的分布式框架，是为离线数据分析而设计，利用数据的并行性进行分布运算，而后汇总结果的计算框架[3]．

2 基于大数据的分布式云计算模型

大数据已在安防领域初步取得成功的应用，例如纽约市警察局与微软合作推出了基于大数据的犯罪预防与反恐技术：领域感知系统（Domain Awareness System，简称DAS）．该系统能快速混合与分析从约三千台闭路摄像机、9·11呼叫记录、车牌识别器、辐射传感器以及历史犯罪记录中获取的实时数据．目前纽约市警察局已能追踪机动车，并确定此车在过去几天甚至几个星期的所到之处；还能快速访问犯罪嫌疑人的逮捕记录以及所有特定案件的9·11呼叫记录，将犯罪记录以时间先后顺序按地理空间技术映射出来，以揭示犯罪模式[3]．

虽然大数据在 DAS中得到成功应用，但是DAS的范围还很有限．首先，存在信息孤岛现象，各个单位和小区独立的摄像系统还有充分利用，造成感知出现死角．其次，集中式的计算和存储造成通信成本高、难于管理．为此，本文提出一种基于大数据的分布式云计算模型，其示意模型如图1所示．

在基于大数据的分布式云计算模型中，域结点是一个全局结点，负责任务的派发和信息的整合．子域结点为局部结点，负责从域结点接收任务．终端结点即为具体的摄像头，负责实时传送信息．以某城市为例，假如该城市欲将某高校纳入其安防大数据范围，而该高校又有三个校区．则域结点为该城市安防大数据的控制中心，第一层子域结点为该高校的主控中心，该高校三个校区的控制中心都为第二层子域结点，每个校区的监控设备为终端结点．基于大数据的分布式云计算模型具有以下优势：

1）扩展弹性高．域结点与子域结点之间只需光纤连接起来，就可以实现对监控范围扩展．

2）通信带宽低．由于子域结点具有自己的计算和存储能力，根据域结点的任务指令，子域结点只需将计算后的视频信息片段发送到域结点，从而降低通信带宽．

3）易于实施．域结点与子域结点连接后，只需在子域结点处安装相应的软件系统，即可实现互联互通，子域结点的现有系统结构无需改变，避免重复建设，节省建设成本．

图1 基于大数据的分布式云计算模型

3 域（子域）结点系统架构

域（子域）结点的系统架构采用Hadoop技术[5]，由安防信息决策系统、分布式数据处理系统（MapReduce）、海量数据分布式存储系统和分布式数据处理结点组成，如图2所示．域（子域）结点系统的功能主要包括[6]：

1）统一指挥布控．对接入系统分布式网络的视频数据监控节点分层次集中统一管理．每个管理子节点都能够有效监控其管辖下的所有监控视频以进行分析处理预警，并能够将相关处理后的特征信息反馈到上一级节点进行汇总，避免监控数据孤岛现象．同时也能接受主节点下发的监控指令，对视频内容进行在线处理，以识别出指令特征所描述的人物及场景进行预警并上报．

2）物体追踪．根据物体的运动情况，自动发送相应控制指令，控制摄像头自动跟踪物体．如果物体超出该摄像机监控范围，能自动通知物体所在区域其它摄像头继续进行追踪．

3）人的面相、步态等识别．自动对人脸和人的步态特征进行识别，可以用来帮助识别和验证是否为指定人物的身份．

4）车辆识别．识别车辆的形状、颜色、车牌号码等特征，可用于监控指定车辆的追踪．

图2 基于云计算的大数据安防监控系统架构

5）非法滞留的判别．对人或物体在敏感区域停留的时间超过了预定义的时间长度时产生报警．

6）治安事件的监测．指定范围内人的行为特征是否符合某一个性行为模式，用以实时监控预警治安事件．

4 讨 论

本文为解决安防领域中的信息孤岛问题，提出一种分布式云计算模型，该模型具有扩展弹性高、通信带宽低和易于实施等特点．应用是大数据的生命和价值所在，解决信息孤岛问题是大数据应用的前提．在安防大数据领域，有众多应用可以开发，例如犯罪嫌疑人跟踪、犯罪和群体事件预防、老人小孩失踪寻找、车辆跟踪以及交通堵塞疏导等等．这些应用都与人们日常生活和安全密切相关，安防大数据为解决这些问题提供了一种有效手段．但是，安防大数据的基础应用理论尚需进一步的创新研究，特别是需在模式识别[7,8]、数据挖掘[9-11]、机器学习[12-15]和智能决策[15-18]等关键技术瓶颈上取得突破．只有这些根本性的问题得到解决，安防大数据才能真正得到应用．

[1] 杨金才．物联网成就大安防[J]．中国公共安全（综合版），2012，3：30-31．

[2] 周林．中国互联网市场洞见：互联网大数据技术创新研究[EB/OL]．（2012-05-24）[2013-10-11]．http://www.idc.com/getdoc.jsp?containerId=CH1749312 U．

[3] 成静静．基于Hadoop的分布式云计算/云存储方案的研究与设计[J]．数据通信，2005，5：14-18．

[4] 钟鑫，逯永超．国外警方研究利用“大数据”预防打击犯罪[EB/OL]．（2013-04-09）[2013-10-11]．http://211.103.209.164/news/show.aspx?showid=4248．

[5] Durut M. Clustering Algorithms distributed over a Cloud Computing Platform[D]．Paris : TELECOM ParisTech, 2012：83-117．

[6] 建新．智能视频监控技术的演变对比及主要优势[J]．金卡工程，2006，4：69-71．

[7] Lee D D, Seung H S. Learning the parts of objects by non-negative matrix factorization[J]．Nature, 1999，401：788-791．

[8] Tenenbaum J B, Silva V D, Langford J C. A global geometric framework for nonlinear dimensionality reduction[J]．Science, 2000，290（5500）：2319-2323．

[9] 孟宪军．互联网文本聚类与检索技术研究[D]．哈尔滨: 哈尔滨工业大学，2009：80-120．

[10] Evans J A, Foster J G. Metaknowledge[J]．Science,2011，331（6018）：721-725．

[11] Frey B J, Dueck D. Clustering by passing messages between data points[J]．Science, 2007，315（5814）：972-976．

[12] Frommberger L, Wolter D. Structural knowledge transfer by spatial abstraction for reinforcement learning agents[J]．Adaptive Behavior, 2010，18（6）：531-539．

[13] Subramanian K, Isbell C, Thomaz A. Learning options through human interaction[C]//Beal J, Knox W B.Proceedings of 2011 IJCAI Workshop on Agents Learning Interactively from Human Teachers. Palo Alto:AAAI Press, 2011：39-45．

[14] 仵博．动态不确定环境下的智能体序贯决策方法及应用研究[D]．长沙：中南大学，2013：60-75．

[15] Bishop C M. Pattern recognition and machine learning[M]．New York：Springer, 2006：55-60．

[16] 冯延蓬，仵博，郑红燕，孟宪军．WSN中一种目标追踪在线节点调度算法[J]．计算机工程，2012，38（11）：96-99．

[17] Wu F, Zilberstein S, Chen X P. Online planning for multi-agent systems with bounded communication[J]．Artificial Intelligence, 2011，175（2）：441-790．

[18] 仵博，吴敏，佘锦华．基于点的POMDPs在线值迭代算法[J]．软件学报，2013，24（1）：25-36．