下一代公共安全视频监控系统的大数据分析

颜志国，徐　峥，梅　林，胡传平（公安部第三研究所物联网技术研发中心，上海201204）

·研究简报·

下一代公共安全视频监控系统的大数据分析

颜志国，徐峥，梅林，胡传平
（公安部第三研究所物联网技术研发中心，上海201204）

视频监控因其可以提供丰富的、直观的以及精确的信息而成为主要的监控工具.然而，随着视频监控系统在世界各地的大规模建设，由于一些诸如“有用信息和线索不能及时从视频大数据中被发现”的问题，降低了犯罪预测和公共安全治理的检测效率.各类公共安全信息系统被用于交通事故治理、犯罪事件和恐怖事件的预测.但是，大规模的系统冗余建设导致了“IT资源”和“信息过载”的巨大浪费.为了解决上述问题，如大数据、云计算和虚拟化技术已被广泛应用于公共安全行业.采用“前+后”的模式，为下一代公安系统提出了一种新的架构.在该架构下，介绍了云计算技术如分布式存储和计算、巨大的异构数据的检索，并且提出了多个优化策略，提高了资源的利用率和任务的完成效率.

大数据；公共安全；数据检索；视频监控系统；视频结构化描述

近期全球恐怖主义和犯罪事件频繁发生，各国政府和公安部门对公共安全、交通事故、犯罪预测以及其他突发事件的应对引起极大关注.在云计算［1-2］、物联网［3-4］、大数据［5-6］技术的支撑下，视频监控因其可以提供丰富的、直观的以及精确的信息而成为主要的监控工具.大量的视频监控系统已建立于世界各地.截至2013年，中国已经建立了超过2 300万视频监控摄像头，其中300万被用于公安领域，视频监控因其“4V”（volume，variety，velocity，value，即海量、多样、高速、价值）特性，正进入大数据研究领域［7-9］.视频数据有着非常巨大的容积，以一个建立了成千上万台摄像头的城市为例，每台摄像头每天收集约24～48 GB的高清视频，而且数据收集涉及多媒体、图像和其他非结构化数据等各种不同的数据格式［10］.此外，有价值的数据仅包含在几帧被称为“关键帧”的海量视频数据中.而关键问题是如何在计算机上提高大量原始视频的处理速度，从而提高警方和用户对犯罪的预测和侦查效率.更重要的是，大量的公共安全信息系统的建立，对交通事故的治理、犯罪事件和恐怖事件的预测起到重要作用.然而一系列问题也出现了，一方面是冗余的系统建设导致了资源的巨大浪费，如视频监控系统在全国各地都建立了独立的软件和硬件；另一方面，体量巨大的视频数据的共享上传给网络带宽带来了巨大的压力，由此导致了海量视频资源长期闲置而无法得到有效的信息提取，即数据资源“僵尸化”.

为了解决上述问题，知识挖掘、推理、模式识别、云计算等技术在下一代视频监控系统中得到了广泛应用［11］，这些应用能够协助警方从大量数据中发现有价值的信息并预测犯罪.中国模式识别国家重点实验室开发了分布式视频监控系统［12］，该系统适用于发现异常行为和交通违法行为及其模式识别.中国台湾工业技术研究所建立了监控视频分析中心，构建了“云智能视频分析与检索系统”，提供视频检索和其他视频分析服务，以协助警方有效地发现犯罪行为.太平洋西北国家实验室成立了国家可视化和可视化分析技术和工具，分析中心提供视频分析工具（参见vis.pnnl.gov）.英国Advisor项目（数字视频的智能监控和优化检索项目）可以估算地铁及其周围的人群密度，分析人的行为，并预测潜在的危险和早期犯罪.IBM开发的基于自动事件检测和分布式技术的“智能视觉套件”，被应用于大型系统的部署和互联网业务.

美国犹他州的数据中心具有Yotta字节的大规模存储能力，已收集了各种各样的信息，包括个人电子邮件、电话、停车场收益、旅行计划、购物记录和其他记录（参见www.nsa.gov）. Boundless Informant项目研发了一种云平台，该平台可以分析通过有线和无线网络、卫星等渠道传输的如电话、金融等信息，实现了对全球金融消费的实时监控和网络监控（参见www.nsa.gov1.info/dni/boundless-informant.html）.美国国家安全局开发了一种数据存储软件Accumulo，并在2011年作为开源项目提交给了Apache（参见www.accumulo.apache.org）.基于谷歌的BigTable数据模型，将结构化和非结构化数据以分布式KV格式存储，使得数据库的安全性、可扩展性和速度得以增强.2014年，山东省建立了公安云平台（参见www.prnasia.com），该平台提供如云搜索、云视频监控等应用，每天可以从各种公共安全和其他社会信息系统中获取146种数据，使得结构化数据上升到了6亿条，该平台对大规模数据具有较强的计算和存储能力.

1　问题描述

公共安全管理、交通事故、恐怖事件预测等信息系统的冗余创建带来了一系列问题.

（1）系统的冗余创建造成了IT资源的极大浪费.在城镇的各个地方都建立如视频监控系统这类具有独立软件和硬件的公安监控系统，不仅造成了巨大的资源浪费，还很难在没有整合分布式数据的统一平台下发现支持犯罪预测的深层信息和复杂内容.

（2）数据收集内容包括视频、音频、文本和其他非结构化、结构化数据.为了有效进行数据计算和存储，有必要运用基于云计算技术的统一体系架构和优化策略进行存储、管理和处理.

监控视频数据具有的4V特性，即容积大、数据格式多样、单一文件价值低、处理速度慢，导致一些问题的出现，特别是在警方犯罪侦查和公共安全管理方面.

（1）小型视频分析技术被用于识别车辆信息（车牌、标志和色彩等）和一些简单的应用，但是从海量视频数据中预测犯罪和发现线索大多依赖人为检测，而且很难通过计算机发现深层信息和复杂内容，也缺乏对分析内容的规范化描述.

（2）由于缺乏有效的资源管理和组织，大量的用于计算和存储的资源在分析和处理视频大数据时不能被高效利用.

（3）在没有警务数据库的情况下，很难从大量数据中挖掘更为复杂的关系和更深的语义，也没必要要求警方提供可能的信息、线索和案件发展趋势.

图1　下一代视频监控系统框架Fig.1　Framework of the next generation video surveillance system

2　基于大数据框架的下一代视频监控系统

本研究提出了一种新的框架，用以展示如何对大量视频数据进行处理、组织、管理和存储.如图1所示，下一代视频监控系统框架有3个部分：①采用视频智能分析（物体检测、目标跟踪、行为分析和事件分析）和视频结构化描述（video structurized description，VSD）［13］从大规模视频数据中发现有价值的信息（人、车、可疑的行为），然后进行标准化描述.图2对视频结构化描述原理及其具体实现机理进行了进一步的描述.②构建一个警务数据库用于数据挖掘、信息描述、知识推理等，也能够为犯罪预测提供真实的案例.③虚拟化和云计算为上述技术提供了高效的计算环境，并且为不同类型的结构化和非结构化数据提供了存储环境.

图2　视频结构化描述原理及其实现Fig.2　Principle and realization of VSD

视频智能分析和结构化描述被用于处理原始视频，处理结果是包含人、车的一些数据帧，以及对其运用标准格式的结构化描述.所有数据都采用统一标准的格式进行封装，并传送到分布式云平台，该云平台提供了高效的存储和计算能力.由于带宽有限，本研究采用“前+后”模式，即在摄像机中运用简单的视频分析算法，并将结果发送给“云”，用以支持更复杂的计算和应用，从而避免因大规模视频大数据造成的网络拥塞.

知识数据库可以按照如下步骤建立：首先，知识收集，即收集和分析现存的案例、政策及法规，并作为知识库样本集；其次，知识发现，从收集的案例和规则中运用机器学习，如支持向量机（support vector machine，SVM）或专家指导等方法进行挖掘、聚类，分析得到主要知识；最后，知识表示，应该用统一的格式如RDFS，OWL和SWRL对主要的知识和规则进行表示，并存储于知识库和模型库中，用于支持训练模型、语义检索、推理及犯罪预测.

对于诸如视频内容分析、语义建模和推理，应用MapReduce，Spark，Storm以及其他分布式处理任务模型处理相关任务.以视频检索为例，采用MapReduce支持该任务，其中的关键点是用视频中的时间表示将视频中的数据分成不同的部分，然后同时执行所有任务.另外，为了提高数据存储的有效性、优化存储管理，以及满足最终用户的不同要求，在视频分析、处理和检索阶段，结构化描述数据、图像和视频数据将被分类，并采用虚拟化技术支持IT资源整合和优化利用.

3　下一代视频监控系统的大数据分析

本研究为下一代公共安全系统提供了一个云平台架构，用于展示如何处理、组织、管理和存储大规模异构数据（见图3）.

图3　用于下一代公共安全系统的“前+后”云平台框架Fig.3“Front+back”cloud platform for the next generation public security system

由于带宽有限，本研究采用了“前+后”的模式，即视频、音频和其他非结构和结构化数据从感知器（如摄像头）中收集，然后将结果进行统一的标准格式封装，并传送到“后”的数据中心，该中心具有较强的存储和计算能力，能够支持更复杂的计算和应用.“前+后”模式可以在“前”数据预处理之后避免因分布式异构数据引起网络拥塞.此外，基于云计算和虚拟化技术，云中心可以实现多信息的资源整合，并为如数据挖掘和语义推理的多数据分析和应用提供统一的计算和存储环境.

以视频监控系统为例，从摄像头中搜集视频数据，其中嵌入基于ARM的处理设备，用以进行一些诸如视频编码、车牌识别，以及语义描述下的颜色识别等预处理，处理结果包括图片和结构化描述，并以标准格式转移到后台，原始的视频数据被存储到数据库部署下的近镜头中.云中心为公安部门提供了一些支持深度应用分析的资源.从公共安全系统中收集的数据是非常巨大的和异构的，这将给数据的有效存储和组织、快速检索和计算带来巨大挑战.诸如虚拟化、分布式存储和计算等云计算技术可用来解决这些问题.

在目前的信息系统中，数据检索技术是数据访问、数据分析等应用的基础.数据检索可分为3种类型：结构化数据检索、图片和文本以及其他非结构化数据检索和语义检索，这3种检索结果都是与知识库数据库关联的推理方法.

实际应用中需要采用一些策略以提高数据检索效率和可用性.对于大规模结构化数据检索，分布式并行数据库系统和查询优化技术一直备受关注并得到应用.为了检索非结构化数据和高维数据，在特征提取和索引结构过程中采用降维技术，并且上述处理和任务可以在分布式计算框架下运行.

从公安系统和传感器收集到的数据包括结构化数据、视频、音频、图像、网页和其他非结构化数据，以及从数据处理和计算结构中得到的数据都是异构的.采用有效的策略来存储和组织这些数据，从而有效地在不同领域支持数据分析、数据检索和其他计算任务是非常关键和必要的.

对于结构化数据，采用并行数据库并且根据数据访问的频率和特点，对各种应用程序的访问频率和特征进行优化，可以满足统计、检索、分析和可视化等应用.同时，对于分析应用，数据可以存储在关系数据库以及NoSQL数据库中，如Hbase通过列可以将数据存储于分布式文件系统（如HDFS和GPFS等）中，以便其他计算模型能够快速、高效地访问数据.

4　应用实例

目前，在各地公安业务系统中，基于大数据技术的安防监控视频深度处置及信息聚合需求已经对业务平台升级提出了迫切要求.以云计算架构为基础，以视频智慧分析功能前端化为契机，结合高清视频监控专网的建设推广以及H.265编码规范的应用，标志着大数据架构下的视频安防监控系统的革命性变革蓄势待发.

公安部第三研究所精准把握大数据时代视频监控系统的发展趋势，于2012年在上海牵头成立了新一代视频监控产业技术创新战略联盟.该联盟自成立以来，立足于大数据安防理念，积极推广新一代视频监控技术，针对典型安防监控场景，在警务知识库建设、海量多源异构视频数据结构化描述以及智能视频检索引擎建设方面进行了大量的研发工作，一些研发成果已经开始在公安一线进行实战部署.

从最早的四川成都双流视频结构化描述系统的试点应用以来，近几年公安部第三研究所先后和江苏、安徽、江西、陕西等省厅达成战略合作关系，以全新的大数据架构下的视频结构化描述系统全面提升各地公安视频监控系统效能.

随着大数据分析技术和视频结构化描述技术的进一步融合，未来公共安全视频监控系统必将迎来更智能、更敏捷、更兼蓄的应用前景.

5　总结与展望

本研究为下一代公共安全系统提出了一个新的架构，采用了“前+后”模式来解决当前公安信息系统的冗余建设所带来的问题，实现了资源整合，为数据挖掘、语义推理等复杂的数据分析和应用提供了统一的计算和存储环境.在此架构下，介绍了云计算技术，如分布式存储和计算，以及大数据和异构数据的数据检索.同时提供了多种优化策略以提高资源和任务的使用效率.

然而，依然存在一些其他问题，例如呈现给用户的服务方式还不能满足公安部门的常规检测和应用.在检测期间，将犯罪预测和可视化方法相结合对用户来说是非常必要的.这些尚未解决的问题值得进一步研究和探讨.

［1］LIU Y，ZHANG Q，NI L.Opportunity-based topology control in wireless sensor networks［J］. IEEE Transactions on Parallel and Distributed Systems（IEEE TPDS），2010，21（3）：405-416.

［2］LIU Y H，ZHU Y M，NI L M，et al.A reliability-oriented transmission service in wireless sensor networks［J］.IEEE Transactions on Parallel and Distributed Systems（IEEE TPDS），2011，22（12）：2100-2107.

［3］HU C，LIU Y，CHEN L.Semantic link network based model for organizing multimedia big data［J］.IEEE Transactions on Emerging Topics in Computing，2014，2（3）：376-387.

［4］LUO X，XU Z，YU J.Building association link network for semantic link on web resources［J］. IEEE Transactions on Automation Science and Engineering，2011，8（3）：482-494.

［5］XU Z，LUO X，ZHANG S.Mining temporal explicit and implicit semantic relations between entities using web search engines［J］.Future Generation Computer Systems，2014，37：468-477.

［6］XU Z，WEI X，LUO X.A semantic link network based system for organizing large scale online news events［J］.Future Generation Computer Systems，2015，43/44：40-50.

［7］高冠东.基于大数据平台的智能监控技术应用［J］.科技视界，2015（2）：72-73.

［8］孟祥广.大数据时代和智能视频分析技术［J］.中国安防，2013（12）：43-47.

［9］粟杰.浅析视频智能分析与大数据、云计算的关系［J］.中国安防，2014（10）：29-32.

［10］梅林，王钧.物联网技术及其在公安信息化中的应用［J］.广东公安科技，2015（1）：1-6.

［11］胡传平.智能视频分析检索助力大数据的实现［J］.中国公共安全，2015（8）：68-71.

［12］ZHANG T，LIU S，XU C.Mining semantic context information for intelligent video surveillance of traffic scenes industrial informatics［J］.IEEE Transactions on Industrial Informatics，2012，9（1）：149-160.

［13］颜志国，梅林，蔡烜.视频结构化描述技术在视频监控领域的深度应用［C］//2013年全国博士后学术论坛论文集.2013：220-224.

Big data analysis of next generation video surveillance system for public security

YAN Zhiguo，XU Zheng，MEI Lin，HU Chuanping
（Research and Development Department of CPS，Third Research Institute of Ministry of Public Security，Shanghai 201204，China）

Video surveillance has become an important tool due to its rich，intuitive and accurate information.However，with the large-scale construction of video surveillance systems all over the world，useful information and clues cannot be found immediately from the huge video data.The problem affects detection efficiency in crime prediction and public security governance.A great variety of public security information systems have been built for management of traffic accidents，and prediction of criminal events and terrorist attacks. However，large redundant construction of systems leads to great waste of IT resource and information overload.Technologies such as big data，cloud computing and virtualization have been applied in the public security industry to solve these problems.This paper describes a novel architecture for the next generation public security system in which a front-plus-back pattern is used.In the architecture，cloud technologies such as distributed storage and computing，data retrieval of huge and heterogeneous data are introduced. Multiple optimized strategies are proposed to enhance resources utilization and efficiency of tasks.

big data；public security；date retrieval；video surveillance system；video structurized description

TP 399

A

1007-2861（2016）01-0081-07

10.3969/j.issn.1007-2861.2015.04.015

2015-11-30

国家科技重大专项资助项目（2013ZX01033002-003）； 国家高技术研究发展计划（863计划）资助项目（2013AA014601）； 国家自然科学基金资助项目（61300202， 61300028）； 公安部资助项目（2014JSYJB009）；中国博士后科学基金资助项目（2014M560085）；上海市自然科学基金资助项目（13ZR1452900）；上海市经信委产业联盟资助项目（GA12-09）

梅林（1972—），男，研究员，研究方向为视频结构化描述技术体系.E-mail:13524514531@126.com