高清存储在安防大数据时代的应用

文/本刊记者 何遥

安防大数据的特征及现状

安防大数据的特征可以从四个方面去衡量，即四个V：variety（数据的多样性），velocity（数据的速度），volume（数据的体量），value（数据的价值）。

钱亚欧：作为信息时代海量数据的来源之一，安防视频监控产生了巨大的信息数据。特别是近几年随着平安城市、智能交通、智能建筑等行业的快速发展，大集成、大联网推动安防行业进入大数据时代。安防行业大数据的存在已经被越来越多的人熟知，特别是安防行业海量的非结构化视频数据，以及飞速增长的特征数据（卡口过车数据、人像抓拍数据、异常行为数据等），带动了大数据的存储、管理、分析等一系列问题，吸引着更多人的关注。

安防大数据时代最显著的特征就是数据共享，提高数据处理能力。安防行业的大数据以视频监控为主，视频监控数据有两个方面的内涵——海量和非结构化。视频监控数据量规模庞大，并且随着高清化、超高清化的趋势加强，视频监控数据规模将以更快的指数级别增长；与通常讲的结构化数据不同，视频监控业务产生的数据绝大多数以非结构化的数据为主，这给传统的数据管理和使用机制带来了极大的挑战。

与科学计算、互联网相比，视频监控的大数据处理难度尤大，首先，视频录像是更原始的非文本非结构化的数据，必须经过复杂繁重的分析处理才能提取出文本结构化的数据进行下一步处理；其次视频录像相对其它形式数据的容量要大几个数量级，对传输、存储和计算的带宽要求更大。

刘祥涛：安防大数据的特征：首先是数据类型比较多样化，包括视频的数据，类似公安执法的，还有一些图片的数据，拍的一些照片，执法现场也会录一些信息。第二个特征是数据的增长速度非常快，一个城市的安防数据来源，它可能有固定的摄像头，也有公安民警这种执法终端所产生的数据，那么在一个城市里面，它的点数就非常多，所以产生数据速度非常快，每天的数据是以几十个GB或者几百个GB为量来统计的。第三个特征就是体量非常大。第四，数据本身的价值。当然，目前只是用这些数据来做一些视频的检索，一旦涉及到人工智能的东西，比如说安防的嫌犯跟踪、监测，目前来说做得还不够，这个方面还需要去加强。

安防大数据的发展现状非常不错。全国铺天盖地地建设安防系统，包括摄像头、各种监控点的布控，以及移动执法终端在各个地区都在增加，这里面的市场空间很大，现在很多省的移动执法终端的布控还只是做了一期，后面还将有二期、三期将会实施，还有一些比较小的城市也将要开始这样的安防布控。

大数据的应用可以分为五个层次。

第一就要注重采集。安防数据的采集，目前虽然形成了一定的广度，但是深度还不够，必须做得更深、更广一些。

第二个层面是采集到的数据必须传到某一个数据中心去。现在很多摄像头的监控数据，只是在前端进行处理。它有很多前端服务器，包括视频监控这一块，它是把数据放在前端这个位置，为什么这么放是因为网络带宽受限，传输这个层面的速度是不够的。

第三个层面是数据的存储，国内还很少有真正运用云和大数据技术去存储相关视频和安防数据的例子。

第四个层面是数据的分析和处理。真正的数据分析和挖掘又分为三个层次：分析和统计；充分的挖掘，就像挖矿一样；预测，比如说，美国有个嫌犯，他在第一个店铺买了一个面俱，在第二个店铺买了一个手枪，第三个地方买了另外一个东西，然后他到了银行门口企图抢劫的时候，警察出现了，这就是预测，我可以预知你这个人未来要干什么。在这几个层次里，国内主要做了数据分析这一层，其他的层次有待发展。

最后是数据可视化，怎样呈现这些数据。目前安防可视化这一块基本上还没有，现在只是一些简单的统计报表的一些可视化。所以这里面存在很大的空间，我们可以通过应用最新的技术，包括云计算和大数据的技术，来提升中国安防的现状。

程岳寅：盘点近几年的IT领域热门词汇：大数据、云计算、虚拟化、云存储、云服务等，几乎贯穿到所有信息技术领域的产品推广、解决方案和系统规划中。这意味着未来信息领域发展和建设的大时代——云时代的来临。

作为云时代海量数据的来源之一，安防视频监控行业随着智慧城市和智能交通的快速发展、移动互联设备的激增，产生了海量的非结构化视音频数据，带动了大数据的存储、管理、分析等应用。面向云时代，业界同仁一拥而上、热血沸腾，无论是IT供应商、存储厂商、还是解决方案提供商都不甘落后，雨后春笋般的纷纷提出基于计算、存储、网络等多层次虚拟化的数据中心解决方案，投入大量资源，推出云存储、云计算等系统产品。

钱亚欧希捷科技中国区云和企业级OEM客户总监

许 焰浙江大华技术股份有限公司技术总监

安防数据的特征主要是海量非结构化数据存储，与此同时数据共享、数据安全以及数据利用效率的提升需求也十分迫切。

王冠：要分析安防大数据的特征首先要从安防行业的应用方向和业务特点着手。安防行业中主要的应用集中在视频监控、卡口抓拍、门禁告警等领域。基础的数据类型就包括视频、音频、图片、附属信息等。其中数据量最为庞大的当属视频数据，与其它数据的存储规模不同，视频数据随着高清摄像机的大范围使用呈现井喷式发展。如今一个中小型的平安城市项目，其视频录像容量已经挺进以PB为基本单位的时代，相比传统的图片、音频等数据的存储量，其规模在千倍或者万倍以上。

过去，我们在视频数据上常用的处理方式是，将某段时间内的录像转换成视频文件进行存储，但是视频数据的特点有别于传统的文件数据。首先安防行业的视频数据是以录像为主，从数据的特点上录像属于流式的非结构化数据，其数据流源源不断，数据量不断增大。而文件数据属于结构化数据，每个文件的大小相对固定。 因此将录像以文件格式进行存储需要对视频录像进行二次编码、划定文件大小、进行结构化编辑，这些过程将会大幅降低视频录像的效率，同时带来后期视频分析的壁垒和瓶颈。少量的视频录像也许并看不出多大差异，但是在安防大数据的今天，每天数以万计的大并发读写压力下传统的文件型存储方式越来越显示出其不足。因此安防大数据存储的发展首先就向着符合视频录像数据特点方向演进，也就是采用流式的非结构化数据存储模式部署视频云存储系统，该系统已经出现并部署多个成功案例。视频流式数据的方式就是摒弃文件存储的传统模式，不对视频数据进行二次编码，将前端产生的视频数据源源不断地写入云存储的裸块中，在写入的同时仅记录视频录像的关键性信息便于后期查找即可。因此视频录像的数据量可以不断膨胀，但又不会造成存储系统资源的紧缺，同时在查收和定位时可以精确定位到任一时间、任一录像的关键信息和录像数据。再加之视频云存储与安防的融合，其很多智能分析、数据挖掘的基本功能也能够有效地与存储结合，提供更具高效、智能、可靠的视频云存储服务器，为安防大数据的进一步深度挖掘提供强有力的支撑。

许焰：安防行业的数据完全符合大数据的4V特征。大量的摄像头产生海量的视频、图像、文本等结构化和非结构化数据。大型城市每天能产生1800亿条交通卡口过车记录，数据产生非常快。

目前安防大数据的核心技术，海量数据存储、海量数据搜索、智能图像分析等技术都在蓬勃发展中。

大数据中的高清存储应用方案

存储系统作为数据中心最核心的数据基础，不再仅是传统分散的、单一的底层设备。目前市场上主要有哪些存储方案或架构？其特点如何？

钱亚欧：高清应用目前的两种模式：IP高清和SDI高清。IP高清是目前高清应用的主流产品，从事IP高清项目的工程商多数有IT背景；而SDI高清的应用仍处于起步阶段，选择SDI的工程商一般是传统的工程商。IP高清从技术上提供了更多丰富的功能，后端的存储可以是小型的NVR或者是大型的集中存储IP SAN。 HD-SDI更适合于现有模拟系统改造，SDI采用同轴电缆传输，免去重新布线之类的麻烦。在后端存储上，由于传输距离有限，组建大型的后台集中存储的可能性不大。但是由于HD-SDI理论上没有压缩，后台存储的容量要求比IP高清还要高。所以，从后端存储而言，两者对存储的容量要求都比传统模拟方案要高。由于IP高清更容易组建大型集中存储，在这种应用方案中，后端存储往往采用可靠性更高的企业级硬盘来组建大型IP SAN。

希捷的第七代监控硬盘Surveillance HDD专为监控应用而设计，同时提升硬盘的性能和可靠性。具有超大容量和强大功能，使所有高清监控系统能灵活自如地扩展容量，存储更多视频数据。

希捷企业级3.5寸海量盘、希捷高清3.5寸硬盘以及希捷高清2.5寸硬盘，能够大大提升多硬盘环境存储阵列的可靠性，为构建大型IPC+后台集中存储高清监控系统提供基础保障，全年运行无忧。

刘祥涛：由于网络带宽不够快，传统的方案一般把数据存在前端，很多数据没有汇聚到后台去。尽管前端的功能做得很强大，但是它的数据最终是没有汇集的。所谓大数据，有两个特征，第一个，不是数据大，而是说数据要全，数据必须全面地、全部地汇在一起，就是要集中；第二就是基于这种集中的数据要产生智能。目前很多方案，其实都是把数据放在前端，然后抽取一点点有价值的数据，做一些分析，再展示出来。

刘祥涛宝德科技集团股份有限公司云计算事业部总监

程岳寅天津天地伟业数码科技有限公司产品总监

我们认为真正的比较好的方案是什么？最终数据必须从前端通过未来的高速网络传输到一个城市的信息中心/数据中心，也就是城市的大脑，它能产生智慧，可以利用BAT（百度、阿里、腾迅）或者谷歌这些互联网企业用得比较多的大数据技术，去把这些数据存起来。目前做大数据存储技术的有很多，像Hadoop是做海量的分布式数据存储的，还有Spark这种做流式数据处理的。

一个方案在数据的五个层次上都不能存在瓶颈。首先数据的采集，也就是说数据必须有来源，之后数据有存储的地方，有分析、挖掘的手段，有存储的方法，然后再有可视化。像网络传输这一块，速度应该比较快，足够响应数据产生的速度，以便把数据传过去。然后在某些点上，某个层次上，比如说数据存储这一块，要用到一些比较好的技术，使它能够适应数据的几个特性。

数据分析不只是分析，还要多关注挖掘和预测。可视化这一块也要做得更炫一点，包括利用一些智能大屏的技术来展示非常好的效果。

王冠：目前在安防市场存储系统依然有多种方案以适应不同架构和规模的安防监控系统，如NVR、NAS、SAN、NVR堆叠，以及兴起的NAS集群系统、文件型云存储系统、视频云存储系统等多种方案。但是作为数据中心大数据范畴内的存储系统，多以NAS集群系统、文件型云存储系统、视频云存储系统为主。

安防视频云存储的基础是集中的分布式系统。分布式的概念不能望文生义，并不是指存储设备物理位置的分散，相反存储设备是集中部署在数据中心。分布式的实质是处理任务的分布，是将一个复杂的任务进行切分后利用众多的存储设备系统资源共同完成任务，然后统一输出。因此设备间彼此需要紧密的配合与协调，群策群力。而物理距离的疏远，将需要通过网络将设备进行连接，由于网络的原因而导致的协调成本与协调信息的丢失将大大降低云存储系统的处理能力。过去在公安行业中往往将存储设备如NVR或者IP-SAN分散部署在各个派出所，这种方式并不是分布式存储系统，因为设备间没有协同、没有配合，仅仅看上去像“分布式”而已。

许焰：由于集群化、中心化的存储系统的要求，大量的传统IT厂商的集群存储系统进入安防行业。典型的存储方案包括分布式对象存储系统，NAS 集群和 IPSAN集群。

IPSAN集群的优势是，传统的监控平台都是采用iscsi对接存储，因此系统可以做到无缝对接监控平台。但是块设备最大问题是数据共享的问题。无法实现数据在多个应用之间的方便共享。

集群NAS和传统的NAS系统没有本质上区别，只是通过集群的方式解决了传统NAS机头的瓶颈问题。对象存储则通过数据和控制的分离，很好的解决了元数据服务器的瓶颈。同时部分传统安防厂商提供了视频流直存的集群存储方式。但是这种方案只做到应用层面的集群，并没有很好解决存储统一空间和数据可靠性的问题，而且数据共享必须经过平台。

大华的云存储系统除了提供标准的NAS接口以外，还提供了流媒体SDK和流媒体直存模式。将摄像头的数据以流式的方式存储为视频文件，既解决了数据共享问题，又轻松对接视频平台，属于业内首创。

程岳寅：目前市场上的存储方案主要分为分布式的嵌入式存储产品方案以及集中存储的平台级产品方案。离散式的主要需求多功能集成、对成本要求高；集中存储方案更注重数据安全可扩展性以及数据的高效利用。

王 冠杭州市海康威视数字技术股份有限公司产品经理

安防数据挖掘正在兴起

数据越庞大，积累的商业信息越多，价值也就越大。高清存储的意义已不只是掌握庞大的数据信息。如何实现对这些数据的深层挖掘，进而实现“增值”？

程岳寅：坦白讲云计算和大数据在应用和推广过程中仍然会面临一系列技术难关的攻克和体系的建立。比如视频监控行业中最受关注的：

视频浓缩检索技术，主要是利用图像处理(包括视频浓缩、摘要、复原等)、模式识别、海量数据分类存储以及搜索等技术，对海量的存储录像等原始信息进行分析和挖掘，对于目标特征、目标行为、目标间关联关系这三大类信息内容，形成各种分类的特征信息库、元数据和索引等，并提供统一接口供外部应用进行搜索，以期通过有限的线索，达到案件快速关联和定位。

视频图像信息库建设，目前应用比较广泛的是卡口和电警的应用。由于车牌识别技术的日趋成熟，通过车牌、车牌颜色、车身、车身颜色、车辆类型等特征识别，把车辆图片、车辆信息、车主信息、盗抢车辆库等结合起来，可以有效的进行车辆的查找、布控和案件线索搜索。

海量数据的处理、分析、检索和视频智能分析技术，把海量的视频数据进行浓缩、提取特征摘要、减少了存储空间。如1小时的视频录像，通过特征值方式的视频浓缩，可以把录像压缩到10分钟左右。同时，视频图像信息库有别于传统的关系数据库模型，针对结构化，半结构化和非结构化数据，通过数据的多个副本分布式保存方式，可以有效节约存储空间，关键数据的二次备份，使系统架构更加稳定和可扩展，并且提供安全的负载均衡和容错机制。

钱亚欧：大数据的本质是系统通过处理采集到的所有数据，去提取其特征和共性的信息。通过大数据的处理使得所有的数据都有价值。通过大数据的处理，把传统认为没有价值的信息也能够产生非常有价值的信息，这就叫做数据挖掘。同样的数据摆在我们面前，利用不同的挖掘方法，不同的挖掘目标可以为各种各样的业务应用产生有价值的信息。这就是大数据的本质。

采集和分析大量视频数据的需求在不断增加，例如城市可以通过对大量车流量的数据进行分析，用于预测和改善城市交通；通过对出行人员、航班流量等信息进行分析，机场可以缩短等待时间；对城市发生的紧急事故等做大数据分析，对事故作相关预测，紧急救援人员可以更快地做出反应，以及更多无限的可能性。希捷在视频监控存储市场保持领先地位已经超过十余年，推出了世界首款监控硬盘，在帮助客户搭建底层存储设备和方案起到关键作用。同时，希捷公司针对云计算和大数据也有完整的分层存储解决方案，在将大数据转化到实际的智能化应用中提供完美的数据平台，在大数据为各种应用提供价值的过程中提供高效、可靠的解决方案。

许焰：安防数据的挖掘取决图像智能算法和大数据技术。通过前端的智能化，我们已经积累的海量的结构化信息，比如卡口过车记录。在大华的海量数据搜索引擎上，用户可实时的查询车辆轨迹、套牌车、同行车等分析统计。将原来死的数据转化为高价值数据。后端智能同时也是未来的趋势，通过后台的云计算技术可对视频数据做结构化处理、视频的浓缩和摘要处理。将人工的看录像转变为通过关键字搜索视频。

王冠：在安防行业中可以看到过去相当长的一段时间内数据内容的挖掘和分析做得明显不够。如在公安领域中，监控系统存储了大量的录像却常常是以冷数据的形态躺在存储系统里等待数据过期而被循环覆盖。如何将这些数据利用起来，提取出有价值的信息一直是人们关注的内容，但是从现实的角度考虑从动则PB，甚至几十上百PB的数据中分析和提取数据也一直是一个非常困难的工作。其中涉及云存储、云计算、智能分析等多领域的共同合作。

单从云存储这个方向来看，对数据挖掘的支撑也要结合目前主流的智能应用趋势。在智能处理前端方案中，智能化分析和视频、图片结构化数据的生存通过摄像头或者抓拍机完成。在前端完成数据的结构化处理后将结构化数据和视频数据生存两路流一同写入云存储系统，由云存储系统针对不同的数据类型进行存储，并在存储过程中进行关联。该方案的实现，有效支持了对历史数据的智能化检索、分析的问题。在用户需要回放和后期查找时可通过智能化方案直接调取，无需经过后端再分析。

智能处理的前端方案中对数据采集前端提出了一定要求，目前新型的SMART IPC支持该项功能。但是对于大量普通前端而言是无法完成前端处理的，因此可采用的方案多为智能化后端分析。云存储对于智能化后端方案的贡献在于，视频流在进入云存储后不仅是简单的进行存储，而是由云存储对视频流数据分布式存储时进行了视频流的数据分析工作，如提炼视频数据的I帧信息、基础结构化信息等。待视频智能分析启动时可直接调用云存储内的智能信息进行二次比对分析，从而提高效率。对于图片数据而言，云存储系统支持对图片进行智能分析建模，提供模型比对功能，结合智能分析系统将大幅提高智能处理的效率。常见的应用如：入侵检测、越界检测、以图搜图等。

刘祥涛：高清视频数据挖掘，暂时来看安防领域做得比较少，而在IT行业应用更多一些。像NVIDIA（英伟达），它一个CPU里面可以集成几百个芯片，就是几百个处理器，可以对视频流进行快速处理，它一个GPU卡可能就相当于几百台服务器的CPU了，因为它是一种专业的视频处理器，所以它的处理速度，针对视频是最优化的。它可以做很多计算，比如把一张模糊的图片变成很清楚的图片，就是通过分析把它变得更清晰；它也可以做一些模式识别，例如在一个场景里面，可以准确地识别不同的物体。

国内安防业高清视频数据挖掘的发展，个人认为首先可以从国外的公司引进技术，国内在做政府项目的时候，可以尝试先做一些试点，总结出方案，看看有没有效果，分步去实施。

目前我们在做两款一体机。所谓一体机，包括两个“一体”：软硬一体化的交付；一体化的运维。产品交付给客户后，任何东西出了问题都是我们宝德公司来维护。云计算本身分三个层次：IaaS, PaaS,SaaS。宝德的云一体机主要是关注IaaS这一块。

真正的云存储是什么呢？它要提供一个统一的存储资源池，用户是看不到底下的物理设备的，一定要注意，是一个统一的存储资源池，不是两个，不是一百个，而是一个，用户可以从这个资源池按需获取所需要的资源。

未来云存储在安防领域的应用会增多，像南京云创存储有限公司在南京公安上了一套云存储系统，基于Hadoop的技术做了一些开发。华为也有这类产品，像ocean store，用在国外的比较多，也是在一些领域里做大数据存储这一块。我们宝德公司也做了云存储的相关产品，目前叫做B-store2000，主要是给安防企业提供一些支撑：例如深圳的贝尔信、英飞拓、迪威视讯，杭州的沿江股份，北京易华路等等，我们宝德给这类安防集成商提供产品支撑。随着智慧城市落地，我们的方案也在逐步实现。

大数据和云存储将深入改变安防行业

基于大数据战略的云存储技术的兴起，对安防行业、智慧城市都将产生深远的影响。

钱亚欧：由于云技术在安防行业的应用，更多更大型更智能化的联网系统得以实施。云计算让监控系统结合大数据的分析应用，实现更智能化的事前预警、事中跨网联动处理和事后快速检索。作为部署云安防的重要部分，云存储是大量高清视频内容智能化分布和扩展的基石。在当今监控高清化、智能化的大背景下，对存储的要求也是越来越高，除了高容量之外，高性能、高密度、低能耗也凸显成为对存储系统的要求。NVR或IPSan将会成为云存储系统中的关键存储结点。随着网络技术的发展和普及，目前，视频监控存储技术已经发展到了网络多媒体监控系统。伴随高清监控领域的普及，云技术的应用更是让视频监控行业的发展更上一个台阶。网络多媒体监控系统以网络为依托，以数字视频的压缩、传输、存储和播放为核心，以智能实用的图像分析为亮点，并与报警系统、门禁系统整合到一个使用平台上，引发了视频监控存储技术行业的一次技术革命，迅速受到了安防行业和用户的关注。

许焰：由于云存储系统的建设，大量的数据需要集中存储。安防行业的IT化更加明显。数据价值的提升，对存储系统的可靠性、稳定性、可用性和可维护性提出了更高的要求。视频存储系统不再是写多读少或只写不读。存以智用的模式将不断深入。安防行业将不断提升数据的智能挖掘、智能存储和智能应用，围绕数据平台的大数据应用将是未来趋势。

程岳寅：云计算和大数据应用未来势必对安防行业有深刻的改变和影响。尤其在智慧城市行业和交通行业。交通方面海量数据处理需求，智能交通管理系统可以在海量数据、恶劣网络环境和复杂业务处理情况下，实现大量图片、车辆数据、视频数据的时时网络传输和快速持久化存储，同时对任意站点的图像进行显示，对任意站点的视频进行流畅播放、实时进行比对报警，快速进行多条件检索，并且将各类多媒体数据和车辆数据合二为一。系统实现对目前的城市道路交通中异常行为的智能识别和自动报警等，从而减轻了交管监控人员的工作负担，提高了监测的准确度，使得交通管理工作更高效。实时交通状况分析可通过视频实时分析道路交通流量，然后综合分析统计出全城市的交通状况；套牌分析可通过视频进行车牌识别，按照一定的规则（如最近时间内一定距离以外）在整个城市中检索相同车牌的汽车。

智慧城市方面公安部门可以利用相关技术进行犯罪嫌疑人追查，可通过输入嫌疑人照片进行人脸特征识别并在所有视频中寻找该人脸；犯罪嫌疑车辆追查可输入嫌疑车的照片或颜色车型等相关特征在所有视频中寻找；人车物的轨迹分析即在所有视频中按照特征查找指定的人车物并绘制其时空轨迹；车辆的首次入城分析等等。

王冠：云存储的规模性应用所带来的将是安防存储市场的一次革新，打破了过去谈及存储还仅仅停留在硬件设备层面的阶段。云存储通过软件将大量的设备联合在一起相互配合、协同工作，作为一个完整的系统向用户提供服务，也将安防存储市场对于存储系统的要求提升到更为严格的高度。

云存储的兴起所带来的是安防视频大数据应用的大规模发展，为应用的开发提供更为准确、高效的数据输出结果将成为云存储必须具备的能力。云存储搭建了一个非常好的数据挖掘的平台，安防厂商所要做的是充分利用这个丰富的平台来深化和创新更为优质的应用，满足越来越丰富和严苛的用户需求。

我们在贴合安防监控领域特点的要求下，运用视频云存储系统作为基础的数据平台向云计算系统、智能分析系统提供预分析数据和智能关键信息数据，配合上层系统进行视频、图片大数据的深度挖掘与应用。同时，层次化和结构化整个安防业务流程，使得所有系统与技术相互配合，全面提升安防监控应用的深度与广度。