大数据下的安防存储研究

古鹏　黄峥　温武

摘 要：从现状入手，对于安防存储容量的有限与信息容量的巨大， 特别是海量的非结构化视频数据处理的问题，进行了分析研究，指出当前安防的存储、数据的处理所存在的问题。对大数下的安防数存储进行一些研究，本文提出了今后关于智慧型安防存储的一些建议。

Abstract：From the present situation，the limited information capacity and security of storage capacity greatly， especially the vast amounts of unstructured video data processing problems are analyzed and studied， points out the existing problems about current the security storage and data processed. About of the security storage for of some research， the article put forward some suggestions about the future of intelligent security storage.

Keywords：Security；unstructured；mass data；cloud storage intelligence

关键词：安防；非结构；海量数据；云存储；智慧

中图分类号：TP309 文献标识码：A

0.概述

视频监控安防其主要特点是图像信息量大，所以对存储空间需求明显。视频监控步入高清化时代，存储与安防的存在着紧密结合，存储容量的有限与信息容量的巨大， 而海量的非结构化视频、特征数据，带动了大数据的存储、管理、分析等一系列问题，存在不少的矛盾需要解决，吸引着更多人的关注与研究。

1.当前存储存在的问题

1.1后端存储技术

当前，在安防监控中，后端存储系统从“模拟时代”到”数字时代”到如今的”云时代”。云时代，是以海量云存储为代表，针对海量数据进行存储。目前安防存储中有使用前端存储和后端集中存储两种方式。前端存储指的是将摄像机的视频信息存储在摄像机自带的SD卡中，这种方式主要适用于存储时间比较短，类似于小型商铺等地点，性价比比较高；不足之处在于数据孤岛化，无法实现数据的整合分析。后端存储是将众多前端视频统一管理，存储到一起。可以实现多种数据保护机制，实现数据的统一调度管理，便于数据的二次分析。

后端存储技术包括DAS、NAS、SAN。DAS是最主要的应用模式，存储系统被直连到应用的服务器中，许多的数据应用是必须安装在直连的DAS存储器上；NAS存储就是存储设备通过标准的网络拓扑结构添加到一群计算机上，是文件级的存储方法，它的重点在于帮助工作组和部门级机构解决迅速增加存储容量的需求；SAN提供了一种与现有LAN连接的简易方法，并且通过同一物理通道支持广泛使用的SCSI和IP协议。而今将固态硬盘、分层存储技术引入安防行业，基于高速固态硬盘，结合先进的分层存储管理技术，提升10倍录像检索性能。

1.2安防大数据面临的主要问题

由于随着视频监控的高清视频的大量应用，存储的数据容量增大和应用的复杂程度在不断提高，传统的存储技术和设备满足不了现有的需求。视频监控的高清视频复杂系统中，数据将呈现爆炸性的海量增长，数据的快速存储及检索技术，显得尤为重要，高性能的存储系统将正在成为视频监控技术的决定性因素。

安防大数据面临的主要存在以下问题：

其一，海量数据和有效数据之间的矛盾。以一线特大城市广州市为例，目前安防高清摄像头约60万个；一个摄像头一下天存储48G左右，一个月下来大概是1500G。在监控系统中成千上万路的高清监控，按安防信息处理要求保存3个月，其产生的庞大视频文件存储容量信息，仅记录信息是不够的，因为对于视频监控来讲可能大部分信息是无用的，有效信息只分布在一个较短的时间段内，依按照数学统计，有用的视频监控信息是呈现幂律分布的，往往越高密度的信息价值越大。

其二，目前非結构化视频数据，以及智能识别技术仍不能满足智能视频监控安防的需要。视频监控的大数据，需要将非结构化的视频转换成能读懂的视频结构化数据。从海量的视频数据中挖掘出有价值的信息，已成为视频监控的一个瓶颈。

其三，资源利用和效率之间的矛盾，串行计算和并行计算的矛盾。视频监控的广域的网络化，更低的延迟、更准确的分析往往是最基本需求，视频信息的分析，不能依赖于传统的手段，并行计算是视频智能分析的唯一出路。

其四，数据量的急剧扩大与各地区不能完全互通，不能相互共享信息与资源的矛盾。

2.关于存储研究

2.1当前的视频监控安防存储技术

现有的安防存储模式云存储技术与传统存储技：

（1）DVR/NVR前端本地存储；

（2）集中存储模式；

（3）云存储模式。

云计算系统可以划分为IaaS，PaaS，SaaS几个层次。IaaS将功能是云存储是服务重要部分，信息处理逻辑与物理存储分开，使得信息处理专注于信息本身，将信息系统资源管理交给了云计算处理。它可以使信息处理逻辑变得灵活，可以根据安防视频监控系统设计需求，虚拟出相应的应用。安防视频监控系统云存储是以各部分以存储设备为核心，通过软件运用集群技术、虚拟化技术、分布式存储技术将网络中大量各种不同类型的存储设备集合起来协同工作，共同对外提供视频监控数据存储和处理等访问功能。

安防视频监控的云存储支持源数据模块独立和非独立部署，应基于云架构的分布式集群和虚拟化设计的大数据存储计算，提供合理优化网络配置和存储计算设备，利用现有的视频专网和公安信息网进行数据传输，支持视频、图片、对象文件混合存储方式；支持存储资源虚拟化整合，容量空间按需分配，可提高存储空间的利用率；即实现广域的安防视频监控资源共享、统查；同时，采用分布式技术，能将存储计算指令分配到各个节点，避免由单个处理节点进行超负荷运算，大大提升数据存储、计算、检索速度。安防视频监控云存储系统内部软硬件全天候全方位监控，发生故障及时告警；支持智能算法，提供以图搜图等丰富的智能应用；提供开放的视频直存技术，可接入标准第三方前端直写，还可支持标准IP-SAN、FC-SAN存储设备整合，保护用户已有投资。endprint

分层存储其实已经不是一个新鲜的概念，其与计算机的发明与发展相伴相生而行。分层存储（Tiered Storage），也称为层级存储管理（Hierarchical Storage Management），存储介质上的差别主要是在存取速度上及容量上。存取速度快的介质通常都是存储单位成本高，而且容量相对来讲比较低；所以，从这方面来说，分层存储其实是一种在高速小容量层级的介质层与低速大容量层级的介质层之间进行系统控制的智能或者手动数据迁移、复制、管理等操作的一种存储技术及方案。

2.2安防视频监控大数据存储相关的核心技术

安防视频监控大数据存储不仅是存储数据的问题，存储质量的好坏关系直接影响公共安全，好的存储用4个字来描述就是为“感、传、知、用”方便智慧；同时，安防系统的各个部分技术也会影响存储质量好坏。

其一，前端感知与摄像技术，用于的安防摄像机有枪机摄像机、板机、球机、半球摄像机、全景摄像机、红外摄像机（红外热成像仪） 以及日夜两用摄像机等监控摄像机；日夜两用摄像机可以或许进一步分为彩转黑（口角）超低照度摄像机、艰深红外摄像机、阵列式红外摄像机、激光红外摄像机、热成像仪（不主动红外摄像机）几类。其关键技术是软件处理、光学镜头、CCD、红外传器、MCU与前端芯片等技术。

视频图像控制器有CCD、CMOS两种；视频图像传感器可直接将光学信号转换为模拟电流信号，电流信号经过放大和模数转换，实现图像的获取、存储、传输、处理和复现。相同分辨率下，CMOS价格比CCD便宜，视频图像质量相比CCD来说要低一些。CMOS传感器的是电源消耗量比CCD低，CCD能提供较好的视频图像品质。

主要有两种类型的CCD光敏元件，分别是线性CCD和矩阵性CCD。矩阵式CCD，它的每一个光敏元件代表图像中的一个像素，整个图像一次同时曝光。通常矩阵式CCD用来处理色彩的方法有两种。典型的有G-R-G-B和C-Y-G-M两种排列方式。两种排列方式成原理是相同的。内部的微处理器从每个像素获得信号，将相邻的4个点合成为一个像素点。因为不是同点合成，其中包含着数学计算，因此这种CCD最大的缺陷是所产生的图像总是无法达到如刀刻般的锐利。目前生产 CCD 的公司分别为：SONY、Philips、Kodak、Matsushita、Fuji和Sharp。

鱼眼全景摄像机为例，此类摄像机所有的功能实现软件，包括图像矫正、虚拟PTZ、智能部件以及压缩算法等全部被集成在摄像机内部的固件上，未来的升级亦只需对前端设置进行更新。与此同时，其后台亦可提供虚拟PTZ等功能，给予用户事后灵活改变观看视角及侧重点的可能。

红外激光在视频监控摄像机夜间照明领域中应用的最大优势在于激光具有很高的发光效力、发光强度和方向性，红外激光照明设备与配有长焦距镜头的摄像机组合，可以或许较好地实现夜间远距离视频监控。

无入侵检测的视频监控安防系统，一般用于不间断的监控，此类系统可靠性要求高，设备的存储量大；而具有入侵检测的监控，实施有效实时性视频监控，则系统的各种资源的利用率的高，可靠性的要求降低，因此，在需要引入入侵检测的视频监控，对减少存储容量是可行的，有用的、必要的。

传感器是入侵检测的核心，通常传感器有以下6种类型：开关传感器、声传感器、光电传感器、热电传感器以及电感应传感器。

其二，信息的编码与传输技术，利用信息处理的采样技术，信息冗余以及人的视觉残留效应，通过制定视频协议，采用压缩与解压技术，完成对视频的信息的较高效处理；采用压缩编码，有效利用存储空间，解压则准确还原视频。

主要的技术有以下两个，MPEG-4编码标准、H.264/AVC编码标准。

MPEG-4标准它是基于对象的编码理念，即在编码时将一幅景物分成若干在时间和空间上相互联系的视频音频对象，分别编码后，再经过复用传输到接收端，然后再对不同的对象分别解码，从而组合成所需要的视频和音频。

H.264/AVC包含两个层次，视频编码层和网络抽象层。视频编码层主要致力于有效地表示视频内容，采用变换编码，使用空间和时间预测的混合编码网络抽象层格式化VCL视频表示，提供头部信息，适合多种传输和存储媒体。

其三，信息的应用技术。视频智能分析技术感知系统，可以智能提取视频图像中的重要信息，进行存储和业务关联，为视频大数据应用提供数据基础；也可以地不同的场景中预设不同的报警规则，一旦检测出目标在场景中出现了违反预定义规则的行为，通过硬件与软件实现智能化的智能监测报警功能，其主要包括：入侵探测、物体追踪、移走物体检测、非法滞留、遗留物体检测、视频移动侦测等。此外，城市交通管理、环境管理、政务服务、零售服等行业应用：人数统计、交通流量控制、车辆安全控制探测与报警。

视频监控安防信息库和海量数据的处理、分析、检索，是提高效率的有力手段。通过视频智能分析技术，把海量的视频数据进行浓缩、提取特征摘要、减少了存儲空间。同时，视频监控安防信息库有别于传统的关系数据库模型，针对结构化，半结构化和非结构化数据，通过数据的多个副本分布式保存方式，可以有效节约存储空间，关键数据的二次备份，使系统架构更加稳定和可扩展，并且提供安全的负载均衡和容错机制。

其四、基础的器件技术，基础研究的主要是开发新的器件，微电子进入了纳米领域，它的制造主要涉及深亚微米技术，特殊电路的工艺兼容技术，设计方法的研究，嵌入式IP核设计技术，测试策略和可测性技术，软硬件协同设计技术和安全保密技术。

目前我国集成电路的加工水平为达到了0.18μm的水平，与当前国际水平为0.09μm，相差约为2至3代。新一代的光刻技术，X射线和离子投影光刻技术也在研究之中。SoC作为系统级集成电路，能在单一硅芯片上实现信号采集、转换、存储、处理和I/O等功能，将MCU 、MPU、DSP、数字电路、存储器等集成在一块芯片上实现一个完整系统的功能。电子产品向便携式/小型化、网络化和多媒体化方向发展的市场需求对电路组装技术提出了苛刻需求，集成电路封装技术包括：裸芯片、微组装、圆片级封装、无焊内建层等技术。endprint

3.视频监控安防数存储发展研究与建议

3.1视频安防大数据的特征

安防监控领域的视频数据则具有非常明显的特征，依照时间顺序持续产生，并且数据量非常庞大，数据量的爆炸性增长可想而知。安防大数据涵盖了4V面向，分别是处理时效（Velocity）、数据格式（Variety）、数据量（Volume）与真实性（Veracity），要通过快速的采集、发现和分析，从大量化、多类别的数据中提取价值。

视频监控安防大数据时代最显著的特征就是数据共享，快速的数据处理能力，智能、智慧处理信息。视频监控的大数据处理难度尤其大，首先，视频录像是更原始的非文本非结构化的数据，经过复杂繁重的分析处理才能提取出文本结构化的数据进行下一步处理，必须对数据进行一定的改造，让不同形式的内容、结构、存储与识别相关联；其次视频录像相对其他形式数据的容量要大几个数量级，对传输、存储和计算的带宽要求大。

3.2建设视频监控安防大数据的智慧型云存储

如果把云计算比喻成手机系统，那么IaaS就是硬件，要自己写代码研发系统才能用；PaaS是系统，则是要实现什么功能就要装什么软件；SaaS就是硬件+系统+软件。

云存储由存储层、设备层、管理层、应用接口层等组成。智慧型云存储与现在的云存储不同之处就是让存储有智慧。视频监控安防领域的云存储首先面临的就是对文件系统的改造，针对视频数据的特点，在持续写入时需要强关联其时间属性，同时优化磁盘的存储空间，合理安排数据的存储资源分配。在对文件系统进行全面优化后形成一套适合视频数据存储和读取、应用的云存储文件系统。

存储层要存储器的材料、存储结构、分层存储以及并行存储等下功夫研究，以快速、大容量、安全解决存储问题。通过软件与硬件结合使其智慧化，系统的设备层要实现存储容量、速度、利用率的最大化。存储结构的多样性，分布式与集中式相结合；私有与公有云相互动。视频监控安防应用接口层是云存储最灵活多变的部分，面向用户应用提供完善以及统一的访问接口，开发不同的应用服务接口，提供不同的应用服务；实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护等；存储业务响应，以及存储资源调配。

3.3建设各类与视频监控安防相关联的物体外型识别数据库存

视频监控安防最重要是人的安全，当前的安防的技术只能识别人与车辆，加强人或以人相关的物体外形识别，与人相关的不同数据相关联，有利于提高安防识别的水平。如果以类似处理中文字的方式技术，加之提高视频前端技术对物体与人识别处理关联，建立人工智能识别，相信能识别更多物体。建交例如：衣服、工具、包、手机等与人有相关联的影响安全的资源信息库，用于安防智慧识别。

3.4视频监控安防前端设备更智能化、摄像方式多元化

前端设备应以智慧识别为目标获取图像等信息，前端设备包括检测与视音频设备，如果前端能对信息作高质量的、利于识别与存储的处理，无疑是对安防存储的提高有大帮助；在以下方面要大力做好产品的研究与研发：其一，核心检测元器件的研发；其二，检测方法的多样性与人为主体的关联检测技术；其三，提高摄像素、秒帧数；智能选取秒帧数，压缩方式，关联数据，形成相关联的数据与结构；其四，除现有红外、光电、多枪、鱼眼全景外，研发新的摄像枪，如：三D摄像枪或其他形式摄像枪产品。

3.5图形信息容量小而质量高、结构化利于智能识别

对编码、解码以及相关标准与技术的研发，优化压缩与解压技术提高存储的空间利用率，研究图像信息分类、预测、识别、关联，形成新的技术与标准。优化分析算法，研发智能处理推送、图像结构化、各类数据库异构与关联、优化存储、数据安全与挖掘。一切以安防信息智能利用为目的扩展信息为安防的利用价值，构建智慧安防。

结语

视频监控安防的数据将呈现爆炸性的海量增长，非结构化的数据，为安防的有效应用提出的新的课题，通过对现有的理论与技术研究，提出：提高检测方式与技术、压缩与解压、数据的结构化与关联、智能摄像机与智慧型云存储建议，相信经过深入的研发，智慧型视频监控安防云存储在不久的将来一定可以实现。

参考文献

[1]袁春风.计算机组成与系统结构（第二版）[M].北京：清华大学出版社，2015（8）：235-288.

[2] 陈清.H.265 标准现状和发展应用趋势[J].中国多媒体通信，2008（10）：12-15.

[3]黄宜华，苗凯翔.深入理解大数据实践：大数据的处理与编程[M].北京：机械工业区出版社，2014.

[4] http：//www.chinacloud.cn/show.aspx·id=10678&cid=30.云存储技术与传统存储技术[Z].

[5] 黄庆波，金何乐，等.虚拟化与云计算[M].北京：电子工业区出版社，2009.

[6] 马时平，何宜宝，许悦雷，等.H.264帧间模式选择新算法[J].电视技术，2009， 33（S2）：30-32.

[7] YOON D，HO Y.Fast mode decision algorithm for depth coding in 3d video system using H.264/AVC[C].Proc.PSIVT'11. Berlin，Heidelberg：[s.n.]，2011：25-35.

[8] 畢厚杰，王健.新一代视频压缩编码标准—H.264 /AVC[M].第 2 版.北京：人民邮电出版社，2009.

[9]LINY，WUL.A depth information based fast mode decision algorithm for color plus depth-map 3D videos[J].IEEE Trans.Broadcasting，2011， 57（2）：542-550.

[10]朱波，蒋刚毅，张云，等.面向虚拟视点图像绘制的深度图编码算法[J].光电子·激光，2010，21（5）：724-728.

[11]杜奇，向健勇，袁胜春.基于边缘强度的红外图像阈值分割方法研究[J].红外与激光工程，2004，33（3）：288-291.

[12]叶霞.安防大数据时代需要云存储[J].中国安防，2015（14）.endprint