安防行业深度融合的云存储技术

■王冠

大数据的真实价值并不仅在于存储，而在于从海量数据中进行数据挖掘和数据分析，以提取对业务应用需求真正有价值的数据信息。为此，大数据时代存储之道在于与安防行业深度融合的云存储技术。

安防大数据的存储需求

随着视频监控系统规模不断扩大，高清、乃至4K超清视频摄像机的大规模部署，数据将呈现爆炸性的海量增长态势。一个城市级的安防监控工程，以千计甚至万计的高清、超高清摄像机数量，其每月产生的数据量就可达到几十PB、甚至上百PB。如此巨大的存储量严重考验着安防监控系统中的存储系统。

大数据的真实价值并不仅在于存储，而在于从海量数据中进行数据挖掘和数据分析，以提取对业务应用需求真正有价值的数据信息。因此大数据存储除了完成单一的存储功能外，更重要的就是对大数据分析和挖掘提供有效的支撑。随着这种应用需求的不断明确，云存储技术与安防监控行业特点进行融合，在大数据进行存储时提供视频存储和视频智能存储的过程，以配合数据挖掘和分析就显得尤为重要。因此大数据价值的体现可以遵循：大数据存储容量管理、大数据智能化存储过程、大数据存储对智能分析等应用的支撑，这么几个阶段的发展过程

安防存储技术的发展过程

在安防存储的发展历程中DVR、NVR、NAS、SAN等存储方案在每个时期都扮演着不可或缺的角色。SAN方案在一定范围内以其可扩展性和存储网络独立性等特点尚能满足PB级以内的存储需求，然而面对几十PB、甚至上百PB的数据量时就显得力不从心。其核心原因就在于SAN方案无法实现其性能与容量的线性增长，当数据量达到一定程度后管理的复杂度会加大、系统的吞吐率会下降，不能够有效的支撑目前安防大数据的存储与应用。而采用多套SAN系统勉强完成存储需要后，由于多套SAN系统又是彼此独立，缺少数据整合与协同处理的能力，不能有效的支持上层数据应用需要。

而云存储技术决了存储性能与存储容量线性增长的冲突，可以保证在大规模的安防监控存储规模下，存储系统能够以更高性能满足视频录像的存储需要，因此在安防监控大数据时代有着非常广阔的应用空间。云存储技术的特点是通过软件的方式将数量庞大而复杂的存储设备进行系统化封装，对上层的安防监控平台与分析系统呈现出一个统一的服务出口，输出存储服务。用户不需要关心云存储设备构成，就像面对一台存储设备一样来使用云存储的资源。因此云存储在大数据的管理和应用上可以提供更为强劲的动力。然而非常可惜的是文件是结构化数据，而安防行业的数据如视频、图片等是非结构化数据，不同类型的数据存储时对存储方式和结构的要求也不尽相同。而云存储仅专注于文件的存储，并没有意识到视频、图片等数据的特殊性，因此在视频数据存储性能、安防智能应用扩展、安防云计算应用等方面没有进行改进和调整。

那么总结一下：DVR/NVR/NAS等方式显然已经不适合，SAN系统在容量管理上存在瓶颈，并且也不具备智能化存储的特点，因此也被剔除掉。常规的云存储技术却仅将注意力集中在存储上，对视频智能化数据的预分析、以及按照视频数据流式结构的特点方面尚未有所突破，直接影响了后期的数据挖掘和分析。从这么几个方面来看，只有通过将云存储技术更好的与安防大数据的特点相结合，尤其是与视频、图片等主要的安防数据存储和应用结合才能更有效的适应安防监控行业大数据需要。其具体的过程，一是集成云存储虚拟化、集群化、分布式存储等存储容量管理上的优势，提供稳定、可靠、高效的存储方式；二是匹配安防应用的特点对云存储的存储结构进行改造和优化，如根据流式数据调整云存储自身的存储格式、将视频的关键信息进行初步分析后联同视频数据一起存储等，以实现安防大数据应用场景下云存储应用。只有通过融合才能使得先进的云存储技术更好的为安防监控行业大数据服务，也就是“安防云存储”技术的出现才可以有效解决以上的冲突。

安防云存储的主要功能

应用于安防监控行业的安防云存储技术在大数据容量管理、数据智能化存储、数据存储安全性等方面的考虑，可以为大数据的存储、挖掘、分析提供更为高效的支撑，同时打消人们对庞大数据存储的安全性担忧。以此更好为安防监控的大数据应用发展提供一个丰富的数据基础。

关于大数据的存储容量管理上，前文已经提到如果不能进行统一、有效的管理则必然导致数据的利用效率降低、运维难度加大。然而对数量庞大的存储设备和动则几十PB容量的管理确实是一个极具挑战的课题。目前我们可以看到、并预期到的大数据管理方式是通过虚拟化技术实现的。通过虚拟化技术将几十PB的存储容量空间进行整合，并向上层提供一个完整的存储资源池，管理人员的工作集中在对这个逻辑的存储资源池的管理和分配上。而这个容量庞大的逻辑容量是由哪些存储设备组成的，这个过程则被虚拟化技术进行了屏蔽，管理人员也无需关心。

对于大数据的智能化存储过程体现在这么几个方面，一个是存储的高可靠性智能容错：视频录像数据在存储的过程中会写到某台具体的存储设备当中，而当设备故障之后视频录像业务不会中断。另一个就是数据存储时存储系统需要能够针对视频数据的流式数据结构特点进行有效的存储，并且对视频数据进行预分析，将分析后的智能数据和原视频数据共同存储。这样的优点是符合了视频存储的规律，其后期的视频提取效率更高；对视频数据进行了预分析则形成了丰富的数据信息库，那么后期进行视频数据分析和挖掘时效率则会更高。

安防云存储在安全性上需要关注的是数据的隐私与共享之间的矛盾。通过对数据的加密、防篡改、防盗取等方面，云存储可以提供比传统存储更好的解决方法。首先云存储的数据是分布式存储的，每台存储设备上存储的仅仅是极小的数据块，盗取某台设备的数据也无法得到完整的视频数据信息。另外云存储底层的存储格式并不通过传统的文件系统进行的，其存储的是有特点属性的比特流，使用一般的文件读取方式也无法获取真实的内容。对于云存储系统安全的本身，通过集群化和分布式存储的特点可以保障不会因为设备的不稳定而丢失数据。同时数据的校验恢复、多副本备份、数据中心备份等多种机制能够有效保证数据的安全性。

安防云存储的典型应用

安防技术、理念的发展本身就朝着IT化的方向前进，云存储在这个过程中必然需要满足安防行业的这种发展需要，同时也随着安防行业的特点不断的改变和发展自己。在安防市场中对云存储需求最为迫切，也最可能率先采用云存储技术运用于自身系统的就是公安行业。随着经济建设和各项社会事业等快速发展，城市的公共安全面临着更大的挑战。全国跨地区、跨部门、跨警种的信息共享，建立城市报警与监控系统的协同使用机制、强化视频监控技术在公安侦查破案中的支柱性作用，不断提高系统的管、控、用整体水平，因此“大公安”的概念以被人们所接收。在“大公安”系统中多以高清视频采集为手段，集智能分析技术，综合城市治安、治安卡口（高清）、社会监控资源，实现各类监控资源的共享，提高资源利用率。在这种建设目标下，云存储的优点能够非常有利地支撑起海量高清视频存储、以及大数据智能分析对数据处理需求和高并发、大吞吐的需要，云存储作为整体行业解决方案的一部分将是其中不可或缺的一环。

随着安防云存储技术在安防行业的不断融合与发展，将会给安防监控大数据存储注入一剂强心剂，并带来更加丰富的安防监控的应用发展。