监控存储技术解析

□ 文/王运金

监控存储技术解析

□ 文/王运金

监控存储的技术演进及技术简析

第一代存储是采用的VCR存储。

VCR存储实现了最基本的记录功能或记忆功能。这个存储技术在2000年初较为盛行，主要以国外的品牌为主，国内企业较少涉足。由于年代较于久远，而且磁带存储的诸多不足，在这里不做详细介绍和点评。

第二代的存储是DVR。

DVR采用数字化视频图像处理方式，并应用了计算机及网络技术，视频存储在硬盘上，实现了存储的数字化，录像很容易在各种数字介质上转移和复制，且视频的质量不会因此有任何的降低。

第三代存储是网络存储。

网络存储最为常见的就是NVR和SAN。

NVR是由DVR发展而来的，DVR接模拟摄像头，改为接网络视频监控摄像机就是NVR了，所以NVR集成了DVR的各种技术，表现出产品非常成熟和稳定，非常适应安防行业。

S A N即区域存储网络，包括F C-S A N和IPSAN。FC-SAN设备因价格昂贵，组建网络需要专用的HBA卡、交换机设备，实施维护要求较高，因此在视频监控行业应用较少。IP-SAN是在传统IP以太网上架构一个SAN存储网络，并把服务器与存储设备连接起来的存储技术；IP-SAN使用标准的TCP/IP协议，数据便可在以太网上进行传输，组网维护方便，在安防行业应用广泛。

第四代存储为网络视频存储服务器。

标准的IPSAN设备没有视频监控功能，需要挂接在服务器（服务器安装视频监控软件）后面使用。随着技术的发展，监控与IT的融合，业界通过去掉中间的服务器直接把各种安防视频监控软件模块安装到IPSAN/NAS网络存储设备上逐步形成了不同功能的中心级网络视频存储设备。

第五代存储主要是云存储。云存储，是指通过集群应用、网格技术及分布式文件系统功能，将网络中大量不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问的一种系统，即以数据存储和管理为核心的云计算系统。

监控行业引入云存储的意义

当前安防行业大规模的高清视频监控系统应用中，需要满足海量高清的视频数据存储，高清视频数据如720P、1080P、5MP、8MP等高分辨率IPC的接入，大路数并发大码流的实时数据读写，传统存储的性能面临极大的挑战；安防监控视频图像的高清显示、海量非结构化的数据存储、多元信息融合、音视频图像的分析挖掘、大规模数据的智能分析及决策需要引入云计算、云存储等多种先进技术，尤其在平安城市、智能交通、智慧城市以及跨地域的大规模行业应用当中，对于这些行业中海量的视频图片等非结构化数据存储系统的需求，意味着数据存储能力和计算处理性能的提升，存储产品要求具备高性能、高容量、高可靠性以及可扩展性，同时需要实现与安防行业应用的深度结合，满足安防系统海量视频数据管理的特殊业务应用。

云存储将成为未来平安城市、智慧城市系统的基石，有效的支持原始视频存储、卡口图片存储，视频图像信息库等数据集中存储与共享业务，以及智能实战系统，警务政务综合系统，大型数据挖掘系统等数据分析业务，成为便捷、统一管理和高效应用的大数据基础平台。

云存储系统难点技术解析

云存储在系统架构和设计上，充分考虑大规模集群环境下软硬件发生故障的现实，采用先进的管理思想和软件系统，实现对大量普通存储服务器存储空间资源进行虚拟化整合，实现软硬件故障高度容错，搭建高度稳定可靠的存储集群。系统整体为应用提供统一命名空间，使得系统具备极好的数据共享能力。系统将负载均衡到集群内的各节点上，充分利用集群各节点性能，以获得很好的性能聚合能力以及保证了系统的稳定。集群采用高度灵活自组网技术，提供简易部署和维护功能。系统在数据可靠方面，采用智能冗余重建技术，保证较高磁盘利用率的前提下，提供最佳冗余策略。另外，系统在节点软硬件故障容错方面，也进行充分考虑，具备屏蔽所有可屏蔽错误能力。

快速文件索引技术

云存储系统可以支持上亿级的文件，同时还需要支持上千个用户同时访问。这么大规模的元数据和并发访问量，采用传统的内存加磁盘多级存储，以及多级索引方式，寻址的开销将非常大，直接影响到系统的可用性。为了提高系统的响应速度，云存储一般采用粗粒度的管理方式，以64M作为典型的块大小进行索引，大幅减小元数据的数量，即使如此，系统的元数据规模还是会达到GB级别。基于这种情况，系统采用全内存态的元数据访问模式，可以将文件寻址时间降到毫秒级别。

负载自动均衡技术

采用中心服务器模式来管理整个云存储文件系统，所有元数据均保存在元数据服务器上，文件则被按块划分存储在不同的数据节点上。元数据维护了统一的命名空间，同时掌握整个系统内数据节点的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据数据节点的磁盘使用情况、网络负担等情况，选择负担最轻的节点服务器对外提供服务，自动调节集群的负载状态。数据节点内同时有提供磁盘级的负载均衡，根据磁盘的IO负载，空间容量等情况，自动选择负载最轻的磁盘存储新的数据文件。另外对故障的数据节点上的数据快速恢复，只需将数据节点上的硬盘拔出，插入到其他数据节点，这样即减少集群对数据恢复的压力，又不对客户端读写产生影响。

高速并发访问技术

客户端在访问云存储时，首先访问元数据服务器，获取将要与之进行交互的数据节点信息，然后直接访问这些数据节点完成数据存取。客户端与元数据服务器之间只有控制流，而无数据流，这样就极大地降低了元数据服务器的负载，使之不成为系统性能的一个瓶颈。客户端与数据节点之间直接传输数据流，同时由于文件被分成多个节点进行分布式存储，客户端可以同时访问多个节点服务器，从而使得整个系统的I/O高度并行，系统整体性能得到提高。通常情况下，系统的整体吞吐率与节点服务器的数量呈正比。

高可靠性保证技术

对于元数据，通过操作日志来提供容错功能。主服务器本地SSD盘组建高可靠RAID1，提供高可靠容错能力。当元数据服务器发生故障时，在磁盘数据保存完好的情况下，可以迅速恢复以上元数据。且操作日志在主备元数据服务器之间实时同步，实现更高程度的可靠性。对于节点服务器，采用Erasure Code冗余方式实现容错，数据冗余分布存储在不同的数据节点上。任一数据节点的损坏，不会导致任何数据丢失，不会影响任何的数据访问和写入过程。之后，通过灵活数据恢复机制，进行数据重建过程。集群规模越大，恢复速度越快。

高可用技术

系统中的所有服务节点均是通过网络连接在一起，由于采用了高可靠的容错机制，系统增减节点不必停止服务，可在线增减存储节点。元数据服务器采用主备双机热备技术，主机故障，备机自动接替其工作，对外服务不停止；存储节点可采用Erasure code冗余备份机制，如采用4+1节点间冗余容错，任意损失一个节点，数据不丢失，服务不停止，客户端无感知。

云存储的应用领域

目前，云存储在各大行业安防市场中，都已有规模性的部署和使用。例如，智慧城市和平安城市的建设，就要求在视频监控方面，需提供海量的存储系统，能并充分利用好存储的数据进行深入的分析处理。传统的存储技术无法满足社会发展的需求，云存储在安防领域的应用将会成为必然的选择。未来通过云存储，越来越多的IT的技术与理念会引入安防，安防视频监控在不同的行业也将会有各自行业特性的应用特色与需求。同时，越来越多的行业在安防视频监控体系部署中，会引入“云”的理念与技术。云存储应用在各行业安防领域应用将会越来越宽广，安防厂家推出的基于安防特性专用云存储解决方案，将会使安防云存储应用更为普及、更为智能。安防行业中云存储作为未来存储主要存储形态，应用会越来越广泛和成熟。

云存储与智能分析和大数据的结合应用

在安防行业，涉及的数据信息类型很多，以数据的结构类型来看，包括各类非结构化、结构化及半结构化信息。其中，非结构化数据主要包括视频录像和图片记录，如监控视频录像、报警录像、摘要录像、车辆卡口图片、人脸抓拍图片、报警抓拍图片等；结构化数据则包括报警记录，系统日志记录，运维数据记录，摘要分析结构化描述记录以及各种相关的信息数据库，如人口信息、地理数据信息、车驾管信息等；半结构化数据则如人脸建模数据，指纹记录等。利用智能分析技术将安防大数据的非结构化数据转换为结构化数据，才能将IT大数据成熟的技术体系应用到安防大数据中，充分发挥安防大数据的作用。对于视频图像等非结构化数据的分析和处理，这些技术很多已在初期应用中不断改进和完善，很多更新的智能分析技术仍处在研发过程中，对这类数据的分析和处理也将成为安防大数据的核心价值点。而大数据的核心是应用，从数以亿级的数据里提取出最有价值的决策信息，对于安防而言，这种价值体现在最短的时间内找到对准确的事件真相，也就是还原案事件的过程或者做出相应的预测。因此云存储为安防大数据的价值也就体现在“快”，云存储和大数据的云搜索引擎相互匹配，高校存取高效检索。

作者单位：浙江大华技术股份有限公司