监控系统中云存储的应用和实现

谢崑 尹红兵

摘 要：随着视频监控业务数据的快速增长，视频以及图像存储的规模也变得越来越大，在人像识别等建设项目中其规模达到PB （1024TB）级别，传统存储设备根本无法满足各类视频业务需求，云存储能够通过管理软件协调和调度相关的存储设备，将不同种类的存储设备组织起来工作。

关键字：云存储;大数据;分布式集群

1.引言

前端设备的不断增加，使得视频存储数据的不断扩大，对存储容量的要求不断增加，记录的数据变得越来越大，需要配备更多的存储设备。新配备的存储资源在调度的过程中，要保证在运行的业务不能中断，同时要求快速接管新的业务数据，只有云存储系统才能满足大规模视频存储设备的需求。

2.现状与需求

海量数据不仅体现在数据量大，还体现在数据种类多，需要针对非结构化数据、半结构化数据、结构化数据的特征，提供相应的存储解决方案（流式存储、对象存储、块存储等），实现不同数据的高效存储和读取。

系统要求支持多路高清视频实时结构化分析，提取视频中人、车等特征属性，可根据特征属性快速检索并定位视频。

系统支持对所有车辆卡口、电警、人脸卡口等采集的图片进行二次分析及图片建模。

2.1云存储 的 应 用 现 状

云存储市场规模的不断增长，各大监控厂商也纷纷推出自有的云存储产品线。未来，随着监控数据的不断增长，对大容量、低成本、高效的云存储需求也会持续增长，2026年全球云存储市场规模有望接近1700亿美元。

2.2云存储 的 应 用 需 求

2.2.1图像云存储

图像云存储是提供高容量、高安全性、性能稳定的图片存储空间与功能，适用于卡口服务器、抓拍机、图片服务器等采集的图片数据的直写存储场景。图片存储服务同时也支持为第三方视频应用提供图片存储和处理能力，支持通过标准接口与第三方的应用和平台对接，第三方的应用包括但不限于视频监管平台、运维平台、智能分析平台等。

2.2.2视频云存储

视频存储服务是提供高容量、高安全性、性能稳定的视频存储空间与功能，采用标准的信息传输控制协议、传输控制流程和协议接口，支持监控前端视频流直写存储方式和专有的视频数据管理结构，解决了视频存储的循环覆盖特性带来的文件碎片问题，提升用户体验。

2.2.3对象存储

对象存储服务是提供高容量、高安全性、性能稳定的文件存储空间与功能，适用于海量文件的存储场景。用户无需事先规划存储容量 ，存储资源支持线性扩展，轻松应对大规模数据存储。

2.2.4云存储新技术的应用

云存储采用分布式集群架构设计，具有容量大成本低、扩展灵活、数据可靠、管理方便、调用连接简单等特点。

2.3云存储技术优势

2.3.1容量大成本低

云存储系统可以提供超大容量储存空间，多个存储节点可以轻易提供超过百PB的存储容量。

由多个存储节点组成云存储系统成本，远低于传统存储架构，并且具有良好的可扩充性和灵活性。

2.3.2扩展灵活

存储资源可以轻易扩展，扩展切换时间短，用户管理效率高;

支持存儲容量的平滑变化，可以自动识别增加的存储设备;虚拟磁盘大小可以调整，根据客户的需求灵活适配。

2.3.3数据可靠

系统采用分布式文件存储方式，储存数据被复制成多个副本，分别存放在不同的存储节点不同的磁盘上，这一特性使得分布式存储系统的可靠性更高。

2.3.4管理简便

管理维护高效方便。系统管理员可以通过集群内任意节点访问管理，实现对存储节点CPU、内存、系统软件，存储集群和系统提供业务进行管理。单个节点失效不会影响系统管理员的正常登录和使用。

2.3.5调用连接简单

采用标准的网络接口，支持主流的文件与数据传输访问协议（NFS和CIFS等），视频监控系统平台可以直接调用。

3.建设思路和技术方案

3.1建设思路

云存储是基于云计算架构，采用了大数据、虚拟化等先进技术，集中统一建设的云服务中心。云存储主要面向视频专网，为用户提供专业化的视频类服务、通用云计算服务及大数据计算服务。

3.1.1云计算架构

综合运用虚拟化、分布式、大数据等技术，构建X86计算资源池、存储资源池，实现资源可控、弹性运用。同时基于多租户技术，通过对物理或虚拟资源的分配保证多个用户以及他们的计算和数据彼此隔离和不可访问。用户可按需使用资源，能够方便快捷地申请云资源或释放云资源。

3.1.2前端设备科学接入

云存储具备高效的视频系统接入能力及融合开放特性。首先，具备百万级别的设备接入能力，接入网关集群化，不存在单点故障;其次，具备多厂家、多协议、多类型设备接入，包括各类视频设备（如模拟摄像机、数字摄像机、网络摄像机、DVR等）、卡口抓拍设备（如车辆卡口、电警、人脸卡口），同时兼容国标平台的无缝接入。

3.2技术方案

3.2.1系统架构图

云存储系统是由多个存储节点和存储网络组成。管理服务器通过管理网络可以实现对系统包括设备管理，集群状态，节点状态，告警管理等功能管理;每个存储节点具有自己独立的处理器、内存、网络接口和软件管理系统，当存储节点发生改变时可以很方便的进行调整，例如增加或者删减容量的时候，存储节点可以按照比例调整内存大小、处理能力、磁盘空间和网络连接，以保证系统正常运行。云存储系统储物理设计结构如下图所示：

系统结构图

云存储系统系统采用多台存储节点形成集群工作的方式提供存储访问服务，集群中的每一个存储节点设备都可以提供内容访问读写服务，对外可视为一个存储整体，单存储节点或存储节点中的某个介质失效不会导致全局失效的问题，同时新扩容节点或存储节点中的介质增减对整体运行无影响。

3.2.2功能设计

云存储系统由以下 4层组成。

（1）、存储层

存储层是云存储用于内容存储的部分由多个存储节点组成，节点存储设备选取的是提供 NAS 接口，支持 NFS 和 CIFS 协议共享的存储设备。

（2）、基础管理层：

基础管理层是云存储最重要的部分，作用是部署分布式文件系统或建立和组织存储资源对象。集群中每个节点都具有独立基础管理能力，可独立完成节点管理工作，通过集群，多个的节点存储设备可以共同对外服务，具有极好的数据访问性能。

节点主要针对 NAS 存储，支持配额管理、分级存储、快照、WORM、异步远程复制等增值特性;针对对象存储，支持重删、 多租户和传输加密。

（3）、应用接口层：

应用接口层是面向使用方的部分，云存储要根据使用方实际业务需求，开发出不同的应用服务接口，在视频监控项目中主要是提供视频监控平台的调用服务，其主要类型覆盖网络接口和部分API调用。

（4）、访问层：

通过网络接入，授权的用户都可以直接登录云存储系统，以文件服务的形式直接使用云存储服务。

4.结语

未来安防将实现大数据化、应用云端化，云存储作为视频监控大数据的重要支撑还有很多可以进步和优化的空间。如何更好地同安防系统相配合，为视频大数据发挥更高效灵活的价值也需要继续深度挖掘。

参考文献

刘洋《云存储技术：分析与实践》出版社： 经济管理出版社

朱晓彦 顾旭峰《云存储技术与应用》出版社： 高等教育出版社

武春岭 《云存储技术与应用》出版社： 电子工业出版社