浅谈“平安城市”中的云存储技术
2014-10-21程海涛薛虎
程海涛 薛虎
【摘要】当今世界的各行各业越来越依赖于计算机及网络技术,尤其是在“平安城市”的建设中,如何更好的存储和处理大数据的图像和信息,对现有技术提出了一个很大的考验,而云技术的产生对大数据量的处理和分析,提供了最有利的保障,特别是大数量的存储方面。本文结合“平安城市”建设规范和要求,对“平安城市”中的云技术尤其是云存储方面进行探讨。
【关键词】平安城市;云技术
1.前言
随着社会的发展和科技的进步,原始纸质和磁带式单一的存取介质已很难满足人们大量信息数据的存取需求,特别是计算机和网络的飞速发展,人们对信息数据存取要求越来越高,尤其是在安防视频监控系统中日渐突出。
“平安城市”是建立在新一代信息技术支撑下的城市形态,通过信息和通信技术的应用,提升城市的管理水平,提高市民的生活质量,令城市运行和市民生活更加智能。而视频监控系统的高清化,已经成为一个不可阻挡的趋势,这对视频监控的大量存储提出了更高的要求,因此存储系统也会逐步趋向于稳定性、集中化管理、分布式存储的方向,未来需要高密度、高性能、更加迎合应用、定制化强、易于运维的存储解决方案,云存储的技术正好解决了这一难题。
云存储的发展有利于推动各种视频监控资源在云中融合,在安防领域,视频监控不能单独成为一个独立于其他安防措施的系统,它应当和警务督察系统、110报警系统、道路监控系统、车辆管理系统、人口稽查系统、GPS可视化系统等等多种安全防护系统联动,最终成为一套成熟的安全防护系统。而这些系统如果真正实现融合,资源共享就离不开云存储。
存儲云是视频云节点中内部运行云存储核心服务,它是一套运行可靠的分布式协调系统,实现节点间控制、节点选举、状态侦测、分布式同步、配置维护、名字服务、群组服务、业务调度等云化集群服务。视频云节点中的前端接入服务、媒体服务、管理服务等各个功能模块能够实现视频监控业务SAAS云平台。存储云监控平台采用N+0热互备的云化集群模式,以业界领先的高性能存储为依托,不需要购置额外的机器,N台机器自己互备。
2.存储云方案
采用集成视频监控系统软件的网络视频存储,基于云计算技术,组成网络视频云存储系统。系统不需要独立服务器,采用统一规格的云存储单元构建。
图1 存储云整体架构
存储云总设计:
系统不需要独立服务器,采用统一规格的云存储单元构建。其网络架构图如图1所示。
存储云主要部署在各个派出所,每个派出所构成存储云,提供云存储服务视频云存储节点系统可启用云化集群工作模式进行高可用保护,保证单台视频云存储节点设备宕机的情况下,迅速由其它视频云存储节点设备接管它的工作。
在启用云化集群功能后,集群内的视频云存储节点设备可以提供负载均衡服务。所有的写压力将会自动的分担到所有的视频云存储节点设备上。集群会定期收集各视频云存储节点成员的状态和负载情况,若发现负载严重失衡时,将及时进行调整。当新的业务到来时、故障机器上的业务转移时,存储云会智能地选择出最优的负载分配策略,在保证每台机器承担的业务负载不超过其能力极限的同时,尽量令各台机器的业务压力平均。
调度算法同时根据每台成员的软硬件配置,智能分配业务压力,配置好的机器会承担更多的业务压力。
负载均衡技术使得各视频云存储节点设备的性能、设备生命、节能等指标均达到最优。
3.存储云实现机制
3.1 实现机制总体描述
前端采集的视频流直接存储视频入网络视频云存储系统,同时按需转发实时视频流到授权客户端和电视墙系统。
平台管理系统对网络视频云存储系统进行统一配置和管理,在派出所与分局网络中断或者管理服务器宕机的情况下网络视频存储系统能够独立运行,不影响派出所操作人员对前端视频的实时监控、图像存储和历史图像检索回放。
网络视频云存储系统可以通过单一窗口实现共同配置、维护和管理,并需提供开放的集成接口(SDK、API等),便于第三方集成软件实现异构存储设备的集中运行监控和维护。
图2 存储云管理机制示意图
3.2 存储系统的管理调度
在市局部署M台设备用于整个存储云设备的管理调度。在每个派出所中,基础存储单元数量小于或等于N台时,设置一个主存储节点,用于对该派出所内存储设备的管理和调度,此时此台存储设备不仅能够实现管理功能还可以当做存储设备使用;当排除所存储设备数量大于N台时,如果依然让单台存储设备既做管理又做存储,会使其受到影响,故需单独增加一台管理设备,用于专门对该派出所内存储设备的管理和调度使用。具体的图示如图2所示
可以将每个派出所看做一个域,在这个域内实现云存储。在启用云存储功能后,域内的视频云存储节点设备可以提供负载均衡服务。在视频云存储节点内部,多个RAID组之间,当某个RAID组工作压力较大时,节点设备可分配若干数据流到另一较轻松的RAID组中,实现RAID组级负载均衡。负载均衡技术使得各视频云存储节点设备的性能、设备生命、节能等指标均达到最优。
当有一路视频图像需要存储的时候,域主节点会自动对其管辖范围内的云存储节点成员的状态和负载情况进行查看,调度到综合负载最小的存储设备上进行存储,之后此路视频都会按照这一路径位置对视频进行存储。
当存储设备中RAID组中磁盘损坏时,热备磁盘将启用,并且该RAID组将利用剩下磁盘中的数据及相应的奇偶校验信息将损坏的数据进行恢复。
当存储云中其中一台存储设备不可用,云中的域主节点会跟根据当前其他存储设备负载情况,把前端暂时迁移到其他存储设备上。等原有存储设备恢复上线后,前端在回迁到原有存储上。
每个派出所会设置两个域主节点,一主一备,当域主节点出现故障时,备份的域主节点会启动管理调度功能对本域内的云存储节点进行管理。
4.总结
云存储不是存储,而是服务就如同云状的广域网和互联网一样,云存储对使用者来讲,不是指某一个具体的设备,而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储,并不是使用某一个存储设备,而是使用整个云存储系统带来的一种数据访问服务,云存储的核心是应用软件与存储设备相结合,通过应用软件来实现存储设备向存储服务的转变,通过对存储的云化,对平安城市中大量数据的存储和应用提供了保障,云存储已经成为未来存储发展的一种趋势。