视频存储风起“云”涌
2013-08-17沈文文
文/本刊记者 沈文文
监控云存储的出现,突破了传统存储方式的性能和容量瓶颈,使云存储提供商能够联结网络中大量各种不同类型的存储设备形成异常强大的存储能力,实现性能与容量的线性扩展,让海量数据的存储成为了可能。借助厂家提供的监控云存储服务,用户有望摆脱在硬件存储设备上的巨额投入,减少在系统维护上的人力支出,快速减轻财政压力。监控云存储的出现同时提升了用户和厂家的竞争力。
云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。
监控云存储的出现,突破了传统存储方式的性能和容量瓶颈,使云存储提供商能够联结网络中大量各种不同类型的存储设备形成异常强大的存储能力,实现性能与容量的线性扩展,让海量数据的存储成为了可能。系统的建设者只需要考虑摄像头和编码器等前端设备,为每一个编码器、IP摄像头分配一个带宽足够的接入网链路,通过接入网络与云存储系统连接,实时的视频图像就可以很方便地保存到云存储中,并通过视频监控平台管理软件实现图像的管理和调用。从而让企业拥有相当于整片云的存储能力,成功解决视频存储海量的难题。
云存储原理及架构
据了解,云存储系统的结构模型由四层组成:存储层、基础管理层、应用接口层、访问层。
存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备,可以是NAS和iSCSI等IP存储设备,也可以是SCSI或SAS等DAS存储设备。云存储中的存储设备往往数量庞大且分布在不同地域,彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。存储设备之上是一个统一存储设备管理系统,可以实现存储设备的逻辑虚拟化管理、多链路冗余管理,以及硬件设备的状态监控和故障维护。
基础管理层是云存储最核心的部分,也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术,实现云存储中多个存储设备之间的协同工作,使多个的存储设备可以对外提供同一种服务,并提供更大、更强、更好的数据访问性能。CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问,同时,通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。
应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型;开发不同的应用服务接口;提供不同的应用服务。比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台,远程数据备份应用平台等。
访问层也就是云存储系统的用户。任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统,享受云存储服务。其云存储运营单位不同,云存储提供的访问类型和访问手段也不同。
云存储架构技术的成熟和发展,极大地促进了云存储的广泛应用,更为原有存储系统的升级改造提供了新的技术和新的服务。当前云存储系统架构可以提供更为灵活的接入方式,不论是个人客户端还是企业客户端,都可以通过D2D2C(磁盘——磁盘——云)的云模式连接云存储数据中心的服务模块,并建立IDC数据备份中心,其系统可以支持存储容量的扩充及其他功能的扩展。另外,云存储系统架构可用与大型分布式文件系统进行文件管理,并实现跨数据中心的容灾管理。
视频监控图像存储的特点与要求
视频监控系统的主要特点是图像信息量巨大,要求具有足够的存储空间。硬盘录像机录像占用存储容量与图像质量、摄像机的路数、需要保存录像时间、录像机图像压缩比(这又与压缩采用的格式和图像变化情况有关)等因素有关。
目前国内DVR多数采用的是简化的H.264或MPEG-4压缩技术,在同等的图像质量,H.264的数据压缩比能比DVD系统中使用的MPEG-2高2~3倍,比老的MPEG-4高1.5~2倍。图像质量是CIF水平时,采用H.264技术,硬盘消耗率大约为100M/路/小时,16路硬盘录像机1TB的硬盘大约能连续录像26天。以目前高清最基本的720P效果为例,正常录像需要的硬盘容量大约为4G~8G/路/小时,出于经济性考虑,降低每小时视频录像可压缩到3GB左右容量。以此为例,按一个月保存时间计算,8路监控大约17T(17000G)容量左右。那么可以试想一下,如果需要几百、上千路这样的高清监控,如此庞大的视频文件,有如潮水般的冲击着存储系统,对存储设备的容量,读写性能、可靠性提出了更高要求。
数字化视频监控涉及到巨量数据的采集、存储和使用。因此,一个高效能的视频监控系统必须具备高效能的数据存储系统,这关系着数据管理的效率、数据安全以及数据利用的效率。在电信级别的数字化监控系统中,对于数据存储系统的要求,一般说来要满足六个方面的要求:
1、电信级数字监控系统的重要特点之一是大量集中的数据存储和分散化的前端应用。因此,存储系统必须具有较强的数据传输能力,否则将会影响数据存储和利用的效率。
2、海量数据存储需求和快速的增长变化的特点,要求存储系统在必须能够满足电信级别数据监控的海量存储要求外,同时又必须具备良好的扩展性能,应对数据量飞速增长对于存储空间扩大的需求。
3、由于监控系统一般要求实时的录像输入,所以这种实时录像输入对盘阵的数据写能力提出了较高的要求,否则在写速度达不到要求的情况下,数据大量集中在缓存中,最终将会导致缓存数据溢出以致主机死机。
4、监控录像需要在间隔一段时间后对数据进行删除,在数据删除后,会有一定时间的间隔数据不能立即写入,这时候数据都是保存在缓存里,较大的缓存可以保证更多的数据滞留在缓存中,等待向硬盘空间的重新写入。
5、随时可能出现的监控录像调用和检索的要求,有时甚至是多个用户的同时调用要求。
6、电信级庞大的存储需求决定了对存储良好管理性的要求。简单有序的管理性可以帮助用户降低运营维护的成本,同时也是系统稳定性的重要保障。对于电信级别系统而言,良好的稳定性是必需的,如果缺乏稳定性,则会给众多用户带来巨大困扰,甚至带来巨大的损失。
作为图像数据和报警事件记录的载体,存储的重要性是不言而喻的,当前,存储已不仅是一个设备,而是已经升华到了一个解决方案平台的地步。大容量的存储系统并不是存储设备的简单堆积,更需要解决存储机制的完备性、存储标准以及在时间(存储数据处理速度)和空间(存储容量)上的可使用性等问题,还有大容量存储系统的可管理性要求。
云存储技术在网络视频监控中的重要性
安防行业的现状正处于从过去的非联网、分散化的形态向联网、数据中心化的形态演进中。因此云存储技术在安防领域的应用是很有前景的。
平安城市建设提出了监控系统的联网要求,许多厂商都开发了具有联网传输功能的DVR或NVR,以及具有网络存储架构的NAS (Network Attached Storage,网络附加存储)和SAN(Storage Area Network,存储网络)软硬件设备。NAS采用磁盘阵列和网络架构具有很大的存储容量,而SAN配合监控管理平台能够提供更大的存储空间,具有存储空间易于扩展、寻址灵活、可远距离传输数据、存储设备利用率高等特点,适合大型的集中式网络监控系统。IP SANs是目前视频监控存储市场的一个热点,而DVR在相当长的一段时间内会与其他的存储方式共存。
高清视频在经过不同的编码处理以后,依据码率不同而有不同的要求。一般码率在6-20Mb之间,压缩效率、压缩方式不同,所获得的最终文件大小约为3-10GB/小时,因此便产生了对于存储大容量的要求。目前720P高清视频摄像资料每小时视频录像可压缩到3GB左右容量,按一个月保存时间要求计算,可以得到这样一个数据:3GB/小时×24小时×30天×1路=2.16T,一个拥有500路高清视频摄像,需要保存30天的监控系统所需的最少存储容量是1PB。
近两年来,电信和网通在全国各地建设了很多不同规模的“全球眼”、“宽视界”网络视频监控系统。“全球眼”或“宽视界”系统的终极目标是建设一个类似话音网络和数据服务网络一样的、遍布全国的视频监控系统,为所有用户提供远程的实时视频监控和视频回放功能,并通过服务来收取费用。但由于目前城市内部和城市之间网络条件限制,视频监控系统存储设备规模的限制,“全球眼”或“宽视界”一般只能在一个城市内部来建设。
假设我们有一个遍布全国的云存储系统,并在这个云存储系统中内嵌视频监控平台管理软件,建设“全球眼”或“宽视界”系统将会变成一件简单的事情。系统的建设者只需要考虑摄像头和编码器等前端设备,为每一个编码器、IP摄像头分配一个带宽足够的接入网链路,通过接入网与云存储系统连接,实时的视频图像就可以很方便地保存到云存储中,并通过视频监控平台管理软件实现图像的管理和调用。用户不仅可以通过电视墙或PC来监看图像信号,还可以通过手机来远程观看实时图像。同样,行业的大型网络监控系统也可以采用云存储系统。目前国内企业已经在这方面有所进展。
结束语
大规模联网监控的建设和高清监控的逐步普及,需要存储的海量视频数据有如潮水般的冲击着存储系统,不仅对存储设备的容量,而且对读写性能、可靠性能提出了更高要求。监控云存储的出现,突破传统存储方式的性能和容量瓶颈,使云存储提供商能够联结网络中大量各种不同类型的存储设备形成异常强大的存储能力,实现性能与容量的线性扩展,让海量数据的存储成为了可能,从而让企业拥有相当于整片云的存储能力,成功解决存储难题。借助厂家提供的监控云存储服务,用户有望摆脱在硬件存储设备上的巨额投入,减少在系统维护上的人力支出,快速减轻财政压力。监控云存储的出现同时提升了用户和厂家的竞争力。
视频监控作为安防领域主要分支,其数据量对网络带宽的消耗非常大,就当前而言恐怕还不完全具备数据中心化的条件,云存储技术在安防监控领域的应用还将走过一段较长的路程,但随着网络技术的飞速发展,影响其推广的障碍也会得到根本解决,云存储在监控领域将有美好的前景。