云技术及其在视频存储中的应用
2013-08-17雷玉堂
文/雷玉堂
云存储的出现,突破传统存储方式的性能和容量瓶颈,使云存储提供商能够联结网络中大量各种不同类型的存储设备,而形成异常强大的存储能力,实现性能与容量的线性扩展,让海量数据的存储成为了可能,从而让企业拥有相当于整片云的存储能力,成功地解决了视频存储的难题。本文论述云技术的基本概念,云存储与云计算的关系,云存储在视频存储中的优势,以及云技术在视频存储中的应用。
云技术或云计算这个名词可能是借用了量子物理中的“电子云”(Electron Cloud),它强调说明计算的弥漫性、无所不在的分布性和社会性特征。量子物理上有“电子云”, 因为在原子核周围运动的电子是没有规律的,是弥漫空间的、云状的存在,描述电子的运动不是牛顿经典力学而是一个概率分布的密度函数,用薛定谔波动方程来描述,特定的时间内粒子位于某个位置的概率有多大,这跟经典力学的提法就完全不一样。
电子云有以下特性,概然性、弥漫性、同时性等等,云计算可能的确是来自电子云的概念,前几年就有所谓“无所不在的计算”,IBM有一个无所不在的计算叫“Ubiquitous”,MS(Bill) ,不久也跟着提出一个无所不在的计算“Pervade”,人们开始对无所不在的计算又有了新的认识,现在说是“Omnipresent”。但是,云计算的确不是纯粹的商业炒作,的确会改变信息产业的格局,许多人已经用上了Google Doc和Google Apps,用上了许多远程软件应用如Office字处理,而不是用自己本地机器上安装这些应用软件,以后谁还会花钱买Office软件呢?还有许多企业应用如电子商务应用,例如要写一个交易程序,Google的企业方案就包含了现成的模板,一个销售人员根本没学习过高级语言程序设计(如用Netbeans编程)也能做出来。这种计算和产业动向是符合开源精神的,符合SaaS(Software as a Service)趋势。
只要你能够访问网络,并且有一台连接到网络的设备,你就不需要大型硬件。你能够在任何时间从任何地点访问你的数据,你的成本将下降,你只要支付你需要的东西的费用。你的数据保存在一个地方,是密封和安全的,你不必再负责它的安全。你的碳排放量和对于社区的影响将大幅度减少。你的数据、你的应用程序和你的服务器在你需要的时候都可以使用,没有基础设施或者资本开支的限制。因此,云计算能够使用其它方法无法获得的计算能力。
云计算的概念也许对于IT经理是有魅力的,但是,像许多颠覆当前做事方法的想法一样,云计算也存在一些阻力。在当前的气候中应用云计算的最诱人的理由是,它有可能大幅度减少能源消耗和浪费,而耗费能源和浪费正是当前数据中心的特点。
云计算实际上包含多种技术,例如软件即服务(SaaS)和硬件即服务(HaaS)。当然,云应用的关键在于我们从第三方那里合并进来的众多服务,第三方为我们提供应用,丰富了用户体验,节省了代码成本。只要有可能,在适当的地方获取这些发布者的服务水平协议就很重要,尤其是易变的服务接口。
由于很多公司在现有设备上投资很大,因此许多人认为可以采用混合模式来引入云计算,即在公司内部,或称为“私有云”中完成一部分计算需要。百度预计越来越多的企业将会使用云计算。百度的目标是让更多人和公司适应Google Apps,并已经向一些大学免费提供Google Apps。
最简单的云计算技术在网络服务中已经随处可见,例如搜寻引擎、网络信箱等,使用者只要输入简单指令即能得到大量信息。未来如手机、GPS等行动装置都可以透过云计算技术,发展出更多的应用服务。进一步的云计算不仅只做资料搜寻、分析的功能,未来如分析DNA结构、基因图定序、解析癌症细胞等,都可以透过这项技术轻易达成。
云技术是计算机网络的一种高级形式的利用而已。而且,网络也只是比以前更快了,也许会多了IPV6,而TCP/IP本身没有变化。其实,云计算的结果就是复杂的协议统统略去,成为计算中心的内部事务。将来,终端计算机就会跟电视一样,没有任何数据处理功能,完全只是画面的呈现。也不再会有光盘的发行了,也不需要U盘来拷贝文件了。文件也不需要下载了。有了统一的数据处理中心,资源的利用率也会显著提高。
所谓“云模式”,就是“数据中心”模式形象化称呼。数据中心模式在IT领域经过若干年的发展后,核心思想是对信息的操作可以拆解为一段段,利用网络连接,将操作分布化,实现整个操作进程在本地和远端的灵活分配。如今几乎所有大型IT系统均已经数据中心化了,互联网本身则进一步为数据中心提供了最基本的物理载体。
视频监控系统的主要特点是图像信息量巨大,要求具有足够的存储空间。目前,16路硬盘录像机1TB的硬盘大约能连续录像26天。以目前高清最基本的720P效果为例,正常录像需要的硬盘容量大约为4G~8G/路·小时,出于经济性考虑,降低每小时视频录像可压缩到3GB左右容量。以此为例,按一个月保存时间计算,8路监控大约17T(17000G)容量左右。如果需要几百、上千路这样的高清监控,如此庞大的视频文件,有如潮水般地冲击着存储系统,对存储设备的容量、读写性能、可靠性提出了更高要求。因此,一个高效能的视频监控系统必须具备高效能的数据存储系统,这关系着数据管理的效率、数据安全以及数据利用的效率。当前,存储已不仅是一个设备而已,而是已经升华到了一个解决方案平台的地步。大容量的存储系统并不是存储设备的简单堆积,更需要解决存储机制的完备性、存储标准以及在时间(存储数据处理速度)和空间(存储容量)上的可使用性等问题,还有大容量存储系统的可管理性要求等。
云存储是在云计算概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储是一个以数据存储和管理为核心的云计算系统。
云存储可以实现存储完全虚拟化,大大简化应用环节,节省客户建设成本,同时,提供更强的存储和共享功能。云状存储中所有设备对使用者完全透明,任何地方、任何被授权用户都可以通过一根接入线与云存储连接,进行空间与数据访问。用户无需关心存储设备型号、数量、网络结构、存储协议、应用接口等,应用简单透明。云存储对使用者来讲,不是指某一个具体的设备,而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储并不是使用某一个存储设备,而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲,云存储不是存储,而是一种服务。
云存储的核心是应用软件与存储设备相结合,通过应用软件来实现存储设备向存储服务的转变。与传统的存储设备相比,云存储不仅仅是一个硬件,而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心,通过应用软件来对外提供数据存储和业务访问服务。
云存储已经成为未来存储发展的一种趋势。监控云存储的出现,突破了传统存储方式的性能和容量瓶颈,使云存储提供商能够联结网络中大量各种不同类型的存储设备,形成异常强大的存储能力,实现性能与容量的线性扩展,让海量数据的存储成为了可能,从而让企业拥有相当于整片云的存储能力,成功地解决了视频存储中难题。本文论述云技术的基本概念,云存储与云计算的关系,云存储在视频存储中的优势,以及云技术在视频存储中的应用。基础设施即服务(Infrastructure as a Service,IaaS)、成功的项目群管理(Managing Successful Program,MSP)等先进的商业模式,把这强大的计算能力分布到终端用户手中。
云计算的一个核心概念就是通过不断提高“云”的处理能力,进而减少用户终端的处理负担,最终使用户终端简化成一个单纯的输入输出设备,并能按需要享受“云”的强大计算处理能力。
云计算的基本原理是,使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将与互联网更加类似,如图1所示。这使得企业能够将资源投入到用户需要的应用上,并根据需求访问计算机和存储系统。
图1:云计算是使计算分布在大量的分布式计算机上
云技术的基本概念
云技术的含义
云技术(Cloud technology),是基于云计算(cloud computing)商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。实际上,云技术就是云计算技术。
云计算是分布式计算技术的一种,其最基本的概念,是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统,经搜寻、计算分析之后将处理结果回传给用户。透过这项技术,网络服务提供者可以在数秒之内,达成处理数以千万计甚至亿计的信息,达到和“超级计算机”同样强大效能的网络服务。
云计算是网格计算(Grid Computing)、分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算、网络存储、虚拟化、负载均衡等传统计算机技术和网络技术发展融合的产物。它旨在通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的完美系统,并借助软件即服务(Software as a Service,SaaS)、平台即服务(Platform as a Service,PaaS)、
云计算概念是由Google公司提出的,它分为狭义云计算和广义云计算:狭义云计算是指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的资源;广义云计算是指服务的交付和使用模式,这种服务可以是IT和软件、互联网相关的服务,也可以是任意其他的服务,它具有超大规模、虚拟化、可靠安全等独特功效。
“云”是一些可以自我维护和管理的虚拟计算资源,通常为一些大型服务器集群,包括计算机服务器、存储服务器、宽带资源等。云计算将所有的计算资源集中起来,并由软件实现自动管理,无需人为参与。这使得应用提供者无须为繁琐的细节而烦恼,能够更加专注于自己的业务,有利于创新和降低成本。这就好比是从古老的单台发电机模式转向了电网供电的模式,用户不需要知道自己用的电来自于哪一家火力发电厂,或是哪一家水力发电站。云计算意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉。最大的不同在于,它是通过互联网进行传输的。
云技术服务的特征
通常,云计算服务应该具备以下几条特征:
①用户不知道数据来源;
②基于虚拟化技术快速部署资源或获得服务;
③实现动态的、可伸缩的扩展;
④按需求提供资源、按使用量付费;
⑤通过互联网提供、面向海量信息处理;
⑥用户可以方便地参与;
⑦形态灵活,聚散自如;
⑧减少用户终端的处理负担。
以云计算为代表的分布式网络信息处理技术正是为了解决互联网发展所带来的巨量数据存储与处理需求,而在物联网规模发展后产生的数据量,将会远远超过互联网的数据量,海量数据的存储与计算处理需要云计算技术的应用。规模化是云计算服务物联网的前提条件,实用技术是云计算服务物联网的实现条件。
云技术的关键
云技术的一个发展方向是将实验室中的云计算理论与半成熟的理论,如软件即服务,或面向服务架构等结合起来,将企业应用和功能置于云中。例如,与其将一些已经成熟的服务,比如电邮服务加入到云应用中,不如将企业的供应链系统加入到云应用中,实现与供应商的实时链接。从逻辑上讲,企业可以将业务流程和功能分割成小的功能块,并将其与云技术结合,从而创造出个性化的业务功能,同时将原先一两年才能完成的架构搭建工作,缩短到数周或数个月完成。
有很多方法和理论可以帮助我们捕获和记录业务流程,如果你曾经留意过去十年的管理课程,会发现Six Sigma , Lean或其它方法论中有很多关于业务流程捕获和重新建模的内容。而对我们的目标来说,结果的重要性要远大于采用什么方法进行业务流程的存档和记录。
从IT的角度看,确认业务过程被正确记录,是一件很简单的事情。由于IT部门的人员可能并不熟悉业务部门的运作流程,因此当一个业务发生时,全程跟踪下来并将流程绘制成流程图,可以帮助IT人员快速进入状态。在这中间,尤其要注意的是业务部门之间的交接,数据单元进入IT系统时,以及系统间的数据接口。
便携式业务流程的关键就在于理解这些交接过程并将其进行简化。从宏观角度,完美的便携式流程扮演着神秘黑盒子的角色:你将一个定义完整的数据单元放入黑盒子,另一端会出来一个同样定义完整的数据单元。当你在这个层面理解了业务和IT过程,考虑其他问题就简单多了。当某个黑盒子的功能无法满足企业需求时,可以很方便地将其更换。与以往大杂烩似的业务架构相比,新的方法就好像一个可以自由拆卸的自行车,哪个零件坏了,拆下来换上新的就可以了。在基于便携式业务流程的企业架构中,你不再需要与某个外包商签订协议,而是可以随时将多个“黑盒子”灵活调整,满足企业现有的业务需求、财务状况以及战略方向等。简单讲,你已经是一个交响乐队的指挥,而不仅仅是个吹号的乐队成员了。
当前,你企业中的很多业务组件可能都不具备云计算的功能,不过没有关系,一旦你理解了这个层面上的业务是如何运作的,你就可以自己优化一套“黑盒子”,并在时机成熟时将其与云相结合。深入理解这个概念,你的企业将能更加灵活地适应商业环境的变化。
和很多值得一做的努力一样,收集企业的业务流程并确保将其转换为便携式的业务流程是一个说起来容易做起来费时的工作。但是,如果你真的希望云技术能给你的企业带来改变,便携式的业务流程是不可缺少的一个前提。当你意识到全球用户和各地的系统功能都需要云技术相互连接起来时,你才能真正发现云技术的实用价值。
云技术的趋势
“云计算”是一个很时尚的概念,它既不是一种技术,也不是一种理论,而是一种商业模式的体现方式。准确地说,云计算仅描述了一类棘手的问题,因为这个阶段,“计算与数据”跷跷板的平衡已发生变化,即已经到“移动计算比移动数据要便宜得多(Moving computation is cheaper than moving data)”。
“数据”变得越来越臃肿,用经济的眼光看,“数据”应该“固定”下来。想像一下,复制1PiB(1PiB = 1024TiB)数据的成本以及存储这些数据的成本,数据变来变去而导致的“一致性”问题。诸如搜索、推荐和社会关系网络等这些“新兴”的服务是很耗费“数据”的,如看似一个简单搜索请求,却依赖于一个规模极为庞大的索引数据,处理后输出却很小。输入输出的数据规模远远小于计算的数据处理规模,几百个KiB相对几个PiB,保守点“1 ∶ 1000,000”。比例问题还好理解,然而问题关键却是云内的数据与数据之间的关系,即“数据的划分问题”。尽管“分而治之”是一个古老的原则,而且分布计算也已经发展了四十多年,然而对这一点,我们的认识依然浅得很。
“云计算”代表了一个时代需求,反映了市场关系的变化,谁拥有更为庞大的数据规模,谁就可以提供更广更深的信息服务,而软件和硬件影响相对缩小。按照云计算的最普通的和最雄心勃勃的解释,它的目标是把一切都拿到网络上。说得通俗一点,云就是网络,网络就是计算机。
当如此众多的机构分布在全国各地和世界各地的时候,当如此众多的人在移动中或者在家里工作的时候,为什么不把你的一些数据和处理需求交给第三方,使用手机、移动电脑或者其它设备访问在整个网络上的一切东西呢?你的数据将由口令保护,就像在本地网络上一样并且能够在整个网络上加密。这个处理任务能够让第三方虚拟化计算机完成,最大限度地使用处理器的能力,大量减少机构和更广泛的团体的碳排放量。
云计算是使用与日益增长的Linux、高性能计算和虚拟化等有关的技术实现的一个领域。对于IBM和HP等公司来说,大型计算机的复苏和刀片式服务器的发展(这两者都要归功于Linux的应用)以及数据中心在能力、数据和处理器利用率方面的效率,已经使云计算成为了现实。
云存储与云计算的关系
云计算在广泛应用的同时还有云存储作为其辅助。所谓“云存储”,就是以广域网为基础,跨域、跨路由来实现数据的无所不在,无须下载、无须安装即可直接运行,实现一种云计算架构。最简单的云计算技术在网络服务中已经随处可见,例如搜寻引擎、网络信箱等,使用者只要输入简单云技术指令即能得到大量信息。未来如手机、GPS等行动装置都可以透过云计算技术,发展出更多的应用服务。2008年11月,广东电子工业研究院开始筹建国内首个自主产权的云计算平台。如今,这一平台的服务企业已有几百家,推出了“教育云”、“制造云”、“供应链云”和“创意云”等应用。在推出了一系列私有云的同时,公有云产品也在2010年7月正式推出。
云存储和云计算的关系
云存储和云计算之间的关系还是很好理解的,云存储和云计算相比较,可以认为是云存储配置了大容量存储空间的一个云计算系统。
云计算是分布式处理、并行处理和网格计算的发展,是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多台服务器所组成的庞大系统,经计算分析之后将处理结果回传给用户。通过云计算技术,网络服务提供者可以在数秒之内,处理数以千万计甚至亿计的信息,达到和“超级计算机”同样强大的网络服务。
云计算系统的建设目标是将运行在PC上、或单个服务器上的独立的、个人化的运算迁移到一个数量庞大服务器“云”中,由这个云系统来负责处理用户的请求,并输出结果,它是一个以数据运算和处理为核心的系统。
云存储是在云计算概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储是一个以数据存储和管理为核心的云计算系统。
云存储系统与云计算系统的架构模型
云存储系统与云计算系统的架构模型,如图2所示。
图2:云存储系统与云计算系统的架构模型
从架构模型来看,云存储系统比云计算系统多了一个存储层,同时,在基础管理也多了很多与数据管理和数据安全有关的功能,而两者在访问层和应用接口层则是完全相同的。与云计算系统相比,云存储可以认为是配置了大容量存储空间的一个云计算系统。
云技术在视频存储中的优势
传统存储技术的缺陷
传统的存储技术是把所有数据都当作对企业同等重要和同等有用来进行处理,所有的数据集成到单一的存储体系之中,以满足业务持续性需求。但是在面临大数据难题时显得捉襟见肘:
成本激增问题。在大型项目中,前端图像信息采集点过多,单台服务器承载量有限,就造成需要配置几十台、甚至上百台服务器的状况。这就必然导致建设成本、管理成本、维护成本、能耗成本的急剧增加;
磁盘碎片问题。由于视频监控系统往往采用回滚写入方式,这种无序的频繁读写操作,导致了磁盘碎片的大量产生。随着使用时间的增加,将严重地影响整体存储系统的读写性能,甚至导致存储系统被锁定为只读,而无法写入新的视频数据;
性能问题。由于数据量的激增,数据的索引效率也变得越来越为人们关注。而动辄上TB的数据。甚至是几百TB的数据,在索引时往往需要花上几分钟的时间。
云存储技术的优势
与传统存储相比,云存储具有以下优点:
管理容易且方便。对云存储管理者来说,即使再多的存储服务器也只是一台存储设备,管理人员只需在整体硬盘容量快用完时,增加采购存储服务器即可满足现有的存储需求。而每台存储服务器的使用状况都可以很方便地在一个管理界面上看到。而云存储服务则可以很方便地在原有基础上扩展服务空间,满足需求。
此外,存储管理还可以实现自动化和智能化,所有的存储资源被整合到一起,客户看到的仅是单一存储空间,因而管理容易方便。
成本低。目前,企业在数据存储上所付出的成本是相当大的,而且这个成本还在随着数据的暴增而不断增加。为了减少这一成本压力,许多企业将大部分数据转移到云存储上,使所有的升级维护任务都由云存储服务提供商来完成,从而节约了企业存储系统管理员上的成本压力。这样,就能花很少的价钱获得最优的数据存储服务。
此外,云存储还能够实现规模效应和弹性扩展,降低运营成本,避免资源浪费。
可扩展性强。云存储架构采用的是并行扩容方式,当容量不够时,只需采购新的存储服务器,容量即可增加,而且几乎没有上限控制,这就是云存储服务强大的可扩展性。
使用容易。如果你将数据存储在云存储系统,你就可以从任何有互联网接入的地方得到这些数据。你根本不需要随身携带一个物理存储设备,或使用相同的计算机来保存和检索你的信息。
负载均衡。云存储能自动将工作任务均匀分配到不同的存储服务器上,从而可避免因个别存储服务器工作量过大而造成性能瓶颈,这样可使整个存储系统发挥最大的功效。
量身定制。这主要是针对私有云。云服务提供商专门为单一的企业客户提供一个量身定制的云存储服务方案,或者可以是企业自己的IT机构来部署一套私有云服务架构。私有云不但能为企业用户提供最优质的贴身服务,而且还能在一定程度上降低安全风险。
存储效率高。通过虚拟化技术解决了存储空间的浪费,可以自动重新分配数据,从而提高了存储空间的利用率,存储效率高。同时具备负载均衡、故障冗余功能。
灵活性强。今天你的公司使用200TB的存储容量,那么就支付200TB的费用。突然,公司明天要额外添加34TB的容量,这时省去对基础设施升级的麻烦,您只需在结算周期前,对服务提供商支付额外的容量费用。如果对部分数据的需要是暂时的,很简单,从云中删除不需要的数据,从而降低了整体业务使用量和费用,因而灵活性强。而以往企业内部的基础存储设施,却不具备存储容量范围快速转换和预算灵活性的优点。
由于云存储服务越来越成熟,各种规模的企业也开始利用数据存储外包的优势。云存储服务极大地降低了企业的存储基础设施成本和运营成本,大大削减了管理非结构化数据存储所需工时,其存储灵活性也是无法比拟的。
此外,云控制器提供异常灵活的复制功能,加上超快速的容量添加能力,您可以轻松地将数据从一个服务器迁移到另一个服务器。
数据安全。如果你曾经搭建过数据中心,会知道物理安全的地方在哪里。未经授权的人经过几个物理安全网关,窃取公司数据的几率是很小的。如果检查任意一个云存储供应商提供的服务,你会发现,这些数据中心不仅阻止不必要的物理访问,并且遇到任何自然和人为灾难时,依然会正常工作。
除了物理安全,对企业来说重要的是保护公司数据,阻止恶意访问。越来越多的厂商提供云存储网关设备,无论是远程云存储还是本地应用,都旨在提供高性能的数据安全。网关用来处理前端的数据存储过程。实际上,数据是存储在服务提供商的一些基础架构中,如Rackspace、AT&T、i365、AmazonS3等。
备份、灾难恢复不再困难。备份、灾难恢复的流程和要求变得越来越复杂、昂贵和费时。云存储服务,可以明显降低此成本和复杂性。如果在云中存储大数据,可以把数据复制到多个分散的位置上。
云存储技术在安防领域的优势特点
云存储技术在安防领域的应用特点包括:
监控云存储更多地会利用视频监控托管服务,为客户提供私有云服务,用于较小规模的部署,如家庭、商店;
提供安防云服务将会由企业自主定制、云服务商提供需要的基础架构、服务、软硬资源等;
数据中心模式将会被引入并逐渐成为安防产业的主流形态。
传统的存储模式已经不再适应当代数据暴增的现实问题,如何让新兴的云存储发挥它应有的能力,在解决安全、兼容等问题上,我们还需要不断地努力。
云技术在视频存储中的应用
随着网络技术的迅猛发展,利用网络为平台,集成最先进的网络技术。计算机技术和数字处理技术的全数字化网络监控系统逐渐开始流行,并且占据了越来越多的市场。网络监控的出现大大提高了图像质量,解决了传统监控中图像效果的难题,改变了传统复杂的连接方式,接入和实施更简单便捷。但是同时出现了庞大的存储需求以及网络方面的压力等问题。
虽然H.264压缩技术已将视频压缩至最小化,但仍然是治标不治本的做法,仍然困扰着网络监控行业。
视频监控系统对存储的需求
存储容量空间巨大且富有弹性。视频监控的特点之一是视频图像信息量巨大,存储容量随着画面质量的提高、画面尺寸的增大、视频线路的增加都会成倍增长。据预测,2012年高清产品可能超过标清成为市场主流,高清网络摄像机将继续保持高速增长的态势。因此在存储系统的设计中要综合考虑当下和未来一段时间数据容量的变化,为不久后的高清时代做好充足的准备。以720P高清视频摄像资料为例,每小时视频录像可压缩到3GB左右,按一个月保存时间要求计算,可以得到这样一个数据:
3GB/小时×24小时×30天×1路=2.16T
而一般的监控系统摄像路数都是几百乃至上千路,那么一个拥有500路高清视频摄像,需要保存30天的监控系统所需的最少存储容量是1PB。加之今后一段时间内,高清和超高清摄像的出现,系统的容量更加庞大。因此在设计时还要充分考虑存储容量的弹性增长空间。
要求存储性能高。大型联网视频监控都需要7×24小时不间断的视频数据采集,分散的前端应用,摄像机的高清化趋势都要求系统能满足大流量数据长时间、连续不间断地读写,需要10G级的I/0能力。为保证系统高速稳定的运行,需要系统能完成自动负载均衡的功能。
要求快速检索定位。在视频监控实际应用中,用户普遍感觉到数据量庞大,以及由此带来的对特定对象搜索定位需要耗费大量的人力和时间的问题,并且还难以保证不遗漏重要关键信息,因此监控数据的实际利用率并不高。在海量视频监控中,亟需一种可以准确快速找到目标对象的检索途径。
要求数据安全。视频资料根据重要等级,有不同的保存时间要求,从一个星期、三个月到半年、一年不等。在保存时间内要求数据完整,并且能随时进行方便地查询和处理。
要求有统一的数据格式。安防行业的前端设备在最近几年迅速铺开,但是由于缺乏统一的数据格式标准,从而带来品牌繁多、格式各异的难题,给视频资料的接入和调用带来很多的不便,导致一些视频数据的浪费。
基于存储虚拟化技术的云存储系统
在云存储中,通过存储虚拟化方法,把不同厂商、不同型号、不同通信技术、不同类型的存储设备互联起来,将系统中各种异构的存储设备映射为一个统一的存储资源池。存储虚拟化技术能够对存储资源进行统一分配管理,又可以屏蔽存储实体间的物理位置以及异构特性,实现了资源对用户的透明性,降低了构建、管理和维护资源的成本,从而提升云存储系统的资源利用率。
从总体来说,存储虚拟化技术可概括为基于主机虚拟化、基于存储设备虚拟化和基于存储网络虚拟化三种技术方法。
基于主机的虚拟化存储。其核心技术是通过增加一个运行在操作系统下的逻辑卷管理软件,将磁盘上的物理块号映射成逻辑卷号,并以此实现把多个物理磁盘阵列映射成一个统一的虚拟的逻辑存储空间(逻辑块),以实现存储虚拟化的控制和管理。从技术实施层面看,基于主机的虚拟化存储不需要额外的硬件支持,便于部署,只通过软件即可实现对不同存储资源的存储管理。但是,虚拟化控制软件也导致了此项技术的主要缺点:首先,软件的部署和应用影响了主机性能;其次,各种与存储相关的应用通过同一个主机,存在越权访问的数据安全隐患;最后,通过软件控制不同厂家的存储设备存在额外的资源开销,进而降低系统的可操作性与灵活性。
基于存储设备的虚拟化技术。它依赖于提供相关功能的存储设备的阵列控制器模块,常见于高端存储设备,其主要应用针对异构的SAN存储构架。此类技术的主要优点是不占主机资源,技术成熟度高,容易实施;缺点是核心存储设备必须具有此类功能,且消耗存储控制器的资源,同时由于异构厂家磁盘阵列设备的控制功能被主控设备的存储控制器接管,导致其高级存储功能将不能使用。
基于存储网络虚拟化的技术。其核心是在存储区域网中增加虚拟化引擎,以实现存储资源的集中管理,一般具体实施是通过具有虚拟化支持能力的路由器或交换机实现。在此基础上,存储网络虚拟化又可以分为带内虚拟化与带外虚拟化两类,二者主要的区别在于:带内虚拟化使用同一数据通道传送存储数据和控制信号;而带外虚拟化使用不同的通道传送数据和命令信息。基于存储网络的存储虚拟化技术架构合理,不占用主机和设备资源;但是其存储阵列中设备的兼容性需要严格验证,与基于设备的虚拟化技术一样,由于网络中存储设备的控制功能被虚拟化引擎所接管,导致存储设备自带的高级存储功能将不能使用。
表1:三种存储虚拟化技术对比
下面对三种存储虚拟化技术进行了分析对比,如表1所示。
基于存储虚拟化技术的视频云存储系统在视频监控中应用的架构,如图3所示。
图3:基于存储虚拟化技术的视频云存储系统在视频监控中应用的架构
云技术在视频存储中的应用
云存储的出现、突破了传统的存储方式的性能、容量的瓶颈,该技术能够联结网络中大量各种不同类型的存储设备,以便形成非常强大的存储能力,实现了性能与容量的大幅扩展,使海量数据存储成为了可能,让企业拥有了相当于整片云的存储能力,而不用去管实际的存储方式,从而解决了视频存储难题。
云存储使存储完全虚拟化,这样可以大大简化应用的环节,从而为客户节省了建设成本,并且向客户提供了更稳定的存储性能以及更强大的共享功能,云存储中的设备对使用者完全透明,任何地方在被授权的情况下都可以通过网络与云存储进行连接。进行空间与数据访问。用户不必关心存储设备的型号、网络、存储协议、应用接口等细节,应用简单而透明。
使用云存储,最重要的问题是其安全可靠性。如何保证能够随时随地访问我们所需要的数据,如何保证云存储服务器是7×24小时不间断地工作,如何保证我们的数据不会被其他的人窃取等,这是我们必须考虑的,也是云存储是否能够真正运用起来的关键。
安防云的特点和核心思想是通过弹性化的部署,实现安防应用的整合和统一;通过前端视频采集的即插即用,简化安防系统的实施、维护和管理难度;通过虚拟化的思想,实现云存储和按需分配;通过面向服务的架构,实现瘦客户端。从目前来看,云计算中的虚拟化和SoA架构结合的技术、开放和标准化的理念,在当前和未来的一段时期内,对安防监控行业发展具有积极的推动作用。
安防监控数字化、网络化、智能化发展的方向,越来越明确清晰,这个变化,对用户带来的直接影响,就是拉近了用户端和监控前端的距离感;其次数字化、网络化是也安防系统“漫步云端”的基础保障,安防监控架构和云计算架构有着惊人的相似性,而且成熟度较高,在IaaS层硬盘录像机、服务器、存储、NVR、视频监控类产品等构成基础架构层;在PaaS层,视频监控管理软件提供平台化的服务;在SaaS层,智能化视频监控应用提供上层的应用支撑。
云存储系统在智能视频监控中的应用架构,如图4所示。
图4:云存储系统在智能视频监控中的应用架构
安防监控领域的视频数据则具有非常明显的特征,其数据流依照时间顺序持续产生,并且数据量非常庞大。随着高清和超高清摄像机的不断加入,数据量的爆炸性增长可想而知。这类长时间、大流量的数据在进行存储时对传统的文件系统产生了非常大的压力,传统的文件系统在数据的存储上很少考虑到数据连续性问题,在磁盘空间的利用率上也尽可能地将数据的存储粒度降低以满足P2P式的文件下载访问需求。而这种方式对视频流数据则极为不利,系统在从存储中提取数据后,需要耗费大量资源对数据按照时间顺序进行重组,而且为了提取某段长时间的视频数据磁盘寻址延时和等待延时会几何级数地增长,从而造成视频数据提取和分析时间过长,阻碍了安防监控应用的发展。
而云存储系统,则针对监控行业大、小文件存储的不同应用需求,进行了全面创新及优化:
对不同格式的音视频数据做标准格式的转码服务,任何一个授权用户在具有网络环境的任何地方都可以简单地实现设备接入,使得分布式的音视频来源都可以得到充分利用。
提供标准音视频帧级别的结构化存储,建立起海量音视频文件索引系统,从而支持全局数据搜索、快速定位、播放、回放等功能。帧级别的存储大大节约了对特定数据内容查询、定位所需要的时间。
专门针对视频大文件做了存储优化功能,系统采用基于切片的文件分块存储,充分利用网络资源和所在存储单元的I/O能力,分布式存放到不同的物理存储设备上,提高大数据读写速率。配合负载均衡、热度管理、自动搬迁等策略,使存储和访问效率更高。
采用云存储方式,用户一般按照实际需要采购硬件设备,随着数据量的增大,只需少量采购新存储设备,安装操作系统及云存储软件后,打开电源接上网络,便能自动被云存储系统识别,进而完成扩展,真正做到“按需使用”。
在云存储中,再多的底层存储设备,在用户眼中也只相当于一台存储器。用户在统一管理界面中,通过专用的安全通道进行远程配置和全系统监控,就可知道每台存储服务器的使用状况,极大地降低了系统管理的复杂度。显然,整个系统呈现出智能化、人性化的特点。
结束语
随着视频监控技术快速向着数字化、网络化、高清化、智能化的方向发展,海量TB级的高清视频数据的存储规模逐渐扩大,传统网络存储设备出现了无法克服的瓶颈,因而给云存储带来了前所未有的发展机会。
云存储已经成为未来存储发展的一种趋势,传统网络基础架构向云的迁移是大势所趋,云计算基础架构要实现的是按需分配、自动化、以使用情况付费的模式,这些目标的实现依赖于数据中心、服务器、存储、虚拟化和操作系统等,以组成部分云化过程中的智能调度和分配。云计算以其部署迅速、资源利用率高、易管理等特性深受市场关注。因此,尤其数字化、网络化、高清化、智能化、立体化的全方位的平安城市安防视频监控大系统,更是离不开云技术。