大数据时代的安防存储
2013-03-02娄亚楠
■ 本刊记者 娄亚楠
“大数据时代已经来临”的说法甚嚣尘上,国内外IT、互联网巨头纷以收购或者自主研发的方式布局大数据领域,然而,对安防行业来说,大数据时代是否真正已经来临,大数据对安防又意味着什么,会为安防行业带来哪些价值?安防企业又该如何抓住大数据带来的机遇?
大数据时代已经到来?
2012年7月24日,英特尔公司在北京举办主题为“芯动大数据、智领大机遇”的英特尔大数据论坛。
这条消息的发布,在众多国内外各行业巨头,纷纷宣布进军大数据领域的重重布局下,或许并不能引起安防行业人士太多的注意,但英特尔公司发布的另一条消息,则或多或少会触动安防从业人士的神经。即,英特尔公司正在支持海康威视开发和推广基于至强平台和英特尔Apache Hadoop 发行版软件的大数据处理方案,以满足平安城市和智能交通对海量非结构化数据进行高效处理的要求。这是英特尔与中国本土合作伙伴机密协作,构建专为相关行业应用优化的大数据解决方案,专注特定行业需求的开始。对中国的安防行业来说,这是基于安防的大数据概念首次以较为正式的形象出现在人们的视野。
当然,专注于大数据在安防行业布局的并不止英特尔一家。“智慧星球”概念提出者IBM,于2012年12月4日在北京发布针对大数据处理的专家集成系统—PureData,继而和南京有关部门达成建设“智慧南京”的战略合作,布局华东地区智慧城市建设。
紧随其后,12月12日,国内存储厂商浪潮在北京也宣布推出适用于大规模部署的公共云数据中心——“模块化数据中心”。
至此,“大数据”在狂暴洗礼了互联网和信息行业之后,在安防行业亦刮起了一股不小的旋风。维克托·迈尔·舍恩伯格在《大数据时代》一书中援引众多案例,描绘大数据时代的到来将会给人们工作生活带来的巨变,以及对商业、经济等其它各个领域带来的不可估量的价值。“数据是新的石油。”亚马逊前任首席科学家Andreas Weigend也曾这样描述。那么,对安防行业来说,大数据时代已经到来的说法是否准确?大数据对安防又意味着什么?
全国政协委员、南京市政协主席沈健在2013年全国两会期间接受相关媒体采访时,就“大数据时代”和“智慧城市建设”谈了他的看法,他认为,我们已经进入一个大数据时代,大数据对于我们的生活、管理包括各方面企业的运行、社会组织的各种活动,都会带来重大影响。按照西方的理解,它是比石油、黄金还要珍贵的资源,必然会影响我们的生活、工作、学习等方方面面。在大数据时代,过去我们差不多靠个人的经历做判断、决策,都是过时了的,大数据时代,所有的决策、判断必须要根据大数据,根据数据的形成做出自己的判断和决定,这样才是一种符合科学的生活和学习的方式。
英特尔亚太研发有限公司大数据软件团队首席技术官孙元浩在接受采访时表示,“大数据的确是当前最受关注的技术话题。现今,数据正以惊人的速度在全球爆炸式增长,预计到2015年将达到8ZB,大数据的特征在于与以往相比,数据集更大、结构和格式更多样,同时生成的速度更快,这些特性为平安城市实现“智能化”带来强大机遇。智能城市及物联网领域可借大数据技术更快实现智能交通监控、智能电网、智能公共安全、气象和污染变化的智能监控及预测等应用。就目前来看,也确是如此,大数据技术已在一些地方政府主导的、将“平安城市”视频监控应用列为重要组成部分的智慧城市项目中有了具体实施”。
西部数据中国地区销售经理梁浩明认为,大数据是近两年最热门IT概念之一,它并不是一个商业包装,而是即将改变全世界多个行业的重要工具。2012年是大数据正式启蒙之年,而一系列标志性事件的发生和建立,让人们越发感觉到大数据时代的力量。全球范围来看,大数据体现的巨大经济价值,成功地获得了金融界和政界的亲睐。今天,大数据已经广泛应用于金融服务、交通运输、健康与生命科学、通讯、能源等各个行业。在这种背景下,商业、经济、政府及其他领域中的决策行为将日益基于数据和分析而作出,而在公共卫生、经济预测等领域中,“大数据”的预见能力也已经崭露头角。数据资产正在当仁不让地成为现代商业社会的核心竞争力,带来革命式的变革和机遇。
UIT产品和解决方案部经理王宇对此也有自己的看法,随着平安城市、智能交通、平安校园等安防领域项目的不断增多,数据量与日俱增。比如,与平安城市相关的项目所产生的数据量,就已超过了200PB。他说,类似的项目在未来会越来越多,项目建设持续增多,数据也在不断增加,我们可以认为安防行业的大数据时代已经到来。
存储介质正在改变
存储之于安防的地位,如UIT产品和解决方案部经理王宇所说,其已经不仅是一个设备而已,而是已经升华到了一个解决方案平台的地步。王宇认为,作为图像数据和报警事件记录的载体,存储的重要性是不言而喻的。安防监控应用对存储的需求是什么?首先,海量存储的需求。其次,性能的要求。第三,价格的敏感度。第四,集中管理的要求。第五,网络化要求。他说,安防监控技术发展到今天经历了三个阶段,即:模拟化、数字化、网络化。与之相适应,监控数据存储也经历了多个阶段,即:VCR模拟数据存储、DVR数字数据存储,到现在的集中网络存储,以及发展到云存储阶段,正是在一步步迎合这种市场需求。王宇认为,在未来,安防监控随着高清化,网络化,智能化的不断发展,将对现有存储方案带来不断挑战,包括容量、带宽的扩展问题和管理问题。那么,基于大数据战略的海量存储系统——云存储的诞生似乎也是理所当然。
智慧城市建设等一系列公共安全领域数字化进程的加快,正在催生安防监控以人们难以想象的速度深入到人们的工作生活当中,成为行业的主导,面对紧随而来的可预期的存储需求以及即将可能带来的不可估量的价值,各路诸候亦你方唱罢我登场,开始争相圈划自己的势力范围。基于大数据战略的云存储技术的兴起,对传统以硬盘存储为主导的安防厂商带来的影响,虽然现阶段来看并不明显,部分有远见的安防厂商已经开始迎接日新月异的新技术带来的机遇和挑战。
如果说,在硬盘领域,2012年12月4日,海康威视与全球存储业的开拓者西部数据(WD)展开强强合作,推出“海康西数定制化监控专用硬盘”,以应对大数据时代安防监控、智能交通等特定行业对海量存储、海量数据分析的需求。这一合作,是硬盘厂商面对大数据时代到来,加紧技术研发的一个真实案例。
那么,英特尔与海康威视合作开发和推广基于至强平台和英特尔Apache Hadoop 发行版软件的大数据处理方案,则是大数据时代强势来袭,大数据研发企业与安防企业携手共赢的一次探索。
“随着安防监控高清化的趋势,安防行业也迎来了大数据时代,对数据的存储无论是容量、稳定性和安全性等各个方面都提出了更高的要求。安防监控等专业领域作为西部数据的重要业务之一,节能环保、高性能、全天候可靠性等成为我们已经或正在推出的硬盘的主要特点,未来还将有专用于云的云硬盘”。西部数据梁浩明说,“大数据的3V的特性:“Volume、Variety、Velocity”,表明了大数据的三样特质:海量、多样、实时。对TB、PB数据级的处理已成为基本需求,还要求能处理多样性的数据类型,更加快速、即时。所以对硬件或存储系统更大的,可扩充的容量的需求尤为重要”。
“新的监控模式改变了传统的连接方式,新一代的高清安防监控系统带来了诸如百万像素所引发的高带宽、大规模海量数据存储、数据集中管理以及视频监控数据的安全等需求”。王宇说,在全新的应用需求的驱使下,原有的视频监控存储方案面临着越来越多的挑战。
虽然目前的安防存储市场,DVR因为其价格及技术处于相对成熟时期,其应用处于市场主导地位,但在公共安全领域的数字化、信息化趋势越来越明显,需求越来越强烈的情况下,基于大数据战略的存储模式带来的众多衍生价值,使其在特定客户群体中同样被青睐。
基于大数据战略的安防存储优势明显
如UIT王宇所说,当前社会对于数据的依赖是前所未有的,信息甚至被视为21世纪的“石油”,数据已变成与硬资产和人同等重要的重要资料。如何存好、保护好、使用好这些海量的大数据,是安防行业面临的重要问题之一。那么基于大数据战略的安防存储其优势何在?
王宇认为,目前的存储市场上,原有的视频监控方案容量、带宽难以扩展。客户往往需要采购更多更高端的设备来扩充容量,提高性能,随之带来的是成本的急剧增长以及系统复杂性的激增。同时,传统的存储模式很难在完全没有业务停顿的情况下进行升级,扩容会对业务带来巨大影响。其次,传统的视频监控方案难于管理。由于视频监控系统一般规模较大,分布特征明显,大多独立管理,这样就把整个系统分割成了多个管理孤岛,相互之间通信困难,难以协调工作,以提高整体性能。除此之外,绿色、安全等也是传统视频监控方案所面临的突出问题。
“基于大数据战略的云存储技术与生俱来的高扩展、易管理、高安全等特性为传统存储面临的问题带来了解决的契机。利用云存储,用户可以方便的进行容量、带宽扩展,而不必停止业务,或改变系统架构。同时,云存储还具有高安全、低成本、绿色节能等特点。基于云存储的视频监控解决方案是客户应对挑战很好的选择”。王宇说,“进入二十一世纪,云存储作为一种新的存储架构,已逐步走入应用阶段,例如,从谷歌公司的实践来看,它们在现有的云计算环境中并没有采用SAN架构,而是使用了可扩展的分布式文件系统Google File System(GFS)。这是一种高效的集群存储技术。云存储不仅轻松突破了SAN的性能瓶颈,而且可以实现性能与容量的线性扩展,这对于拥有大量数据的安防监控用户来说是一个新选择”。
以英特尔推出的Hadoop分布式文件系统(HDFS)为例,其提供了一个高度容错性和高吞吐量的海量数据存储解决方案。目前已经在各种大型在线服务和大型存储系统中得到广泛应用,已经成为海量数据存储的事实标准。“我们也曾经想过用原有的关系型数据库来承载相关的数据和应用,但是关系型数据库已经没有办法支持海量的、而且是非结构化或半结构的数据。”海康威视副总裁兼首席技术官蒋海青称,“经过认真的评估与测试,海康威视最终选择了英特尔的大数据平台”。
英特尔孙元浩这样告诉记者,随着信息系统的快速发展,海量的信息需要可靠存储的同时,还能被大量的使用者快速地访问。传统的存储方案已经从构架上越来越难以适应近几年来的信息系统业务的飞速发展,成为了业务发展的瓶颈和障碍。HDFS通过一个高效的分布式算法,将数据的访问和存储分布在大量服务器之中,在可靠地多备份存储的同时还能将访问分布在集群中的各个服务器之上,是传统存储构架的一个颠覆性的发展。最重要的是,其可以满足以下特性:可自我修复的分布式文件存储系统,高可扩展性,无需停机动态扩容,高可靠性,数据自动检测和复制,高吞吐量访问,消除访问瓶颈,使用低成本存储和服务器构建。
大数据的魅力不止是存储
英特尔亚太研发有限公司大数据软件团队首席技术官孙元浩,从四个方面解读了大数据的优势,从容量方面,比传统存储和分析解决方案所管理的数据大几个数据级的巨型数据集,其以PB而不是TB为单位。多样性方面,以电子邮件、社交媒体视频图像、博客、传感器数据以及“影子数据”(访问日志、WEB搜索、历史纪录)等不同格式生成的异构、复杂和多样化的数据。生成速度方面,数据成为一个可实时查询的连续数据流,可根据需求提供有用信息,而不是批量生成。其价值方面,能够从基于机器学习、统计模式以及图算法的深入复杂的数据分析中获取可对未来趋势和模式提供预测性分析的重要洞察力,这些预测性分析要胜过传统商业智能查询和报告的结果。
容量、多样性、生成速度、价值。从大数据的四个V来看,存储只是大数据的众多价值中的其中一点。对安防领域来说,“存储对安防领域具有不可被取代的价值,但如何保护好、利用好这些海量数据也非常重要,智能视频提取和应用、海量数据分析、关键数据的备份、冗灾等已给大数据带来更多的价值”,王宇说。
全国政协委员、南京政协主席沈健在谈到大数据时代政府的公共基础建设需求时说,在大数据的时代,政府要做的事情,首先第一应该高度重视数据的采集和生成。第二,做好数据的公开工作。第三,数据的整合。第四,建立我们的数据文化。第五,数据安全。这也意味着,在智慧城市等公共领域的基础建设中,大数据更多的承担了信息的挖掘和整合等更多的工作。
微软、惠普、I B M、亚马逊、facebook、twitter、VISA,大数据已经在IT领域掀起浪潮,那么,大数据将给安防带来一个怎样的可预见的未来,我们拭目以待!