APP下载

云计算优化存储系统的问题探讨——从基于云计算的青岛电子政务平台谈起

2014-08-15

河北能源职业技术学院学报 2014年1期
关键词:存储系统电子政务青岛市

周 蕾

(泰州机电高等职业技术学校,江苏 泰州 225300)

中国电子政务最领先的城市之一青岛利用EMC VMAX 10K整合原有分散的存储系统作为核心存储层,建成了中国第一个基于云计算的电子政务平台。同时,青岛还采用EMC VPLEX Metro,建成了中国第一个超过120公里的双活容灾数据中心。采用云计算转型IT架构,青岛极大地提高了电子政务的服务能力。电子政务无疑是打开青岛智慧城市之门的一把钥匙。比如,针对企业数字证书,现在青岛市电子政务和信息资源管理办公室已经组织了19个部门225项政府部门的服务,企业可以在网上实名制享受服务。青岛市建成了全市统一的网上审批平台,目前市、区市两级合计近4000项审批服务事项全部纳入网上流转办理,强化了跨部门协作,规范了审批流程,提高了服务效率。以前,一个项目的审批过程大概需要300多个工作日,而现在,通过网上多部门联合审批,审批过程已经缩短了一半。通过集约化模式的建设和应用发展,青岛市电子政务取得了低投入建设、大规模应用,低成本运行、高水平服务的效果。青岛模式多年来为青岛市电子政务建设的投资节省了不少成本,每年仅在核心技术系统的运行维护费一项上,就能节省3000多万元。然而,在云计算中,整合存储系统的问题是人们面临急需解决的问题,而处理好这个问题将也会给使用单位带来许多便利。一是提高效率。若在VMAX 10K支持的虚拟化环境下,资源配置时间从原来的2小时缩短到20分钟。二是提高业务连续性,双活数据中心处理性能,让应用的业务连续性大幅提升。三是可用性提高,极大地提高了云信息基础架构的可用性和可靠性。四是集中数据保护。比如,VMAX 10K和VPLEX在青岛政务云中可以进行集中的数据备份和保护。五是节省成本。通过云计算架构实现了IT资源集中管理,提高了资源利用率,极大地降低了管理和运维成本。

1.云计算促使虚拟化存储优化改革

虚拟化存储是云计算首要解决的问题。现在,随着云计算的广泛运用,数据中心增长速度呈现数倍增长速度,然而,存储性能增长速度相比于计算能力的增长,显然要慢得多。对于虚拟化而言,I/O瓶颈和缓慢的存储性能成为头号难题。虚拟化可以让人们在单个物理硬盘上进行频繁的操作,但这会产生大量的I/O流,所以会加大了磁盘的工作工作负载,并且缓存越来越难对性能进行提升,只是虚拟化能够让人们完成比实际计算能力更多的工作。而服务器虚拟化环境下对存储系统所带来的挑战也是前所未见,首当其冲可能就是服务器虚拟化后众多虚机并用引起的存储性能下降及I/O瓶颈、更复杂的数据备份和灾难恢复、难以管理的共享存储、物理和虚拟环境下的存储性能难以有效提升以及如何为虚拟服务器选择正确的网络存储等问题。服务器虚拟化后,各个应用程序都在各自的虚拟机上运行,相比于采用虚拟化之前,将产生更多的潜在存储I/O。相比于运算性能,存储性能的增长明显要慢得多,随着业务的种类的增多,独立运行在虚机上的应用程序将产生大量的随机I/O,这无疑会加大存储系统的工作负载。现实环境中传统存储越来越难于满足业务对性能的增长需求,而且主机端的缓存也越来越难于对性能进行提升。不仅如此,传统的存储基础设施很难适应物理和虚拟混合环境,传统的备份方式也很难灵活地对虚拟环境下的基础设施进行保护,备份性能将大幅下降。早在几年前,企业数据以结构化为主,但随着移动办公设备(BYOD)普及,复杂的客户信息、电商交易记录、视频监控终端等产生的非结构化数据成为主体,数据每时每刻都在爆炸式产生和增长,基于云计算的电子化平台的存贮系统正在发生着翻天覆地的变化,因此,云计算企业在数据催化下在寻求着一种新的出路,IT行业也在悄然发生着变化。利用大数据和快数据,让客户能够构建一系列全新应用程序,并运用云独立性做到可信IT。

2.客户挑战和解决方案

然而,在云计算的实际应用实践中,对于许多单位来说,实现云计算并非就会一步到位。对于客户来说,往往会因为单位的特殊情况,在某一方面存在诸多需要克服和解决的问题。青岛电子政务建设就是经历了这样一个艰难的发展改革过程。青岛电子政务建设是中国最领先的城市之一。早在2006年起,青岛市电子政务工程就获得了中国《计算机世界》集团IT财富年会和CIO年会颁发“中国信息化建设项目成就奖”,是14个获奖项目中唯一的地方政府电子政务项目。在中国软件评测中心、人民网、新浪网和百度联合组织的五次中国政府网站绩效评估中,青岛政务网两年获得第一,两年获得第二,一年获得第五。十几年来,青岛市一直实行高度集中统一的管理体制和集约化发展模式,走出了一条与“云”理念不谋而合的电子政务发展道路。电子政务共享平台承载着全市机关的网上办公、审批、执法、公共服务等十几种共性信息化应用系统和200多项部门专业信息化应用系统,创造了令全国同行瞩目的“青岛模式”。但是,系统规模的不断扩大也带来了新的挑战:计算、存储等资源按物理设备分配,利用率低,灵活性差,扩容困难。特别是落后的灾备系统使全市机关的业务运行面临巨大风险。

为了解决这些问题,青岛市决心建设云计算与容灾一体化平台。选择了EMCVMAX 10K建设集中的分级存储资源池,支撑所有应用;并选择EMC VPLEX在100多公里的距离建立容灾双活数据中心,利用虚拟化实现了资源整合与利用。青岛市云计算与容灾一体化平台于2012年9月建成,目前已经迁入并支撑运行电子政务项目80余个。平台采用“两地三中心”的模式实现:通过网络虚拟化、服务器虚拟化和存储虚拟化,构建了全国首例城际间直线距离达120公里的容灾双活云计算中心,实现对两地数据中心的资源统一调度、应用自动漂移和系统异地灾备。青岛市云计算与容灾一体化最大的特点是集容灾与双活为一体。其利用EMC VPLEX的metro技术,在青岛、莱西两地构建了两个数据中心,可以实现同步提供应用服务,确保了业务的不间断性,又有效的利用了资源。存储层采用了EMC VMAX 10K构建集中的分级存储系统,可以集中管理、动态分配存储资源,提高了利用率,大大地简化了存储资源的管理。把所有应用的数据都同时存储在两个数据中心的VMAX 10K上,也有利于进行集中的数据备份和保护。采用云平台,把所有的政务业务、数据全部都集中在一个大的存储池中进行统一的数据保存、保护、管理。实现了工作程序简化、数据安全高效管理。同时,双活数据中心的的数据是同步的,当一个数据中心发生故障时,另一个数据中心可以自动替换接管,保障对市民服务不停顿、无宕机。实践证明,将应用从一个数据中心停机时,在1分钟内,应用在另一个数据中心自动重启,不需要人工干预。如果按照传统的灾备数据中心模式,需要经过存储切换、服务识别存储、应用重启几个环节,至少需要1小时。业务连续服务能力大幅提升。

云计算与容灾一体化平台的建设为青岛市市机关提供了更加灵活、更高性能、更高可靠性和更加丰富的IT服务,进一步提高了青岛是电子政务的集约化水平和统筹整合能力,为建设网络环境下的一体化服务型政府做出更大贡献。然而,对于我国基于云计算的政务电子平台并非都是如此。由于我国早期的电子政务系统建设很多应用是从中央部门到地方部门垂直管理和建设,在地方政府的层面形成了众多分散、独立的系统,不利于软硬件资源和信息资源的共享。只是青岛市政府创造了一个很好的范例,利用云计算平台整合多个部门的软硬件资源和应用系统,实现了资源的动态分配,提高了基础架构的连续服务能力,降低了管理和运维成本。这种青岛政务云的建设模式,理所当然成为我国更多地方政府的电子政务建设起到借鉴作用。

3.整合存储系统需要处理好相关配套工程

其实,整合存储系统也必须处理好云计算、大数据等问题,做好信息基础架构、软件定义数据中心和大数据等,只有这样,使用客户才会应对行业转型。几年前,企业数据以结构化为主,但随着移动办公设备(BYOD)普及,复杂的客户信息、电商交易记录、视频监控终端等产生的非结构化数据成为主体,数据每时每刻都在爆炸式产生和增长,同时企业在数据催化下在寻求改革,IT行业也在第一代、第二代、第三代等持续不断的悄然发生着变化。尤其是云计算带来大数据,迫切需要整合存储系统。现在,人们已经进入大数据时代,海量数据每时每刻都在爆发与增长,企业面临挑战和机遇,这就要求企业从IT实践和信息基础架构两方面的变革。所有企业都在力求监控、分析、存储、保全日益增长的数据,确保相关的数据实时可用,对市场、客户和竞争对手了如指掌。目前,随着移动计算和大数据发展,传统数据中心的数据存储和计算方式已经改变。而就客户角度上来说,低成本、高灵活、易管理成为企业首选平台。在实现云计算过程中,第一企业将在私有云上进行自我建设,第二将通过公有云利用外界共有的云平台,第三企业如何将拥有云和私有云合在一起充分利用。其次就是大数据的改变,非结构化数据将成为企业大部分商业决策的依据,未来如何分析数据,怎样从中挖掘商机。第三方面则是自动化的改变,企业如何将优化平台混合在一起,怎样虚拟化,如何将数据中心自动化。由此实现云计算,完善大数据领域与整合存储系统的生态链。

现在,云计算不再是一台单纯的存储产品,而是一种性能能够随存储容量增长而线性增长、对数据进行自动化管理、简化人工管理、能够整合物理与虚拟环境以及能够无缝扩展的存储架构。而在单位使用过程中,通常有很多不同的工作负载存储在存储系统中,对于管理员而言,存储卷、每卷支持的工作负载、对每卷的要求以及什么占用容量之间并不存在明确的关联性。与备份和恢复困境相似,很多管理者很难将其存储基础设施适应于传统和虚拟混合环境。如果选择正确的话,网络存储可以带来很多好处,你可以获得更好的性能,更简化的流程。IT管理者首要任务不是虚拟环境的全天候中的可用性,而是更快的恢复时间,如果系统崩溃的话,管理者在不造成巨大性能损失的情况下,虚拟化存储密集型服务器需要一定水平的存储性能,而在数千兆位速率的网络中这种存储技术很难得到实现。

4.对存储虚拟化的建议

管理者一般对服务器有着极大关注,但是成功的虚拟化部署有赖于存储。存储可以保护虚拟机的状态、保留快照和帮助用户访问、共享应用程序中的数据。由于这些特性、可用性和性能因素,对于存储基础设施要求很高。所以,管理员对数据中心存储虚拟化必须考虑到如下几点:

4.1 优化存储性能

在存储性能方面,管理者可以从多个不同的存储平台中进行选择,比如光纤通道、网络附加存储和以太网光纤通道等平台都可以适用于虚拟环境下提供完全不同的可扩展性、性能表现、可用性和容量特性。存储性能作为首要考虑因素,因为位于同一个主机上的多个虚拟机对于存储带宽有很高的需求。如果一个虚拟服务器上运行了10个虚拟机,就需要从存储中加载所有这些虚拟机、周期性的以快照的形式保存每个虚拟机当前的状态并且为用户提供虚拟机数据。存储性能必须能够满足这些不断增加的需求,选择一个可以满足公司需求的平台最为紧要。比如iSCSI存储区域网络(SAN),可以满足小型和中型公司的需求,但是大型公司就需要光纤通道SAN。

4.2 备份及灾难计划集成

存储系统需要进行备份并且通过灾难恢复(DR)计划中的一些方式进行保护。任何新添加的存储都必须和现有的备份及DR软件完全兼容。如果不能完全兼容,新添加的存储可能需要被强制进行,可能导致错误。

4.3 确保冗余存储访问

在虚拟化环境中,存储系统、SAN(或者其他网络)交换机和虚拟服务器的冗余存储链路必须保持可用。这就需要在每个服务器和存储系统上都安装冗余存储控制器,并且拥有一个通过周密设计的SAN架构。但是不论使用哪种存储架构,定期验证存储可用性也应该作为灾难恢复测试的一部分。

4.4 节能存储

运行大容量和高性能的存储系统需要大量的能源消耗,对于系统的拥有者来说,可以考虑更加节能的存储系统,其可以提供更高的每秒输入/输出操作、每瓦特能量可以为活动数据提供更高的带宽。节能存储同样可以用每瓦特为非活动(比如归档的)数据提供更多的容量。在节能存储上进行归档通常通过控制器设计和磁盘的容量及性能权衡来实现。

4.5 支持高级存储特性

一些虚拟化平台可以使用一些高级存储特性,比如精简配合和重复数据删除技术。一般情况下,支持这些特性的存储系统可以被虚拟化平台更加高效地使用,其相互支持通常可以简化存储设置和管理需求。类似虚拟化平台中的新存储系统能支持迁移特性也十分重要。比如,将虚拟机从光纤通道迁移到iSCSI,再到一个网络文件系统。这可能会限制公司对于存储系统的潜在选择。但是其他的虚拟化平台,比如VMware vSphere 4,可以在三种存储协议之间进行虚拟机的任意移动,这样可以让你不再担心底层存储系统。

总之,整合存储虚拟化可以实现多种功能整合,可以应用在多个场景之下。需要对现有生产环境的存储网络架构进行调整,同时增加新的设备,结合现有生产环境,对存储虚拟化产品评估,并进行全面的功能和性能测试,量力而行。

[1]封满楼.青岛政务云开启节约高效政府新途[N].青岛财经日报,2013-11-27(A15).

[2]非结构化数据时代,EMC引领行业IT变革[EB/OL].http://www.enet.com.cn /article/2013 /0608 /A20130608289608.shtml,2013-06-09.

[3]实施存储虚拟化时需要注意的十大问题[DB/OL].http://www.docin.com/p-503173497.htm l,2012-10-20.

猜你喜欢

存储系统电子政务青岛市
分布式存储系统在企业档案管理中的应用
论基于云的电子政务服务平台构建
2019青岛市科创板发展现状
天河超算存储系统在美创佳绩
关于青岛市地下城市空间开发的思考
青岛市市立醫院(集团)
电子政务工程项目绩效评价研究
中国电子政务的“短板”
华为震撼发布新一代OceanStor 18000 V3系列高端存储系统
一种基于STM32的具有断电保护机制的采集存储系统设计