解读鹏云ZettaStor DBS海量节点无缝拓展
2016-02-26
互联网的普及让企业的信息与数据的交换再无距离和时间的限制,用户可以在任意时间、用任意设备、通过任意联网形式,访问自己需要的数据或服务,业务效率大幅度提升而成本则逐步下降。但与此同时,这也就意味着数据更为依赖网络服务,不能孤立地、离线地存储。租用空间、购置设备或建设数据中心,一度成为企业业务流畅运转的关键环节,这一切随着云技术的出现而彻底改变。
如今,云的应用越来越广泛,综合目前需求迫切程度、应用要求和业务复杂性等因素,企业私有云是最有前景,也是最有盈利空间的类型。但是企业规模有大小、业务需求有简繁,而对资金投入则以少、缓、值为原则,企业管理者往往希望在初期无需一次性大规模投入,而是在成熟可靠的现成方案上定制,并随着需求的提高再逐步增加投入,且要求前期投入的设备可以继续使用。
综合来自用户和运营商的需求,云市场愈发呈现去IOE化、PC化和服务购买化等三大趋势。在传统模式下,从软硬件配置到系统集成,用户的话语权甚微,同时必须考虑未来业务拓展需要,因此只能被动大量先期投入,不仅系统灵活度低,而且成本较高,中小型初创公司更是难以获得一对一定制的系统,因此去IOE化成为主流。相比专用系统,PC平台的通用性、二次开发能力都已经没有差距,而成本则大幅度降低,未来的业务迁移也十分简单,因此PC很快成为了企业私有云普及的主要推动力。通过软件定义系统的方式,使硬件条件不再是服务能力的限制,用户在使用过程中可随时依据业务需要重新定义服务或增加部署,提高灵活性。
在享用云带给我们便利的同时,业务连续性、安全性是系统架构的重中之重。优秀的云架构如同人的神经系统,所有节点(神经元)具备相近的特性,无需单体强大但执行高效,单个节点故障不会影响整体系统运行,业务和数据可快速无缝地转移到邻近节点上继续运行,这一切改变对用户透明。节点调度是这项工作的核心环节,这是基于软件定义的系统的优势所在,每次调度与重新定义系统无异,包括增加和减少节点数量。管理和调度的效率是软件定义系统性能的关键环节,不同云解决方案的差别集中体现于此。目前,在为数不多实现盈利的云系统中,亚马逊的AWS最具代表性,它就采用了这样的系统设计原理,它的成功也为众多新进入这个领域的企业指明了方向。截止到2013年,AWS的节点数量已超过百万,以最低错误概率计算,每秒也有成百上千个硬件故障发生,如果没有完善的系统、高效的处理预案,如此庞大的系统是无法持续运行的。如今,AWS技术已经成为了可借鉴的成功经验,推动着云存储技术的高速发展和快速普及。
拥有7年AWS云计算核心架构师工作经历的陈靓,历时3年推出了ZettaStor分布式块设备存储(DBS)产品。该产品基于软件定义,运用分布式计算技术把大量标准x86服务器的存储介质进行聚合,将这些存储资源整合成为既具备传统SAN/NAS的企业级功能和特性,又具有高弹性、高扩展性、高可靠性的存储系统,形成全新的Server SAN产品类型。ZettaStor DBS在AWS云上搭建的测试环境中,通过了由1020个存储节点组成的集群长时间、稳定运行能力验证,这是国内首次公布如此大规模的测试。按照设计,ZettaStor DBS能支持百万存储节点,是目前业内ServerSAN商用产品中支持存储节点数最多的。除支持超大规模存储容量外,99.999%的数据可靠性也为业内领先的指标。ZettaStor 的核心部件全部为自主研发,如没有像其他的产品那样利用Linux的通用文件系统存储数据,而是研发了自己的文件系统存储数据,网络传输上也是如此,鹏云网络研发了自己的异步组播(Multicast)传输层,用于数据传输和通讯。因此,可以把x86构架的服务器性能发挥到极致。
ZettaStor DBS通过在存储节点上部署轻量级的管理软件,把各个节点上的各类存储介质进行聚合,形成可统一管理的存储池,并为各种应用提供高速的块设备接口,通过iSCSI协议,这些应用可以像访问本地硬盘一样访问存储系统提供的存储资源。采用开放架构的它,可运行在任何版本Linux系统下,并支持Hadoop、OpenStack、VMWARE等多种平台和多种类型虚拟机平台,适用范围很广。(图1)
通过对不同位置数据的读写统一调配,数据被ZettaStor DBS并发分派到不同的数据节点上,整个分布式构架中,系统的所有存储节点都参加I/O操作,形成大规模并行的I/O处理方式,从而几何级数提高I/O处理能力,减少了系统的I/O瓶颈。随着存储节点及存储介质的增加,IOPS和吞吐能力的增长近乎线性。(图2)
除了硬件基于x86平台结构相同,ZettaStor DBS的单层构架是简化管理和降低扩展复杂度的关键因素。在计算和存储融合的应用场景下,ZettaStor DBS可从传统的SAN的3层构架转换为同时提供计算能力和存储能力的单层架构,这种弹性是传统云设计思路可望不可即的。(图3)
考虑到可靠性问题,ZettaStor DBS可根据用户对可靠性的需求,设定副本数量。这些副本被分别存放在不同存储节点上,其中任一份丢失,新的副本随即自动生成。除了系统本身,ZettaStor DBS的数据存储还具有智能自愈特性,系统可以在秒级时间单位内自动发现故障存储单元,并完成故障单元数据的迁移和故障单元的剔除。(图4)
随着ServerSAN模式在下一代数据库架构中的胜出,其颠覆传统SAN存储的灵活性、性能和超融合优势将被更多的用户所认识,预计未来将被广泛运用于云计算、数据库及虚拟化领域。ZettaStor DBS则让用户今天就可以体验到未来的速度,目前长达180天的无限制免费下载试用让这一切零距离。