APP下载

数字图书馆SAN存储技术的比较与选择

2012-10-11杨继民

中国教育信息化 2012年17期
关键词:存储系统以太网交换机

杨继民

(金陵科技学院 图书馆,江苏 南京 211169)

存储从最初服务器的内置设备,到独立于主机之外,组建单独的存储网络,专注于数据的管理,促成“数据计算和数据管理”的分离,实现了一步步飞越。目前存储系统已经成为了一个与网络系统、服务器系统并列的重要IT子系统。随着图书馆数字化进程的开始,越来越多的电子文献资源被不断引进,而且图书馆一直在致力于自主数字资源的开发,传统的纸质以及音像资源现在也越来越多地实现数字化。而这一切使得图书馆的数据量越来越大,海量存储也对图书馆的存储管理提出了严格的要求。如何建立一个安全高效、管理方便且具有较强扩展能力的存储系统,摆在了图书馆技术管理人员面前。

一、图书馆存储的一般要求

1.安全性

图书馆所有的数据包括核心数据全部在存储系统中,必然对存储的安全性有很高的要求,为了核心数据的安全,同时需要建立数据灾备、容灾系统进行配合,以提高数据安全性。

2.稳定性

图书馆的业务系统要能承受大量的应用需求并且具有良好的反应速度,而图书馆的数据具有较高I/O要求,电子资源服务要求一周7×24小时提供不间断服务,需要一个成熟稳定、故障率低的存储系统。

3.可扩展性

图书馆每年会购买大量的电子资源,目前的数据量是以TB的倍数在增长,数据的急速膨胀对存储的可扩展性有一定的要求,这种扩展并不是简单的容量扩展,同时应该包括数据处理能力、数据交换带宽和数据管理能力的扩展。

4.兼容性

目前应用系统对数据的使用方式,仍以文件系统、数据库系统为主要手段。存储系统要适应各种主机系统的数据I/O要求,就必须能够兼容各种操作系统和文件系统、数据库系统等各种传统数据管理手段。

5.可管理性

支持各种主流的管理协议和管理架构,能够与网络、计算等各种设备进行统一管理和集中管理。

6.较高的性价比

应综合考虑存储的预算、价格、性能以及可扩展性、后期扩展成本等各方面因素选择适合于本馆的存储产品。

二、目前的存储形式及各自的优缺点

1.DAS(Direct Attached Storage,直接附加存储)

DAS指将存储设备直接连接到服务器上。上个世纪80年代,DAS是主要的存储方式。它的特点是初始费用比较低,配置简单。目前DAS依然被广泛地应用在小型存储应用上。与此同时,DAS也暴露出它的缺点,对于多个服务器或多台PC的环境,每台PC或服务器单独拥有自己的存储磁盘,容量的再分配困难;对于整个环境下的存储系统管理,工作繁琐而重复,没有集中管理解决方案,整体管理成本较高。[1]

2.NAS(Network Attached Storage)

NAS是一种专业的网络文件存储及文件备份设备。通常是集成了处理器的磁盘柜,可以看做是一种专门优化了的文件服务器加上大容量存储,连接到TCP/IP网络(LAN或WAN),通过文件存取协议存取数据。[2]NAS的优点是易于安装,即插即用。NAS设备的物理位置可灵活安排,易于维护,可扩展性强,并且NAS是多平台支持。NAS的缺点是由于采取文件请求的方式,相比块请求的设备性能差,而且占用应用网络带宽。NAS系统的文件传输采用的文件协议不适用于某些数据库。

3.SAN(Storage Area Network)

SAN是一个由存储设备和存储构件组成的网络,所有的通信都在一个与应用网络隔离的单独网络上完成,被用来集中和共享存储资源。

SAN主要有以下优点:(1)存储与服务器之间可以远距离连接;(2)高可靠性和高性能;(3)多个服务器和存储之间可以任意连接,支持异构平台;(4)集中的存储设备代替了多个独立的存储,支持存储容量共享;(5)SAN易于扩展存储容量;(6)可以通过软件集中管理和控制SAN上的存储设备,提供数据共享;(7)SAN不但提供了对数据设备的高性能连接,还增加了对存储的冗余连接功能,提供了高可用群集系统的支持。SAN的缺点是成本较高,并且对管理人员也有一定的技术要求。

我们看到,DAS不适用于数字图书馆的大容量存储集中管理的要求,而NAS可以完成大容量存储管理,但它以文件协议传输数据,占用网络带宽,性能较差,所以不适用于图书馆环境的快速I/O要求和以数据库为主的业务应用。比较而言SAN具有传输速率高、数据吞吐量大、容错能力强、稳定性高、可以集中管理、可以自由扩展容量的特点,无疑是数字化图书馆的最佳选择。

三、SAN技术的选择

1.SAN分类

SAN分为基于FC协议的FC SAN,以及以iSCSI协议为主的IP SAN(以下称为iSCSI SAN)。下面我们分别来了解一下这两种SAN。

(1)FC SAN:在最初的时候,存储都是在服务器内部,基于SCSI协议,通过SCSI线与主机相连,而随着存储设备的不断扩大,存储逐渐从主机内部移动到了主机外部,有自己的磁盘柜以及电源供应。这时的SCSI协议,就显露出连接设备少,连接距离短,主机共享性低等一系列问题,当时的以太网带宽只有10Mb,无法提供高速传输数据能力。于是1988年能提供1Gb串行网络访问能力的光纤通道协议(Fibre Channel,简称 FC)面世,于上世纪90年代末开始大规模应用。早期的SAN都是搭建在光纤通上的,所以SAN曾经成为光纤存储网络的代名词,而且随着基于IP的SAN的出现,这类SAN又被加了一个前缀,称为“FC SAN”。目前FC SAN已经发展到8Gb。

在FC SAN中,主机要安装一块光纤HBA(主机总线适配器)卡,再通过光纤线连接到光纤交换机相应的端口中,形成FC SAN的交换结构。

FC SAN结合了高速度和低延迟的特点,并且具有强大的扩展能力,可以通过强大的交换机系统给数百台设备提供快速连接。FC SAN也是一种非常可靠的SAN技术,HBA和交换机的性能非常强大,设备故障率非常低。FC SAN结构允许多重连接线路和冗余线路,如果某个硬件出现故障或电缆出现问题,可以找到一条新的通道,这样传输转换到另外一个通道,可以保持存储和应用程序之间的连接,直到故障排除。另外,多重连接可以进行合并,以获得更好的带宽。例如,将两个2Gb的连接进行合并,可以有效地达到一个4Gb数据带宽的性能。这种多重或冗余连接的可行性,能够在 SAN系统卸载流量时,均衡负载,并且能够动态地调整繁忙通道利用较少使用的通道进行传输。

在安全方面,严格来说FC是一个运行在二层的协议,安全性不是太高,但由于FC SAN与以太网不能兼容,基本是一个隔绝的物理LAN上运行,所以安全问题不是很突出。

由于历史原因,虽然FC协议的技术标准确实存在,但各家厂商却有不同的解释。导致FC SAN产品的标准混乱,不同厂商的FC SAN产品都无法兼容,较差的兼容性也给统一管理带来了困难,各家FC标准的不开放性也使FC SAN的应用越来越窄。

(2)iSCSI SAN:FC SAN 费用昂贵,构造复杂,许多小型单位常常因为预算的原因无法部署。而在FC SAN盛行的十年间,开放的以太网从最初的100Mb发展到10Gb,提高了100倍,而同时期,FC协议标准只从1Gb发展到8Gb,只提高了8倍。以太网成本低廉,传播广泛,是数据传输的良好载体,于是IBM、Cisco共同发起了iSCSI(Internet SCSI)技术标准。 2003 年 2 月 11 日,IETF(Internet Engineering Task Force,互联网工程任务组)通过了iSCSI标准,iSCSI终于得到IETF认可。iSCSI的问世也预示着平民化的SAN时代的到来。

iSCSI是建立在TCP/IP协议之上的传输协议,他将SCSI命令封装在TCP/IP包里并在IP网络内传输,理论上是没有距离限制的。iSCSI集成了SCSI和IP两种非常成熟的协议。SCSI协议技术是被磁盘、磁带等设备广泛采用的存储标准,从1986年诞生起到现在仍然保持着良好的发展势头;TCP/IP协议在网络方面是最通用、最成熟的协议,而且IP协议的基础建设非常完善。

iSCSI SAN的主要优点在于简洁、成本低廉、使用范围广泛。光纤通道技术非常昂贵,需要专业技术人员才能正确安装和配置,而iSCSI SAN只需利用普通的以太网卡和交换机就能实现,这些设备能够轻易买到。因此,获取、扩展和更新以太网LAN的费用都相对较低。以太网已经成功地在家庭和小公司中设立、使用,用户也非常了解以太网的设置和配置,其使用范围就会更加广泛。

目前iSCSI SAN与服务器连接有三种形式:①iSCSI HBA卡实现方式,在这种方式下,所有的TCP/IP包和iSCSI报文的处理全在HBA卡内完成,不占用主机资源;②硬件TOE(TCP/IP卸载引擎)卡实现方式,在这种方式下所有的TCP/IP包的处理由TOE完成,iSCSI层的功能由主机完成,占用一小部分主机资源,网络性能得到了保证;③软件Initiator实现方式,软件Initiator在服务中模拟出一个iSCSI HBA卡来完成TCP/IP报文和iSCSI报文的转换,只需要以太网卡即可连接存储,微软公司更是在Windows 2003 Server及以后的操作系统中内置了对iSCSI的支持。软件Initiator要占用所装服务器的一定资源,比较适合于非核心业务使用,而高端核心业务,则可以使用TOE卡或HBA卡来获得更好的性能。

以前一般认为iSCSI SAN存储性能不如FC SAN,但事实是iSCSI SAN的性能非常出色。根据DELL实验室的测试数据,在相同的数据流量下,使用HBA卡的10Gb iSCSI SAN在协议效率、吞吐量、CPU利用率方面都毫不逊色于FC,甚至有些已经超过FC。而在1Gb环境下,采用普通千兆网卡两块进行绑定后,在全双工交换机上也能实现数据传输最大速率在 190~195MB/s,足够满足日常应用,应用成本也不高。[4][5]

iSCSI采用先进的身份验证技术,设置安全措施,例如用CHAP(挑战握手验证协议)来防止未经授权的访问,只允许可信赖的节点访问;用IPSec(Internet Protocol Security,互联网协议安全性)来防止侦听,保证数据传输中的安全。iSCSI安全措施也可以通过存储网络和应用网络进行物理隔离得以实现,但更多的情况下,我们可以在VLAN(虚拟LAN)中运行iSCSI SAN实现隔离,这在现有以太网络上也很容易实现。

iSCSI建立在SCSI和TCP/IP两个非常成熟的开放协议标准上,没有兼容性和统一管理上的困难。

2.两种协议的比较

通过以上讨论,我们看到FC SAN与iSCSI SAN除了具有SAN的普通特点外,互相之间也有一些区别。

(1)从性能上来讲:在以太网1Gb时代时,FC是拥有性能上的优势的。而目前以太网达到10Gb后,FC SAN相比iSCSI SAN并没有明显优势可言。我们放眼看去,以太网带宽的提升速度远远超过光纤通道带宽的提升速度,目前16Gb的FC标准还在讨论中,以太网40Gb和100Gb的标准已经制定,而且40Gb的以太网交换机已经出现,IEEE(美国电气和电子工程师协会)已经开始开发100GB以上以太网标准。应该说随着以太网带宽的提升,FC SAN曾经有的高性能优势将被iSCSI SAN远远抛离。

(2)从管理上来说:iSCSI管理难度小,有以太网管理经验即可。FC则对管理人员有一定的技术能力要求,一般需培训专门的人员。

(3)从成本来说:FC SAN是高于iSCSI SAN,因为FC SAN环境的建设要购买光纤交换机,每台服务器均需配备光纤HBA卡,光纤交换机上的光纤适配器还要另外购买,代价昂贵。而iSCSI则最低只需要以太网交换机及以太网卡即可.其详细对比如表所示。

表 协议对比

综合上述比较,笔者认为iSCSI SAN架构存储具有保证性能下的成本最小化,可以使用现有的IP网络,本身包含容灾功能,安全性能出色,可以远距离传输等优势,具有最大的发展潜力,是我们建设数字化图书馆的首选存储架构。

四、附记

近日厂商已经开始推出FCoE(Fibre Channel over Ethernet,光纤通道以太网)协议的存储产品,利用以太网来传输光纤通道协议。由于FCoE的标准尚未最终通过,对于它的稳定性、系统成熟性还未有定论,所以我们暂时不会考虑FCoE架构的存储产品。

[1]袁贵娟.IP SAN存储技术在数字图书馆中的应用[J].图书馆学刊,2008(2):136-138.

[2]乐昱.基于IP SAN的数字图书馆存储研究与探讨[J].现代情报,2010,30(12):81-83.

[3]存储在线[DB/OL].http://www.dostor.com.2011-04-01.

[4]Comparing Performance Between iSCSI,FCoE,and FC[DB/OL].http://www.delltechcenter.com/page/Comparing+Performance+Between+iSCSI,+FCoE,+and+FC.2011-04-01.

[5]刘文续,FC-SAN与IP-SAN非编制作网络之我见[J].中国有线电视,2011(2):172-174.

猜你喜欢

存储系统以太网交换机
基于1500以太网养猪场的智能饲喂控制系统的设计与实现
分布式存储系统在企业档案管理中的应用
天河超算存储系统在美创佳绩
修复损坏的交换机NOS
使用链路聚合进行交换机互联
谈实时以太网EtherCAT技术在变电站自动化中的应用
华为震撼发布新一代OceanStor 18000 V3系列高端存储系统
一种90W高功率以太网供电系统的设计
浅谈EPON与工业以太网在贵遵高速公路中的应用
一种基于STM32的具有断电保护机制的采集存储系统设计