网络存储技术课程普适型实验探索
2017-12-18王盛邦
王盛邦
(中山大学实验教学中心,广州 510275)
网络存储技术课程普适型实验探索
王盛邦
(中山大学实验教学中心,广州 510275)
通过对网络存储技术课程实验教学的实践探索,提出具有普适意义RAID、NAS、SAN和云存储等的实验改革,旨在因地制宜、就地取材。提出的是课程主线实验,据此可以拓展其他实验。实践表明,在不增加投入或少量投入的情况下,也能很好地在实验室开展网络存储技术相关实验。
网络存储技术;RAID;NAS;SAN;云存储
0 引言
随着大数据分析、移动和社交平台实现集成的新型应用程序的兴起,迫切需要更多额外的存储支持。据统计,全球每年数据增长达到50%~100%。网络存储所需要的容量极具膨胀,对现有的存储技术提出了严峻挑战。
存储系统是整个IT系统的基石,尤其在当下大数据时代,数据的价值不可估量。存储系统作为数据载体和驱动力量,已经成为大数据基础架构中最为关键的核心,是IT技术赖以存在和发挥效能的基础平台。但是存储技术人才却十分匮乏,我国情况更甚。面对现代科技的快速发展,我们要未雨绸缪,大力开展网络存储教育,因而“网络存储技术”系列课程的建设、改革和发展迫在眉睫。
1 课程现状
目前国内开设网络存储方面课程的高校越来越多,相关课程的改革与建设被提出[1-8]。但这些改革似未能深入,其中提出的实验环节或过于简单,或依赖于专业存储设备[1,5,6],难以推广普及。另外,所提出的实验内容未能覆盖课程内容。我们注意到,在教学实践中目前授课重点仍主要集中在理论学习上,有关实验实践方面的内容则泛泛而谈或直接忽略,这对于实践性强的课程而言是一大短板。其中一个主要原因是与存储有关的设备投入大,受制于经费往往难以开展课程实验,严重制约了课程建设和发展。
本文无意排斥实验时使用专业存储设备,但专业存储设备除价格不菲外,由于技术的快速发展,产品更新换代快,其实际使用周期并不长。笔者所在实验室曾于10年前引进EMC公司大型存储设备(CX500),当时设备价值150万,属于企业赠送。课程就此开展了多项关于NAS、SAN的实验[5],取得一定的教学效果。但仅隔数年时间,该设备在使用上就存在较大问题,尤其是该系统无法与Windows7及以后版本的操作系统对接。因而巨资购买存储专业设备,存在一定的“换代”风险。
因地制宜、就地取材,使用现有设备能否开展网络存储实验?文献[9-15]已经作了一些探索。本文主要讨论课程实践环节的突出问题,提出课程的主线实验,旨在研究能充分利用现有设备开展网络存储技术实验,在不增加或只有少量投入情况下开发具有普适性的实验,只有这样,才能兼顾理论与实践,平衡两方面的学习。
2 课程教学中的主要实验
2.1 磁盘阵列实验
在存储技术中,磁盘冗余阵列RAID是最基本的实验。RAID最主要的特点是可以提供比单个硬盘更高的存储性能和提供数据备份技术,主要表现高效的I/O性能和系统的可靠性能在两个方面。
由于RAID的重要性,进行RAID实验必不可少。如果缺乏设备,可利用Linux的Mdadm完成软RAID的管理功能。Mdadm是Linux下的一款标准的软件RAID管理工具,有磁盘故障模拟等功能,主要以命令方式使用。如果条件允许,建议搭建一个RAID“自制阵列”服务器,可以选择较优配件自行组装服务器。主要配置如四核CPU(共享三级缓存)、12G寄存式内存、2个多功能双口千兆以太网卡、独立RAID卡(或板载智能阵列控制器)、硬盘笼、2U机架式服务器机箱等,此外还要配置多个磁盘(例如机械硬盘若干个、固态磁盘若干个),以便组成RAID时进行阵列磁盘性能测试。
自制阵列实验主要是在搭建的环境中进行各种RAID组合实验,通过对不同RAID类型进行测试,从数据上理解各种RAID类型的特点。同时研究磁盘性能,通过机械硬盘和固态硬盘组RAID的对比测试,研究固态硬盘在与机械硬盘的性能区别,包括存储读写性能的一些特性,例如顺序/并发、连续/随机、大/小文件等。
例如,表1是一个关于RAID1的组合测试实验。
表1 RAID1的组合测试实验
实验是在“自制阵列服务器”中进行的,服务器中配置了机械硬盘和固态磁盘各5个,两种磁盘可以灵活组合。表中,HDD表示机械硬盘,SSD表示固态硬盘,*号后面的数字表示参与测试磁盘数量,IOPS表示每秒进行读写I/O操作的次数,用于衡量随机访问的性能。表中数据由阵列管理软件MegaRAID Storage Manager和磁盘测试软件IOmeter生成,根据表1数据可画出如图1的分析图。
图1 RAID1的组合测试结果分析图
根据上述实验结果,引导学生据此对机械磁盘与固态磁盘进行性能分析和比较,从而得出较为客观、建立在实验基础上的结论。学生的分析结果是:在两个机械磁盘组成RAID1卷,且测试文件大小为8MB的情况下,当测试的并发数由1变为32时,机械磁盘的各项IOPS和MB/s变化不大。而当测试模式由随机写变为连续写时,机械磁盘的各项IOPS和MB/s都增加了70%左右。这表明了并发数的变化对机械磁盘的性能无明显的影响,但机械磁盘在连续写中有更好的表现。而当测试模式由在两个固态磁盘组成RAID1卷,且测试文件大小为8MB的情况下,当测试的并发数由1变为32时,固态磁盘的IOPS和MB/s在随机写的情况下增加了约37%;在连续写的情况下则增加了约34%。当测试模式由随机读变为连续读时,在并发数为1的情况下,固态磁盘的IOPS和MS/s增加了约63%,而在并发数为32的情况下,IOPS和MB/s则增加了约59%。由此可知,在这种测试情况下,机械磁盘的性能略优于固态磁盘,机械磁盘的IOPS和MB/s基本都是固态磁盘的2~3倍左右,尤其是在连续写测试中,机械磁盘的表现更佳。
其他 RAID实验,如 RAID0、RAID5等,可类似进行。
显然,与单纯RAID泛讲相比,这样的实验结合理论,观察直观,特别能锻炼学生的动手能力和科学分析的能力。
2.2 NAS 实验
NAS(Network Attached Storage,网络附加存储)是网络存储的一种技术,它包括存储器件和专用数据存储服务器。专用服务器上安装有经过裁剪的Unix类操作系统,作为远程文件服务器,其文件管理系统是NFS、SMB/CIFS、FTP等,对外提供文件级的访问。目前市面上的专业NAS设备较多,价格并不便宜。
实验室里的NAS实验,并不需要专业NAS设备,只须一台普通的PC就可以充当NAS服务器。至于NAS服务上的操作系统,可以采用著名的FreeNAS。FreeNAS是一款开源免费专门用于构建NAS服务器的专业操作系统,是一个经过优化的文件存储和共享操作系统。其对硬件的要求非常低,所占空间不足16MB,大大节省了硬件资源,是组建简单网络存储服务器的最佳选择。
进行NAS实验时,将FreeNAS安装在常规硬件配置的PC上(充当NAS服务器),另一台与FreeNAS处在同一局域网环境的PC(充当管理机)。管理机访问NAS服务器,是通过浏览器登录FreeNAS访问,然后按要求展开配置管理。
通过FreeNAS,可以开展许多NAS实验。例如配置NAS中的文件服务器(File Server),实现共享的文件服务;配置文件系统的磁盘限额(File System Quotas);实现文件系统的检查点(File System Checkpoint),以便对文件系统进行备份等等。以此达到(1)掌握NAS存储系统的相关概念;(2)掌握 FreeNAS 系统的使用;(3)掌握CIFS、NFS、AFP 协议的配置与使用;(4)掌握使用 iSCSI协议通过IP网络访问存储设备的方法等目的。
2.3 SAN 实验
SAN(Storage Area Network,存储区域)是一个集中式管理的高速存储网络,其允许存储设备和服务器之间建立直接的高速网络连接,是一种集中式存储。SAN经过十多年历史的发展,已经相当成熟,成为业界的事实标准。目前市面上一般SAN专业设备,价格较为昂贵。
实验室里的SAN实验,如果没有专业SAN设备支持,很难开展。特别是需要多台服务器、光纤交换机、光纤通道卡、光纤模块、光纤跳线等配套设备或配件。如图2是一种SAN典型拓扑。
实际上,SAN架构分为FC SAN和IP SAN。IP SAN又包括iSCSI与NAS。FC SAN是采用光纤信道的SAN,也就是服务器通过光纤信道卡,连接光纤交换器,再连接后端的存储设备。IP SAN则是服务器通过以太网络连接后端存储设备,后端的存储设备被视为一台含有文件处理系统的存储服务器。其文件系统是CIFS(适用于 Windows操作系统)或 NFS(适用于Linux、Unix操作系统)。
图2 SAN典型拓扑
虽然在实验室现有设备中难以开展FC SAN,但实现IP SAN则是可行的。类似NAS实验,IP SAN实验服务器端支持系统可采用Openfiler。Openfiler也是基于Linux的开源操作系统,其系统功能主要是存储管理,可以提供基于文件的网络连接存储和基于块的存储区域,具有优良的SAN性能。Openfiler使用广泛流行的Web界面对存储磁盘进行管理,支持软件RAID和硬件RAID,具有监测和预警功能,可以做卷的快照和快速恢复。尤其Openfiler对硬件要求不高,只须256MB以上内存、1G硬盘安装空间即可。
实验室中IP SAN最典型的实验,就是使用Open-Filer搭建iSCSI网络共享存储实验,其主要过程包括了创建iSCSI逻辑分区LUN、在Windows系统中测试iSCSI等操作,最后要求学生利用IOmeter测试工具对Openfiler创建的存储性能、传输带宽及反应能力、网络吞吐量、硬件性能等进行测试,对测试结果进行分析。学生的实验感受是:OpenFiler的存储性能很不错,它可以提供与专业存储器一样的功能、性能及可用性,而其花费却远远低于专业存储器。
2.4 云存储实验
云存储是新兴的网络存储技术,其核心功能是数据的存储和管理。云存储相对于传统的存储技术有易用性、可靠性和成本低廉等优点。云端用户可以在任何时间、任何地点,通过任何可联网的设备连接到云上方便的进行数据的存取。因此,云存储技术已经代表了现在存储服务的发展趋势。
目前市面上有云存储服务器,一般配置的价格并不高。在实验室实际上也可利用现有条件自行搭建。例如可采用PC+VirtualBox虚拟化软件模拟实现,通过部署Hadoop还可在其上进行规模扩展[14]。最常用的虚拟化软件如虚拟机VMware,它拥有独立的操作系统和应用程序,其特点是可以在一个宿主机上创建多个虚拟机,从而可以在单机环境下模拟小规模的分布式集群。而VirtualBox是开源的虚拟机软件,性能优异特性丰富。Hadoop则是开源的分布式计算框架,可以在大量配置较低的硬件设备组成的集群上运行应用程序,例如可以使用Hadoop构建平台服务层次的云计算平台。PC+VirtualBox搭建过程颇为繁复,如果是简单应用也可采用FreeNAS构建云存储,方法可参见[15]。
2.5 软件定义存储
传统的存储系统在云计算应用模式的快速普及以及大数据时代下数据的爆炸式增长挑战下,已越来越难以满足企业IT系统在灵活性、扩展性以及统一管理等方面的需求,类似于“软件定义网络”,“软件定义存储”(Software Defined Storage,SDS)应运而生。SDS 打破传统存储系统软硬件紧耦合所造成的割裂状况,将数据中心或者跨数据中心的各种存储资源抽象化、池化,以服务的形式提供给应用,满足应用按需(如容量、性能等)自动化使用存储的需求[16]。
最近几年,业界已经推出了多款SDS产品。实验室开展此项实验,有一定难度。但在2016年,EMC公司推出了业界领先的Unity中端存储阵列平台UnityVSA(Unity Virtual Storage Appliance)[17]。 该 平 台 为vSphere虚拟卷和基于存储策略的管理提供原生支持,提供多种部署选择,同时支持SAN和NAS。值得注意的是它提供了免费的社区版EMC UnityVSA,用于测试和开发使用,且帮助文档配有视频指导。如图3所示,VSA可以部署在vSphere环境,能全面访问基于HTML 5的用户界面。尤其UnityVSA对设备的要求并不高,主要硬件包括四核/双核 CPU 64-位 x86 Intel 2GHz+、含512MB缓存的RAID卡,硬盘可以是SATA、SAS、SSD等类型。
图3 vSphere部署
实验时,只须采用免费的社区版UnityVSA,其客户端的Web界面如图4所示。这样,通过UnityVSA配置管理,可以体验“软件定义存储”实验。
图4 UnityVSA客户端的Web界面
3 结语
本文通过对网络存储课程实验教学的实践探索,提出具有普适意义的实验改革,旨在因地制宜、就地取材。不管是存储的基础实验RAID,抑或是比较先进复杂的软件定义存储实验,皆可最大限度地利用现有设备或少量投入新的设备,一般无须购置昂贵的专业设备,而课程的基本实验均可进行。文中提出的是课程主线实验,据此可以拓展其他实验。另外,还可以与业界优秀企业共建课程,让学生到企业利用专业设备进行存储技术实训,这样可以让学生更好地掌握理论知识,与此同时与业界前沿技术接轨,进一步培养出满足社会需求的创新型人才。作为实例,笔者将此教学模式应用到网络存储课程课程的教学中,取得了显著的教学效果。希望能对《网络存储技术》课程的普及和快速发展起到一定的促进作用。
[1]梁正平,王志强,申向军,陈剑勇.“网络存储技术”课程教学探讨与实践[J].计算机教育,2009(3):96-99.
[2]赵红,朱洁,王江平.以“网络存储”课程为先导的课程体系及综合实验室建设[J].软件导刊2015(12):210-212.
[3]黄立勤.“网络存储技术”的课程建设与教学实践[J].江苏经贸职业技术学院学报,2013(05):84-86.
[4]XIONG Ying-yang,YIN Dong-sheng,LI Wen-ju.A Cooperation of SYSU and EMC2:An Example of SIOE[J].中山大学学报(自然科学版),2007,12(增刊 2):79-82.
[5]王盛邦,尹冬生.数据存储技术课程创新实验探索[J].实验室研究与探索,2011,Vol.30 No.2:55-58.
[6]曲海平,网络存储技术课程设置及教学实践探讨[J].课程教育研究,2016(01):241-242.
[7]R.J.T.Morris,B.J.Truskowski.The Evolution of Storage Systems[J].IBM Systems Journal,2003,42(2):205-217.
[8]Masaru Kitsuregawa,Kazuo Goda,Takashi Hoshino.Storage Fusion[C].Proceedings of the 2nd International Conference on Ubiquitous Information Management and Communication.New York:ACM Press,2008:270-277.
[9]张光勇.基于FreeNAS搭建网络存储系统[J].科技创新与应用,2014(05):55-56.
[10]周铁成,陈孝榕.基于Openfiler的统一网络存储系统研究[J].微计算机信息,2008(33):150-151,154.
[11]李福林.利用IP SAN建设校园统一数据存储平台[J].情报探索,2009(8):71-73.
[12]陈广旭,郭延红.IP SAN存储技术的特点及应用[J].电脑知识与技术,2010,6(5):1217-1218.
[13]周晓丽,蒋兆远.网络存储新方向——NAS与SAN的集成[J].信息技术,2005(7):37-39.
[14]周国军,吴庆军.使用VirtualBox和Hadoop搭建云计算虚拟实验平台[J].玉林师范学院学报,2014(02):113-118.
[15]李彬. 基于 Freenas构建个人云存储[J].信息化建设,2015(05):32-34.
[16]孙振正,龚靖,段勇,雷俊智.面向下一代数据中心的软件定义存储技术研究[J].电信科学,2014(01):39-43.
[17]EMC2.EMC 中国[EB/OL].https://china.emc.com/index.htm,2016-5-2.
A Probe into the Universal Experiment of Network Storage Technology Course
WANG Sheng-bang
(Teaching and Experiment Center,Sun Yat-Sen University,Guangzhou 510275)
Through the practical exploration of the experimental teaching of Network Storage Technology course,puts forward the experimental reformation with universal meaning RAID,NAS,SAN and cloud storage,aiming at current conditions and local materials.The proposed main course experiment can expand to other experiments.Practice shows that,without increasing investment or a small amount of investment in the case,it's helpful to carry out Network Storage Technology related experiments in the laboratory.
Network Storage Technology;RAID;NAS;SAN;Cloud Storage
∶广东省高等学校教学团队建设项目(No.67000-18822504)、中山大学校级质量工程(No.68000-3191106)、广东省教改项目(No.68000-18822560)
1007-1423(2017)31-0031-05
10.3969/j.issn.1007-1423.2017.31.008
王盛邦(1962-),男,广东汕头人,硕士,高级工程师,研究方向为计算机网络、信息安全
2017-09-07
2017-10-25