高效存储海量网络资源

文/冯愿

高效存储海量网络资源

文/冯愿

基于SAN架构的数据中心网络存储系统，有效解决数据中心大容量数据存放及传输的问题，提高数据的稳定性与安全性。

存储挑战

高校在校园网建设中积累了大量的网络信息资源，这些信息资源以各自独立的服务器内置硬盘或直连存储（DAS）为存储空间存放，各个应用系统相互独立，属于典型的分散式架构。这种架构存在以下问题：

1. 存储空间不能满足数据增长的需求

服务器直连存储方式在校园网数据中心被广泛应用。存储设备作为服务器的一部分，被挂接在服务器上，通过SCSI等总线技术与操作系统紧密整合在一起。单个服务器的每一个SCSI通道上最多可挂接15个设备，一台文件服务器只允许连接一台磁盘阵列。SCSI的总线结构从根本上限制DAS方式的扩展，要增加存储空间容量，只有通过不断地增加数据服务器来解决。

2. 数据分散管理导致投资成本增加

数据中心应用服务器和数据服务器不断增加，不仅使数据中心拥有不同的软、硬件平台和彼此相互独立的应用系统，形成服务器分散式管理局面，也导致数据中心设备投资成本的增加。传统的服务器连接存储方式通常难以更新或集中管理，服务器分散管理方式也很难评估、规划当前和未来数据存储容量增长变化的需求，数据中心的整体存储空间不能有效地整合和进行智能化管理。对于系统管理员来说，在物理位置分散的数据存储方式下，要正确、快捷地管理应用系统或数据库系统是极不容易的，尤其是数据的备份和数据的恢复工作，管理环节增多，操作复杂，费时费力。

3. 数据处理量增加导致系统和网络运行效率低下

网络环境下，数据中心开展业务工作，提供网络信息服务，数据处理业务繁忙。数据的上载、发布、更新、备份、恢复等操作往往要占用网络带宽和服务器资源，尤其是当网络上数据存储发展到一定规模时，数据服务和数据管理不仅严重影响主机系统性能，还要大量占用网络资源，增加网络负担，使网络运行效率低下。数据中心既不可能根据各种应用数据处理的增加而随时增加网络带宽，也不可能根据不同的应用请求而不断地提高服务器的处理性能。有限的服务器和网络性能与持续增长的数据处理需求形成一对不可调和的矛盾。因此，以服务器为中心的数据网络转变为以数据为中心的存储网络，是网络存储发展的必然趋势。

网络存储系统适应多样性需求

存储区域网络的优势

数据中心是传统信息向网络信息转变的数字化信息资源服务系统。数据中心建设的推进从客观上要求解决海量数据的存储、管理和安全等问题。SAN（Storage Area Network，存储区域网络）的应用，适应数据中心的发展，满足海量数据存储与管理的需要。SAN是一种利用Fiber Channel等互联协议连接起来的可以在服务器和存储系统之间直接传送数据的存储网络系统，它是采用独特的技术构建的，与原有LAN网络不同的一个专用的存储网络。存储设备和SAN中的应用服务器之间采用的是块I/O方式进行数据交换。

独特的体系结构和构建技术使得SAN具有几个优势：1.提供可扩展的存储空间；2.提高数据的可用性；3.改进数据处理方式，优化网络和系统性能。

三大建设原则

网络存储系统存放的是学校的核心教学数据，其性能与质量的优劣将对学校的教育信息化产生重大影响。建设时须考虑以下基本原则：

1. 高可靠性

网络存储系统是集中存放学校教学资源和其他数据的载体，一旦出现故障，将造成极坏的影响。因此在建设时一方面要选择技术成熟的设备，另一方面，系统要具有容错性，采用备份等容错和容灾措施。

2. 扩充灵活性

由于信息技术的不断发展，在建设存储系统时不仅要立足于当前的需要，还要保证系统本身的扩展性，能根据技术的发展进行二次开发和利用。

3. 开放性

学校的各种信息处理系统如邮件系统、计费系统、教务管理系统等所需环境各不相同，存储系统要能够将这些不同的厂商、不同的操作系统环境的服务器集中起来，因此存储系统应遵循国际标准，具有开放性，能被不同的服务器接受。

校园数据存储内容

经过调查和分析，校园网络数据存储需求主要包括：1.学校网络教学资源，如精品课程、网络教学平台等课程资源；2.校园文化资源，如各类校园文化的站点、VOD点播、校园视频新闻等；3.校内FTP服务；4.重要的应用系统及公共数据库，如计费系统、校园一卡通、办公、教务、财务、人事、资产管理等数据库；5.学校各类网站；6.大规模的邮件系统以及相应的邮件网关系统。这些需求包括校园网内核心数据和普通数据，使用35台操作系统各不相同的服务器，其特点是应用环境复杂，数据库呈现多样性。系统结构分四部分

根据建设原则和需求分析，我们在现有服务器的基础上构建光纤存储系统（FCSAN）。该系统包括4个组成部分：服务器、互联设备（光纤交换机）、存储设备（光纤交换机）、备份系统。如图所示。

网络存储系统（SAN）使用2台16口光纤交换机作为互联设备，分别连接现有数据中心的35台服务器和光纤存储阵列。现有的多台服务器通过光纤通道卡（HBA卡）连接到SAN中。光纤存储阵列通过光纤交换机提供给服务器各种应用所需的存储容量，使用存储管理软件对存储容量进行添加、删除、划分。所有服务器都通过双链路连接存储系统，保证服务器和链路的高可用性。

按照信息生命周期管理理念，我们在进行存储容量配置时，采用分层存储，将不同级别的系统应用架构在不同成本的存储介质上。根据南通大学为网络存储系统建设投资的经费预算，本次共规划存储系统容量13.5T，对于性能要求高的校园一卡通、邮件系统等关键数据库数据，配置6T全光纤硬盘存放，对于其他性能要求不高的数据如校园文化资源等数据配置7.5T光纤通道ATA硬盘存放。因磁盘阵列上放置硬盘的磁盘笼单独采购价格比较昂贵，我们在本次网络存储系统建设中将阵列上的磁盘笼全部配满，方便将来硬盘扩容。存储阵列的合理选型

存储阵列是FC-SAN的核心，其性能的优越与适用与否决定SAN的整体效能。不同品牌的存储设备在性能和技术参数有很大差别。我们在采购前对存储设备进行充分的调研，将存储供应商提供的设备性能指标、特性参数及产品优势等数据罗列成表逐一对比，结合学校特点和需求合理选型。

我们在系统建设中特别关注网络存储系统的数据交换能力及数据在网络存储系统中的安全性。存储系统的磁盘阵列的控制器采用全交换结构，因为全交换结构数据传输能力比点对点结构更强，特别是在磁盘阵列所配容量达到满配值的一半时，使用点对点结构的数据传输能力将大大减弱。存储系统具有RAID重组技术，无需停止服务器对该RAID组的访问，将数据从一个RAID组移动到另一个RAID组，比如Raid5可以与Raid0、Raid0＋1进行在线转换。这样的好处是，可以简便部署硬盘容量的释放和数据RAID级别转换。存储系统还具有重要的故障磁盘数据保护功能，它可以预先对硬盘进行参数检测，在硬盘出现异常预兆时提出报警，并把数据拷贝到全局热备份盘中，而不是在硬盘损坏后才将数据拷出，这样能够避免传统Raid5同时损坏两块盘的情况下无法恢复数据的危险。存储系统的这些功能大大提高数据在备份前的安全性。

备份系统采用增量备份

备份系统由备份管理服务器和高速磁带机组成，它为整个存储系统提供网络数据备份和恢复系统两个方面的功能。数据备份采用增量备份的形式（即自上一次备份以来更新的所有数据），在每日用户量较少时进行。我们采用Veritas Netbackup Enterprise Serve数据备份管理软件。该系统软件可以为大规模的Unix、Windows、Linux环境提供大型机级别的数据保护，还可以为Oracle、Mircosoft SQL Serve、Lotus Notes、Domino Sybase等提供相应的数据库和应用的备份与恢复解决方案，符合学校信息存储系统数据库多样性的特点。

图 网络存储系统结构

取得的四大实效

该存储系统实施以来，取得很好的效果，主要表现在以下4个方面：

1. 本次建设的存储带宽达到4Gbps，能满足多节点客户端数据请求及大容量数据存储的需要，较好地解决数据传输及存储数据的通道瓶颈问题。

2. 由于数据处理和主网络运行分离，从而缩短系统响应时间，极大提升了主网络的运行性能和运行速度。针对诸多应用如校园邮件、网络课程，尤其是对实时性要求很高的一卡通等关键性应用数据，校园网用户能实时查询数据。

3. 网络存储系统建成后，已经成为南通大学统一的数据中心，实现校园网复杂的数据应用，实现多数据库、多用户管理、多部门关键数据的集中存储、集中备份和集中管理，为各个应用系统和重要数据的安全管理提供保障。

4. 本次购买的存储阵列最大可以配置到35TB容量的全光纤通道硬盘，如果配置其他非光纤盘可以最大达到60TB容量，在未来较长的一段时间内可以满足学校数据中心数据成长的需要。该阵列主机接口可以扩充到8个，同时支持iSCSI接口技术，方便以后灵活部署SAN的应用。

由于SAN的架构复杂，涉及众多设备和管理技术，在建设过程中需要注意：1.认真细致地做好容量、功能等的需求分析，这样有利于方案的设计；2.注意与现有服务器等设备和机房环境的结合，使原有设备投资得到保护；3.配备必要的专职技术人员，加强技术文档的管理，保障SAN的高效运行。

（作者单位为南通大学现代教育技术中心）