高端磁盘阵列体系结构分析

武卫国 潘清 王霄军 庄泽南装备指挥技术学院 北京 101416

0 引言

伴随着社会信息化程度的不断提高，需要管理的数据呈现了“指数级”增长，高端磁盘阵列作为存储海量数据的解决方案被广泛使用，人们对其可用性的要求也越来越高。在金融、军队、安全等领域中，一旦海量存储阵列发生故障，将会造成大量数据丢失、许多重要业务停顿，其损失是难以估量的。

本文对高端磁盘阵列体系结构进行了分析，主要介绍了EMC公司的Symmetric V-Max和IBM DS8700高端存储服务器的特性架构以及他们典型的功能特点，对他们进行了比较，最后总结了高端磁盘阵列采用技术和未来发展趋势。

1 高端磁盘阵列硬件架构

1.1 EMC Symmetric V-Max

EMC Symmetric V-Max是EMC的第一个基于虚拟矩阵架构的高端存储服务器。V-Max(图 1)的核心部件是 V-Max Engine。通过在线增加 Engine的数量，最多可以连接 8个Engine，最大1TB全局缓存，以及最高192GB/S系统带宽。

每个 Engine 包含一对高可用性控制器、前端与主机连接的端口、后端与磁盘连接的端口和连接矩阵的接口。每个控制器包含两个2.33GHZ Intel Xeon 4核处理器，高达64GB的全局缓存。单个Engine支持16个后端端口，16个前端端口，24GB/S带宽。优化的硬件逻辑和数据保护编码通过通道自动故障切换确保端到端的数据完整性，最大限度地实现了可用性和负载平衡。V-Max最多可以装载2400个驱动器。

虚拟互连矩阵(Virtual Matrix)提供两个非阻塞的RapidIO私有网络作为内部节点来进行互连。所有的控制器都可以通过有冗余的内部Ethernet来管理矩阵路径初始化、选择、容错和隔离错误以及其他配置。

V-Max所有的关键部件都是完全冗余的，包括V-Max控制器，虚拟矩阵数据通道，电源供给部件，备用电源和所有的光纤通道后端组件。

Symmetrix V-Max 系统支持所有常用的硬件和操作系统平台、存储区域网络 (SAN) 和高可用性群集环境。

图1 EMC Symmetric V-Max

1.2 IBM DS8700

IBM DS8700 为IBM公司最新的高端存储服务器。IBM声称DS8700提供了芯片技术、架构技术以及安全技术与存储系统的完美结合达到了99.999%的高可用性。

DS8700(图 2)采用了高达 4.7GHz的频率 POWER6 (eClipz L4服务器)。每个控制器处理器单元拥有双处理器卡，每个处理器卡支持最多两个处理器，使得每个控制器处理器单元能够容纳最多4个POWER6处理器。用户最初可以选择2路处理器，随后可以在不中断系统运行的情况下升级到4路。

在POWER6中，IBM加入了恢复单元功能，该技术可以记忆CPU历史信息，处理器出现错误时，可以根据历史信息恢复到出错前状态。

图2 IBM DS8700

DS8700的POWER6服务器与IO模块之间改变了之前系列所采用的RapidIO连接，取而代之的是采用点到点、双单工的PCIe连接，最高达到了2Gb/s传输速度。但连接两个POWER6控制器处理器单元的连接仍然采用RapidIO，以完成同步和控制两个控制器单元的目的。PCIe通过自我修复以及接收器溢出校验、流量控制错误校验、端对端CRC(ECRC)、崩溃TLP等技术，提供了极好的可靠性。

DS8700的I/O模块数量可以灵活配置，最初可以选择两个IO模块，之后按需增加IO模块。最多可以支持到8个IO模块和5个机柜。由于采用了PCIe连接，I/O模块的安装只需要将电缆与 PCIe接口连接即可。DS8700最多可以支持1024块磁盘，最高384GB缓存。

2 EMC V-Max 与DS8700典型软件功能介绍

（1）自动分层存储优化

EMC V-Max与IBM DS8700均支持闪存、光纤通道和SATA等驱动器类型。同时，V-Max与DS8700均提供了智能数据分层存储功能，V-Max为FAST技术，IBM为Smart Data Placement 技术。下面以V-Max的FAST技术为例介绍自动分层存储技术。

V-Max的自动存储分层(FAST)技术可以根据业务策略、预测模型和实时访问情况把一个LUN的数据或者一个LUN当中的某一个热点数据块的数据在闪存盘、光纤通道或者SATA硬盘之间迁移，从而充分发挥企业级闪存驱动器的性能，并利用SATA硬盘驱动器在容量和成本上的优势。LUN数据迁移允许在线迁移存储在不同设备以及不同RAID保护类型上的数据，可以迁移单个设备、群组设备或者整个存储组。Symmetrix VLUN 迁移是在矩阵里完成的，不会消耗CPU或I/O周期，不会给服务器造成任何附加负担(图3)。

图3 分层存储

（2）Thin Provision

V-Max与DS8700均支持Thin Porvision(在V-Max中叫做Virtual Porvision)。Thin Provision通过展现比实际可用物理空间更大的存储空间，显著的改善资源利用率。传统的方法如果程序请求2TB空间，服务器分配2TB实际空间，而通过Thin Provision服务器只给使用的卷分配实际空间，按需扩展，既增加了灵活性，也避免了潜在的资源浪费。尤其是程序宕机的时候，只需要恢复实际使用的空间，而不是2TB(图4)。

图4 Thin Provision

2.1 数据安全技术

高端磁盘阵列对数据安全性越来越重视，V-Max与DS8700均提供了相应的数据安全解决方案。V-Max的数据安全技术主要采用基于RSA算法的PowerPath软件加密实现，安全控制策略包括日志记录、访问授权、 数据擦除等。而IBM DS8700采用了全磁盘自动加密技术，并结合软件管理密钥方式。下面介绍IBM DS8700的数据安全解决方案：

DS8700采用的是基于IBM全磁盘加密技术的希捷全加密硬盘，每个磁盘的驱动器都内嵌了加密/解密固件引擎，引擎采用对称加密算法AES，结合256位的加密密钥，在数据写入磁盘时全速实时加密，读出磁盘时全速实时解密，对上层应用完全透明，并且对系统性能基本无影响。

TKLM(IBM Tivoli Key Lifecycle Manager)则为包括DS8700在内的 IBM 加密存储设备提供安全有效的密钥服务，如提供、保护、存储以及维护密钥等特性和功能。

同时，DS8700拥有的分组加密技术则实现了对存储资源的有效管理，“加密组”概念的引入使得数据的删除和加密解密形成了封闭的链条，从而保证了数据不会被任意删除。TKLM、分组加密技术和IBM全磁盘加密技术的有机结合，形成了DS8700解决静态数据安全性问题的完整方案。

2.2 业务持续性解决方案

V-Max与DS8700均提供了以本地复制和远程复制为基础的业务持续性解决方案。

（1）本地复制：EMC的TimeFineder系列软件，IBM的FlashCopy 和FlashCopy SE。

（2）远程复制：EMC的SRDF系列软件。相应的IBM的远程镜像和复制功能软件为：Metro Mirror，Global Copy，Global Mirror和Metro/Global Mirror等。

此外，两者均提供了 Three-site备份方案，EMC为SRDF/Star，IBM为Metro/Global Mirror。

下面以IBM DS8700为例，介绍业务持续性解决方案。

FlashCopy 和FlashCopy SE，提供了逻辑卷的时间点复制功能，原卷和目的卷可以立即访问，对应用程序没有或者很小影响。

FlashCopy典型的应用是生产数据备份，仅需要几秒钟即可建立FlashCopy源卷和目的卷的成对关系，创建必要的控制位图，然后可以对源卷与目的卷进行读写，好像所有的数据已经复制完成(图5)。

如果FlashCopy在后台运行时，I/O请求到达，FlashCopy操作如下：

① 读源卷请求：直接从源卷读取数据。

② 读目的卷请求：FlashCopy检查控制位图，如果数据已经复制到目的卷，从目的卷读取；如果数据还没有复制完成，从源卷读取。

③ 写源卷请求：数据暂时存入“写缓存”页，当相应写缓存页被换出时，FlashCopy检查位图，如果数据已经复制到目的卷，执行写入源卷；如果没有复制到目的卷，同步地复制到目的卷，然后写入源卷。

④ 写目的卷请求：写入目的卷，更新位图，确保源卷不会重新改写直接写入目的卷的数据。

图5 FlashCopy

FlashCopy SE 为虚拟的时间点的复制卷，仅复制改变的数据。可以创建多个恢复点，只需要几分钟即可完成。FlashCopy SE大大减少了需要传输的数据量(图6)。

图6 FlashCopy SE

Metro Mirror，提供了同步的端到端逻辑卷的实时镜像，在备份完成之前，对源卷的写操作同时在副本上完成，两个站点距离可达300km。

Global Mirror，两站点的远程异步镜像技术，主机写到本地存储单元的数据异步镜像到远程站点存储单元，支持的距离仅受限于网络的能力和通道扩展技术。

Metro/Global Mirror是一个三站点、多目的复制解决方案。B站点作为Metro Mirror的目的端和Global Mirror的源端(图7)。

图7 Metro/Global Mirror

A站点与B站点备份采用Metro Mirror技术，为同步镜像，由于B站点与本地站点距离较近，提供了高可用性、高性能和快速恢复能力。

B站点与C站点采用Global Mirror技术，为异步镜像，距离仅受限于网络的能力和通道扩展技术。通过恢复点目标，3到5秒内即可提供可恢复的、可重启的 、一致性镜像。

3 V-Max与 DS8700比较

（1）系统架构

V-Max采用Engine为服务单元，向分布式集合体方向发展，支持横向扩展和纵向扩展。Engine结构的大小适中，可以减少能源和降热的需求，因为大机柜需要复杂的风扇、电源、电池组件。但是V-Max基于Engine的设计表明，如果增加处理器、缓存或者需要多于 16个主机接口时，不能够单独配置，必须以Engine为单位配置。

DS8700采用SMP对称处理器，所有任务在处理器之间分享，各处理器的能力得到充分使用，但是进一步扩展受到物理限制，扩展能力比V-Max弱。

DS8700存储单元为全局管理模式，V-Max的存储单元为分布管理模式。对于后者，一个 Engine失效将导致其他Engine无法访问其数据。

V-Max采用RapidIO技术互连Engine，1Gb/s传输速率。Ds8700采用PCIe连接I/O模块与控制器，2Gb/s传输速率，而两个POWER6控制器处理器单元的连接采用RapidIO，以完成同步和控制两个控制器单元的目的。PCIe为点到点的连接，错误定位准确。

V-Max最高提供1TB全局缓存，DS8700最高提供384GB缓存；V-Max对“读写”均提供缓存功能，DS8700仅对“写”提供缓存功能。V-Max将缓存分成 64KB页大小，DS8700分为4KB页大小；DS8700采用一系列高级缓存算法，算法效率较高。

（2）容量

V-Max通过配置 600GB FC驱动器容量最高可达1440TB，通过配置 1TB SATA驱动器容量可达 2400TB；DS8700通过配置450GB FC驱动器容量最高达460.8TB，通过配置1TB SATA驱动器最多可达1024TB。

（3）安全性

DS8700支持全盘加密技术，磁盘驱动器自带加密解密引擎，对上层应用完全透明，并且对系统性能基本无影响。V-Max不支持自加密驱动器技术，采用基于 RSA算法的PowerPath加密，效率较硬件加解密低，给处理器造成负担。

（4）可恢复性

V-Max与DS8700 均提供了远程实时复制和恢复的健壮方案。V-Max解决方案包括SRDF系列软件，IBM提供了Global Mirror and Metro Mirror 软件。两者均提供了Three-site备份方案，EMC为SRDF/Star ，IBM 为Metro/Global Mirror。

（5）智能数据分层存储

V-Max与 DS8700均提供了智能数据分层存储功能，V-Max为FAST技术，IBM为Smart Data Placement 技术。通过自动分层存储技术可以识别“热点”数据并自动将其迁移到或者迁移出固态盘和光纤通道驱动器以实现价格和性能的优化。

4 总结

本文分析了EMC V-Max与IBM DS8700高端存储系统的体系结构以及典型软件功能，并对两者进行了对比。可以看出，高端存储系统在各个方面采用多种设计来提高系统的性能。系统架构上，采用了多个高主频的多核处理器以及大容量缓存，并在部分硬件加入了自动查错纠错功能。I/O通道采用了高速互连技术，如RapidIO技术、PCIe等技术。支持不同的驱动器类型和主机接口，以满足不同需求，并且有效降低成本。同时关键部件全部冗余的策略，提高了容错性和可靠性。值得注意的是，VM AX 的虚拟矩阵互连，是一种全新的阵列架构，突破了物理限制，能够同时支持横向扩展和纵向扩展。

软件功能上，提供了大量的性能优化软件和管理软件。自动分层存储软件，可以识别“热”数据并自动将其在固态盘、光纤通道、SATA磁盘之间迁移，以实现价格和性能的最优化。本地复制和远程复制为基础的多数据中心解决方案，可以有效防止例如地震、大规模停电等自然灾害的发生，快速进行灾难恢复，提供了最高的业务持续性。

高端磁盘阵列对数据安全性更加重视，IBM采用的全磁盘自动加密技术，结合软件管理密钥方式，效率高、安全性好。未来，高端磁盘阵列应当会继续沿着自动分层存储技术、可扩展技术、资源自动分配技术以及数据安全技术方向发展。

[1]IBM System Storage DS8700 Architecture and Implementation. http://www.redbooks.ibm.com/redbooks/pdfs/sg248786.pdf.

[2]Brian Garrett.Tony Palmer.Mark Peters:EMC Symmetrix V-Max 24xForever Storage for Virtualized Data Centers.2009.