存储大集中环境下高端FC HBA卡的研究

2015-04-29李晓坤邵娜

智能计算机与应用 2015年2期

李晓坤邵娜

摘要：虚拟化、云计算技术使存储大集中技术得到了空前的发展，存储大集中在工业界成功商用，本论文提出了在存储大集中环境下高端FC HBA卡。重点剖析了存储大集中、SAN、Gen 5 Fibre Channel、FC HBA卡及应用高端FC HBA卡需要注意的问题。最后阐述了为什么存储大集中环境下应用高端FC HBA卡是发展的趋势。

关键词：存储大集中；SAN；Gen 5 Fibre Channel；FC HBA卡

中图分类号：TP319 文献标识码：A 文章编号：2095-2163（2015）02-

Research on Storage of Large Centralized High-end FC HBA Card

LI Xiaokun 1 ， SHAO Na2

（1 Heilongjiang Hengxun Technology Co. Ltd， Harbin 150090 ，China；2 Graduate School， Heilongjiang University， Harbin 150001， China ）

Abstract： Virtualization， cloud computing technology enables the storage of high concentration technology get an unprecedented development， and industrial application of storage of the large concentrated is a great success. This paper puts forward high-end FC HBA card technology in the storage of the large centralized environment， then focuses on the analysis of the storage of the large concentration， SAN， Gen 5 Fibre Channel， FC HBA card. After that， the paper presents the problems to be envisaged during the application of high-end FC HBA card. Finally， the paper explains and concludes that under store large centralized environment the application of high-end FC HBA card is the current development trend.

Key words： Storage of Large Concentration； SAN； Gen 5 Fibre Channel； FC HBA Card

0 引言

云計算概念的两种核心技术就是虚拟化和大数据。主机虚拟化、网络虚拟化、存储虚拟化技术在工业界的成功商用，使得如何解决主机和高端SAN Switch之间高带宽，高IOPS，高可用的传输问题即成为迫切热点问题。而经研究分析可知，其有效解决方案就是在存储大集中环境下应用高端FC HBA卡。本文则对此展开研究，具体过程如下。

1 基本概念

1.1 存储大集中

云平台存储的数据通常是大规模数据，为其设计的数据完整性验证机制都是基于抽样的策略[1]。存储大集中就是将分布在各个终端、主机、低端存储的业务数据及其他一些相关的数据实现在高端平台上的集中存储。具体来说，该策略依托科技手段，实现数据的集中和数据的整合，并通过对数据深层次的挖掘，对金融、电信等高端客户数据、业务数据进行系统分析和评价，由此推动向决策科学化方向迈进，而且又提高了管理水平和工作效率。大数据的处理通常具有时效性，必须把握好对数据流的掌控应用，如此才能最大化地挖掘利用大数据所潜藏的价值[2]。存储大集重点区别于分布式存储的地方就在于，数据集中可以使用高端存储大集中技术，实施数据的集中存储及管理；或通过一定的共享软件机制，实施数据的集中共享。真正可以做到与业务集中相匹配的应用集中，及客户关键业务信息的数据集中，不同程度的集中，会产生不同的效果，投入及工程的复杂程度也不尽相同。在存储大集中项目中要考虑许多技术因素，但至关重要的则是高层领导的重视及支持，及业务部门的介入。存储大集中架构部署在高端SAN Switch的存储区域网络环境下，不同的应用集群建立在不同的Zone中，每一台物理或虚拟主机通过多端口高端FC HBA卡和高端SAN Switch物理交叉冗余连接。在高端存储上实现高可靠的冗余机制（如8个引擎、16个换制器、20个电源、RAID0+1、SSD），物理或虚拟主机可以通过SAN Boot 启动，包括底层的操作系统均配备在高端存储中，高端存储通过划分不同的LAN指向不向的物理或虚拟主机，高端HBA卡通过WWN号和Zone及高端存储绑定，实现存储大集中。

1.2 SAN

存储区域网络（Storage Area Network，简称SAN）采用光纤通道（Fibre Channel ，简称FC）技术，通过SAN Switch连接存储和主机，建立专用于数据存储的区域网络。而且SAN历经多年的发展，已经相当成熟，现已成为工业界的事实标准（但各个厂商的光纤交换技术不完全相同，其主机和SAN存储有兼容性的要求）。独特的体系结构和构建技术使SAN具有很多优点：如高性能、高可用性、高可扩展性；便于集中存储和管理；实现LAN-free Backup、Server-free Backup数据备份，不占用LAN带宽；容灾、双活等技术支持更远的距离等[3]。

SAN专注于企业级存储的特有问题。当前企业存储方案所遇到问题的两个根源是：数据与应用系统紧密结合所产生的结构性限制，以及大型、中型、小型计算机系统接口标准的限制。大多数分析都认为SAN是未来企业级的存储方案，这是因为SAN便于集成，能改善数据可用性及网络性能，而且还可以减轻管理作业。

SAN实际是一种专门为存储建立的独立于TCP/IP网络之外的专用网络。目前常见的SAN提供8Gb/S到16Gb/S的传输数率，同时SAN网络独立于数据网络存在，因此存取速度很快，另外，SAN一般多采用高端的RAID阵列，使SAN的性能在几种专业存储方案中傲视群雄。

在此，仍需指出的是，由于SAN的基础是一个专用网络，因此扩展性很强，不管是在一个SAN系统中增加一定的存储空间还是增加几台使用存储空间的主机都非常方便。通过SAN接口的磁带库或虚拟带库，SAN系统即可方便高效地实现数据的集中备份及双活。目前多见的SAN有FC SAN和IP SAN，其中FC SAN为通过光纤通道协议转发，IP SAN则通过TCP协议转发。SAN主要用于数据大集中的环境，如电信、金融等，但其成本高、标准尚未确定等问题也影响了SAN的市场，不过，随着这些用户业务量的增大，SAN依然有着广泛可观的应用前景。

1.3 Gen 5 Fibre Channel

第五代光纤通道技术是存储区域网络（SAN）的最新演进成果。第五代光纤通道技术主要基于T11技术委员会曾负责制定的光纤通道接口标准开发的技术，可将8 Gbps链路的数据吞吐量增加一倍，也就是从每秒800兆（MB/sec）提高到1 600 MB/sec。数据传输速率更快，完成相同任务需要的链路和需要管理的设备更少，而且使用Gen 5 Fibre Channel时功耗也更低。最近的几大服务器和存储技术进步成果更随之增加了对优等SAN带宽的需求，包括应用和存储容量增加、高密度服务器虚拟化、全新Gen 5 Fibre Channel存储和固态硬盘（SSD）存储。第五代光纤通道技术使企业数据中心可以充分发掘这些进步成果及其它先进技术的全部潜力。然而，Gen 5 Fibre Channel的优势并不仅僅局限于性能改善和更高的吞吐量。Gen 5 Fibre Channel还可以提供几种重要功能，使SAN可靠性、可用性和管理简便性上升到一个新高度，同时又大幅降低了运营成本。正是这些优势使得Gen 5 Fibre Channel正以前所未有的速度实现了其广泛普及和推广应用。

光纤通道（FC）被部署在数据中心内，是数据中心内存储网络连接领域的工业标准。Gen 5 Fibre Channel是一种经过广泛实践验证的专用网络基础架构，用于满足数据中心存储需求，并可提供无与伦比的可靠性、可扩展性和16 Gbps的出色性能。Gen 5 Fibre Channel提升到了一个新高度，可利用独特的技术创新成果提供全面的SAN支持，而且Gen 5 Fibre Channel提供关键应用和虚拟化应用所需的出色性能，硬件和软件可靠性，连续提供99.999 9%的可用性，同时又通过机箱连接，提供64 Gbps并行Gen 5 Fibre Channel，帮助实现大规模基础架构整合和简化；另外，也创建了一种先进的硬件和软件架构，可通过创新的诊断、监控和管理技术最大限度地延长运行时间，优化应用性能，简化SAN管理。而FC SAN是出现最早，应用最广的一种，其网络基于光纤通道技术，高效、稳定、安全即是其主要优势[4]。

Fibre Channel（光纤通道）甫一提出时，一台服务器还只是专用于某一种应用，导致服务器资源利用率很低。服务器虚拟化技术的出现则改变了这一局面，允许多种应用共享同一台物理服务器，进而提高了效率和服务器资源利用率。基于主机的虚拟化可以使系统在存储空间调整过程中仍然保持在线状态[5]。不断演进的关键工作负载和Tier 1应用正被托管到虚拟机（VM）上。除了服务器虚拟化的更广泛普及外，虚拟机密度（每台物理服务器上托管的虚拟机数量）也稳步增长，达到了每物理服务器100、200甚至更多虚拟机，而且都是从SAN Boot启动、再接入SAN资源。VM的使用范围和重要性不断增加，密度逐渐提高，日益要求存储计算基础架构提供更高的性能（带宽和I/O）、可靠性和可用性。在高度虚拟化环境中，存储网络中的任何拥塞、低劣的I/O性能或故障都会影响到大量应用。而Gen 5 Fibre Channel却可有效解决带宽和IOPS问题。

1.4 FC HBA卡

存储系统中也有类似的用于连接计算机内部总线和存储网络的设备。这种位于服务器上与存储网络连接的设备一般称为主机总线适配卡（Host Bus Adaptor）HBA。FC HBA卡是服务器内部的I/O通道与存储系统的I/O通道之间的物理连接。最常用的服务器内部I/O通道是PCIe或Sbus。这也是连接服务器CPU和外围设备的通讯协议。FC HBA卡的FPGA 实现采用XILINX ML555开发板，综合布局布线和下载BIT文件用ISE10.1的开发套件完成[6]。存储系统的I/O通道实际上则是光纤通道。而FC HBA的作用就是实现内部通道协议PCIe或Sbus和光纤通道协议之间的转换。对数据块进行繁重的读包、解包操作，因此高性能的FC SAN系统是需要在服务器上安装一块专门负责解包工作以减轻处理器负担的网卡，这种网卡即可称之为FC HBA卡，而其除了执行解包工作外，当然还可以提供一个光纤接口（如果是iSCSI HBA卡就是提供普通的RJ45接口）以用于所对应的交换机实现连接；另外，HBA物理上则可将其当作网卡一样插在PCIe槽位里，因此这种设备的用法非常类似一张网卡，很多人也就将其与普通网卡或普通的光纤网卡混淆了。需要特别一提的是，FC HBA卡的专业名称可唤作Fibre Channel HBA。传输协议为光纤通道协议，一般通过光纤线缆与光纤通道交换机连接。光口一般都是通过光纤线缆来进行数据传输，接口模块则常为SFP、SFP+、QSFP（高端FC HBA卡传输率大于等于16Gb/s），而对应的接口即大多为LC光纤接口。

2 存儲大集中环境下应用高端FC HBA卡

2.1 高端FC HBA卡

高端FC HBA卡是指采用Gen 5 Fibre Channel技术、FC光纤接口、每端口传输速率大于等于16Gbps全双工线速、支持双端口冗余、支持SAN Boot的FC HBA卡。高端FC HBA卡要同时兼容大型机、中型机、小型机、工业标准PC Server，如图1所示。

图 1 高端FC HBA卡的工作原理图

Fig.1 The working principle of high-end FC HBA card

高端FC HBA卡面向SAN高端存储流量的16Gbps 最大吞吐量（每端口），超过 120 万的IOPS，降低高度事务密集型应用程序和虚拟化环境中的延迟，并且通过在单个主机和光纤通道端口运行更多的应用程序（虚拟机）来降低硬件、线缆和管理的成本，而且通过在 PCIe Gen3 环境中使用最少的 PCI Express通道来降，低电源和冷却成本，同时重叠保护域（OPD）以确保数据在PCI总线和光纤通道网络中传输时的最高级别可靠性，还可针对旧式8Gb和4Gb光纤通道基础架构的完整投资保护，支持模块设计以确保轻松转换至40G和100G以太网聚合网络适配器。

2.2 Qlogic QLE2672

Qlogic 2672 16Gb Gen 5 Fibre Channel光纤通道适配器具有行业领先的本地光纤通道性能（可实现双端口、线速 16G的光纤通道吞吐量），采用全硬件负载均衡技术，CPU的使用率却极其低下，而且通过实施支持强大虚拟化功能、应用感知服务及简化管理功能的存储网络基础设施，Gen 5 Fibre Channel光纤通道成功解决了数据中心所面临的复杂难题，使得下一代的存储网络基础设施既能支持最为苛刻的虚拟化和云计算环境，又能充分利用高性能16Gbps光纤通道和固态硬盘（SSD）存储的功能。在此基础上，还有助于降低成本和复杂度，同时其16Gbps性能又消除了存在于当今强大的多处理器、多核服务器中的潜在 I/O 瓶颈现象。

QLogic是光纤通道适配器领域毋庸置疑的行业领先者，这些产品广泛适用于多封装中的所有主要的服务器 OEM。QLogic拥有久经验证的光纤通道层，虚拟化优化Qlogic QLE2672适配器采用QLogic VMflex技术，支持诸如N_Port ID虚拟化（NPIV）等基于标准的虚拟化功能。线速16Gb的吞吐量和无可比拟的存储性能将最大化每台服务器可支持的 VM的数量。Qlogic QLE2672 16Gb Gen 5 Fibre Channel光纤通道适配器对CPU的使用率极低，可在所有端口之间以线速传输存储流量。QLogic QLE2672适配器每秒处理的I/O事务可以超过120 万个，因此无论是在虚拟化环境还是非虚拟化环境中，其都能提供最佳的存储应用程序。

Qlogic QLE2672 16Gb Gen 5 Fibre Channel适配器采用QLogic的StarPower技术提供极高的能源效率。此系列适配器提供动态的电源管理，可确保PCIe主机总线链接使用最低数量的PCIe通道以满足所需的光纤通道带宽。使用的PCIe Gen3通道数越低，就意味着这些适配器需要的能源越少，然而同时继续保持最高级别的光纤通道性能。

Qlogic QLE2672向下兼容原有的4Gb和8Gb光纤通道基础架构。拥有从16Gb Gen 5光纤通道主机总线适配器转换至聚合网络适配器的独特功能，可支持NIC、以太网光纤通道（FCoE）和iSCSI流量。QLogic I/O Flex技术可为最终用户提供现场可升级性，将适配器“特性”从光纤通道转换至以太网。基于QLogic 的 I/O Flex技术，适配器具有非凡的灵活性，可简化并减少客户目前部署光纤通道SAN并在将来迁移至以太网SAN的成本。

PCIe接口主要包括PCIe IP核和DMA用户逻辑，采用XILINX的PCIe IP核，实现与主机数据传输[7]。Qlogic 2672采用PCI Express Gen3总线接口，吞吐量每端口16Gbps全双工线速，支持2 048个并发登录和2 048个活动交换，可扩展至16K个并发登录和32K个活动交换，支持SCSI-3光纤通道协议（SCSI-FCP）、光纤通道磁带（FC-TAPE）应用规范、SCSI 光纤通道协议-2（FCP-2）、第二代 FC通用服务（FC-GS-2），和第三代 FC通用服务（FC-GS-3），引导支持BIOS、UEFI、Fcode，API支持SNIA HBA API V2、SMI-S。

2.3 Brocade 1860-2F

Brocade 1860-2F FC HBA卡可满足云数据中心的所有连接需求，同时提供出色性能、应用感知服务、统一管理功能、更低的成本和复杂性，设计用于将光纤架构服务扩展到苛刻的虚拟化环境中的虚拟机和应用中。

Brocade 1860-2F FC HBA卡将光纤通道和以太网矩阵服务扩展到虚拟机和应用中。简化向基于云的架构的过渡，可带来多方面的重要优势，可满足云数据中心内的所有光纤通道和以太网连接需求。在高度虚拟化环境中简化并优化服务器I/O利用Brocade AnyIO技术支持原生16 Gbps光纤通道和10 GbE DCB连接，来处理TCP/IP、iSCSI和FCoE流量将光纤通道和以太网矩阵服务扩展到服务器和应用中，再通过Brocade vFLink技术将物理适配器划分为多个虚拟适配器，进而整合I/O设备同时支持当前的和新兴的虚拟化工作负载及技术，来简化向私有云的过渡，而且又利用Brocade Network Advisor简化并统一适配器、SAN及LAN资源的管理。

Brocade 1860-2F FC HBA卡提供16G雙端口，是专为高度虚拟化的云数据中心设计的第一款多协议服务器连接产品。结合了Gen 5 Fibre Channel（16 Gbps）光纤通道主机总线适配器（HBA）、万兆以太网（10 GbE）融合网络适配器（CNA）和网络接口卡（NIC），可支持在单一产品中同时运行原生光纤通道、TCP/IP、数据中心桥接（DCB）以太网、Fibre Channel over Ethernet（FCoE）和Internet Small Computer System Interface（iSCSI）。 Brocade 1860-2F FC HBA卡可支持全双工线速16 Gbps光纤通道和10 GbE速度，而且每个双端口适配器可以为存储应用提供超过100万次IOPS操作，包括光纤通道、FCoE和iSCSI，是支持大型数据中心内最苛刻的关键任务工作负载的理想平台。Brocade 1860-2F FC HBA卡可支持全面的FCoE协议卸载及无状态10 GbE网络卸载，包括TCP校验和及分段卸载（segmentation offload），可提高性能及CPU利用率。在此背景下，计算机工业界和学术界提出了云计算的概念[8]。虚拟化正从根本上转变数据中心，将网络接入层转移到服务器中。除了对I/O设备进行虚拟化，使其可以由虚拟机共享外，系统管理程序必然地成为了基于软件的以太网交换机，为虚拟机提供网络服务，因而占用了大量CPU周期并阻碍着虚拟化可扩展性和性能。将虚拟机更紧凑地放置到数量更少的结点上，从而将闲置的结点关闭来节省能耗和管理开销，需要通过次数更多的虚拟机迁移来实现[9]。即使采用最强大的处理器，使用16 Gbps光纤通道，速度为10 GbE时，系统管理程序也无法匹配I/O需求，最终导致线速性能根本不可能实现。此外，还支持虚拟Fabric Link（vFLink）技术。这种技术可以将单一适配器分为最多8个虚拟适配器，而这些虚拟适配器可以配置为虚拟HBA（vHBA，用于光纤通道或FCoE）或虚拟NIC（vNIC，用于以太网）。这一操作在PCIe总线级别通过多种物理功能（Physical Function，PF）在硬件中实现；而在操作系统级别，这些虚拟适配器看起来就像独立的物理设备。带宽能够以100 Mbps的增量分配给这些虚拟Fabric链路，光纤通道和以太网分别最多可分配到16 Gbps或10 Gbps的带宽。这将有助于避免虚拟环境中适配器的迅速增长，同时也可实现不同网络的全面管理隔离和微调，包括生产、备份、管理或实时迁移。

Dynamic Fabric Provisioning（DFP）允许企业通过主机全球名称（WWN）虚拟化来避免Fabric架构重新配置，并将交换机和适配器技术相结合，来降低甚至从根本上消除修改分区或逻辑单元号（LUN）掩码的需求。此外，DFP可支持虚拟WWN的预先配置（pre-provisioning），在企业部署新设备或在交换机中移动设备时避免耗时的步骤。SAN Boot功能允许部署直接相连存储（DAS）点到点技术和无磁盘服务器，并对共享存储池中的操作系统镜像进行集中管理。然而，传统的SAN Boot环境要求接入每个HBA BIOS（以及每个服务器控制面板），因此配置起来非常繁琐，维护工作量很大而且容易出现人为错误。为简化对SAN Boot环境的管理，Brocade 1860-2F FC HBA卡可提供基于Fabric架构的启动LUN（Boot LUN）发现功能，该功能使每台服务器可以从交换矩阵中自动恢复自己的启动LUN信息。这样就可以通过Brocade Network Advisor来为所有SAN Boot操作提供一个集中管理点，帮助企业全面利用无磁盘服务器的优势。通过实验验证Hbase具有良好的可扩展性，高效的存储效率和访问效率[10]。为了补偿服务器和存储设备同步启动时的磁盘启动延迟时间，用户可以通过Brocade Boot-up Delay特性配置1、2、5或10分钟的启动延迟。

Brocade 1860-2F FC HBA卡还可以提供Bare-metal配置功能，允许企业通过服务器BIOS UEFI HII菜单而在适配器上配置存储和网络属性，并不需要安装和启动操作系统。这样就可以简化适配器配置和管理，进而提高业务灵活性并降低运营支出。

2.4 Emulex LPe16202

Emulex LPe16202采用PCI Express Gen3总线接口，Gen 5 Fibre Channel技术，吞吐量每端口16Gbps全双工线速，具有2个16G FC接口或者2个10GbE接口，采用PCI Express 3.0标准，支持多操作系统的SAN Boot。

2.5 存储大集中环境下应用高端FC HBA卡的优势

随着存储区域网络越来越广泛的应用，业已逐渐成为人们解决存储带宽、容量和管理问题的首选方案。而FC HBA卡是将主机接入FC SAN必不可少的接入设备[11]。高端FC HBA卡使用独立于LAN的SAN架构，不与LAN争用带宽，存储大集中环境下应用高端FC HBA卡以提供超高带宽，高IOPS，高可用。而且，存储大集中环境下应用高端FC HBA卡提供高可用性；提高了数据的可靠性和安全性；易扩展性和兼容性；集中管理、共享存储；提高数据访问速度；异地容灾得以实现；存储大集中环境下应用高端FC HBA卡解决数据大集中的主要技术之一，如图2所示。

图 2 “高端FC HBA卡”与“存储大集中环境”关系的拓扑图

Fig.2 Topology relationship between "high-end FC HBA card" and "storage centralization environment"

3 存储大集中环境下应用高端FC HBA卡需要注意的问题

任何技术从萌芽到成型，再到成熟，都需要经历一个过程。部署高端FC HBA卡技术相对复杂，成本很高。要求使用方充分了解存储区域网（SAN）的相关知识和各平台虚拟化相关知识，同时高端FC HBA卡与各种系统硬件联系较为紧密。FC HBA硬件上选用Xilinx公司的FPGA进行开发，对外提供2通道全双工的FC接口。硬件层可分为两个模块，一个为FC帧处理模块，另一个为PCI-Express接口的DMA传输模块[12]。存储设备性能问题，所有主机均连接高端存储设备，对存储设备的性能要求很高。存储设备通常面临高可用问题，一旦存储出现故障，所有数据都将陷入灾难，建议使用高端存储解决存储性能问题。为此，需创建基于高端存儲的容灾、备份、双活系统，提高业务支撑系统的高可靠性。目前国内品牌目前尚无高端FC HBA卡设备和配套软件，希望国内具有高研发实力的Huawei、Zte加大高端FC HBA卡的研发投入，使国内品牌高端FC HBA卡系统早日成功商用。高端FC HBA卡技术由Qlogic、Brocade、Emulex所持有， IBM、Sun、EMC、HP、DELL、Huawei等厂商大多OEM这三家产品，希望国内具有强大研发实力厂商早日推出自主知识产权的高端FC HBA卡设备或配套软件。

4 结束语

虚拟化、大数据是实现云计算的主要技术，目前除电信、金融行业外其它行业存储大集中环境下应用高端FC HBA卡尚在探索测试的阶段，但相信随着云计算的发展以及应用虚拟化的日趋成熟，该技术必会将云计算的发展带来全新的变革。本文围绕存储大集中环境下应用高端FC HBA卡，总结了应用存储大集中；SAN；Gen 5 Fibre Channel；FC HBA卡原理、优势，应用，趋势；为构建存储大集中环境下应用高端FC HBA卡提供了实践经验支持。存储大集中、SAN、Gen 5 Fibre Channel、高端FC HBA卡为高性能云计算提供积极的推动作用和高效的技术动力。

参考文献：

[1]谭霜，贾焰，韩伟红. 云存储中的数据完整性证明研究及进展[J].计算机学报，2015，38（1）：164-177.

[2]金培权，郝行军，岳丽华. 面向新型存储的大数据存储架构与核心算法综述[J].计算机工程与科学，2013，35（10）：12-24.

[3]谢长生，高巍. 存储区域网（SAN）中存储虚拟化的研究与实现[J].计算机应用研究，2003（8）：130-132.

[4]林顺平，涂晓东. 光纤通道HBA卡的设计与实现[J].光通信技术，2010（12）：27-30.

[5]戴斌，胡晓，孙志刚.高速网络接口卡DMA引擎的设计与实现[J].计算机工程，2007，33（20）：99-103.

[6]潘强.虚拟存储技术在医院数据存储中的应用研究[J].信息技术，2011（5）：187-192.

[7]田耘，徐文波. XILINX FPGA开发实用教程[M].北京：北京清华大学出版社，2008：125-127.

[8]陈康，郑纬民.云计算：系统实例与研究现状[J].软件学报，2009，20（5）：1337-1348.

[9]李强，郝沁汾，肖利民，等. 云计算中虚拟机放置的自适应管理与多目标优化[J].计算机学报，2011，34（12）：2253-2264.

[10] 陈庆奎，周利珍. 基于Hbase的大规模无线传感网络数据存储系统[J].计算机应用，2012，32（7）：1920-1923.

[11]李伟，涂晓东. 光纤通道HBA卡登录过程流程的设计与实现[J].信息通信，2010（2）：59-61.