一种革命性的存储技术

黄　力，吴颂涛，陈惠梅，徐力恒

(1.广州珠江数码集团有限公司，广东　广州　510010；2.广东广播电视台，广东　广州　510066)



一种革命性的存储技术

黄力1，吴颂涛1，陈惠梅2，徐力恒1

(1.广州珠江数码集团有限公司，广东广州510010；2.广东广播电视台，广东广州510066)

摘要:PCIe固态存储是当今存储系统的新宠儿，相比其他接口的固态硬盘具有更高级的连接接口和成熟的内存管理技术，其采用可靠的协议体系架构，支持设备层面的协议错误检测、校正、报告和热插拔/热替换、可扩展的带宽/频率、先进的功耗管理、地址映射系统、垃圾回收和耐久性管理和虚拟通道的功能，实现了高性能的数据服务。相比其他接口固态硬盘，在数据带宽、延迟、可扩展和可靠性、总体拥有成本方面都有显著优势。从存储和使用模式的发展描述了影响存储使用性能的关键因数，并介绍了PCIe固态存储技术和使用场景，提高存储系统的使用效能。

关键词:固态存储；机械硬盘；RAID

时代的发展科技的进步造就了今天多姿多彩的社会文化，而人们对信息的保留从书本到电器元件存储发生了巨大的变化。自二进制为计算机的基本工作原理后，存储技术经历了物理存储到电能存储。

纸带穿孔式存储，早期的计算机是通过一卷卷的纸带进行保存信息，该工作的原理起源于织布机，是纸带像织布一样在不同的间隔上穿孔，形成0和1的信号编织成计算机的动作指令，形成了磁带记录、光介质存储和电能式存储等。

时代的发展在云计算的大潮下，存储作用越来越重要，而作为存储阵列中的单个存储模块硬盘来说，其性能水平、稳定性和I/O和组建阵列的灵活扩建方面也变得尤为重要。随着固态硬盘在市场上的涌入，传统机械硬盘在组建阵列带来的性能提升方面越来越显得力不从心。PCIe固态硬盘相比其他接口的固态盘，稳定性和I/O、组建阵列技术，更为高级连接的接口和成熟的内存管理技术，渐渐成为今后存储技术的主流。

1存储的使用

目前使用存储分别是DAS、SAN和NAS三种使用架构[1]。DAS(DirectAttachedStorage)存储是直接把存储系统连到应用的服务器中，通常DAS直连式存储与服务器主机之间的连接通道通常采用SCSI或FC连接，DAS存储工作时更多地依赖服务器主机操作系统进行数据的调度和存储维护管理。DAS的优点是结构简单，但该结构难以存储阵列容量的扩展，适合单机或由一台服务器扩展为多台服务器组成的群集工作。NAS(NetworkAttachedStorage)存储是是基于标准的TCP/IP网络拓扑结构，连接到网络计算机上。NAS是文件级的存储方法，最大的优点是在整个网络中的设备通过分配的IP地址管理，访问的客户机器能直接对存储的数据进行访问，中间不需要设备相连。SAN(StorageAreaNetwork)存储区域网络，是一个集中式管理的高速存储网络，通过光纤通道交换机连接存储阵列和服务器主机，最后成为一个专用的存储网络。SAN提供了一种与现有LAN连接的简易方法，并且通过同一物理通道支持广泛使用的SCSI和IP协议，但这种LAN的连接与TCP/IP协议的交换机不能兼容是专用的一个网络。图1示出了在读使用架构。

上述的三种架构在国内电视台和网络公司都有广泛的应用，DAS架构适合前端对用户端VOD视频推流，SAN和NAS架构适合电视台内部节目制作和各部门之间的节目互传。

归纳三大存储架构的影响系统性能的分别是网络输出带宽、控制器总线、传输总线和存储磁盘IO。按目前技术前三项的节点都能通过更换提高性能，但存储可以提升的空间是有限的，主要的原因在HDD(HardDiskDrive)硬盘的读写IOPS(Input/OutputOperationsPerSecond，每秒进行读写(I/O)操作的次数)，传输带宽，以及延时是衡量存储器访问性能的重要指标[2]，由于机械旋转的工作方式是导致性能IOPS不可能再提高的关键原因，所以目前的机械硬盘已经是到达了技术的顶峰。

近年来一种非机械式SSD(SolidStateDrives)固态硬盘的出现为突破了IOPS性能瓶颈，随着SSD技术的成熟，SSD开始大规模地被存储中心所采用。为了兼容已有的存储架构，很多SSD采用了与HDD相同的接口，如SAS(SerialAttachedSCSI)或者FC(FiberChannel)，并在物理形式上与HDD相似，如2.5in或3.5in。采用传统硬盘接口的SSD直接在现有的系统中取代HDD可以在一定的程度上缓解存储系统的瓶颈，改善系统效能。普通的SSD采用模拟HDD的方式在兼容性上有一定的优势，但在性能上有非常大的限制：

1)复杂的数据链路导致高IO延迟；

2)SSD性能受嵌入式CPU限制；

3)冗余的IO调度。

在实际的使用中SSD理想的状态也是500Mbit/s的传输带宽，图2和图3示出了固态盘使用的瓶颈。

尤其是在应用了存储区域网(SAN)后，由于在访问存储介质中所需经过的多道协议和场景转换，导致延迟损失更加严重，并不能在最大程度上发挥闪存的性能。

2PCIe固态存储

PCIe固态存储卡，如图4描述了PCIe固态存储卡系统架构[3]，PCIe固态存储卡采用了PCIe总线接入，通过卡上的主控制器直接访问Flash进行读写操作，这样的设计有两大亮点。第一，充分利用主机CPU强大的处理能力对固态存储卡的Flash直接读写。第二，绕开了传统的SCSISATA/SAS存储协议对SSD的协议转换及RAID控制器，网络协议转换等系统开销，数据的存储读写延迟得到大大的削减。使得PCIe固态存储卡能充分发挥主机的CPU性能，Flash的快速读写性能可以得到最大程度的利用，并最终提升应用软件对获得数据的响应速度。该设计能使得PCIeSSD卡读延迟在Flash固有的延时基础上只增加15μs，写延迟更低至10μs以内的读写速度，这样的性能嵌入式系统的SSD是无法做到。

PCIe固态存储充分利用闪存的优点特性并弥补其不足，对于存储在闪存中的数据采用了多种安全设计方案确保数据的安全性和持久可恢复性。除了普遍使用的企业级纠错，数据随机化，动态磨损均衡等措施，还使用了FlashRAID，端到端校验和和完善的突发断电保护机制以及过热保护机制，提供了高容错数据恢复机制和严格的数据完整正确性校验，对比其他的存储具备以下优点：

1)卓越的IO性能：PCIe闪存卡每秒钟近50万次随机读写操作。读写延迟为微秒级。而传统中高端存储阵列每秒十万次随机读写操作。读写延迟为毫秒级，因此在关键的系统应用中使用PCIe闪存卡能大幅度减低系统响应时间。

2)高可靠性设计：40bit/1kbyte的纠错(ECC)性能充分保证存储在闪存上数据的完整性。动态RAID技术，以确保在闪存的物理块甚至于整个NAND芯片失效的情况下，数据仍然能够安全读出和恢复。

3)突发断电保护：存储卡利用内置的掉电保护机制将用户数据安全的写入闪存中，确保用户数据不被丢失。通常掉电回复时间可以控制在2min内。

4)超强耐用性：设计中利用了自适应信号处理技术及高效能的闪存管理算法，数据总写入量高达PetaByte级别。

5)简单管理维护：优异性能集中在一块半长半高的PCIe卡。与传统的中高端磁盘阵列相对，不用占用专门服务器机架，闪存卡直接插入服务器中任何一个空的PCIe插槽即可，也无需额外的复杂配置管理，支持Windows和Linux现有的应用程序和体系架构无需任何改动即可直接使用PCIe存储卡，轻松获得上十倍至百倍的性能提升。

6)超低功耗：PCIe存储卡工作功耗稳定约在15W，最大功耗不超过25W。

固态存储和存储阵列的性能对比见表1。

PCIe固态存储的应用场景非常灵活，大致可以分为以下四大模式：

1)主存储模式，PCIe存储卡采用的是标准设备接口，提供高达50万IOPS每秒(4kbyte)。相对于传统的HDD/SSD阵列有十倍至百倍的提高。而且数据延迟由数十毫秒至数百毫秒量级降至微秒量级。在容量方面，PCIe卡提供高达3.2Tbyte数量级的存储容量，还可以通过软件RAID将多块卡绑定以提供更高的容量和吞吐性能。该模式最适合繁复地访问本地文件并提供高的IOPS业务，如视频播放、视频的点播和视频编辑的业务。

2)数据分区模式，如数据库的规模较大，一种更经济的使用方法是将常用的数据如TempDB，索引，日志及常用表等放在PCIe存储卡上以加速访问，对一些不常访问的数据仍放在传统阵列上以满足容量需求。

3)缓存模式，PCIe存储卡可以作为缓存与后端阵列组成集成的混合存储方案。采用FlashCache软件，常用热点数据被存储在PCIeSSD存储卡中，从而可以大幅度增加数据访问速度，降低后端存储的负荷。

4)分层模式，如果应用的冷热数据转换速度较慢，可以使用较简单的自动分层技术实现混合存储，以较低的代价达到缓存模式的便利程度。

表1存储阵列与PCIe固态存储性能对比

3应用测试

PCIe固态存储卡在互动电视平台中VOD的应用，传统的VOD点播平台是通过VOD服务是把存储中心的数据推流到客户端，服务器在推送数据流过程中必然会产生大量IOPS，由于VOD边缘服务器在使用过程中既承担推送数据业务，同时也接收来自上一级服务器的写入数据，VOD服务器工作时是处于同时读和写的工作状态。本次测试主要是使用主存储模式，把VOD视频数据全部放置到PCIe闪存存储卡中替换原来的存储阵列。

在具体使用过程，得出的数据见表2。

表2PCIe主存储模式测试结果

由此可见，在现有的业务高峰期，通过PCIe闪存可以提供高600Mbit/s的数据传输率，由于闪存卡可以高达2.4Gbit/s的数据传输率，目前闪存卡的空闲率还有66%以上，没有完全发挥闪存卡的使用效率。在以往存储阵列中磁盘使用的数据总带宽110Mbit/s已经是使用的极限，CPU的利用率在5%以下，数据充分说明了在存储整列中磁盘的传输带宽是整个存储性能的瓶颈。通过了PCIe固态存储卡的改造后，CPU的使用率大大地得到了提高，同时传输的带宽也获取了很大的提高。

4总结

基于高容错的硬件和软件混合一体架构，PCIe固态存储卡通过高可靠的数据硬件读写通道和具有多重保护机制的软件栈设计充分地发挥Flash的读写性能潜力，把数据存储的性能提升到了一个全新的高度。PCIe固态存储卡直接通过CPU的PCIe总线提供给数据库应用高达3Gbit/s的随机数据访问带宽和低至数十微秒的读写延迟，大幅度提高多核CPU的利用率，从本质上加速应用的处理和响应速度。无论是什么业务系统，PCIe固态存储卡将大幅度提升系统性能密度，加速应用速度和降低系统响应时间，针对数据可靠性，例如，一张3.2Tbyte的PCIe固态存储卡提供高达近20Pbyte的总数据写入容量。在正常使用环境下每天24h容纳多达16Tbyte的写入数据可持续3年。多重保护和智能预判有助于消除和缩减宕机时间，延长系统寿命，并同时减低系统运行开销(OPEX)和总拥有成本(TCO)。

参考文献：

[1]郑文静，李明强，舒继武.Flash存储技术[J].计算机研究与发展， 2010, 47(4):716-726.

[2]熬青云.存储技术原理分析[M].北京：电子工业出版社，2011.

[3]丁祥武，余文兵，刘国华.VPM：列存储系统中基于带值路径的物化技术[J].计算机研究与发展，2012,49(10)：2086-2094.

黄力，高级工程师，从事多年的广播电视行业，拥有丰富的广播电视网络传输技术和管理经验；

吴颂涛，硕士工程师，从事多年的广播电视行业，拥有丰富的广播电视网络传输技术、计算机软件设计和项目管理经验，主要研究广播电视技术中的计算机技术应用；

陈惠梅，女，编辑，现服务于广东广播电视台。

责任编辑：闫雯雯

Revolutionarystoragetechnology

HUANGLi1，WUSongtao1，CHENHuimei2，XULiheng1

(1.Guang Zhou Zhu Jiang Media Group,Guangzhou 510010,China;2.Guangdong Radio and TV Station,Guangzhou 510066,China)

Keywords:SSD;harddisk;RAID

Abstract:PCIesolidstatediskisahotspotinstoragesystempresently,whichhassuperiorconnectioninterfaceandmaturememorymanagementtechnologycomparedwithsolidstatedisksusingotherinterface.PCIeadoptsreliableprotocolarchitectureandimplementsfunctionscontainingsupportofprotocolerrordetection,correctionandhotplugorhotreplacementatinfrastructurelevel,extensiblebandwidthorfrequency,advancedpowerconsumption,addressmappingsystem,garbagecollection,durabilitymanagementaswellasvirtualpath,andthushigh-performancedataservicesisprovided.Comparedwithsolidstatedisksusingotherinterface.PCIepossessesnotablepreponderanceintermsofdatabandwidth,delay,extensibilityandreliability.Keyfactorsaffectingthestorageperformancethroughdevelopmentofstorageandoperationpatternaredescribed.Furthermore,PCIesolid-statedisktechnology,usagescenarioandenhancementofstoragesystem’sapplicationperformanceareintroduced.

中图分类号：TN915；G202

文献标志码：A

DOI：10.16280/j.videoe.2016.01.029

作者简介：

收稿日期：2015-04-10

文献引用格式：黄力，吴颂涛，陈惠梅，等.一种革命性的存储技术[J].电视技术，2016,40(1)：145-149.HUANGL，WUST，CHENHM,etal.Revolutionarystoragetechnology[J].Videoengineering,2016,40(1)：145-149.