高速存取数据蓝光存储系统架构设计

文 | 北京易华录信息技术股份有限公司 贾宁波、吴娜、孙琢

随着5G、社交网络、自媒体的发展，全社会数据总量呈现爆发式增长，2020 年全球数据产生量预计达到 47ZB（1ZB 即 10的12次方GB），而到 2035 年，这一数字将达到2142ZB，即年均增速平均为 1.3 倍，也就是约每3年翻一番，努力降低全社会长期保存数据的能耗和成本，成为需要迫切解决的问题，基于蓝光技术的存储系统，可以有效解决数据低成本、低功耗、长期存储问题。

随着ChatGPT的兴起，人工智能作为未来主要的信息技术应用方向备受关注，深度学习是人工智能不断迭代的主要方式，归档文件是深度学习重要的学习样本数据，归档文件的存取速度将直接影响人工智能的迭代速度，蓝光存储是归档文件的主要存储载体，解决蓝光存储的存取速度问题，可以有效支持人工智能的快速进步。

系统对软件、服务器和网络设备进行整体设计，通过高速网络设备对磁存储和光存储进行整合，既保留了磁存储高速存取的特性，又避免了磁存储设备容易老化消磁不利于数据长期存储的缺点，既保留了蓝光存储海量存储、长寿命、低能耗的特性，又避免了蓝光存储存取速度慢的缺点，让蓝光存储在医疗、金融、高性能计算等对数据存取有较高要求的应用场景也能充分发挥作用。

一、目前蓝光存储系统现状

蓝光光盘库是一种海量数据的绿色存储设备，适合数据的长期和安全存储，一般适用在数据归档、备份、冷数据存储领域。蓝光存储技术的海量存储、长寿命、低能耗的特点是归档存储的最佳选择，为数据的全生命周期提供服务，有效解决大数据使用场景下的快速响应、长期存储、低碳节能的严格要求。

（一）蓝光存储系统的主要厂商

松下在光存储领域处于全球领先地位，拥有从光存储介质、设备到解决方案的全线产品，松下与Facebook推出了freeze-ray光存储数据归档系统，用于解决数据中心“冷数据”存储问题。索尼推出光存储系统Everspan，目前其光存储解决方案主要应用于广播电视系统，拥有较高的市场占有率。

中国华录集团基于蓝光的大容量绿色光存储等数字核心技术为基础，研究开发自主可控光存储技术，打造以光存储核心关键件、光存储硬件产品、光存储基础软件为主的蓝光存储产业链。

紫晶存储在大数据时代冷热数据分层存储背景下推出光磁电混合存储，开展蓝光数据存储系统核心技术的研发、设计、开发，提供基于蓝光数据存储系统核心技术的光存储介质、光存储设备和解决方案。

（二）蓝光存储系统存在的主要问题

蓝光存储以大容量的蓝光光盘为存储介质，依托大型自动化的光盘库设备，通过内置机械手自动完成装载光盘到光驱中以达到数据自动向光盘读写等基本操作的一种现代化技术，蓝光光盘库是一种海量数据的绿色存储设备，适合数据的长期和安全存储，一般适用在数据归档、备份、冷数据存储领域。

从以上工作原理可以分析得知，蓝光存储在存取数据的过程中，需要机械手先完成取放光盘的动作，才能进行数据存取操作，不可避免的出现延时，通常的延时在110秒左右。另外，由于蓝光存储在设计之初主要面向归档存储，在硬件架构设计方面主要考虑数据的存储安全以及能够长期存储的问题，很少考虑数据的快速存取问题，造成目前面对快速存取数据的使用场景应对不足的问题，很难满足以短视频为代表的既要满足存储归档需求又对存取速度有一定要求的使用场景。

（三）蓝光存储的存取速度

ZL1080存储系统是紫晶为满足中小型企业对海量非结构化数据的长期保存、异地异质灾备、高效绿色等使用场景推出的机架式设备，可安装到标准EIA 19英寸机柜，高度13U，支持光驱数2-6台，最大装载量1080张蓝光光盘，最大传输速度162MB/S。ZL6120 存储系统单节点支持6120张碟片的超大容量，满足大型企业对海量非结构化数据的长期保存的需求，支持光驱数2-24台，最大传输速度648MB/S。以上速度为不考虑文件大小、是否为随时存取还是顺序读写等情况的最大传输速度，如果考虑机械手的响应时间、光盘的运输时间等因素，实际速度会更慢。

为解决以上问题本系统用存储服务器作为数据缓存，采用最大数量装载光驱、小文件归并，大文件拆分、文件预读、断点续传等技术提高蓝光存储系统的数据存取速度。

高速存取数据蓝光存储系统架构图

蓝光光盘库设计图

二、硬件系统架构

系统从应用程序快速存取数据的需求出发，采用分布式横向平滑扩展架构，发挥万兆交换机的带宽优势，把蓝光存储技术的海量存储、长寿命、低能耗的特点与磁盘存储快速读写、实时响应的优势相结合，可以有效解决用户快速高效安全存取归档数据的难题。

系统架构方面，在47U机柜内放置基本单元A和基本单元B，同时放置两组温扩单元，为了提高读写效率把原来不含光驱的冷扩单元，替换成含有光驱的温扩单元，最大限度扩展光驱数量到18个，以达到并行读写的最高速度。同时在机柜内放置存储服务器、机柜电源、底部单元。

软件系统架构图

基本单元A和基本单元B之间、存储服务器和基本单元之间、温扩单元之间、存储服务器与温扩单元之间都采用SAS线进行连接，每个蓝光光盘库通过存储服务器的万兆光纤卡与万兆交换机进行连接，管理终端连接到万兆交换机的控制口。

应用程序服务器通过汇聚交换机与万兆交换机进行连接，为避免单点故障，万兆交换机采用冗余设计，万兆交换机之间采用堆叠线缆进行连接。

根据目前的归档数据存储容量估算，一般不会超过10PB，系统采用分布式架构设计，系统采用单张500G蓝光光盘，每个光盘匣装载12张光盘，每个单元装载76个光盘匣，每个蓝光光盘库装载456个光盘匣，3套蓝光光盘库，总容量为8.21PB。

三、软件系统架构

软件系统架构主要由三个部分组成，最底层是光盘库机械手驱动，上一层是光盘库管理软件，最上层由蓝光存储应用系统向应用程序提供S3接口和CIFS、NFS文件接口。

光盘库机械手驱动主要提供光盘匣的运输控制功能，接受盘库管理软件的指令，将光盘匣从指定位置取出，运送到指定加载位置，等待光驱分盘机械手的分盘动作，为光驱读写做准备。

光盘库管理软件负责光盘库地读写处理、Raid控制、分盘机械手控制，同时也包括光盘库的监视、配置、管理、运维。

蓝光存储应用系统提供了对象归档存储、生命周期管理、数据抽取、容量扩展、数据读写等功能，数据统一以AWS S3协议接口暴露给上层应用。系统提供用户管理、光盘库信息查询、光盘库状态监控、光盘库注册删除，存储桶状态监控，以RESTfulapi 为用户提供监控运维服务。同时系统支持容量扩展功能，可根据实际的存储需求进行容量的扩展，支持数据读写功能，能够对视频、图片等大容量数据进行读写以及数据加密、多并发等数据操作。

四、系统工作原理

蓝光存储系统为了提高数据存取速度，用存储服务器作为数据缓存，采用最大数量装载光驱、小文件归并，大文件拆分、文件预读、断点续传等技术提高存取速度。同时，为了保证数据安全采用了元数据备份与数据反向重建技术。

（一）存储服务器作为数据缓存

蓝光存储由于数据存取方式的限制，速度无法达到应用程序的要求，磁盘存储相比蓝光存储具有高速存取的特性，磁盘存储作为蓝光存储系统的缓存，与蓝光存储形成互补。蓝光存储系统在应用服务器存取数据时通过存储服务器作为数据缓存，可以达到应用程序高速存取数据的需求。

（二）数据并发实现高速存取

蓝光光盘库光驱数量的不足影响数据存取速度，蓝光存储系统内数据线带宽是数据快速存取的瓶颈。蓝光存储系统内，蓝光光盘库最大数量装载光驱，以达到数据快速并行存取的目的，同时通过SAS线连接到存储服务器，避免带宽传输瓶颈，蓝光存储系统通过万兆交换机与应用服务器进行连接，将快速并发数据高效提供给应用系统。

（三）小文件归并，大文件拆分

小文件数量过多，过于频繁地存取会严重影响业务系统性能，将小文件合并后再进行数据存取，以提高整体性能水平。小文件归并功能，支持预先定义文件大小，并将小于阈值的文件，合并到指定大小文件后再进行数据存取。单个大文件过大，需要对大文件进行拆分，把任务分配到多个光驱并行存取，拆分后的文件放在不同的光盘上。大文件拆分功能，支持预先定义文件大小，并将大于阈值的文件，拆分到指定大小文件后再进行数据存取。

对于小于64KB的小文件，合并为4MB的大文件，最终所有文件打包成200GB的数据包，由存储服务器传输给光盘库管理软件进行蓝光光盘烧录。对于大于10GB的大文件，拆分成100个100MB的小文件，最终所有文件打包成200GB的数据包，也由存储服务器传输给光盘库管理软件进行蓝光光盘烧录。

（四）文件预读

归档文件的小文件在短时间内多次读取时，可依据访问频次的多少，将整个归并文件加载到存储服务器内存中，提升后续读取文件效率。文件预读功能，支持预先定义读取频度，并将大于阈值的文件，预先加载到存储服务器内存中。

（五）断点续传

断点续传技术可以将一个大文件分割成若干个小文件，客户端上传这些小文件，服务器收到小文件后按照一定的规则将这些小文件合并成一个大文件。当出现网络故障导致传输中断的时候，下次上传只需要从中断时的小文件部分继续上传即可，不需要重新从头传输之前的大文件，增加了文件传输的效率。

（六）元数据备份与数据反向重建

通常的存储系统中，数据的索引和元数据信息会保存在磁存储服务器中，当存储服务器发生故障时，数据的安全等级会降低甚至出现数据丢失现象。蓝光存储系统通过将元数据信息同时写入到蓝光中进行备份来提升数据安全等级，当磁存储节点发生故障后，可通过蓝光上保存的副本元数据进行数据反向重建，在新的集群中重建索引和元数据，并对外提供访问。

五、高速存取数据蓝光存储系统的创新点

系统在架构完成光磁融合的基础上，实现对高速应用需求的快速响应，把单体库体归档数据最大写入速度375MB每秒、最大读取速度540MB每秒，提高到单体库体最大写入速度1125MB每秒、最大读取速度1620MB每秒，并实现数据存取速度线性增长和存储容量的平滑扩展。

蓝光存储系统每个蓝光光盘库装载18个光驱，并发写入速度提高到1125MB每秒、最大读取速度提高到1620MB每秒，3个机柜组成的蓝光存储系统并发最大写入速度约为3.375GB/秒，最大读取速度约为4.86GB/秒。相比原有架构单机柜存取速度，本专利理论上实现单机柜3倍的速度增长，考虑到分布式架构的设计，如果采用3个蓝光光盘库，理论上实现9倍的速度增长，极大的拓展蓝关存储系统的使用场景。

六、未来存储技术发展的展望

社交媒体、高清视频、大数据分析、云计算等新型产业的快速发展带来高速访问的数据存储需求，尤其是以长江存储为代表的国产厂商迅速成长以后，以固态硬盘为基础的存储系统在未来的在线存储应用场景一定会成为主流。

机械硬盘由于在功耗、故障率、读写速度等方面相比固态硬盘都有比较明显的劣势，会随着固态硬盘成本的下降，逐渐在在线存储等高速存取的使用场景成为固态硬盘的补充，以固态硬盘为基础的存储系统也逐渐会淡出主要的在线应用场景。

以蓝光光盘为基础的蓝光存储系统，在海量、绿色、安全、长期等方面具有优势，虽然由于其设计原理带来的读写速度问题制约蓝光存储的大规模应用，但是蓝光存储在归档备份领域会长期占据一席之地，并且由于在磁光电融合的基础上，形成的满足热数据、温数据、冷数据的能力优势，也将在多种应用场景得到采用。