APP下载

浅谈磁带库和光盘库在全媒体时代媒资素材存储中的应用

2023-11-26孔宪飞

西部广播电视 2023年19期
关键词:媒资磁带存储系统

孔宪飞

(作者单位:中央广播电视总台)

1 全媒体时代素材的特点和媒资素材近线存储需求

“全媒体”是指采用影像、声音、文字、网页等不同的传播媒介,融合互联网、广电网络、电信网络等多种传播途径形成的一种新的传播形态。用户可以通过手机、电脑、电视等多种终端进行“全媒体”信息的接收,随时随地获取想要的信息。近些年传统媒体逐渐衰落,技术壁垒被打破,形成了多种媒体形式共存的局面,媒体融合逐渐发展起来,全媒体正是媒体融合的必然产物[1]。

21世纪以来,各级广播、电视机构迅速完成“数字化”转型,通过建设非线性编辑、播出系统和媒资系统等,实现了采编播全流程的数字化。各级广播、电视机构将原有的历史视音频素材进行数字化存储,通过对素材的编目将视音频文件进行详细分类和标签化,实现了素材的精细化管理。

一般来讲,不同活跃程度的数据应通过不同性能的存储设备来存储:在线存储一般都采用高规格的磁盘阵列,读写性能最好,存放业务中不断用到的活跃数据;近线存储一般采用性能一般的磁盘阵列或者磁带库、光盘库,存放使用相对较少但还需保持在线的数据;离线存储一般采用磁带库或光盘库,存放备份数据、归档数据[2]。面对全媒体时代业务的敏捷性要求,音视频素材在原有的三级存储结构中,离线存储和近线存储的边界已逐渐消失,近线存储成为数据的长期保存的载体。

2 LTO磁带库和蓝光光盘库的特点分析

线性磁带开放协议(Linear Tape-Open,LTO)由三家技术供应商[国际商用机器公司(IBM)、惠普、昆腾]共同发起。目前LTO磁带主流产品为LTO-8,无压缩情况下单盘磁带可存储12 TB数据,压缩情况下单盘磁带容量可达30 TB,LTO-8与LTO-7相比,不仅容量翻番,数据传输速率更是高达750 MB/s,支持LTFS、WORM和AES 256位加密。目前LTO组织的网站已经将路线图延伸到了LTO-14,即GEN14(见图1)。GEN6~GEN14是指第6~14代LTO产品。LTO GEN5以及之前的LTO代次,实现的压缩比为2∶1,LTO GEN6及以后的压缩比已经达到2.5∶1,本产品路线图从LTO GEN6开始统计。

图1 LTO磁带迭代路线图

LTO磁带库是指使用LTO磁带作为介质的大型存储设备(见图2),它包含一个或多个磁带驱动器、磁带槽位、抓取器、条形码扫描器以及自动机械臂。需要数据读取或写入时,机械臂在磁带库中自动寻址移动到相应的柜体槽位取出磁带放入驱动器中进行数据读写,用户可以通过近线软件智能管理机械臂来实现整个数据的读写。驱动器插槽可以放入或者取出磁带,整个过程无须打开带库柜体检修门。LTO磁带库广泛应用于数据的近线、离线存储。全球以LTO为标准的磁带库厂家非常多,包括IBM、惠普、昆腾、戴尔、Actidata、Spectra logic等[3]。

图2 磁带库

蓝光光盘(BD-R/RE)是DVD之后下一代的高品质影音储存光盘格式之一,采用了青紫色激光技术,具备随机存取、大容量、高速等优势,是一种超级光盘,它的容量达到了50 GB,是DVD的11倍、OPTICAL DISK的75倍。蓝光光盘是由索尼和松下电器等公司发起的“蓝光光盘联盟”(Blu-ray Disc Association, BDA)策划的次世代光盘规格,并在2006年由索尼率先推出了相关产品。2022年,美国公司Folio Photonics宣布在多层光存储技术方面取得了重大突破,开发了第一款经济可行的企业级光学存储光盘,其具有动态多层写入/读取功能,单盘起始容量就达1 TB。

蓝光光盘库是指使用蓝光光盘匣(见图3)作为介质,存储数据的存储设备。目前主流的蓝光光盘匣为第三代产品,单匣容量5.5 TB。光盘库硬件主要有:光驱、光盘匣、弹出屉和机械手。其中,光盘存放于光盘匣,由光驱实现光盘读写,由弹出屉实现单张光盘的输入/输出,当用户端访问光盘库数据,需要光盘交换时,机械手自动定位,从光盘匣中抓取目标光盘放入光驱,进行数据读、写。另外,为了方便下次检索,将数据同步缓存到磁盘阵列或硬盘上[4]。

图3 光盘匣

这两种近线存储在广电行业中应用广泛,目前主流的是基于LTO-8磁带和第三代蓝光光盘匣为介质的磁带库与光盘库。下面就市场上主流的IBM LTO磁带库产品和索尼蓝光光盘库产品的特点进行具体分析与比较(见表1)。

表1 LTO-8磁带库(IBM)和第三代蓝光光盘库(SONY)对比

通过以上的对比可以比较清晰地看出LTO磁带和蓝光光盘两种介质近线存储的不同特点。

(1)LTO磁带库。优点:能耗低,容量大,介质成本低,线性化读写,适合大文件存储,单机柜的平均容量可达15.4 PB,性价比高。不足:带机向下兼容性差,介质寿命短,故障率高,需定期转换介质,对环境要求高,线性化读取不适合小文件。

(2)光盘库。优点:能耗低,介质寿命长故障率低,非线性读,读取效率高,光驱向前兼容蓝光光盘读取,数据可持续利用,无须定期倒换介质。不足:单体容量小,介质成本高,单个文件不能超过4.7 TB。

基于LTO磁带和蓝光光盘作为介质的两种近线存储,在自身产品特性上具有很强的互补性。媒体机构可结合自身业务数据的特点,充分利用两种存储的差异性,将业务产生的大文件、小文件进行分类存储,可提高近线存储文件归档、回迁的业务敏捷性,降低视音频文件存储的全流程成本。

3 全媒体时代素材近线存储解决方案

全媒体时代,大型媒资系统在面对PB甚至EB级海量的、单文件大小从KB级到TB级素材的复杂存储需求时,单独依靠LTO磁带库或者蓝光光盘库来应对,已经远远不能满足业务的需求,充分依托LTO磁带库和蓝光光盘库两种存储各自的产品特点,构建高效的、敏捷的、成本低廉的近线存储系统越来越得到大家的认可。

在设计近线存储系统时,对于近线存储系统和上层媒资系统可采用松耦合的接口交互式设计方案,近线存储系统可通过接口服务与媒资系统进行对接,接收来自媒资系统的归档和回迁任务信息(见图4)[5]。

图4 近线存储系统拓扑图

3.1 入库场景下素材近线存储解决方案

(1)媒资系统首先对入库的节目和文件进行分类,然后根据文件的大小、类型等属性信息,按照既定的归档策略赋予文件所属的唯一识别(ID)号。例如,需要归档至光盘库的文件ID为:DIS********,需要归档至磁带库的文件ID为:TAP********。

(2)媒资系统向近线存储系统下发归档任务信息,信息中至少包含了文件的ID号、文件名称、文件大小、类型、目前文件所在的在线存储访问路径等多种信息。

(3)近线存储系统接口服务将收到的归档任务信息下发至任务调度服务,任务调度服务会根据任务的先后顺序和优先级对任务进行队列排序。

(4)调度任务根据任务的ID可以准确判断出文件需要归档到磁带库中还是光盘库中,将任务下发给对应磁带库迁移服务器或光盘库迁移器。

(5)迁移器根据收到的任务信息,到文件对应的在线存储中将文件归档到近线光盘库或磁带库中,完成文件的归档写入。

(6)近线接口服务向媒资系统反馈归档任务完成信息,归档流程完成。

3.2 回迁场景下素材近线存储解决方案

(1)媒资系统的用户,根据检索信息,找到自己所需要的文件,如文件未能在在线存储上被获取到,则可创建文件回迁任务。

(2)媒资系统向近线接口服务器下发回迁任务信息,信息中至少包含了文件的ID号、文件名称、文件大小、类型、文件回迁将写入到在线存储的哪个路径下等多种信息。近线存储系统接口服务将收到的回迁任务信息下发至任务调度服务,任务调度服务会根据任务的既定优先级和先后顺序对任务进行队列排序。

(3)任务调度根据任务的ID可以准确判断出文件目前已归档储存在磁带库中还是光盘库中,将任务下发给对应磁带库迁移服务器或光盘库迁移器。

(4)迁移器根据收到的任务信息,找到文件所在的光盘或磁带,将文件读取出来写入到任务信息中媒资所指定的在线存储路径中,完成文件的回迁写入。

(5)近线接口服务向媒资系统反馈任务回迁完成信息,回迁流程完成。

近线存储系统可以将光盘库、磁带库等多种类型、多套的近线存储设备整合到统一的近线存储系统中进行使用,通过与上层媒资系统的配合,对归档策略的灵活配置,可以对不同类型、大小、热度的节目和素材文件进行灵活归档、回迁操作,实现高效的、敏捷的、成本低廉的近线存储。

4 结语

在全媒体时代,传统数据中心媒资系统已无法应对海量级素材的处理要求,它需要随着技术的发展和用户的需求不断更新迭代。传媒行业在近线存储设备的选择上已趋于“磁带库+光盘库”,配合高效的近线存储系统可以很好地满足海量全媒体数据处理的需求。

猜你喜欢

媒资磁带存储系统
大数据技术的媒资档案管理方法
分布式存储系统在企业档案管理中的应用
老磁带真的值钱吗
天河超算存储系统在美创佳绩
浅析媒资系统在电视台业务中的应用
创意磁带
MRG9000媒资卫士在市级电视台全台网的应用
华为震撼发布新一代OceanStor 18000 V3系列高端存储系统
一种基于STM32的具有断电保护机制的采集存储系统设计
磁带指南针