基于蓝光盘介质的媒资存储探索
2012-12-17上海市宝山区广播电视台
上海市宝山区广播电视台 朱 力
1.引言
随着电视业务的发展,栏目的播出周期越来越短,自办的节目越来越多,电视台每天都要生产大量的文字、图片、音视频等业务数据,这些数据,都是每个电视台的宝贵素材,是各位电视工作者的智慧结晶。大量宝贵的素材,如何有效的保存,给电视工作者们带来了很大的挑战。
随着电视行业记录和存储设备的发展,记录载体也趋多样化,目前而言,本台的记录载体有U-MATIC带、BETACAM带、DVCPRO带、P2卡和蓝光盘。这些多格式的存储介质给保存和调用带来了新的难题,在没有统一存储格式的情况下,调用的成本很高,且操作复杂,还需备各式播放设备。
为适应新的媒资存储,本台经过论证,于2008年添置了基于磁盘阵列的在线媒资系统,也于2012年建成了基于数据流磁带的近线和离线媒资系统。成熟的基于磁盘和数据流磁带的媒资系统给素材存储带来了成套的解决方案。但该系统的成本和介质本身的存储周期这两个方面一直是媒资长期保存的瓶颈,特别是对于访问频率极低的历史媒体资产的管理应用是否适用带来了疑问。为此,本台不得不探索更低成本和更长存储周期的方案来完善这一必须面对的问题。本文将依托本台的实际情况,将未纳入当前媒资系统的历史音视频资料作试点,探索基于通用蓝光盘介质的媒资存储应用。
2.需求
本台的历史视频资料现状:经梳理,本台还有未纳入媒资系统的U-MATIC素材700多盘,长约500小时。该素材都为上世纪90年代初积累,在带库已存放20年,磁带的质量已不容乐观。而配套的播放机还剩4台SONY U-MATIC VO5850P,经保养有2台能正常播放,如出现故障,已很难再有配件进行维修。不进行存储转换可能面临历史珍贵资料的缺失。事实上,类似于这样的媒体资产在随着时间的推移将会越来越多,必需要思考对该类资料进行转换存储介质,进行长期、有效地保存的方案。
3.定位
根据当前本台的实际情况,对解决方案设立以下6方面定位:
(1)低成本。考虑本台在运行资金上的压力,应在系统建设、资料转换、存储调用等各个环节中,尽量压缩先期的硬件投入和降低后期维护管理成本的投入。
(2)符合长期保存要求。选用介质需达20年以上的保存周期,存储和调用等整个系统能长期有效。
(3)调用和编目相对便捷。因考虑资产的访问频率极低,为节约成本,可考虑人工干预操作,但能做到快速查询、访问和调用。
(4)兼容性强。存储的格式为通用格式,能被不同的非线性编辑系统所识别和使用。
(5)安全性高。存储介质本身不易损坏,同时不能有病毒等安全风险。
(6)具备扩展性。虽然定位于历史媒资的存储管理,但通过扩展,能应用于当前媒资的存储管理,并能做到与当前基于数据流磁带库媒资系统的衔接。
4.分析
(1)为什么不利用现有的磁盘陈列+数据流磁带的媒资?
1)历史媒资的特性决定。正常情况下,历史媒资很少被访问,使用的频率极低。以本台的U-MATIC带资料为例,近十年来,仅在摄制《改革开放三十周年回顾》专题片中,曾大量调用过。而这些资料如录入现有媒资,很有可能面临在数据流磁带换代时都不曾被调用的情况,这样反而会增加换代数据迁移的压力。因此,以数据流磁带为介质的媒资系统并不适用于非经常性调用的历史媒资保存管理。
2)数据流磁带的特性决定。数据流磁带通过不断发展,其单盘容量大及产品的成熟度等优势非常明显,但其工艺特性采用“电—磁”的基本记录原理,“接触式”读写方式,长期存储后易产生发霉、掉磁、粘连等情况,因此也决定了其老化周期较短,难以做到长期有效地保存。
(2)为什么选通用蓝光盘?
1)蓝光的发展趋势
2002年2月19日,“蓝光光碟联盟”的前身“Blu-ray Disc Founders”成立,由索尼集团为首开始策划及研发蓝光光碟。2008年2月19日,随着HD DVD领导者东芝宣布在3月底退出所有HD DVD相关业务,持续多年的下一代光盘格式之争正式划上句号,最终由SONY主导的蓝光光盘胜出。通过十多年来的发展,蓝光技术已趋向成熟,现已在专业领域大面积推广,XDCAM系列的蓝光摄录设备已在广电领域占据半壁江山。考虑到成本和兼容性,我们选取通用蓝光盘为介质进行分析。
2)通用蓝光盘的特点
一是保存年限长。根据对蓝光盘的调研,目前优质蓝光盘的生产采用了超硬保护涂层、无机记录材质2种新技术,新技术使得蓝光盘存储年限远远超越了硬盘、磁带等其他存储介质,保存年限理论上可达50年以上。
图1 防指纹污染测试——盘面污染程度图
图2 防指纹污染测试——结果分析图
二是保存要求低。通用蓝光盘的保存条件为常温(-10~55℃),湿度3%-90%,在电视台带库恒温恒温的保存条件下,对其保存周期来说,应有较高的保障。
三是抗干扰能力强。根据蓝光光盘协会发布的白皮书中对蓝光盘的测试,可以清楚地看到,蓝光盘的介质在抗干扰能力方面表现出很大的优势,对使用和保存的周期来说,有很大地提升。
a.蓝光光盘协会发布的指纹污染测试。如图1所示:(a)为DVD,(c)为普通蓝光盘BD-RE,(c’)为最新超硬保护涂层的蓝光盘。通过人造指纹试剂模拟指纹中的油脂对光盘进行污染,计算读写误码率。通过显微镜可以观察到,(a)(c)(c’)的指纹污染物和颗粒附着物不污染程度有极大不同,(c’)盘保护涂层起到重要作用。
如图2所示:通过两种不同手段进行测试,分别为①蓝色条块为记录后再加指纹的误码情况,②红色条块为加指纹后再记录的误码情况,测试后(a)盘的两种误码率极为严重,影响正常读取;(c)盘第1种测试的误码率在1.0E-5左右,第2种测试的误码率为1.0E-3左右,也不太可靠。(c’)盘的误码率都相当稳定且较低,低于商用误码率标准。
b.蓝光光盘协会发布的钢丝球摩擦测试。如图3所示:三种测试光盘样品为(a)聚碳酸酯保护膜盘面;(b)传统的紫外固化保护层盘面;(c)最新超硬保护涂层的蓝光盘面。
实验中使用钢丝刷子对实验品进行300次摩擦,再对其进行读写,获取的信号的抖动参数(jitter)。实验中(a)盘表面被摩擦后,不能正常读写;(b)盘也受到了损伤,单误码率较高;(c)表面几乎没有损伤,各项数据显示正常。
表1 媒资分类表
图3 钢丝球摩擦测试结果图
图5 媒资调用图
四是兼容性高。经本台测试,通用蓝光盘能被各品牌普通蓝光驱动器所识别和读取。且根据光盘的发展,每次升级换代都能做到读取的下兼容(MD、LD因尺寸及包装等问题不兼容),且其读写工艺也决定了可做到下兼容。在新一代蓝光盘BDXL发布时,蓝光光盘协会也公布了BDXL播放器能下兼容CD、DVD、BD等格式。因此,照此趋势,即便读写设备升级,通用蓝光盘会在很长一段时期内,不缺乏读取设备,避免了数据的反复迁移。
综上,以蓝光盘的作为存储介质,将符合我们对休眠型历史媒资的存储要求。
5.系统设计
根据对本台媒资生成时间和使用情况分析,结合现有媒资系统容量,设立以下4种分类,如表1。
那么,本台前三类媒资已进入磁盘+数据流磁带库的现有系统中。按照以上分类,也可清晰地看到,本文设计的重点是针对第四类媒资的存储。
2003年9月,中国广播电视音像资料馆项目第一期安装调试工作完成,标志着媒资管理系统在我国开始起步,通过近10年的发展,该系统已相对成熟,本文所研究的历史媒资存储探索也是基于这一成熟的系统,整体的媒资体系与之前的基本相同,只是在存储介质的操作上引入了光盘库和离线柜(如图4)。
那么,通过我们调研,本台面向休眠型的历史媒资存储设计,其要点应包括以下几个方面:
5.1 低成本框架设计
媒资系统的流程已无多大的值得商议之处,那么要降低成本,需转换思路。一是“草船借箭”。整个系统在媒资采集编目存储等整个流程的初期,善于“借”力,以租用设备的形式来完成休眠离线型媒资进入系统,最终所保留的仅是保存音视频数据的蓝光盘介质、保存编目数据库的服务器和读取调用数据的蓝光光驱。二是面向未来的简易升级方式。考虑技术的不断发展的潮流,目前的蓝光介质BDXL终会被新一代的大容量光盘所取代,但光盘的下兼容格局,将为今后的设备升级带来非常简易的升级模式。即采用新一代的光盘作保存新介质,同时更新读取设备,原存储蓝光盘亦能继续使用。因此,在设备升级上也将存在低成本操作的可能。三是较长的存储周期。根据蓝光盘介质的保存年限和兼容性,本台设计的数据迁移年限为20年。这一周期将远高于数据流磁带的保存和迁移周期,在后期的数据维护上,节约了大量的人力物力和资金。
5.2 适用型调用模式设计
在完成采集编目后,存储音视频介质的蓝光盘将被安置于带库,其保存方式为货架保存,类似于原来的磁带保存方式。其按照媒资的生产年度、节目类型和时间序列生成唯一序列号作为标识,系统标识、光盘标识和货架位置一一对应。其调用模式为在检索系统中查询到所需素材的识别号,到带库对应的位置找到该光盘,在带驱动器的非编上导入所需数据,使用。如图5:
虽然这样的操作方式与全自动的媒资系统相比,在便捷性上差距较大,但对于极少调用的休眠型素材来说,衡量其调用工作量与投入的成本,不可谓是一种很好的方式。
5.3 突出的兼容性设计
为考虑休眠型离线媒资长期存储的要求,兼容性是不得不考虑的问题。一是媒资格式与不同的媒资系统相兼容,可做到不同系统的导入导出,这方面需考虑媒资的存储格式为通用的MPEG2、DVCPRO25、DVCPRO50等格式,编目的存储格式为基于XML的通用格式。二是检索系统也需考虑通用性。本台选用基于TCP/IP协议的检索系统,利用通用的IE软件做检索客户端。这样的设计对于任何联接到媒资服务器的计算机,都能做到查询检索功能,方便检索功能的不断拓展。只要做好数据服务器的备份,确保数据服务器所在网络的安全,那么编辑记者的办公计算机,也能进入该媒资网络,进行资料的查询。
5.4 扩展性设计
根据低成本框架设计,本系统在硬件上扩展性已预留余地,更新换代已非重要问题,今后新光盘介质存储的可扩展性上也能体现可持续性。那么,本文讨论的扩展性主要就在于可扩展的媒资存储。根据本台的媒资分类,本系统将先针对当前第四类媒资存储,但从本质上讲,当前的一至三类媒资会随着时间的推移,也会成为第四类媒资,能否做到本台现有的基于数据流磁带媒资系统的导入,是关键。经过我们的反复测试,要做到这一点,需在系统设计中注重两个原则,一是两个系统的编目标准需一样,也就是编目的标准必须严格按照国家广电总局发布的《广播电视音像资料编目规范》(GY/T 202.1-2004)进行编目。二是新系统需带编目信息字段抓取和导入功能,这样,也就能完成新系统与原系统在编目上的对应一致,也就能完成媒资的整体迁移。通过以上两个原则,新建的蓝光媒资即能做到我们所需的扩展功能。而且,在足够的资金保障情况下,拓展蓝光盘库等自动存储系统后,利用新的蓝光媒资系统能进行快速数据迁移,因此,可将蓝光盘媒资系统升级为原数据流磁带媒资系统的备份,也为媒资的安全提供了更好地保障。
6.结语
本文针对基于蓝光盘介质的低成本休眠型历史媒资存储系统的探索和应用,较为有效地解决了本台该类媒资的存储难题,同时,也望能为今后媒资系统的存储建设提供新的借鉴方案。