媒体资产管理系统的应用解析
2010-08-10吴迎春
吴迎春
(金华电视台 技术中心制作部,浙江 金华 321000)
1 媒体资产管理系统的需求分析
随着广播电视行业的发展,节目量剧增,传统的以磁带为介质的节目保存、使用方式面临一些问题,磁带寿命有限,以往保存在磁带上的大量有价值的视音频资料需要抢救;多种格式介质并存,经常要转换格式,导致质量下降、效率低下,对台内素材、节目利用和台与台之间节目交换造成不利影响;随着IT网络技术的迅速发展,传统的磁带储存、传输方式也无法适应互动的视频点播要求。
金华广播电视台现有的素材和节目资料管理还是立足于模拟磁带的管理,由于节目制作和使用的需要,磁带会重复的使用和复制,这将会降低磁带的保存寿命,也增加了磁带意外损坏的几率,同时,在影视资料的保存上,随着时间的推移,不可避免地会出现磁粉脱落、磁带老化等物理现象,节目的质量也会随之降低,这些意外的损坏或质量的下降将是无法修复的,而且损失将是永久性的。
对于节目制作、使用人员和编导来讲,最为理想的应该是系统能够具备多种检索方式,并具备多数据形式的信息,这样可保证当查询结束后,能够看到与目标节目相关的图片信息、文本信息(例如节目剧本、导演介绍等)和视频信息,以此甄别目标节目的正确与否和利于确定所需节目片断的识码。
因此,构建媒体资产管理系统十分必要[1-4]。
2 金华电视台媒体资产管理系统的总体架构
金华台采用的是捷成世纪新一代媒体资产管理系统MAM3.2,它基于SOA的体系结构进行设计,是一个模块化高、适应性强、稳定可靠的应用系统。它由内容采集整理子系统、编目子系统、检索子系统、存储管理子系统和网管子系统等组成,如图1所示。
内容采集整理子系统支持各种信号类型、各种压缩文件格式的输入输出工作,并提供基于压缩域的各种音视频压缩格式的剪辑整理工作。
编目子系统基于开放的编目分类体系进行设计,系统预装《广播电视音像资料编目规范》,并支持用户自定义的编目分类体系,编目界面也可以由用户自行设定,应用系统无须更改就可适应用户编目体系的变更。编目子系统内置一个轻量级的工作流引擎,以支持编目任务的派发和流程监控,用户通过工作流引擎自行设定编目的工作流程,以满足多人协作共同编目的需求。
检索子系统提供全文检索、分类检索和高级检索功能,并支持用户自定义检索模板,满足用户个性化检索的需求。
存储管理子系统负责在线、近线和离线资料的管理和保存,支持多种类型的磁带库近线存储设备。离线管理模块可以对离线的数据流磁带和传统的模拟磁带进行统一管理。
网管子系统负责整个媒资网络的管理和流程监控,并提供用户认证服务、日志管理和统计管理的功能。捷成世纪新一代基于SOA的媒资系统MAM3.2,将以上各类媒资管理系统融为一体,不再具体面向某一个单独的业务系统,而是面向电视台内部所有的业务应用,提供统一的内容管理服务。
3 媒体资产管理系统的数据处理流程分析
媒体资产管理系统处理的整体流程包括数据的产生、数据的存储管理和数据的发布等阶段,如图2所示。
图2 数据处理流程
数据的产生阶段中涉及到:媒体资产管理系统中的数据分类,媒体资料数据的采集方式(高/低码率),高码率存储数据格式的选择,MPEG-4应用于查询检索的优势,在数据产生过程中需要提取的元数据的分类,编目的概念以及工作要求,分层编目的优势以及工作流程。
数据的存储、管理阶段涉及到适用于视音频媒体资产管理系统的存储结构、系统架构的存储技术基础、分级存储架构、数据迁移、具体设备选型等。
数据发布阶段中有如下几种途径:直接将数字化的视音频文件通过下载工作站直接下载到传统的介质上(如录像带);下载原始数据文件到指定的存储设备或网络环境中如制作网络、播出网络;将所有相关的媒体数据(包括视频、音频、编辑文件、编目数据等)进行打包,并进行数据的交换。
4 媒体资产管理系统业务工作流程分析
金华广播电视台媒体资产管理系统中节目/素材的入库、存储、管理、检索、发布、使用等环节紧密相连,形成了完整的业务工作流。工作流管理的任务包括定义、执行及监控系统的业务流程。工作流管理包括建立配置工作流程、流程控制、流程监控。按功能上分为节目上载流程、节目下载流程、系统管理流程。
1)节目上载流程:登陆系统—进入用户管理—新建用户—登录审核整理—节目绑定—节目审核—调度、执行迁移文件—任务分发—编目系统—编目一次质检—编目二次质检—检索。媒体资料数据的采集方式包括高低码流数据同步上载、利用硬件编码或MPEG-4数据软件编码方式上载、实现高低码流视音频数据帧帧对应。
2)节目下载流程:登陆—检索—添加下载单—提交下载单—下载单审批—调度、执行—节目下载到指定位置。其中,节目检索方式有全文搜索、栏目搜索、责任者搜索、系列搜索、分类搜索、高级搜索等。
3)系统管理流程:媒资系统可以通过用户管理、编目监控统计、任务管理、网管系统、带库管理系统对整个节目流程进行管理。其中,编目监控统计主要是对编目系统的视频流程、音频流程查看及编目完成情况统计;任务管理子系统包括对网络任务、任务策略;网管系统子系统包括生产任务管理、节目删除、受控词管理;带库管理子系统主要查看是查看磁带库基本信息,及磁带库中存储节目信息,并对节目进行简单管理。显示的存储设备信息是在TSM下设置的信息。
5 媒体资产管理系统的网络存储结构
我台媒资系统采用有效存储容量为6.3 Tbyte的PROMISE VTRAK E-CLASS磁盘阵列,选用ADIC的StorNext File System存储共享软件。整体网络系统采用FC-SAN的网络。
1)SAN网络架构
网络的整体设计采用的目前网络存储技术中最为成熟的存储区域网络(Storage Area Network,SAN)技术。SAN存储设备通过光纤通道连接到一群计算机上。在该网络中提供了多主机连接,但并非通过标准的网络拓扑。将备份数据流从LAN中转移到SAN。适用于企业级的大数据量传输,可以独立增加存储容量,采用光纤接口,提供了更长的连接长度和更高的带宽。
高性能的光纤通道交换机和光纤通道网络协议是SAN的关键。把以光纤通道交换机为骨干的网络拓扑结构称为SAN Fabric。而光纤通道协议是SAN的另一个本质特征。SAN正是利用光纤通道协议上加载SCSI协议来达到可靠的块级数据传输。
考虑到媒资网络系统将负责部门视频节目素材的采集、收录和制作,需要比较稳定和强大的带宽支持,并且各分系统需要对中央存储阵列共享访问和读写存储,因此本台选择基于4 Gbit/s光纤链路的FC-SAN网络来搭建中心网络。
2)网络存储共享软件
对于媒体资产管理系统的存储架构的设计,笔者比较了目前多种网络架构和存储架构,以太网、FC-SAN网络、IP-SAN等多种技术,最终选择了基于Stornext集群文件系统构成的存储区域网络架构。
StorNext File System(StorNext FS)以前称为 CentraVision File System(CVFS)。传统SAN只提供对存储设备的共享访问。StorNext File System将对设备共享访问扩展到对数据的共享访问,消除了对冗余存储设备的需求。
3)DB2数据库服务
媒体资产管理系统采用的是IBM DB2数据库,IBM DB2数据库是为分布式客户机/服务器计算而设计的适应性强、性能优越的数据库管理系统。它有内在的数据复制、功能强大的管理工具和开放的系统结构,在这个平台上可以为各种大小机构开发出经济而有效的信息方案。
4)SUN SL3000磁带库
当今主要磁带存储技术有LTO,DLT,AIT,Super DLT等,其中,LTO(线性磁带开放)技术以每18~24个月将容量和数据访问速率翻番,磁带容量将从每盒100 Gbyte到800 Gbyte直至1.0 Tbyte。本系统采用的是基于LTO技术的SUN SL3000大型数据流磁带库,SUN SL3000磁带库采用LTO-4磁带机,LTO-4单盘非压缩容量为800 Gbyte,单驱动器实际传输速率可达120 Mbit/s,完全能满足本系统近线存储在容量和性能上的需求。本系统配置2个LTO-4光纤接口磁带机和100盘LTO-4磁带,容量约为80 Tbyte,按照MPEG-2 25M格式存储,可存储视音频节目素材约70 000 h,高达240 Mbit/s传输速度,单盘LTO-4磁带容量为800 Gbyte(非压缩)。
6 媒体资产管理系统的应用服务平台
应用服务平台采用统一的调度中心进行任务管理,负责各种任务的接收、存储、调度、监控等管理工作,主要包括任务调度、归档、迁移、转码等任务类型,完成文件迁移、归档迁移、文件转码、打包合成、加密校验等后台媒体数据传输转换功能。
1)调度
任务调度子系统由任务接口服务组件、任务调度服务器、任务执行器和任务管理服务组件组成。其系统组成结构如图3所示。
2)转码服务
音视频数据转码服务器主要完成各种码流、各种格式的多媒体文件的转换工作;支持多种格式文件的互相转换;支持流媒体文件的生成;支持多线程转码操作。后台转码软件能动态增加新的视音频压缩格式的转换功能,基于SOA的统一架构,通过应用服务平台的统一调度,新增的或第三方的特殊格式转码应用通过MTS协议进行注册,加入捷成应用服务平台,当有相关转码任务时通过任务调度功能把相关任务分配给新增的转码应用来完成。
3)迁移服务
迁移服务可实现统一协调,可根据工作量动态增加,从而提高单位时间的节目传输量。迁移服务器能够主动地从工作流程中获取迁移任务,实现存储系统间数据的迁移工作,并且根据迁移文件的成功或者失败进行节目的提交和打回。
显示迁移任务、排队任务、进程状态、迁移速度、已经完成的任务数和基本工作日志,实现后台的虚拟存储,不需要第三方软件,实现目标迁移文件的虚拟存储。
4)MD5校验服务
采用数字签名和数字摘要MD5验证的方式可以保证文件传输的安全。节目文件传输时在源系统内利用MD5算法对节目文件生成验证码A,文件传输到目标系统后,再将验证码传给目标系统。目标系统利用接收的节目文件和MD5算法重新生成验证码B,比较验证码A与验证码B,如果完全相同说明接收节目文件就是源系统的文件,如果不同说明接收的文件不是源系统实际传输的文件,需要进行处理审核。
[1]韩志国,王雪.媒资管理实施四大关键要素——2005中国报业媒资管理系统建设状况调查上篇 [EB/OL].[2010-03-20].http://d.wanfangdata.com.cn/Periodical_zgcmkhj200503019.aspx.
[2]王秋成.试析图书、档案、文献一体化服务[EB/OL].[2010-03-20].http://d.wanfangdata.com.cn/Periodical_ltsj200706014.aspx.
[3]邓永红.电视台媒体资产管理系统及其主流产品[EB/OL].[2010-03-20].http://blog.chinaunix.net/u3/108286/showart_2128616.html.
[4]卢英锁.新北京电视中心媒资上下载系统的技术特点[J].电视技术,2009,33(11):85-88.