徐州电视台高清电视剧缩编网的创新与应用

2017-04-28徐州广播电视台

视听界(广播电视技术) 2017年2期

仲超徐州广播电视台

徐州电视台高清电视剧缩编网的创新与应用

仲超徐州广播电视台

本文介绍徐州电视台高清电视剧缩编网的创新设计和应用优化。该系统以优化电视剧的上载、审看、剪辑、送播和归档流程及实现高清电视剧的文件化送播为目的，创新性地突破了AVID非编系统对存储的排他需求，应用第三方集群NAS存储设备，有效地降低了组网成本。同时与现有的媒资网NAS存储、IBM数据流磁带库和核心交换机等组网设备实现了完美融合共用。

高清电视剧缩编网NAS存储 AVID 数据流磁带库

一、系统需求

随着信息技术的迅猛发展，观众对电视剧的视听体验提出了越来越高的要求。同时，我台原有的以传统磁带为介质的电视剧备播模式在高清化、文件化的发展趋势下，越来越凸显出效率低、画面质量差等弊端。之前，我台已完成全台非编制作网的高清化以及播出系统的高清化，进而对电视剧网的高清化建设提出了需求。

二、系统结构设计

2.1 系统结构

高清电视剧缩编网采用万兆交换机和NAS存储构成的网络架构，以集群NAS存储（华为N8300系列）为存储核心，上海文广科技公司的存储管理软件SMET-DBOX Client作为桌面管理系统，Avid Media Composer作为编辑软件。

图1 电视剧缩编网系统结构图

电视剧缩编网的应用功能主要包括上载、审查和剪辑，配有4台连接蓝光盘驱动器的上载工作站，4台审查工作站，以及4台用于电视剧后期剪辑包装的剪辑工作站。所有工作站上都装有Avid Media Composer编辑软件，均可以实现对电视剧的审看和剪辑。

系统的后台服务模块主要有存储设备（包括在线存储和近线存储）、转码服务器、归档还原服务器和数据库服务器。在线存储采用华为的N8300集群NAS存储，近线存储采用IBM TS3584数据流磁带库。

电视剧缩编网以文件化的方式来实现送播，与播出系统既要实现互联互通又要安全隔离，因而电视剧网的交换机与播出系统之间架设防火墙相连。

2.2 工作站

整个系统共配置12台Dell T7600工作站，配置两颗英特尔E5-2620处理器和16GB DDR3内存，硬盘为256GB SATA3固态硬盘，三块1TB SATA硬盘做RAID5，显卡为2GB nVIDIA Quadro4000。工作站使用64位Windows 7操作系统，安装Avid Media Composer非编软件及相关存储管理软件。

2.3 NAS存储

电视剧缩编网为全高清系统，对存储系统要求更高的稳定性、可靠性、低延时、高吞吐带宽。

我台和上海文广科技合作研发了存储管理软件，采用集群NAS华为OceanStor N8300替代AVID ISIS，应用于AVID编辑系统，组建单网架构的高清电视剧缩编系统。OceanStor N8300采用多节点全Active集群技术，所有的引擎节点均处于同一个集群，可以协同工作，并发进行事务处理，也可以多点同时访问同一文件。

2.4 归档服务器

归档服务器采用Linux操作系统，安装IBM LTFS归档管理软件，该软件是为IBM LTO 5定制的一个归档管理软件，采用了LTO 5技术独有的LTFS文件存储系统，有以下特点：

（1）直接存取和管理LTO Ultrium 5磁带驱动器、磁带库及其数据；

（2）整合 LTFS 格式标准以便读取、写入和交换通过LTO 5认证的磁带盒上的描述性元数据；

（3）允许直观地搜索磁带盒、驱动器、磁带库的内容；

（4）基于LTO第5代磁带格式标准构建，以便实现与通过LTO 5认证的磁带库和驱动器的磁带交换。

2.5 交换系统

核心交换机采用华为Quidway S9306交换机，配置48端口千兆以太网电接口板和24端口万兆以太网光接口板，万兆光口用于各应用系统间互联，千兆电口用于工作站级联。

2.6 数据流磁带库

系统的近线存储采用的是IBM TS3584数据流磁带库，具有以下特点：容量灵活，最多16个磁带库机柜容纳最多192个磁带机；通过 Web 接口进行远程管理，进行磁带库控制和配置；自动化的控制路径和数据路径故障切换功能，增强运行连续性和灾难恢复。

TS3584 磁带库有一个非常大的优点：提供高级磁带库管理系统 (ALMS) 组件，支持动态存储管理，允许用户动态创建和改变逻辑磁带库和将任何磁带机配置到任何逻辑磁带库。我们在构建电视剧缩编系统时充分的利用到了这一点，后文有详细论述。

三、业务流程设计

图2 电视剧缩编网工作流程图

上载：外购的高清电视剧介质为蓝光盘，视频格式为XDCAM HD 50Mbits(1080i/50)，通过上载工作站的Avid Media Composer软件上载至电视剧网的在线存储。

转码：系统后台配置了转码服务器，对原码视频进行转码，转码后的高清文件审看流畅无卡顿。

归档：当在线存储利用率达到一定数值后，归档服务器执行归档操作，复制在线存储中的文件至近线存储即IBM数据流磁带库中。归档完成后可删除在线存储中的原文件，以便腾出空间继续上载新剧。

还原：当需要从带库中调用电视剧时，后台服务发送还原命令，从近线存储即数据流磁带库还原并迁移文件至在线存储。

剪辑：电视剧集如果不需要剪辑，可直接从在线存储调用；如果需要剪辑或制作宣传片，可以在工作站使用Avid Media Composer软件进行剪辑，再打包送播。

文件化送播：电视剧缩编网通过防火墙与播出网连接，通过文件化送播系统将视频文件从电视剧缩编系统在线存储的送播存储区迁移至播出系统的二级存储中等待调用，当需要播出时再迁移至播出服务器。

四、系统创新

4.1 集群NAS + AVID MEIDA COMPOSER组网方案

电视剧缩编网采用单网架构,以第三方的集群NAS存储设备替代AVID公司价格昂贵的专用ISIS存储,应用于AVID非编系统。系统通过存储管理软件SMET-Dbox Client实现对NAS存储设备的支持。

4.1.1 集群NAS替代AVID专用ISIS存储

目前，应用的高清编辑网主要采用“纯以太网”的单网架构或“FC+以太网”的双网架构。

双网架构网络拓扑结构复杂，增加了管理、维护难度，且FC交换机、FC网卡和共享管理软件等都价格昂贵。

“纯以太网”的单网架构，可以大大简化系统建设、后续维护的难度，但同时也对高清存储系统、管理软件和高清非编软件提出了更高的要求。AVID公司的单网架构通常以其独有的Unity ISIS系列存储作为高清存储核心，不支持其它厂商的存储产品，但ISIS系列存储系统的价格居高不下，整个系统造价难以承受。

为了降低系统成本，我台在AVID公司的支持下，采用第三方集群NAS存储设备替代AVID ISIS，以AVID Media Composer为视频编辑软件，配合存储管理软件，组建单网架构的高清电视剧缩编系统，既保留了单网架构的固有优势，又降低了成本。

4.1.2 通过存储管理软件SMET-Dbox Client实现对NAS存储设备的支持

集群NAS存储有很多特点和优势，然而却不能直接应用于AVID非编软件的组网，因为AVID制作系统仅支持自己的Unity ISIS存储系统。为解决这个难题，我台和上海文广科技公司合作开发了存储管理软件SMET-Dbox Client，基于AVID ISIS的存储技术，支持Avid非编系统读写网络素材，通过该客户端可以实现对绝大多数第三方通用存储设备的支持。

4.2 电视剧缩编系统和媒资系统共用在线存储、近线存储和交换机

图3 电视剧缩编网与媒资网共用存储及交换机示意图

由于电视剧缩编网与媒资网的网络结构相似，物理位置近，为节省资金，我们设计了电视剧缩编网和媒资网共用NAS存储、IBM带库和华为交换机的网络架构方案。

4.2.1 共用在线存储-NAS存储

在线存储采用的是华为OceanStor N8300集群NAS存储系统，配置2个NAS引擎节点，4个S2600T（满配24块硬盘）扩展硬盘框，共配96块2TB的SATA硬盘，实际可用容量为131TB。N8300每个引擎节点的缓存为8GB，提供2个4Gb/s的FC端口。根据实测整个存储可提供1600MB带宽。

我们将N8300存储划分为两个CIFS共享文件系统，媒资网使用的命名为meizi，配置106TB存储空间；电视剧缩编网使用的命名为dianshiju，配置25TB存储空间。为了使两个网络同时访问存储时负载均衡，我们将4个对外FC业务网口平均划分给媒资网和电视剧网。如图3所示，媒资网的所有主机通过业务网口1、2访问存储的meizi文件系统，电视剧网的所有主机通过业务网口3、4访问存储的dianshiju文件系统。

电视剧网的业务带宽使用情况：

4台上载工作站同时上载高清电视剧，工作站是千兆网口接入，按80%的利用率来算，极限带宽为400MB；

4台审看工作站同时审看50Mbps码流的电视剧需要带宽为25MB；

4台剪辑工作站同时剪辑4轨50Mbps码流的视频素材，所需带宽为100MB。

归档和还原的速度受到磁带驱动器的读写速度限制，经实测磁带驱动器的读写速度能达到32MB左右，电视剧网只配置了1个磁带驱动器，归档和还原进程不能并行，所以归档还原业务只占32MB带宽。

可知电视剧缩编网业务极限带宽需求量为557MB。

媒资网配置了3个磁带驱动器用于归档和还原业务，按照驱动器读写速度计算，仅仅需要32MB⋆3=96MB带宽；5台用于历史磁带资料上载的上载工作站，码率为25Mbps，带宽占用为25Mb/8⋆5=15.5MB；编目、发布业务都是对低码率素材的读写，带宽可忽略不计。带宽需求量较大的业务主要是非编网向媒资的节目上载和媒资向非编网的节目下载，上下载业务都是单线程的，其中下载业务有较高的时效性，主要集中在下午3点到7点之间的节目制作高峰期，而节目上载业务的时效性较低，因此我们将节目上载业务与下载高峰期错开，安排在上午、夜间，这样能够有效的提高带宽使用率。

根据以上分析，1600MB的带宽完全可以满足电视剧缩编网和媒资网两系统共用，大大节约了系统建设成本。实际证明，媒资网和电视剧网两个网的业务并行，运行的非常流畅。

4.2.2 共用近线存储-IBM数据流磁带库

近线存储采用IBM 3584数据流磁带库，配置了1个主柜（1个机械臂及4台数据流磁带驱动器）+2个扩展柜，共有1167个磁带槽位；采用容量为1.5TB的LTO 5数据流磁带，近线存储存储容量为1750TB。

TS3584 磁带库提供高级磁带库管理系统 (ALMS)组件，支持动态存储管理，允许用户动态创建和改变逻辑磁带库以及将物理驱动器进行逻辑分配，正是这一技术实现了把同一带库的不同磁带驱动器分配到不同的逻辑磁带库中，从而支持电视剧缩编网和媒资网的磁带库共用。

IBM 3584磁带库共有4台磁带驱动器，根据实际业务需求，我们将1台驱动器分配给电视剧网使用，剩余的3台分配给媒资网。为了区分不同系统所使用的数据流磁带，我们用管理软件对磁带号进行了逻辑上的划分，电视剧网的磁带驱动器只使用某一个号段的磁带，而媒资网则调用另外一个号段的数据流磁带。

4.2.3 共用核心交换机-华为S9306

核心交换机采用华为Quidway S9306，配置48端口千兆以太网电接口板和24端口万兆以太网光接口板，万兆光口用于各应用系统互联，千兆电口用于工作站级联。如图3所示，我们将电视剧缩编网和媒资网分别接入交换机划分的不同VLAN中。电视剧缩编网和媒资网工作站通过千兆以太网口接入交换机，服务器和存储设备通过万兆光纤网口接入交换机。

4.3 业务流程上的优化

4.3.1 剪辑和送播流程的优化

在没有建立电视剧缩编网之前，我台的电视剧剪辑、送播方式有两种：一种是用录像机进行线性编辑，录像带送播；另外一种是每个频道将磁带上载至自己所在非编网，在非编网内进行剪辑后再下载至录像带或蓝光盘送播。我台共四个频道，如此重复的上载不仅浪费了人力，还严重影响了视频信号质量。

在建设电视剧缩编网时，我台也完成了文件化送播系统的建设，电视剧的剪辑和送播流程得到了很大的改善。四个频道的电视剧剪辑送播人员可以直接在电视剧网内共享电视剧原版素材，避免了重复上载；还可以共享电视剧网的所有工作站，在网内集中完成电视剧的剪辑、送播工作；电视剧的送播环节脱离了传统物理介质，通过正奇送播软件可以方便的实现由电视剧网存储向播出网存储的文件化送播。

4.3.2 电视剧的文件化送播

我台使用的是正奇公司研发的文件送播系统，该系统送播流程通过使用基于XML 的Web 服务描述语言来描述接口，以C/S（Client/Server）的架构方式实现了异构系统之间的元数据传输，元数据信息可直接注册到播控系统数据库，方便快捷。采用MD5 对传输的视音频数据进行校验，保障了传输的安全。

电视剧缩编人员将备播电视剧存放在电视剧网存储区中，通过送播软件填写备播电视剧的元数据信息等，发起送播流程；送播系统接收任务并生成此任务的元数据信息（即XML文件），通过FTP方式将备播电视剧迁移至播出二级存储并进行MD5校验，成功后请求元数据导入。

4.3.3 后台转码

在系统建成投入运行后，审看人员向我们反映在Avid Media Composer软件中审看高清原码电视剧时会出现卡顿或拉丝现象，我们先后尝试使用多种播放器播放高清原码文件，但仍出现同样问题。为此文广科技专门开发了一个后台转码软件，将上载后的高清原码文件在服务器端进行后台转码，实现了流畅无卡顿的播放高清原码文件，大大提升了审看时的视觉效果与审查效率。

4.3.4 磁带管理

在系统建成投入运行后，我们通过数据流磁带库驱动器检查磁带的归档状况时，发现了一些重复归档失败的任务，影响了系统的工作效率，加重了磁带库驱动器的工作负荷。通过检查发现，标称1.5TB容量的LTO5磁带的实际可写容量大约在1200GB，驱动器执行归档任务时没有有效地辨别出磁带的实际剩余可写容量状况因而归档失败。在磁带管理端做了相应的微调后，解决了这一问题，使磁带库的运作更加的顺畅。