扬州电视台云媒资系统设计与实现(下)
2018-09-13徐伟
徐伟
(接上期)
三.系统的软硬件及安全设计
1.系统软硬件设计
扬州台云媒资系统的服务器包含虚拟服务器和实体服务器两种。基于云计算的虚拟服务器包括了10个刀片服务器用于部署虚拟化服务(目前投入实际使用4台虚拟服务器)和10台虚拟工作站。项目中还部署一台物理容量为48T的虚拟带库,用于备份存储媒资入库归档的重要数据。虚拟磁带库通过存储虚拟化技术把一个磁盘存储系统完全模拟成了一个磁带库,包括磁带库机械臂、磁带驱动器、各种类型的磁带以及容量。虚拟磁带库的主要含义是,直接利用现有备份软件的所有强大管理功能。
實体服务器中,网络核心存储设备由在线存储系统EMC Isilon X200和数据库存储共享阵列Dell PowerVault MD3600f构成;近线存储系统采用数据流磁带库Quantum Scalar i6000;以太网交换机分别采用H3C 5800-60c和H3C S5120-52C-E I。两台数据库服务器由D E L L PowerEdge R720构成,采用Linux操作平台和服务器双机并行方式工作,数据采用独立双控盘阵RAID1方式存储,采用专用备份软件自动进行数据备份。分级存储迁移服务器采用两台DELL PowerEdge R720,实现对归档系统以及近线带库进行管理。采用四台DELL PowerEdge R720作为转码迁移服务器,以实现媒体资源数据的交换和共享、视音频格式转换、文件传输、文件校验、自动技审等功能。两台打包服务器采用HP 380G7,用于高清制作网络系统故事板的合成转码。上下载、审核以及缩编工作站采用大洋D3-HD5 PRO,编目审核工作站采用HP Z220。
在本次系统实体服务器上操作系统软件采用了:Windows Server 2008 R2 Enterprise、Red Hat Enterprise Linux Server 5.8 X64;数据库软件采用ORACLE 10G RAC 。媒资系统采用大洋大洋E S B互联平台以及E M B(Enterprise Media Bus)转码中心,这些平台软件都是业界广泛使用的软件,具有良好稳定性。
2.系统的安全设计
(1)数据库的安全设计
为了保证网络安全,数据库服务器采用了先进的双机容错技术(即服务器集群技术),它保证了数据、应用程序和信息系统的高可用性,本网络采用了ORACLE 10G RAC技术。
Oracle RAC的全称为Oracle Real Application Clusters。在此前称之为OPS,是一个计算环境。通过它,用户可以充分利用多个使用集群技术互联的计算机的处理能力。Oracle Real Application Clusters通过简单轻松地使用单一系统映像的方式,可以没有任何限制地利用集群环境的硬件资源来为任何打包应用和客户应用进行计算资源的扩展和提供高可靠性。Oracle Real Application Clusters允许在一个集群配置的环境中使用多个节点来访问一个单一的数据库,从而防止应用和数据库用户由于硬件或是软件导致的操作失败,并且能方便利用硬件的扩展来提高系统性能,保证高可用性和高安全性,这种应用的主要优点是:
两台服务器通过软件建立一个虚拟服务器名,数据库资源挂在虚拟的服务器下,客户机访问数据库时直接访问虚拟机,两台服务器一主一备,一旦主机瘫痪,备份机可以在一分钟之内接管数据库服务,接管过程对客户机是透明的,这种技术作为成熟技术已经得到广泛的应用并取得较好得效果。
(2)交换系统的安全设计
以太网核心为两台H3C5800万兆交换机,可配置48口千兆模块,两台交换机形成级联,每台服务器用双网线做成 TEAM,同时连接到两台交换机,任意一根网线断开或接触不良都不会引发服务器连接故障。
Isilon X200存储系统内配置有主备Infiniband交换机,每个X200节点有两根Infiniband线缆分别连接到主备交换机,任意一个节点的一根Infiniband连接线传输中断都不会影响数据传输。
(3)服务器硬件安全
本系统中关键服务器采用双机热备工作模式,即核心FC交换机、服务器FC交换机和主要楼层交换机支持可热插拔的SFP接口、冗余电源、冗余风扇等,这样无论单个电源模块、风扇、端口链路损坏都不会影响服务器和存储系统提供的访问服务,保证系统高可靠性。
四.系统的流程设计
1.系统总体流程设计
上图是媒资系统的总体流程设计图,其中有媒资资料入库、资料管理、节目下载输出等数据交互流程设计。数据的互联互通是一个系统化的工程,本系统的流程设考虑ESB、EMB之间会有很多数据的传递,所以在流程服务之间的注册及调用应该都采用了WebService、消息队列等成熟的、标准的接口协议。在后台数据交换中心包含了ESB、EMB、转码中心、媒体迁移中心等,这些在整个互联互通平台中起着至关重要的作用。
2.节目入库流程
媒资的库流程首先由栏目制作人员进行一次编目,由资源管理器提交媒资系统。或由媒资系统上载、导入历史资料及补充素材。入库完成后,由媒资分级存储软件进行按照归档策略对文件归档;归档结束后由媒资编目人员,对历史资料节目素材进行元数据编目。其次编目审核人员对编目元数据进行审核,符合的编目元数据就能通过从而完成元数据入库,如果不通过则打回重新编目。
3.节目检索流程
节目制作人员通过W E B检索浏览低码率,确认所需媒体文件发出检索指令,通过HTTP/TCP协议传递给WEB服务器;后台的WEB服务器对于非静态页面的代码(JSP代码等)传递给应用服务器解析;应用服务器通过查询数据库检索出用户需要的检索结果;应用服务器把查询结果转化为HTML(Hypertext Markup Language超文本标记语言)传递回WEB服务器;WEB服务器再将结果通过HTTP/TCP协议传递给用户;用户如果想浏览查询结果中对应的流媒体数据,再通过HTTP/TCP协议发出查看指令传递给WEB服务器;WEB服务器将URL(Uniform Resource Locator统一资源定位符)文件定位传递给流媒体服务器;流媒体服务器从媒资在线盘塔中找到相应的流媒体文件;流媒体服务器通过RTP/UDP协议将流媒体文件数据传递给用户端,用户就可以边下载边浏览流媒体数据了。
4.节目、素材归档流程
媒资系统进行资料上载后,根据需要产生高低双码流资料(可根据实际应用设定高低码流的格式),为了避免高码流资料在线时间过长对在线存储系统造成压力,上载节目在进行高码流质量审核之后进入归档流程,根据迁移策略条件完成高码流素材归档,即首先将高码流文件存储在在线硬盘上;再依据系统制定的数据迁移策略,满足迁移策略的数据被迁移到近线存储区如磁带库中,并根据策略决定在线硬盘上的数据对象是否删除。其他应用系统传送过来的素材或成片其高码流素材经质量审核后同样进入归档流程;自产素材的低码流文件、其他业务系统上传并通过转码产生的低码流文件,经编目、编目终审之后进入归档流程,其中关键帧以及低码流文件分别进入关键帧归档区和低码流归档区,并同时根据迁移策略决定是否删除原有的关键帧、低码流文件,至此关键帧、低码流文件归档完成。迁移策略主要用于描述系统存储的各种媒体类数据对象分别采用何种方式进行分级存储管理,其主要属性应包括:迁移触发条件(水位线),迁移目标,数据对象类型等。当近线存储区达到一定的存储容量后,同样根据策略将满足离线条件的数据流磁带直接进行离线处理,并生成离线介质,进入库房管理。
5.节目素材查询调用流程
根据全网检索浏览共享平台的审核调度中心发出的数据调用指令请求后,存储迁移系统判断数据对象存储状态,并按照优先级从速度最快的存储区调用的原则,将数据对象自动回迁到在线存储区中。如果所需素材存在于在线存储中,则由迁移调度服务器,进行相应的迁移操作。如果在近线存储中,则首先从近线存储中迁移到在线存储中,然后迁移到用户指定的位置。如素材处于离线状态,则向管理员发出提示,所需素材在离线架上的哪盘磁带上。
管理员收到提示后,手工取带,将其上载到媒资的近线设备的磁带机,并由迁移调度服务器上载到在线存储设备,最后迁移到用户指定的位置。高码流节目完成离线、近线至在线的回迁后,系统下载管理工作站判断该检索结果的输出方式,以将高码流节目下载到录像带上交给检索请求用户,或者将高码流节目通过业务系统之间的数据交换链路传送给发送调用请求的业务系统二级库存储。
五.结语
扬州台云媒资系统通过规划和设计建成后,经过技术部门的反复详细的测试和维护,已经能正常投入使用。该系统建成后,大大满足了节目的日常制作需求,大量自制节目的文件化归档以及历史资料的抢救性恢复入库需求。当然,我臺的媒资系统的后期发掘尚在起步阶段,相关的系统端口交互以及后期的基于云计算虚拟化存储还在进一步调试中,通过下一段的技术调试,相信全台媒资系统的功能会更加完善和成熟。(全文完)B&P;