基于云存储的数据全台网方案考虑

杨 勇

(浙江广播电视集团，浙江 杭州 310005)

基于云存储的数据全台网方案考虑

杨 勇

(浙江广播电视集团，浙江 杭州 310005)

从电视台全台网建设所面临的实际困难和现状出发，结合媒体融合发展环境下台内业务转型所带来的需求变化，提出了数据全台网的概念，并在浙江广电集团的项目建设中，利用云存储构建数据全台网的基础服务平台，通过智能引擎驱动的业务流转，实现在线汇聚收存分发海量媒体资源。

全台网；分布式；云存储；数据全台网

自广电总局下发了《电视台数字化网络化建设白皮书》指导意见以来，全台网的建设就不断在发展，很多兄弟单位电视台都进行了有益的尝试和探索。尤其是广电行业各大系统集成商都从自身的经验和应用系统出发，根据台内的需求变化和发展，提出了各种打通业务单元的理念和方法，不断优化电视台的业务流程，提升运营效率，迎接新媒体时代的挑战。

但在实际的建设过程中可以看到，全台网业务开展非常困难，因为不同的应用系统往往是由不同的厂家提供的，各自对于业务流程的理解不同，数据格式也不同，导致笔者需要将各个厂家的研发人员聚集在一起共同商讨，才能定义出一套相对可行的接口方式，实现业务数据在各个业务系统之间的协作流转。每个业务系统都建立了自己的数据存储，数据的流转基本采用拷贝的迁移方式[1]。

这种模式建立的全台网基本是为了解决已有制作、播出网络之间的互联互通，在运行中很难解决全媒体高效融合生产发布所面临的困难，考虑到这样的现状，笔者提出基于云存储技术的全台网解决方案。将全台网分为两部分建设，第一部分是数据全台网，第二部分是能力系统(业务系统)中的数据流转。数据全台网是一个核心基础，如果没有数据全台网，数据不进行集中的管理，就没有办法将各个能力系统由数据来驱动工作，只有建立了数据全台网，才能未来在这之上建立全新的自动流程系统，来将各个能力系统打通。

数据全台网从建设上来说，就是在各个业务平台之上建立一个集中的存储资源平台，采用服务型的理念来为各个业务系统提供支撑，在此存储平台上，包含了所有的全台网数据。

1 现状和挑战

之前台内的数据存储模式，主要采用分散建设的方式，每个业务网均根据自身的需要配备有存储设备，为各个业务网的数据存储和访问提供能力。但这样一来，出现了不少问题：

1)各个业务系统较为分散，之间没有很好的交互能力，严重制约了素材的实时交互；

2)系统独立也导致整个流程变缓，从上载、制作、播出到媒资整个过程非常漫长，业务带宽被大量的业务流程传输占用；

3)人工参与工作量大，成本高；

4)资源无法集中管理，存储和带宽资源分配不均衡，不能根据业务系统的需要进行动态弹性调整。

以电视剧缩编网的建设为一个契机，将所有数据集中起来，按照数据全台网的思路建设一个统一的集中云存储平台，将所有的业务数据集中存储和管理，存储(带宽、容量)作为一种资源分配给各个业务系统，可根据需要进行随时的调整，并且将数据统一后，可以设定更高级别的安全手段保障数据的安全性。

不过一旦实现数据全台网，会面临不小的挑战，这方面的挑战包括：

1)多个业务系统的并发使用，对于数据访问的带宽要求非常高；

2)数据安全性需要上升到一个更高的级别，不仅仅是做到硬盘的容错，还必须做到设备故障的容错能力；

3)存储容量会随着不断纳入新的业务系统的数据而急剧增加，这种扩容需要在不影响业务的前提下进行。

2 云存储的实际应用

在项目建设中，采用新的解决方案来改变现有的状态，在内部建立数据全台网，该网络基于分布式集群存储架构建设，集成采集、非编和媒资业务，并有效地和播出、发布网络互通，通过该网络的集中存储保证素材资源的集中管理和共享互通。

整个方案设计包括集中存储、网络建设和应用系统，整个缩编系统的建设目标具体体现在以下9个方面：

1)打造紧凑的工作流程，实现素材上载、素材高标清编辑、素材媒资管理在同一个平台实现，并且和离线归档系统、硬盘播出系统互通；

2)该系统既是非编系统，也是媒资系统，素材进入存储系统，随即可以针对素材进行编辑、媒资管理；

3)系统平台同时作为备播系统，可以在播出系统出现故障后，直接将节目从该平台播出；

4)平台支持多个频道的节目，每个频道50 Mbit/s的数据量，70 Mbit/s的最大并发传输量到播出系统；

5)拟定的平台存储采用支持横向扩展的集群存储；

6)整个平台的实际带宽能力要超过2 Gbit/s，保证各个业务系统的有效运行；

7)平台支持带库的近线归档；

8)平台的安全性、实时性要求非常高；

9)跨平台(Linux，Windows，Mac)、多应用支持的解决方案。

广电视频存储领域历经几十年的发展，从最初的内置硬盘存储，到DAS磁盘阵列， 再到FC SAN结构的存储网络、基于SAN架构的集群存储[2-3]。广电领域对于存储的使用更关注高速的归档迁移带宽和稳定的视频流读写能力，而高并发的I/O密集型应用不是很多。特别是随着高清时代的到来，视音频文件的体量越来越大，1小时百兆码率节目的文件大小在45 Gbyte左右。同时广电视频行业对于网络设计方面的要求也发生了很多的变化，而目前主流应用的SAN存储架构在实现系统互联时，不光要打通FC网络链路，各自SAN网间文件系统的互相访问和文件共享也是棘手的问题，特别是异构文件系统间的互访，只能通过架设数据访问网关(FTP网关或CIFS网关)， 增加了系统的复杂性和维护成本，可靠性安全性也无法保障。原有的存储方案越来越无法满足需求，一个个的制作孤岛、媒资孤岛让资源的共享和管理带来很大困难， 实现不同业务子网的互联互通，实现高效的自动化工作流迫在眉睫。

根据对目前广电主流的存储技术的分析，笔者认为随着以太网技术的发展，IP集群存储一定会成为日后广电建设数据全台网的重要方式。所以，数据全台网考虑采用云存储的方式来建设存储平台，拓朴结构如图1所示。

图1 数据全台网拓朴图

云存储的优势和特点包括：

单一架构优势。整个云存储平台架构在以太网架构之上，充分利用现有的网络(多千兆接入或万兆接入)，无须像之前的FC存储那样采用双网架构，这样对于本台的统一规划建设有很大的优势。

稳定视频读写性能优势。存储节点采用的专业网络存储可保证非常高的稳定视频读写性能(读430 Mbit/s，写450 Mbit/s，该稳定读写指视频读写不会掉帧)极限带宽更可达700 Mbit/s以上。考虑到整个架构完全是线性扩展，增加存储节点即可增加性能，在10个节点的情况下可以实现视频稳定读4 Gbit/s以上。

不停机容量扩充。云存储系统正如其存储服务平台理念一般，可以提供在线不停业务的扩容，仅需增加存储节点就可以在增加访问性能的同时增加存储容量，最大可支持高达64 Pbyte以上的存储容量。这种存储容量的扩展对于前端的业务完全是透明化的，对于用户感受而言，仅仅是发现空间容量增加了，业务无需中断。并且可以在业务空闲时进行指定的动态负载均衡，保证整个系统的性能同步提升。

多种安全级别。和大多数互联网式集群存储不同，充分考虑了在异常处理时尽量减少恢复处理来保证类视频文件读写的稳定性，所以特地可支持传统RAID作为底层。除了提供磁盘自动监测和多种RAID级别来保障存储节点的可靠外，整个安全从底层RAID、目录1备1、网络RAID到全局副本4种方式来解决安全、性能和投入的问题。最高L5级别的数据安全模式下，数据安全得到极大的保障。即便是存储节点损坏也不影响数据的可靠。

统一文件视图。安装客户端的服务器可看到一致文件系统视图，系统通过客户端提供本地硬盘的访问方式，直接挂载为本地硬盘，所以对任何应用系统都是透明的，对应用服务器开销非常小。

3 智能引擎驱动的业务流转

在实现了数据全台网之后，可以将各个能力系统不断地部署上来，这时实现数据在底层的自动化流转就成了下一个阶段要考虑的问题。

既然数据已经集中，能否在集中的数据上加上一层数据管理层，智能数据管理层是存储层基础之上开发的一种新型的应用语义文件系统，其自身实现为分布式架构，基于分布式文件系统开发整合实现，提供核心非结构化数据管理功能，实现文件对象化抽象和安全访问，虚拟盘、全文检索、转码等数据应用可建立在此智能语义系统之上。可以利用语义引擎实现数据在各个能力系统之间的自动化流转。

实现非结构化的媒体数据在后台的各种处理及调用，这种调度主要是基于内容信息的调度，和之前通常的工作流有很大的区别，是需要基于语义分析的调度方式。

该数据智能调度引擎是在私有文件系统基础之上利用语义识别实现的，整个文件系统内部长响应一个监听进程，能够识别简单的语义，并能根据语义内容做些相关工作。

例如：

If upload file success then do work1

If now() - file.lastmodifytime> 121212 then do work2

……

work1, work2 为预先定义好的操作

数据全台网的业务流转模型如图2所示，此调度引擎工作于媒体数据引擎后台，为数据汇集、图像解析、文本提取、视频转码、审核等工作流程提供有力支持。

图2 数据全台网业务流转模型图

总之，在利用云存储实现了数据全台网之后，就可以进一步利用集中数据的优势，创新地利用数据的自动化流转推进智能全台网的建设。

4 实施进展

浙江广电集团目前已通过云存储构建了数据全台网的基础服务平台，特别是在电视剧缩编的全流程业务开展中，发挥了重要的作用。在后台计算、存储资源高度集中池化的同时，把终端延伸到各电视频道编辑人员的办公桌面，通过智能引擎驱动的业务流转，实现在线汇聚收存分发海量媒体资源，上载、编辑、审片、送播、发布、归档入库各业务岗位实时共享节目资源，极大地提高制播效率，以适应全媒体融合生产的发展需要。

[1] 范中磊. 网络存储技术漫谈之三:集群存储[J].记录媒体技术，2010(3)：51-54.

[2] 张振庆. 集群存储技术的分析与研究[J].中国传媒科技，2011(7)：108-111.

[3] 冒卫，田小马. 集群存储在全台网系统中的使用[J].视听界，2014(5)：40-43.

责任编辑：闫雯雯

TN948

B

10.16280/j.videoe.2015.22.017

2015-04-19

【本文献信息】杨勇.基于云存储的数据全台网方案考虑[J].电视技术,2015，39(22).