基于集群的VOD视频服务器系统设计

王华兵

（长沙民政职业技术学院，湖南长沙410004）

视频点播VOD(Video-on-Demand)随着存储技术和高速通信技术的不断发展而越来越引起注意。在VOD服务系统中，用户可以在他希望的时间欣赏他所喜欢的节目。播放设备可以是电视机，可以是PC，还可能是下一代的移动设备。本文提出了基于集群的分布式VOD系统视频服务器系统，该系统由一个中心和多个分中心的二级架构组成；每个分中心相当于一个局域网，其中包含一个视频服务器集群。每个视频服务器集群又由一个分中心管理节点和若干个视频服务节点组成。

1.VOD系统结构

VOD系统采用服务器集群技术，由多个服务器分担负载。中心管理节点上的负载均衡调度系统将用户请求重定向到最合适的视频服务节点，使视频点播系统能够承载大用户量的请求。如图1-1所示，基于集群的分中心VOD系统主要由集群管理节点、视频服务节点、Web服务器、影片库和数据库组成。

中心管理节点是系统的心脏，它监控各个视频服务节点的状态，协调各个服务器间的通讯，负责负载均衡、动态扩展等功能的实现。中心管理节点是系统的枢纽，如果它失效，整个系统就会崩溃。视频服务节点是系统的后台，它为用户提供真正的视频流服务，同时管理片源递送。视频服务节点可以动态的伸缩，其数目根据实际需要能够达到一个或者多个，可通过注册机制实现热插拔功能。一个视频服务节点的失效，并不会影响整个系统的可用性。

Web服务器是整个系统的前台。它生成节目导航信息，提供影片检索、影片预览、影片点播等的交互界面同时它还提供管理界面，供管理员远程监控和管理VOD系统。数据库存放着和用户、影片、服务器等系统资源相关的数据，供中心管理节点查询和更新。分中心的影片库主要存储热播影片。

本系统的体系结构如图4-2所示：第一层是集群管理服务器，其上的负载均衡调度器采用IP负载均衡技术，可以使得整个系统有较高的吞吐率；第二层是视频服务节点池，在每个节点上可以运行相应的视频流媒体服务；第三层是共享存储，通过网络文件系统/分布式文件系统存储视频节目。集群中各节点是通过高速网络相连接。

IPVS负载均衡调度器使用直接路由方法(VS/DR)来架构视频服务器集群系统。调度器将视频服务请求较均衡地分发到各个服务节点上，而视频服务节点将响应数据直接返回给客户，这样可以使得整个视频服务器集群系统具有很好的伸缩性。

共享存储是视频服务器集群系统中最关键的问题，因为视频文件往往非常大(一部片子需要几百兆到几千兆的存储空间)，这对存储的容量和读取速度有较高的要求。对于规模较小的视频服务器集群系统，可以有3至6个视频服务节点，存储系统可以考虑用带千兆网卡的Linux服务器，使用软件RAID和日志型文件系统，再运行内核的NFS服务，可以达到很好的效果。但是，对于规模较大的视频服务器集群系统，最好选择对文件分段(File Stripping)存储和文件缓存有较好支持的分布式文件系统；视频文件分段存储在分布式文件系统的多个存储节点上，可以提高文件系统的性能和存储节点间的负载均衡。

2.动态扩展

在分布式的VOD应用中，动态扩展性是十分关键的环节。动态扩展是指在不改变原来系统的正常运行的情况下，通过添加视频服务节点的方式，提升系统的性能。

在我们的VOD分布式结构中，中心管理节点和视频服务节点之间是一对多的松耦合的关系。如图2-1所示，中心管理节点管理和维护多个视频服务节点的状态。当要向系统添加新的视频服务节点时，新的视频服务节点向控制服务器发出注册请求。控制服务器收到注册请求后，把该视频服务节点纳入管理范围，在以后处理点播请求的时候就会合理地把部分点播请求分配给它处理，使负载得到分流。如果要停止一台视频服务节点的服务，也不用影响系统的正常运行，只要该视频服务节点向控制服务器发出注销请求即可。控制服务器和视频服务节点这种松藕合的关系增强了系统的扩展性，让视频服务节点真正做到“即插即用”。

3.负载平衡

由控制服务器和视频服务节点构成了一个集群系统，这里我们需要考虑集群的负载均衡问题，系统中的各个视频服务节点的负载不能相差过大。控制服务器在选择视频服务节点提供影片视频服务时，需要考虑视频服务节点的负载。视频服务节点的负载(Load)主要是网络带宽、磁盘I/O、CPU占用率三方面。

负载平衡的实现是建立在定时负载汇报机制上的。所有的视频服务器都会周期性地向控制服务器发送负载报告。控制服务器会建立并且维护包含这些信息的视频服务器状态表。

4.存储管理

一部90分钟、码率为1.5M/S的电影，压缩后仍有750M左右的体积，对于有成千上万部影片的片源库，如果用高速的SCSI硬盘，成本相当昂贵。对于影片的存储，我们借鉴计算机体系结构的多级存储方案，采用两级存储结构。在媒体服务节点采用高速的但容量相对较小的SCSI硬盘作为存储设备，而片源库采用低速的海量的存储设备，比如磁碟机或光盘塔。

当流媒体服务节点发现要服务的影片不在自己的硬盘上时，它会到影片库里取出并复制到本地，然后再继续服务。如果复制到本地空间不够，那么就使用影片替换算法替换调一个己有的影片。

5.测试项目和结果

视频服务器的性能与其能处理的最大请求数密切相关。在性能测试中，同时启动三个服务节点，并用在同网段工作的NIC100Mbps的主机，模拟多个1.5Mbps点播请求，并记录服务器能处理的最大请求数目。具体模拟时，采用了四种模拟方案，并进行多次试验，记录下测试的平均值，如表5-1所示：

表5-1视频服务器集群系统性能测试结果

6.结论

性能测试的结果表明，磁盘带宽的瓶颈已被分布式结构改善，网络带宽成为系统的瓶颈。随机点播和互不相同点播试验中，系统的性能基本相同，它们受到网络带宽的限制。在所有请求都点播同一节目的试验中，系统性能成倍增加，这是基于IP组播的批处理算法带来的优势。本系统中三台视频服务器硬件性能比较接近，属于同质系统的范畴；在系统实现进一步完善时，将考虑系统异质情况下，采用负载均衡算法所提出的公式计算系统负载；另一方面，选取系统权值，还要通过进一步测试视频服务器的性能才能给出一个合适的值，由于目前系统测试条件的限制，权值的选取是人为指定，在本测试过程中，服务器性能参数所占的比重大致相同。

[1]王恒.基于P2P的流媒体技术[J].电脑知识与技术，2007,(5).

[2]董志,金海,吴敏娜.集群视频服务平台流媒体监控系统的设计与实现[J].计算机工程与科学,2005,(4):96-98.

[3]刘文捷,王慧强.基于集群服务器的VOD设计与实现研究[J].应用科技,2002,(4):35-38.

[4]杨灿,邹雪城,卢正鼎.大规模交互式视频服务系统研究综述[J].广播与电视技术,2004,(11):50-51.

[5]高梅,昌玉芳.视频点播交互式功能设计与实现[J].华中科技大学学报.2006,(5).

[6]朱渊萍,黄明和.一种视频点播系统的研究与实现[J].江西师范大学学报,2004,(10):444-447.