广电视频点播系统存储策略探讨

毛红卫，陈海明，周忠瑞

（浙江省诸暨市融媒体中心，浙江 绍兴 311800）

0 引言

视频点播（Video on Demand，VOD）又称为互动点播、在线点播，以实时性、交互性、自主性和直观性等特点，越来越多地渗透到人们的日常生活娱乐中，内容包括文字、图片、视音频等多种形式[1]。海量、超大规模的数据存储系统影响运营过程中的数据调度、输出写入、数据恢复等一系列的系统效率，对此，存储策略有多级存储、内部缓存、云存储等多种方式，提高硬件的性能、优化存储结构、采用多级Cache 缓存和智能调度（优化算法）等多种手段，提升存储系统的可靠性、可用性、稳定性和可持续性[2]。各级广电单位（融媒体中心）根据社会效益、经济效益以及自身发展需要等多种因素综合考量，建设基于广电网络的VOD 系统。本文将介绍一种基于智能网格推流系统的云分布式存储策略。

1 广电VOD 系统存储模式

分布式存储是把在地理位置上相对分散的存储空间整合成一体，高度依赖网络，把分散的存储空间链接起来，实现数据共享、存储和计算分开。在存储磁盘中采用紧耦合节点互连方式进行分布式存储，存储阵列节点之间通过输入/输出（Input Output，I/O）互联进行通信，系统通过访问权限对存储特定节点进行管理操作。分布式存储的核心技术包括文件条带化、内部网络交换机制、存储备份、存储颗粒度和淘汰机制等。

在VOD 视频服务领域不存在分布式计算的问题，实际需要重点解决的是分布式存储问题[3]。随着高清、超高清视频的应用，超大容量存储要求越来越高。采用云分布式存储的方法，可以支持万级规模的用户量的普及，甚至更高并发流信息共享，可以有效解决传统集群架构存储不能共享、服务资源不能动态分配、扩容空间部署复杂等问题，将存储功能从服务器系统主体中分离，具有强大的独立存储功能，海量数据缓存更专业高效[4]。

2 VOD 系统管理机制与存储策略

2.1 本地缓存机制

VOD 视频服务器具备本地缓存单元。存储系统使用串行SCSI（Serial Attached SCSI，SAS）接口的机械磁盘或Flash 介质磁盘作为缓存载体。本地物理存储设备部件支持自动化热插拔，减少人工干预。

2.2 分层缓存管理

VOD 视频存储系统采用分层缓存管理策略，按空间分配保存有所有文件分片数据的独立的热度统计数据[5]。热度高的数据放在一级高速缓存中，热度低的数据放在二、三级缓存中，根据热度的实时变化，自动、实时迁移相应的分片数据到相应的缓存区域。分布式存储系统通过特征数据分割提取实现分层管理，时序数据特征提取公式为

式中：i1、i2分别表示数据包的两种特征相关度参数。根据特征标签进行分割，引入缓存节点相对空间距离权重a计算数据包缓冲长度，计算公式为

式中：LI表示特征数据包缓冲长度，n为特征子数据包数量，ΔB为分布式缓存数据包平均容量。根据计算结果对特征数据包进行分布式多层缓存管理。分层缓存管理机制分为服务器缓存、代理缓存和客户端缓存3 大层级。

服务器缓存采用随机存取存储器（Random Access Memory，RAM）存储方法，对VOD 系统服务器本地数据进行缓存，通过数据预取方法缩短点播视频存储延迟，分布式存储节点分别对各自区域的存储网络进行调频处理。代理缓存是系统服务器磁盘硬存储，针对存储数据量大、局域网延时严重情况，启动数据代理缓存，调动集中缓存中心数据传输到缓存代理节点，可有效减少I/O 路径瓶颈频率，提高服务器存储系统负载能力。客户端缓存基于点对点（Peer to Peer，P2P）网络进行网络资源扩容服务，以局部终端节点为中心，获取相关系统数据资源，增强数据库资源完整度，以提供更高效率的缓存与数据服务。

2.3 缓存替换策略

采用三级Cache 缓存技术支持缓存替换，内存Cache 实现数据直接从内存读写，加快响应速度；硬盘Cache 实现数据从硬盘读写，调整缓存策略参数配置，硬盘与内存组合存储模式可进行互连数据读写替换。

根据VOD 系统规划，边缘缓存节点承担本地80%的并发流量，20%并发来自网络的存储规则，分来源地对缓存文件分片进行哈希校验，根据损坏处理机制（Intelligent Corruption Handling，ICH），存储管理系统会从集群内对文件分片数据的完整性进行校验，哈希转换公式为

式中：αi、βi分别表示缓存数据i的存储节点向量和存储空间向量。利用稀疏度计算选取最优关联度可替换数据，计算公式为

式中：XI(i)为稀疏度关联可替换数据阈值，fm表示稀疏关联密度值，ti为节点信息缓存时间。通过式（4）推断损坏数据的可替换关联参数，进行补偿替换缓存。

ICH 机制重新调度缓存损坏的部分数据，对内存缓存信息进行周期性备份，根据存储日志逻辑，将独立节点存储数据转化为持久化缓存形式，调入存储空间，剔除原有问题数据块进行替换。

2.4 读写旁路与懒惰存储

传统的单一存储方式受限于节点空间，当缓存出现数据缺失，无法继续将相对应的数据进行映射缓存，还会增加存储空间的I/O 路径时延情况。为满足客户端读写响应需求，将存储中心的读写旁路与懒惰缓存法结合，以保证存储池数据处理质量。实现步骤如图1 所示。

当客户端请求通过I/O 路径检索关键数据是否在数据库中，在存储池调动关键词相关数据满足客户需求。若检索发现数据库未能满足客户请求，将请求信息转发到关联系统数据库，进行读写旁路检索，获取缺失数据块。当数据库中某一数据块访问次数过多而产生大量运行缓存，可将该数据块进行重用距离设置，采用懒惰缓存策略，避免多次访问产生I/O 时延，增加存储系统冗余缓存数据。

3 系统多级存储负载均衡控制

3.1 本地负载均衡策略

负载均衡能极大地降低网络堵塞，提高终端访问的有效命中率和服务节点的响应速度，可以使用软件实现也可以使用硬件实现，保证高效的资源调度和分发。为保证整个系统的负载均衡，系统采用全局负载均衡（Global Server Load Balance，GSLB）、本地负载均衡（Server Load Balance，SLB）相结合的方式，如图2 所示。本地负载均衡是在全局负载均衡调度基础上为终端选择节点内最优的存储单元提供服务。

图2 多级负载均衡

本地负载均衡负责节点内存储单元之间的流量均衡，系统支持以下本地负载均衡策略：通过对终端发起的内容请求和对节点内视频存储单元的内容分布，把终端请求指向到包含内容的视频存储单元，这是本地负载均衡的内容策略；通过对节点内视频存储单元的流量、链接数等多重解析，把终端指向到节点负载情况较好、网络状况较好和负担轻的单元，这是本地负载均衡边缘存储单元策略。

3.2 全局负载均衡策略

全局负载均衡方式是调度分发的过程，在众多分散的资源站点中，为终端选择一个最近的最优节点作为服务站点，在节点与节点之间保证数据的基本平衡。系统支持以下3 个全局负载均衡策略。第一，通过对网际互连协议（Internet Protocol，IP）地址段和单个IP 地址的解析，把终端发起的请求指向到终端物理位置最近的节点，这是全局负载均衡的就近策略；第二，通过对终端内容请求解析，把终端发起的内容请求指向到包含终端请求的节点，这是全局负载均衡的内容策略；第三，通过对节点的流量、链接数等多重解析，把终端指向到节点负载情况较好、网络状况较好和负担轻的节点，这是全局负载均衡节点策略。

4 结语

VOD 系统广泛应用于多个领域。近几年，以视频为主的VOD 业务量呈现爆炸式增长，应用范围越来越广。本文介绍了海量VOD 数据的存储和调度方式，探究分布式存储系统架构、存储策略和负载均衡机制，针对独立存储节点之间相互独立的分布式缓存模式、读写旁路和懒惰存储、分层管理机制与替换存储等策略进行分析，证明分布式独立的存储单元的服务中断不会影响系统整体的正常运转，可以有效维护VOD 系统数据存储安全稳定。