云存储中实现彩铃铃音库分配调度方法的研究

2014-03-26孙启昌常会卿黄梅英

电信工程技术与标准化 2014年5期

关键词：彩铃存储设备模块

孙启昌，常会卿，黄梅英

（中国移动通信集团河南有限公司，郑州 450008）

1 业务概述

彩铃业务为近几年来在移动通信行业兴起的一项音乐回铃音业务。

现有一般彩铃铃音资源的制作，是由提供铃音资源的CP（内容提供商）负责完成的。CP负责选择歌曲的高潮部分或者热门部分进行剪切。长度一般保持在45s以上。由CP按照彩铃系统铃音发布流程完成对该铃音的上传，并保存在铃音资源库中，供用户订购。

彩铃平台系统随着CP不断地发布新的铃音资源，在彩铃平台上慢慢地形成了一个规模庞大的铃音资源库，其中可能包含上百万首的彩铃铃音资源，并且会一直不断的增长。从彩铃业务开始向用户提供以来，每个彩铃铃音库的铃音数量已经超过130万首以上，需要的存储空间达到700 GB以上，并且每月还有十几到几十个GB的新增铃音上线加入。

对于一个彩铃平台来说，彩铃用户根据自己的喜好来定制彩铃音，而彩铃平台提供了巨量的彩铃音资源，这就必然会造成铃音定制的不均衡，有的铃音比较流行，喜好的人多，因此订购的就多，而有的铃音，从上线到如今几年中没有一次的订购，而且这种零订购或极低订购次数（比如一次两次）的铃音资源与订购上万次的铃音可能平等同样占用多套铃音库的存储资源，这就造成大量的存储空间及设备处理能力的浪费。

按照上述的彩铃铃音库的部署情况的分析，在彩铃平台中铃音库的部署占用的巨大的数据存储资源，而且这些设备利用率较低，同时由于每个彩铃平台中都建立有一套或多套彩铃铃音库，如何保证各个彩铃平台的各种业务数据一致性，保证彩铃呼叫平台中实际进行彩铃播放时的准确性，对于整个彩铃业务是极为关键的。

针对上面的分析，本文提出了一种彩铃平台铃音库的采用云存储资源分配调度的方法，通过此方法，使彩铃系统的所有铃音库全部都建设在一套基于云存储的系统之上，达到多套彩铃平台共享一套彩铃铃音库存储池。

2 系统模块组成与功能

基于私有云存储的多彩铃铃音库共享系统的工作原理是利用数据传输专线网络构建私有云存储系统，当彩铃系统发布新的彩铃音媒体文件数据时，数据通过统一的数据流接口存储到私有云端。通过统一的彩铃平台的数据接口随时提供彩铃业务管理平台和彩铃呼叫平台使用。

2.1 彩铃私有存储云系统结构

彩铃私有存储云系统结构如图1所示。数据存储设备是云存储最基础的部分。存储设备可以是FC光纤通道存储设备，可以是NAS和 iSCSI等IP存储设备，也可以是 SCSI或SAS等 DAS存储设备。存储设备之上是一个统一存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理以及硬件设备的状态监控和故障维护。

图1 彩铃私有存储云系统结构

基础管理模块是云存储系统管理的核心部分。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。

元数据服务模块是云存储数据访问核心的部分。元数据是描述文件系统中文件属性和位置信息的数据，元数据管理是并行文件系统的重要组成部分，由于其被操作的频繁性，元数据管理方式对并行文件系统有重要影响。元数据服务模块主要的功能是对元数据库和元数据标准进行管理和操作,其主要功能有注册元数据标准,基于元数据标准建立元数据库,对元数据库和元数据标准的注册和删除;注册和删除用户,修改用户密码,修改用户权限;在元数据库里导入元数据标准等。

彩铃平台作为存储云的使用用户，通过标准的公用应用接口来访问云存储系统，享受云存储服务。彩铃平台是与文件存储系统相关的应用系统，彩铃平台中的各个应用可以通过POSIX、NFS、CIFS、FTP访问云存储系统的文件存储相关功能，或通过记录存储及检索API访问记录存储扩展功能。

2.2 应用接口模块提供的文件系统服务

应用接口模块为上层彩铃应用提供POSIX API、FTP、NFS、CIFS以及记录存储及检索API等接口。提供文件系统服务分为：

文件与目录操作：包括新增文件或目录、文件或目录更名、删除文件或目录、移动文件或目录、创建与删除链接以及文件与目录的统计功能。

文件访问功能：包括文件的读取和写入、文件加锁与文件截断功能。

文件与目录的访问控制：功能包括更改文件或目录的访问权限、更改文件或目录的所有者。

另外还要包括：操作维护功能，如数据导入、系统管理、用户管理、服务管理、配额管理、服务等级管理、系统统计与监测。同时还包括安全相关功能，如包括数据加密和数据隔离等。

3 业务实现流程

将各个彩铃平台的铃音库从原来的传统存储模式下改造为采用基于云存储的技术下实现。在彩铃铃音库云中建立一组存储池用来存储铃音实体文件，如前所述，这些文件有的使用频次高，有的使用频次低，而对于一定合理性价比的硬件设备来说，可以提供的数据吞吐能力或者数据存取能力是有一定的限度的，不能无止境的增加，如果整个彩铃平台的存取能力需求远超过这个上限，通常需要配置多套来并行处理来分担这些存取能负荷。即建立多套的铃音库存储实体的存储池，如果存储池中对每个铃音库都采取完整全库的方法则基本上等效于传统方法下的彩铃铃音库的配置方案，并不能体现云存储带来的好处。

本文提供一种彩铃铃音库云的内部铃音部署算法，该算法根据彩铃业务管理平台和彩铃呼叫平台对彩铃铃音库的彩铃音文件的存取负荷进行计算统计，然后根据这些存取负荷计算铃音库存储池的文件存储配置，在按照一定合适的性价比的硬件存储设备组织彩铃铃音库云。

图2 彩铃铃音库云内部铃音部署调度算法

本文的彩铃铃音库云的内部铃音部署调度算法如图2所示，以下算法和存储资源调度策略的运行由基础管理模块和元数据服务模块定期执行或认为命令下强制执行：

步骤101，在基础管理模块中，先计算忙时平均每秒彩铃铃音播放负荷：

忙时平均每秒彩铃铃音播放负荷（E）= (总用户数×忙时集中率×彩铃平均呼叫时长×彩铃播放带宽)÷3 600 。

步骤102，在基础管理模块中，统计计算彩铃系统铃音库的铃音总订购数量，需要彩铃业务平台的业务数据库提供基础订购数据信息，再由本模块进行统计计算。即铃音总订购数量=∑Ki（i=1…n）（Ki：某铃音订购次数，n为铃音总数）。

步骤103，选取合适的性价比的硬件存储设备，记录该设备的处理能力参数，作为存储设备处理能力标准,标记为S。以此硬件存储设备为标准作为存储池中的存储设备的基本单元，该存储单元作为配置的参考，实际配置时不限于此单一设备，其他设备也可以使用，只是在计算时按以该单元为标准进行等效核算。此数据预先配置于系统中。由基础管理模块从配置数据中取得。

步骤104，通过彩铃系统忙时平均每秒彩铃铃音播放总负荷（E）和存储设备处理能力标准（S）,计算整个彩铃系统需要的等效的标准存储设备数量M。如需考虑安全冗余，则可以在计算结果的基础上增加一定的比例即可得出总存储设备的需求量。即：M=(∑Ki×e1)/S，（i=1…n）；（其中：e1是铃音单次订购的平均播放负荷）。

步骤105，在基础管理模块中，对彩铃系统铃音库的铃音按订购数量进行排序，提取铃音文件进行分组，然后进行存储资源分配。即对有用户订购的铃音，从最高订购次数起依次累加选取总负荷的p%的铃音文件作为一个铃音文件分组。

步骤106，在基础管理模块中，把步骤104产生的铃音文件分组进行部署。对彩铃私有铃音存储云的数据存储设备进行分配，以预设的存储设备处理能力标准（S）为基本分配单元。分配(M-2)p%的存储设备到该分组，把本组文件分配在组内所有存储设备上。

步骤107，判断铃音是否分配完成，如果未分配完成，则跳转到步骤105继续铃音的下一个分组及资源的分配。如果分配完成，分配系统中零订购次数的非活跃铃音文件。

步骤108，对下一个分组的资源分配准备相应的计算资源。

步骤109，在基础管理模块中，分配系统中零订购次数的非活跃铃音文件。这些文件不会产生播放负荷，因此可以分配极低性能的主备两套存储资源达到安全存储不丢失即可。

步骤110，在基础管理模块中，向彩铃系统数据库提交彩铃铃音文件分组及铃音文件定位数据。

步骤111，在基础管理模块中，对铃音文件分组及资源分配结果提交元数据模块，更新元数据服务数据库。