存储虚拟化在无锡广电新媒体中的应用

张殷希

(无锡广播电视集团，江苏 无锡 214061)



存储虚拟化在无锡广电新媒体中的应用

张殷希

(无锡广播电视集团，江苏 无锡 214061)

无锡广电两大新媒体应用系统太湖明珠网站和智慧无锡客户端的存储升级在统筹考虑、充分利旧的前提下，规划建设存储虚拟化平台，提高存储资源的利用率。在应用系统迁移过程中，通过合理制定数据迁移步骤，确保业务不中断的情况下完成所有迁移工作，并经过测试验证虚拟化平台的高性能和高可用性。存储虚拟化在新媒体中的成功应用为传统媒体的存储建设提供参考。

存储虚拟化；新媒体；数据迁移

1 项目实施背景

太湖明珠网站和智慧无锡民生服务平台[1]是无锡广播电视台旗下的两大新媒体业务系统，其中太湖明珠网站为无锡第一门户网站，日均访问量超过200万人次；智慧无锡民生服务平台是移动互联网应用，提供视音频直播点播、公交、互助、摇摇乐、商城等30多个功能模块，客户端下载总量超过300万，注册用户35万。这两个系统均采用服务器虚拟化架构搭建硬件平台[2]，分别使用各自独立的存储设备存放虚拟机、视音频图片、数据库等业务系统运行文件，服务器仅提供计算资源，系统架构示意图如图1所示。

经过多年发展，太湖明珠网站和智慧无锡两大系统的业务发展迅猛、用户数不断攀升，使得其业务系统虚拟机的数量持续增加，且数据库、视音频图片的并发读写量也逐步上升，导致对存储的带宽、IOPS(每秒进行读写操作的次数)、吞吐量以及容量等各方面提出了更高的要求。此外，随着使用年限的增加，存储设备，尤其是在2003年建立的太湖明珠网站的存储设备日渐老化，可靠性、稳定性存在隐患。因此，为了彻底解决存储系统的瓶颈，消除安全隐患，着手规划实施两大新媒体系统的存储升级[3]。

2 总体规划

2.1 设计方案

根据太湖明珠网站和智慧无锡的整体技术架构情况，考虑存储系统升级有两种方案，一是采用传统方式，即对使用年限较久的太湖明珠网站存储进行重建、对部署较晚的智慧无锡存储进行扩容，两个系统分别单独升级；另一种方案是考虑到两个应用系统均为虚拟化硬件平台，采用存储虚拟化方式[4]，充分利用智慧无锡现有存储设备，与新购存储共同构建存储资源池，以平台化服务的方式统一提供给太湖明珠网站与智慧无锡。分析这两种方案，两者的优劣比较[5]如表1所示。

表1 两种升级方案比较

考虑到第二种方案不仅满足系统升级要求，也能实现存储资源的集约化应用与管理，因此决定采用存储虚拟化架构[6]。

2.2 系统架构

存储虚拟化平台由存储网关、新存储、智慧无锡旧存储等设备构成，系统技术架构示意图如图2所示。

图2 存储虚拟化平台架构示意图

存储虚拟化平台中的存储网关[7]下联各存储设备、上联太湖明珠网站与智慧无锡业务系统的虚拟化服务器集群，将下层存储设备中的物理卷转化为虚拟卷之后，提供给上层虚拟化服务器集群应用，是关键核心设备。

采用统一的存储虚拟化系统，其优势有以下3方面：

1)跨系统、跨平台的存储池化，提升I/O(读写)性能，实现关键业务数据的高可用性。

存储虚拟化是通过对下层物理存储硬件的接管，实现物理存储对业务系统的透明化，并且利用多链路聚合、负载均衡、数据分区等技术，消除数据访问冲突，使得不同业务、不同系统的应用能够在一个存储池中进行统一管理调配。同时，可根据系统需要，将关键业务的数据卷分布在不同的物理存储设备上，利用存储网关的大容量缓存和同时写入功能(一份数据同时写入不同存储中)，既能实现I/O负载均衡，提升I/O整体性能，又能保证业务连续在线。

2)统一的存储平台，实现灵活平滑扩展。

单一的物理存储设备在实现纵向或者横向扩展时，为了保证原有数据的准确性，需要中断业务系统，且根据扩展操作的复杂程度，系统中断时间通常需要数小时甚至数天，严重影响了业务系统的正常运行。而存储虚拟化平台的搭建，是通过存储网关实现业务系统与存储设备的关联，在隐藏了存储设备物理细节的情况下，可以适应不同厂商、不同类别的异构存储平台，方便了存储设备的纵向与横向扩展，并且确保业务系统的连续可靠运行[8]。

3)充分利用旧有设备，节省开支。

存储虚拟化平台中的存储网关具有通用的接口，可容纳不同类型的存储设备。存储系统一旦需要升级，可根据实际应用情况，将旧有设备纳入到新存储平台中继续使用，从而达到保护投资、降本节支的目的。

3 项目实施

3.1 实施内容

根据总体规划制定详细的实施方案，涉及的主要内容如表2所示。

在项目实施过程中，要求业务不中断，并且利用现有资源尽可能提高存储系统性能。

表2 云存储平台建设的实施内容

3.2 不中断业务的数据迁移

太湖明珠网站与智慧无锡业务面向互联网和移动互联网用户提供服务，需要24小时在线应用，因此在完成新存储搭建之后，实施系统数据迁移没有任何停机时间，必须在线完成。为此，规划制定“摆渡”方式来实现操作系统层面的虚拟机和存储数据的迁移，确保整个系统不中断，这也是整个项目中的重点和难点所在。以智慧无锡的数据迁移为例，详细描述整个过程。

1)部署环境

智慧无锡的服务器虚拟化集群中有7台物理服务器，通过策略拆分出部分无任何虚拟机应用的服务器，其中1台服务器作为“摆渡”服务器，同时连接智慧无锡旧存储和云存储平台；其他剩余服务器连接到云存储平台中，作为“对岸”服务器。在此环境下，利用服务器虚拟化集群的在线数据迁移功能，将业务数据通过“摆渡”服务器分批分次迁移到云存储平台上。

2)迁移流程

智慧无锡业务数据迁移包括操作系统层面的虚拟机迁移和存储数据迁移两个方面，整个流程如图3所示。

第一步，将智慧无锡旧存储中某台服务器上的虚拟机迁移到“摆渡”服务器上，如图中红色箭头指示(原图为彩图，灰度图像中为颜色最深的箭头)。

第二步，通过“摆渡”服务器，将该虚拟机的数据从智慧无锡旧存储迁移到云存储平台上，如图中黄色箭头指示(即颜色次深的箭头)。

图3 业务数据迁移的流程示意图

第三步，将已完成数据迁移的、仍然在“摆渡”服务器上的该虚拟机迁移到“对岸”服务器虚拟化集群中，以空出“摆渡”服务器，等待下一个虚拟机进行迁移，如图中绿色箭头指示(即颜色最浅的箭头)。

重复以上三步，直到该台服务器上的所有虚拟机和所有数据全部迁移到云存储平台之后，再将该台服务器合并入服务器虚拟化集群，并连接到云存储平台中。针对旧存储网络中剩余服务器，同样完成以上操作之后，即完成了所有虚拟机和存储数据迁移的全部工作。智慧无锡的整个迁移过程历时8个小时，在业务不中断的情况下完成了7台服务器包含78台虚拟机的迁移。

在数据迁移过程中，为防止数据丢失等意外情况，事先将所有虚拟机数据进行备份，一旦发生任何问题，都可以从备份数据中恢复，以确保数据迁移实施的安全可靠。

4 性能测试

太湖明珠网站和智慧无锡两个新媒体应用系统在零停机前提下，圆满完成存储虚拟化平台的搭建。针对存储IOPS、带宽、业务系统模块响应时间等方面进行了全面测试。

4.1 IOPS测试

升级前后数据卷IOPS测试对比图如图4所示，升级后IOPS性能提升了33.3%。

图4 升级前后数据卷IOPS测试对比图

4.2 带宽测试

升级前后带宽测试对比图如图5所示，升级后存储带宽提升25%。

图5 升级前后带宽测试对比图

4.3 业务系统模块响应时间测试

1)太湖明珠网站

太湖明珠网站日访问量超过200万人次，在迁移至存储虚拟化平台之后，页面打开的响应时间平均缩短27.5%，得到了显著改善。升级前后太湖明珠网站平均访问延迟测试对比如图6所示。

图6 升级前后太湖明珠网站平均访问延迟测试对比图

2)智慧无锡公交模块

作为智慧无锡客户端最活跃的应用模块，公交模块的日访问量超过150多万次，在迁移至存储虚拟化平台之后，模块响应时间平均缩短30%，得到了显著改善。升级前后智慧无锡APP公交模块平均响应时间测试对比图如图7所示。

图7 升级前后智慧无锡APP公交模块平均响应时间测试对比图

以上测试结果表明，太湖明珠网站与智慧无锡两大业务系统迁移至存储虚拟化平台之后，在增强了存储系统自身的性能与可靠性的基础之上，更提升了整个业务系统的效率，使得用户体验大幅提升，达到了预期目标。

4 结束语

无锡广播电视台在台内太湖明珠网站和智慧无锡两个新媒体业务系统中统筹考虑存储系统升级，充分利用旧有设备，搭建统一的存储虚拟化平台，不仅提升了存储系统性能和灵活性，更为业务系统提供了平台化的存储服务。

在项目实施过程中，充分发挥服务器虚拟化与云存储平台相结合的巨大优势，合理制定数据迁移方案，圆满完成包含200多个应用、共计150多台虚拟机的两大业务系统零中断的平稳迁移，确保了所有业务的正常运行。本项目的实施，为传统媒体的业务系统建设提供参考，也为全台建设私有云积累了宝贵的经验。

[1] 何清，陈宏. 城市广电媒体融合探索[J].电视技术，2015，39(6)：101-103.

[2] 徐旭. 虚拟化技术在制播系统应用的研究[J].电视技术，2015，39(22)：58-60.

[3] 徐春杨.云计算技术在电视台全台网系统中的应用探讨[J].广播与电视技术，2015，42(10)：38-42.

[4] 张光. 存储虚拟化技术的研究[D].北京：北京交通大学，2013.

[5] 杨勇. 基于云存储的数据全台网方案考虑[J].电视技术，2015，39(22)：69-71.

[6] 朱承华.探索虚拟化技术构建电视台数据中心[J]. 世界广播电视，2014，28(12)：89-91.

[7] 杨丽丽. 云存储网关的研究与实现[D].武汉：华中科技大学，2013.

[8] 张海涛，孙业志，张立强，等.“云存储”在广电行业的应用探讨[J].广播与电视技术，2011，38(11)：41-42.

责任编辑：许 盈

Application of storage virtualization in new media of Wuxi Broadcasting Television

ZHANG Yinxi

(WuxiBroadcastingTelevisionGroup,JiangsuWuxi214061,China)

Storage virtualization platform is planned and constructed which takes into full account both Taihumingzhu portal site and Smart Wuxi APP for new media of Wuxi broadcasting and TV station. In the process of business migration, the work is completed successfully without interruption by making rational step. It provides reference to storage construction for traditional media.

storage virtualization; new media; data migration

张殷希. 存储虚拟化在无锡广电新媒体中的应用[J].电视技术，2016，40(12)：73-76. ZHANG Y X. Application of storage virtualization in new media of Wuxi Broadcasting Television [J].Video engineering，2016，40(12)：73-76.

TN949

A

10.16280/j.videoe.2016.12.014

2016-04-27