统一存储关键指标研究及在网络制播中的应用

徐 旭

(建湖广播电视台 总工室，江苏 建湖 224700)

统一存储关键指标研究及在网络制播中的应用

徐 旭

(建湖广播电视台 总工室，江苏 建湖 224700)

针对网络制播存储系统的优化与整合，结合目前存储技术的快速发展，在综合考虑数据访问需求的基础上，系统研究了统一存储的关键指标。基于此研究，可解决系统架构设计和设备选型困难的问题，确保统一存储在网络制播中的高可用、高性能、高利用率及可扩展，最终实现集中管理下存储资源的共享与高效利用。

统一存储；网络制播；指标；应用

网络制播之所以能够发挥其资源共享、并行工作的作用，关键在于网络架构，而存储系统则是其中的关键部分。存储系统在不同的时期满足不同的需求，并随着IT技术的不断发展产生新的变化。当前随着各级电视台全台网的建设及高清制播和新媒体业务的开展，网络架构日趋复杂，业务类型日益多元化，非结构化数据迅速增长，单一分散的SAN或NAS系统已不能满足多样化的数据访问需求，将其分步有序地迁移至集中的、按需分配的统一存储[1]中实现存储系统的优化、整合已成为一种趋势。

1 统一存储关键指标研究

统一存储通过对FC，ISCSI，NFS，CIFS，HTTP，FTP等协议的支持集中实现块级别、文件级别的数据访问，其有两种实现方式：一种是通过在NAS服务器上集成FC、ISCSI等协议构建统一存储；另一种则是通过在FC磁盘阵列的基础上增加NAS控制器来构建统一存储。相比而言，第二种方式性能更好也更为普遍。统一存储有可用性、性能、利用率、扩展性[2]4个关键指标，通过对这4个指标的研究可为系统架构设计和设备选型提供依据。

1.1 可用性指标研究

1.1.1 RAID+热备用

目前普遍应用的RAID技术有RAID5和RAID6，两者相比各有利弊：RAID5只能提供应对单盘失效的数据保护，需借助快速重构技术降低双盘失效概率；RAID6通过双奇偶校验提供应对双盘失效的数据保护，但开销及写代价均高于RAID5。热备用有自动和用户发起两种配置方式：对于自动热备用，当某个磁盘的可修复错误率超过一个预定的阈值时，磁盘阵列会自动将数据从即将损坏的磁盘复制到热备用磁盘中；对于用户发起的热备用，管理员能够控制整个重构流程，具有较大的灵活性，但在热备用磁盘不可用的情况下系统很容易受到双盘失效的影响。

1.1.2 控制器和通路冗余

主流的双控冗余架构[3]有三种：磁盘及控制器双冗余的架构可用性最高，可实现关键数据的镜像备份，但开销最高；磁盘共享背板一体的双控冗余架构由于磁盘及背板均存在单点故障风险，可用性最低；磁盘共享背板分离的双控冗余架构以较低的开销实现较高的可用性，性价比最高。统一存储的通路涉及前端通路与后端通路。后端通路主要采用双FC-LOOP实现磁盘与控制器的冗余连接，前端通路略有不同，FC磁盘阵列要求提供MultiPath FC通路冗余功能，而NAS采用的则是IP通路的聚合或容错。

1.2 性能指标研究

1.2.1 LUN分条

在控制器性能、缓存大小固定的情况下，统一存储性能取决于磁盘类型和并行读写通道数，而分条通过将数据分布在多块磁盘可实现磁盘的并行读写。传统分条是在物理磁盘上实现的，由同一RAID集内同质磁盘上相同位置的条带构成，而LUN分条则能够让单个LUN上的数据分布到跨RAID集的异质磁盘上，因参与分条的磁盘数大大增加，避免了磁盘热点，使得磁盘性能得到了大幅提升。

1.2.2 自动存储分层

存储分层是在不同类型(层)存储之间建立层级的技术，通过将大量不经常活动的数据迁移至低速、低成本的磁盘系统上，可直接提升存储系统的性能并降低存储的采购成本。自动存储分层分为阵列间分层和阵列内分层。

对于阵列间分层，数据在主存储、二级存储甚至多级存储间分层，通常用于归档。

阵列内分层有三种分层方式：LUN分层、子LUN分层及缓存分层。对于LUN分层，数据可在位于高速磁盘区的LUN和低速磁盘区的LUN之间流动，此方式的不足在于LUN粒度太粗，包括活跃和不活跃的数据都进行迁移；对于子LUN分层，一个LUN被打散成更小的片段，分层在这些片段级进行，在更好的粒度下迁移数据可以大大提高存储自动分层的价值定位。对于缓存分层，通过配置固态硬盘充当大容量的二级缓存，分层在DRAM(主缓存)和固态硬盘(二级缓存)之间进行，实现了更高的存储性能。

1.3 利用率指标研究

1.3.1 自动精简配给

自动精简配给是让一个LUN的容量大于实际物理容量的技术。传统配给基于预期的存储需求一次性分配容量，很容易导致容量的过度配给，从而降低存储利用率。自动精简配给则根据实际所需少量多次的分配容量，当容量不够时，系统会自动从后端存储池补充一部分容量。自动精简配给显著减少已分配但未使用的存储空间，在不降低性能的情况下简化了存储管理并大幅提高存储利用率。

1.3.2 块级存储虚拟化

块级存储虚拟化是将块存储设备进行集合，实现独立于底层物理存储的虚拟卷配给。通过对物理存储设备做抽象化处理，创建一个容纳不同存储设备资源的存储池。虚拟卷从存储池中创建，通过虚拟卷与LUN的透明映射，主机以访问物理卷的方式访问虚拟卷。块级存储虚拟化通过支持在线扩容及异构接管实现了存储的高效利用：在线扩容解决了系统对于存储容量在线扩展的需求；异构接管则实现了磁盘阵列之间存储资源的联合。

1.4 扩展性指标研究

统一存储的扩展性主要体现在功能、性能的扩展两方面。功能的扩展目前主要体现为对基于对象的存储[4]和SSD盘的支持。基于对象的存储以内容为依据，以对象的形式存储数据，其核心是将数据通路和控制通路分离，基于对象存储设备(OSD)构建存储系统。对象存储设备通常采用刀片式结构，具有一定的智能，能够自动管理其上的数据分布，通过分布元数据和并发数据访问实现高性能存储。SSD盘基于半导体的固态存储来存取数据，不含移动部件，因此具有极高的磁盘性能。性能的扩展体现在控制器、缓存的横向扩展上，具体表现为可扩展的控制器数量和缓存大小。

2 统一存储在网络制播中的应用

网络制播制作、播出、收录、媒资及新媒体等业务均存在大量结构化和非结构化数据[5]，根据业务类型的不同，数据访问需求也不尽相同，应用统一存储可有效结合SAN系统高性能、高可靠与NAS系统低成本、易共享的特性，为不同类型的客户端提供不同服务质量的数据访问服务，其网络架构如图1所示。

图1 网络制播统一存储架构

统一存储系统主要包括以下部件：存储、控制器、NAS机头，并可根据需求添加支持对象存储的OSD节点。存储由高性能FC磁盘阵列组成，它决定了系统的总体存储容量和读写带宽，通过支持RAID+热备用、Snapshot、Mirror等数据保护技术可提高系统可用性；通过混合使用SAS盘、NL-SAS盘、SATA盘及SSD盘可实现数据的自动存储分层；通过应用自动精简配给和块级存储虚拟化可提高存储利用率。控制器为系统提供块级别的数据访问，并负责后端FC磁盘阵列的池化管理。NAS机头是专用的文件服务器，通过块协议与文件协议的相互转换为系统提供文件级别的数据访问。通过控制器、NAS机头的冗余配置及通路的冗余连接，可实现负载均衡和故障切换，确保客户端对存储的无间断数据访问。

在统一存储架构下，客户端既可以通过FC/ISCSI协议实现块级别数据访问，又可以通过NFS/CIFS协议实现文件级读写，还可以通过FTP协议进行文件访问[6]。高清非编站点、节目复杂包装站点、数据迁移服务器及一些关键业务服务器对传输带宽有很高要求，可采用双网结构对存储访问，数据在FC通路上传输；对于普通的非线性编辑站点、转码服务器、打包合成服务器等可以通过ISCSI协议在IP通路上对存储进行高效访问；对于简单编辑工作站、节目收录服务器、低码率编辑工作站等带宽要求更低的站点，可以通过NFS/CIFS协议实现文件级数据共享；对于系统间需要松散耦合的情况，FTP方式的文件交换则是兼顾效率和安全的最佳选择。

网络制播应用统一存储的优势在于通过对分散的存储系统进行整合并实施统一管理，可确保系统的高可用、高性能、高安全、可扩展，最终实现资源的高效利用和整体开销的降低。由于采用SAN和NAS混用模式，针对多种不同级别业务对统一存储的计算资源、缓存资源、并发资源以及硬盘资源进行分配和调节至关重要，应为高级别的业务提供预留的资源，避免资源竞争而导致服务质量下降或服务失效。随着万兆以太网(10 Gbit/s Ethernet，10GE)和以太网光纤通道(FCoE)[7]技术的成熟和普及，可以将FC+以太双网进一步合并为10GE ISCSI或更高性能的FCOE单网，以实现真正意义上的统一存储。

3 总结

统一存储的出现已有不短的时间，但在网络制播中的应用却是全新的课题。本文从统一存储的概念出发，通过对其可用性、性能、利用率、扩展性等关键指标的研究，为系统构建建立一套适用的参考体系。网络制播应用统一存储，可在单一架构中充分融合FC存储技术和IP存储技术[8]，有效解决多业务需求带来的管理分散、共享困难问题，大大提高存储资源利用率和整体性价比，这也将是未来电视台网络系统规划建设的一个重要方向。

[1] SOMASUNDARAM G,SHRIVASTAVA A.信息存储与管理[M].北京:人民邮电出版社,2013.

[2] 王纪奎.存储从入门到精通[M].北京:清华大学出版社,2009.

[3] 张冬.网络存储系统原理精解与最佳实践[M].北京:清华大学出版社,2008.

[4] 郭玉东,尹青.基于对象的网络存储[M].北京:电子工业出版社,2007.

[5] 杨传辉.大规模分布式存储系统:原理解析与架构实战[M].北京:机械工业出版社,2013.

[6] 徐威.数字电视网络制播技术[M].北京:中国广播电视出版社,2008.

[7] 周宏飞.电视台网络化制播业务中的存储选择[J].现代电视技术,2012,(S1):64-67.

[8] 韩德志,余顺争,谢长生.融合NAS和SAN的存储网络设计与实现[J].电子学报,2006,(11):2012-2017.

责任编辑：哈宏疆

Research of Key Specifications on Unified Storage & Application in Network Production and Broadcasting

XU Xu

(OfficeoftheChiefEngineer,JianhuRadioandTelevisionStation,JiangsuJianhu224700,China)

In view of the optimization and integration of storage systems in Network production and broadcasting, together with the rapid development of the storage technology, to cater to the requirement of data access, this essay systematically conducts a research of key specifications on unified storage. Based on the research, can solve the problems of architecture designing and equipment selection, to ensure that the unified storage applicated in Network production and broadcasting can be high availability, high performance, high utilization and high scalability, finally realize storage resources sharing and used efficiently under the centralized management.

unified storage; network production and broadcasting; specification; application

TN948.11

A

10.16280/j.videoe.2015.24.018

2015-07-16