天津广播电视台“新闻云”存储系统的设计与扩容
2020-12-31韩雪
韩 雪
(天津广播电视台 天津300074)
天津广播电视台高度重视互联网技术在广播电视领域的创新应用,大力支持广电利用先进技术驱动新闻创新,以科技创新推动智慧广电建设。本文探讨了天津广播电视台“新闻云”存储系统搭建的技术需求与方案,并对后续的2次扩容及改造后的新闻制播系统进行简要介绍,以期为其他“新闻云”系统建设提供经验。
1 系统搭建背景
2017年前天津电视台有2个部门进行新闻节目制作:早期成立的新闻部,制播机房在数字大厦3~4层,节目在卫视频道播出;2013年成立的新闻频道,制播机房在数字大厦 7~8层,节目在新闻频道播出。
随着融媒体的发展,2个部门之间的联系与协作越来越多,但由于分别使用两套制播系统,无法在文稿和节目资源管理器中方便地共享素材资源。资源互通时经常需要工作人员跑上跑下,沟通不便,效率低下。2017年2个部门进行了合并,制播系统的整合也势在必行。原新闻部制播系统已投入使用 6年有余,设备老旧,故障频出,在网络部精心维护下得以继续使用,但已严重威胁播出安全;原新闻频道制播系统投入使用 4年以上,技术不够先进,无法满足新闻频道日益发展的节目制作需求。在这一背景下,2017年,“新闻云”系统应运而生。在设计方案和用户需求中,要求新系统素材存储量大,可供同时访问的人数多,这对存储系统的容量、安全性、响应速度等方面的要求更为严格,因此在技术选择上需要更加严谨与有所创新。
2 “新闻云”存储系统建设的技术需求
2.1 容量需求
结合新闻频道节目制播需求,拟建设 720TB裸容量数据存储系统,主要存储原始采集素材,回采成片,共享资料,以及收集管理节目编辑的工程文件等内容。
2.2 吞吐量需求
为满足多用户在线使用以及系统应用整体的吞吐带宽需要,保证数据、信息等访问的流畅性,存储系统需要实现高吞吐的带宽设计,从而提供多用户或应用并发访问。该系统能够有效利用网络带宽,各项性能可通过规模增加实现平滑增长。
2.3 扩展性需求
系统的建设同样需要考虑未来适用的要求,新闻频道的素材积累量大,业务应用也会相应变化和发展,因此,需要系统能够快速实施资源的升级,从而在业务与服务不间断的状态下平滑扩展,不会导致架构发生根本性变化,为不断产生和变化的业务需求提供持续的支持,满足业务系统的快速整合和部署对核心系统基础架构的特别需求。
2.4 低成本需求
要求系统能够以低硬件成本、低维护成本实现高可靠高性能应用要求,充分提高资源利用率,简化管理,并能灵活、可持续扩展。
2.5 可维护性需求
要求系统具有自适应管理能力,安装、维护、升级简易方便,提供统一易用的 WEB配置管理监控系统,实现智能化管理。
2.6 接口需求
由于新闻制播系统的特殊性与综合性,系统应能够提供通用的文件系统接口,方便用户及应用系统的访问,这样可以减少应用集成端口以及相应端口开发的工作量,实现系统快速部署与集成。
3 Isilon技术特点发挥的作用
Isilon集群存储具有开放式架构、分布式操作系统,负载均衡、易于安装和管理,性能好、可靠性高,能在线扩展容量和带宽等优点,成为适应“新闻云”需求的存储系统。
3.1 开放式架构
开放式架构是硬件层面的一个概念,是指将集群系统中多台本身性能较差的个体服务器聚合起来,使集群的最终处理能力比高端服务器更好。这种类似于“搭积木”模式搭建起来的系统采用的就是开放式架构。与之相对的是 scale-up 架构,是指设备处理能力上限在购买时就已确定,如果需求超过上限,只能重新购买更高性能的设备。
开放式架构意味着灵活多变,能够通过增加节点,不断提升系统整体性能,在充分利用原有资源节约改造成本的同时满足频道日益增长的需求。
3.2 分布式操作系统
OneFS既是操作系统又是集群存储的文件系统,Isilon存储通过OneFS的同步功能,使各节点达到真正的全局一致性,每个节点都能处理读写请求,有效解决了访问文件系统时发生的单点故障。
比较之前新闻部和新闻频道存储都使用卷管理和 raid技术管理保存数据的方法,OneFS将数据分布到系统的每一个节点,提高了磁盘空间利用率,改善了老系统中存在的节点等级差异和内在瓶颈。
3.3 统一命名空间
OneFS使用 Infiniband交换机进行集群内通信和同步,将所有数据(包括元数据)完全并行分布到所有节点中,创建一个共享存储池,将数据整合到真正的单一文件系统 OneFS 中,系统的单一性决定了它不会出现跨lun引发的性能问题。
比如之前新闻频道EMC存储出现的多个lun在不同控制器之间transpass,造成前端读写出现丢帧现象。
3.4 负载均衡
存储还内嵌许多程序模块,SmartConnect 模块非常符合制播业务需求,主要用作均衡负载。以 8个节点为例,写入数据时从8个结点中选择出目前最闲的结点来接收此次读写请求的文件,这个文件到了结点之后,并没有立刻写到磁盘上。此时OneFS会把这个文件自动分成8个小块,通过后端IB交换机的内存级别拷贝功能把 8块数据分别写到其他节点各自的硬盘上。充分利用了 Infiniband的带宽高、网络延迟小的优势,提供非常高的读写性能,避免在节目制作高峰期前端读写延时、卡顿的现象发生。
3.5 N+M的数据保护模式
Isilon可以提供结点级的容错,以 5个节点为例,使用 3+2数据保护模式,向存储系统写入一个文件时,该文件数据会被分成 5份分别存储到 5个节点,即使 2个节点的所有硬盘全部宕掉,整个文件数据仍然能够完整恢复。这种基于文件系统的节点级的容错,与之前的 raid技术有着本质的区别。这种N+M数据保护模式最高提供4个节点的容错能力。
这与其他产品容错机制完全不一样,数据保护级别可以在线更换,数据仍然是完整的。该特性极大程度地保证了节目素材的安全性。
4 系统组成
新闻云存储系统搭建时,软、硬件配置如下:
硬件,5个存储节点(X410-144TB/64GB/2X10 GESFP+2X1GE),2台 Infiniband交换机(Switch IB QDR 36 Port 1PS 1U Intel)。
软件包括 SmartConnect Advanced、InsightIQ、SmartQuota,分别提供动态客户端负载平衡功能、集群监控功能、配额限制功能。
每个X410节点配置36块4TB SATA硬盘,总体裸空间为 720T,使用 3+2数据保护模式,实际可用空间520TB,配置2个千兆和2个万兆网络接口。通过Infiniband高速网口,链接36口的Infiniband交换机,用于节点间内部数据互联互通,通过万兆网口连接核心交换机,为生产网提供业务数据读写访问。
5 存储扩容
随着频道升级改版,节目播出时长大为增加,目前,新闻频道全天有 11档直播节目,每日直播时长增加到 12h,还有部分周播录播节目在网内制作。而且随着采播技术高清化的全面落地,节目素材越来越清晰,制播系统所需存储空间量也越来越大,同时在线读写访问用户数量也在增加。
为了满足频道的使用需求,网络部结合使用利旧设备和新采购设备,先后对存储系统进行两次扩容升级改造。第一次扩容,于 2017年 6月增加 2个同型号同配置的 Isilon存储节点,为全运会利旧设备;第二次扩容,于2017年12月增加4个同型号同配置的Isilon存储节点,为索贝新购设备。
扩容工作内容主要包括集群内外部网络架构、集群网络配置规划。
5.1 集群网络架构
Isilon集群存储网络架构主要分为内部网络和外部网络。
5.1.1 内部网络架构
内部网络由 Infiniband高速网络互联。每个X410节点的 2个高速网口分别接入 2个Infiniband交换机,如图1所示。
5.1.2 外部网络架构
每个X410节点2个万兆网口接入核心交换机。扩容后外部网络架构图如图2所示。
5.2 集群网络规划
集群SVIP(对外提供服务的统一IP地址)不变,延用原来的172.27.124.10。对新增X410节点的2个万兆网口进行网络IP配置,扩容后万兆IP地址段为172.27.124.11-172.27.124.32。
图1 扩容前后内部网络架构对比图Fig.1 Comparison of internal network architecture before and after capacity expansion
图2 扩容后外部网络架构图Fig.2 External network architecture after capacity expansion
图3 存储实际可用空间示例图Fig.3 Diagram of actual available storage space
5.3 性能提升情况
基于 Isilon集群存储的技术优势,2次扩容均在不影响客户端使用的情况下进行,相比于原新闻部的CX-960存储,原新闻频道的 VNX-5700存储、新闻云 Isilon存储系统容量大幅提升,如图 3所示。扩容后,整个Isilon存储系统共配置11个X410节点(包括 22个千兆和 22个万兆网络接口,396块 4G硬盘),2个 Infiniband交换机。在第 2次扩容时,在线将数据保护模式改为 8+3,可用空间 1.4PB。以一个Isilon存储节点对外存取带宽500MB/s计算,系统内11个节点的总带宽共5500MB/s。
6 结 语
扩容后的新闻云存储系统,是一个由11个EMC Isilon X410节点(每个节点包括36块 4GB SATA硬盘,2个千兆网卡,2个万兆网卡),2个infiniband交换机组成,并定制安装了SmartConnect Advanced(动态客户端负载平衡功能)、SmartQuota(配额限制功能)、InsightIQ(集群监控功能)软件的,基于开放式架构,使用分布式操作系统,统一命名空间的存储系统。它拥有易于安装、配置,便于管理、扩容的优点,并且在负载均衡、系统性能、数据安全方面有卓越表现。相比原来的存储系统,新集群存储系统提供大容量存储、高带宽读写,在线扩容、更改保护级别外,有效提高了磁盘空间利用率,解决了lun在不同控制器切换带来的访问隐患,避免了读写单点故障,合理均衡了多用户使用的负载情况。自 2017年上线后,除操作系统升级、硬盘等硬件的更换维护,一直平稳运行,从未出现过安全事故,为新闻节目的高效制播提供了保障。