VMware超融合架构技术在广播电台中的应用
2022-10-08王国辉
王国辉
(郑州广播电视台,河南 郑州 450018)
0 引 言
随着广播电台对数字音频网络的依赖性越来越强,数据已经成为业务的核心。随着音频数据量的不断增长,当达到数十TB时,数据备份和恢复操作对服务器硬件的依赖和影响就越来越大。另外,普通存储阵列容量的扩展,会造成业务系统的停机,对于要求7×24小时服务的关键网络系统来说,降低了整个系统的高可用性。
各类业务的全面网络化使得数据规模越来越大,相关的数据流占用了过多的资源,选择合适的系统架构具有非常重要的意义[1]。郑州广播电视台自2003年开始构建数字音频网络系统,历经了DAS,NAS,SAN等多种架构。媒体融合的快速发展对广播技术系统提出了新的更高的要求,这些传统的技术架构已经不能满足广播业务快速发展的需求。广播和互联网的融合越来越紧密,媒体融合的主战场已经到了互联网,这就要求广播的技术平台具有高效、灵活、安全等特性,以高可用音频服务器为中心,为音频编辑站、音频管理站和音频播出站提供查询、播出及储存等服务。电台开展业务的技术架构,由原有的物理方式转向虚拟化平台,但是普通的虚拟化架构成本较高,不利于广播中心的推广使用。为进一步降低数据中心的复杂性并提升扩张能力,郑州广播电视台采用了VMware超融合架构解决方案,较好地满足了广播电台业务发展的技术需求。
1 VMware超融合架构及特点
服务器虚拟化即将服务器物理资源抽象成逻辑资源,使一台服务器变成几台甚至上百台相互隔离的虚拟服务器或者将多台服务器虚拟成一台服务器,不再受限于物理上的界限,使CPU、内存、磁盘、I/O等硬件部分能够根据实际情况合理调配资源,充分整合资源、利用资源、集约化管理。这就是服务器虚拟化的意义。
VMware超融合架构是VMware公司根据广播电视台的特点,基于服务器虚拟化和分布式存储技术,将计算、存储和网络集成于X86服务器之中,为电视台提供硬件与软件一体、产品与服务一体的超融合存储[2]。它不仅构建了一个随需扩展的数据存储中心,还整合了数据库、域控、安全及备份等功能模块,并进行统一管理,大幅度降低规划难度,提升效率,节省成本[3]。该架构主要有5个方面的特点。
(1)高扩展性。架构采用领先的分布式存储系统,支持500个以上的存储网关线性扩展,单一文件系统容量可扩展至32 PB;每个系统节点可以单独扩容、分布实施,充分利用之前的硬件设备,系统弹性好。
(2)高可用性。通过硬盘冗余、数据冗余等安全技术,提高了系统整体可用性,保证了业务连续性。
(3)可靠高效的数据保护技术。系统采用数据冗余技术且使用分布式存储,如果出现故障,能够迅速恢复业务,充分保证数据安全。
(4)统一协议存储。存储网关本身融合有文件服务器,支持NFS、FTP、SMB等标准网络协议[4]。
(5)易管理。通过虚拟化软件,能够根据具体业务的需求变化,及时对硬件资源统一分配管理,方便快捷,易于维护。
2 VMware超融合架构在郑州广播电视台的应用
郑州广播电视台广播中心之前历经了DAS,NAS,SAN等多种架构,采用服务器+磁盘阵列的方式提供存储服务。在日常使用中,假如磁盘阵列或服务器宕机,会造成业务长时间中断,数据恢复困难,同时也给安全播出带来了巨大的挑战。作为省级的广播台,随着媒体融合的不断发展,郑州广播电视台对业务系统的快速改变上线应用的要求也越来越高。因此,对整个广播业务系统架构的设计,既要满足目前的使用需要,又要能够灵活调整、弹性扩容,为多业务的并行运行保驾护航。
在系统整体升级更新后,郑州广播电视台广播自动化播出系统采用VMware超融合技术。本次方案的服务器部分由于采用了虚拟化技术,支持动态扩容,包括计算资源(CPU)、缓存(memory)、存储(硬盘、阵列)等的动态添加;支持应用服务器的CPU、内存、存储资源“按需分配”、动态调整。后续业务有增加的情况下,可以直接在现有平台上添加一个“应用服务器”即可,不需另外单独购买硬件服务器。整体架构及网络拓扑分别如图1和图2所示。下面详细叙述具体实现。
图1 超融合整体架构
图2 郑州广播电视台基本网络拓扑图
2.1 服务器部分
为保证生产环境的正常运行以及在特殊情况下业务的连续性,关键业务服务器一般要求至少有2台,为“主+备”状态。特殊情况如硬件故障、掉电、其他原因引起的宕机等,在主业务服务器不能正常提供服务的情况下,要求备服务器能够尽快接管业务,保证系统的正常运行。
关键业务服务器包含制作服务器2台,广告服务器2台,媒资服务器2台。
2.2 存储部分
由于存储部分涉及制作、广告、媒资的视音频的存储,要求存储容量越大越好。存储部分具体分为制作网存储,广告网存储以及媒资网存储。
2.3 文件服务器部分
业务服务器、工作站等需要以FTP、CIFS等方式读写文件,因此还需要提供FTP服务器、SMB服务器等,提供标准的FTP、CIFS访问服务。根据实际情况,制作网、广告网及媒资网均需配置FTP服务器和SMB服务器。
具体架构是:采用2台高性能物理服务器EDI-9000热备,通过“虚拟化技术”虚拟出6台应用服务器,采用基于Web的界面对存储设备进行配置管理。系统配置工作简单明了,流程清晰。系统能够提供远程告警。存储部分,同时采用最先进的分布式存储技术,将2台物理服务器上的所有大容量硬盘管理起来,形成统一存储池。扩容后新增存储物理容量48 TB,数据经过多极冗余,分布式备份存储,提高安全性,多个副本同时在线。强大的备份恢复机制,确保数据的安全,对广播业务至关重要。对于广播电台高可用性的要求,VMware硬件层基于RAID技术,组建RAID5+1后,有效容量约40 TB,软件层基于SDS文件系统、文件多副本技术冗余后,实际可用容量约20 TB,这是一个高可用性、易扩展的系统。郑州广播电视台采用这种架构,有利于系统的纵向及横向扩展,前期投资建设时系统可部署得比较小,根据后期业务的发展和系统资源使用情况,可以非常方便地在线扩容,数据无需离线,保障了系统的正常使用。
基于算法的快速定位技术,系统能够迅速查找定位问题数据,从根本上解决元数据管理这一难题,从而获得近乎无限规模的线性高扩展性,同时也大幅提高了系统性能和可靠性。集群中任何节点,只需要相对路径和文件名就可以对数据进行快速定位和读写,无元数据交互过程,文件定位可以独立并行化进行。系统配置了8个千兆网口,实际带宽可达400 MB·s-1以上。原有存储可作为“备存储”来使用,通过EDI-9000超融合存储的“备份模块”自动同步主存储数据,原有的系统作为二级备份。采用超融合架构以后,使用简单的统一资源管理,改变了传统的IT运维模式,配置管理变得简单,降低了技术人员的劳动强度,提高了工作效率。更重要的是能及时响应快速变化的业务需求,新的应用可以快速部署到超融合系统中。
3 VMware超融合架构的应用优势
郑州广播电视台建设的这套系统,支持Windows、Linux环境下提供高稳定性、可靠性数据存储能力,特别适合电台音视频文件系统的传输存储。以前系统的瓶颈在于多种系统间文件系统不一致,多种传输协议资料存储协议共存相互转换,降低了系统整体的性能。而VMware超融合架构所使用的是存储设备自己的文件系统、TCP/IP over GbE数据传输协议,统一了协议标准,提高了数据存取效率。存储网络和用户网络可采用10 GbE聚合,保证素材读写流畅,不卡顿、不丢帧。存储素材量巨大、多人协同制作时,单个节点可以提供1 GB或更高的读写带宽,能够保证带宽需求。这有利于对电台媒资库进行大容量音频数据资料调取使用时,可以跳过客户机的文件系统进行存取,降低了服务器磁盘块(Block)I/O的存取压力[5]。
采用超融合架构后,客户端主机的中央处理器只用处理应用业务系统,脱离了文件系统和硬件系统,简化了数据流程,缩短了数据程序流程的执行时间。同时,采用超融合系统架构,硬件层面通过集群管理,软件层面通过多副本、分布式存储,消除了系统的单点故障,单个设备出问题不影响业务的正常开展[6]。这对于广播电台的播出、审听等实时音频流的应用非常有利,提升了客户端音频上传、下载、审听等使用场景的体验感,提高了工作的效率。
4 VMware超融合架构的安全保护策略
本方案中,对于数据存储,有如下安全保护策略。
(1)使用集群和多副本冗余保护模式,用户根据应用业务类型综合考虑来选择配置模式,从而可以实现数据高可靠和存储服务持续化。
(2)集群节点故障后,正常节点将自动接管故障节点的连接,保证业务不中断,并通过系统修复策略管制,可确保节点故障对业务性能无影响。单块硬盘出现故障时,系统监测到故障盘后,热备硬盘自动替换并开始恢复数据。
(3)集群之间可实现自动或手动负载均衡,保证各个节点容量与性能基本一致。系统可实现不停机的在线扩展,大大缩减或消除计划内的停机时间。
(4)多副本技术可以以正常数据为源数据,复制并恢复丢失或损坏的数据副本;纠删码保护技术可以通过存储的冗余数据信息来重建丢失或损坏的数据,进一步加强对数据的保护。
(5)系统设计以负载均衡模式工作,如果某个设备故障,其他节点自动接管,保证业务的连续性。此过程中,数据存取正常,客户端感受不到任何变化。
(6)可以对用户或用户组设置存储容量配额,调整灵活,管理方便。
这些安全保护策略,确保了电台最重要的数据资源的安全可靠,提高了系统整体的可用性。
5 结 语
在广播业务快速发展的当下,基于IT技术发展而来的“超融合技术”,满足了郑州广播电视台不断发展的业务需求,通过计算、存储虚拟化技术和管理,降低了系统复杂度,使得技术维护人员能够方便地管理。通过图形化管理工具,能够图形化直观显示计算、存储、网络等资源配置,简化了技术操作流程,降低了维护复杂度,提升了工作效率,同时也节约了系统软硬件成本,能够推动媒体融合业务的快速发展。