节目制作存储网络的构建
2023-11-05郝文杰唐嘉坤
郝文杰,唐嘉坤
(《人民铁道》报业有限公司,北京 100038)
0 引 言
近年来,随着高清、超高清节目的普及,早期建设的后期制作系统在存储容量、访问速度及系统架构等方面已经不能满足高质量节目制作的需求。广电行业节目制作机构需要不断优化后期制作存储网络,以满足专题节目、广告以及片头片花包装等节目的生产[1]。为此,本文通过分析后期制作存储网络的构建过程,探索搭建高效存储系统的方法和途径。
1 存储相关技术
目前,广电行业常用的高性能共享存储技术包括StorNext 和Xsan 等。它们有效解决了不同操作系统访问同一存储资源的问题,提高了访问速度,同时兼容原有系统[2]。
1.1 StorNext
StorNext 技术是由Quantum 公司开发的一种高性能、高可靠性存储和数据管理解决方案,用于处理大规模数据的存储、共享和访问。
StorNext 技术采用了分层存储架构,可以将数据存储在多个层级中,包括高速磁盘阵列、磁带库及云存储等。这种架构可以根据数据的访问频率和重要性,自动将数据迁移到合适的存储介质上,从而实现对数据的高效管理和利用[3]。它还提供了高速的数据传输和共享功能,支持多个工作站同时访问存储系统,可以实现多个用户之间的协作和数据共享。StorNext 提供了高速的数据传输速度,可以满足大规模数据处理和传输的需求。
此外,StorNext 技术还具有高可靠性和容错性。这主要得益于它采用的数据冗余和错误检测与纠正技术,可以保护数据免受硬件故障和数据损坏的影响。StorNext 还提供了数据备份和恢复功能,可以帮助用户保护数据的安全性和完整性。
1.2 Xsan
Xsan 是苹果公司开发的一种存储区域网络(Storage Area Network,SAN)技术,允许多台计算机通过高速网络连接共享存储设备,提供高性能和可靠的存储解决方案。它基于标准的光纤通道(Fibre Channel,FC)网络,可以扩展到数百个计算机节点和数百太字节的存储容量,支持多种操作系统,包括苹果公司的MacOS 和微软公司的Windows操作系统[4]。
Xsan 提供了高效的文件共享和数据传输功能,可以支持多个应用程序同时访问共享存储,还提供了高级的数据保护和容错机制,包括磁盘阵列(Redundant Arrays of Independent Disks,RAID)和快照功能,以确保数据的安全性和可用性。
Xsan 还具有灵活的管理和监控功能。管理员可以通过图形界面或命令行工具对存储系统进行配置和管理,还支持远程管理和监控,可以方便地进行远程维护和故障排除。
1.3 StorNext 与Xsan 的兼容
StorNext 和Xsan 都是用于高性能共享存储的技术,它们之间有一些区别[5]。比如,StorNext 可以在不同操作系统之间共享存储资源,包括Windows、Linux 和MacOS 等,而Xsan 主要在苹果公司的操作系统上运行,对于其他操作系统的支持相对有限;StorNext 的配置和管理相对复杂,需要专业技术人员进行操作,而Xsan 的配置则相对简单,用户可以快速上手并进行操作。
StorNext 与Xsan 也是可以兼容的。StorNext 可以通过安装软件授权到服务器中的方式,在Xsan方案中进行应用。一些大型系统集中了MacOS 终端的Xsan,也可以无缝链接到StorNext 方案。
2 共享存储网络的构建
鉴于现有的存储技术,结合《人民铁道》报业有限公司工作站以MacOS 操作系统为主,且后续可能引入Windows 系统的特点,本文在构建共享存储网络时选择了苹果Xsan 存储解决方案,并使用了带有StorNext 技术的存储服务器。本文设计的存储网络拓扑如图1 所示。
图1 存储网络拓扑图
2.1 系统架构
系统设计采用FC 和以太网相结合的双重网络结构,配置独立的存储,所有设备都可以通过光纤访问存储设备,管理信息则是通过以太网传输[6]。现接入网络的设备有高清工作站6 台,4K 工作站2 台,均为苹果MacOS 系统。
系统配置了安装有StorNext 服务的元数据控制器(Meta Data Controller,MDC)服务器和轻型目录访问协议(Lightweight Directory Access Protocol,LDAP)服务器。其中,MDC 服务器负责管理工作站对网络存储的访问。网内的Mac 设备通过MDC控制器协调各个终端对存储的访问,与访问本地高速存储一样便利稳定,实现了高码流实时读/写各类素材。MDC 服务器的配置如图2 所示。
图2 MDC 配置截图
LDAP 服务器将开放目录、当前目录和LDAP整合,使用Open Directory 目录管理系统对用户和数据文件进行管理,通过对用户的空间配额、操作权限、共享资源进行配置,灵活处理用户的访问权限,满足不同用户对文件安全使用的要求,同时可以直接对群组进行访问策略设置,减少系统维护开销。它的主要特点是具有灵活的文件访问权限(访问控制列表)及兼容各类资源管理工具的功能。Open Directory 系统配置如图3 所示。
图3 Open Directory 配置截图
系统中的存储阵列支持在线RAID 动态扩展和在线RAIDLevel 迁移,不会影响原始磁盘阵列数据。每个磁盘阵列系统提供400 MB·s-1的带宽,使用RAID5 连接确保数据安全,提供高达270 TB 的存储空间。
2.2 系统存储服务器的配置
存储服务器是整个网络的核心,正确的配置较为重要。本文主要以Linux From Scratch-6.2 手册和Beyond Linux From Scratch-6.1 为指引,制定基础平台上所要配置的软件包,再按照手册的配置方式,按程序逐个配置。由于系统不支持rpm 或apt等程序包管理方法,使得已安装的程序包并不便于卸载。为处理该问题,在操作系统中设置了uninst 软件包,使操作系统能够在装载软件包后自行产生卸载脚本,从而便于日后软件包的卸载和升级更新。
在内核方面,系统增加了iptables 所需的防火墙功能,选择了Cramfs 文件系统对压缩文件操作系统的支持,为文件操作系统的压缩工作做好准备。
2.3 系统使用的剪辑软件
剪辑工作站使用Final Cut Pro 软件。这是一款专业的4K 视频剪辑软件,适合从爱好者到好莱坞制片大师的任何人。Final Cut Pro 软件最新版本引入了对象跟踪器功能,可匹配面部和对象的移动。对于在iPhone13 等机型上使用电影效果模式拍摄的片段,该软件最新版本还增加了调整这些片段的功能。利用Motion 功能,可以生成精彩的字幕和特效,并在Final Cut Pro 软件中进行访问。除了支持对象跟踪器以及在iPhone13 等机型上使用电影效果模式拍摄的视频以外,Final Cut Pro 最新版本还新增了一个霓虹滤镜,可向文本、形状、视频和静止图像等对象应用霓虹光晕效果。
Final Cut Pro 软件中的Compressor 功能提供了强大的编码工具,能够创建定制输出设置,并充分利用多台Mac 计算机的强大处理能力。Final Cut Pro 软件最新版本支持监视文件夹功能,可对添加到文件系统中选定文件夹的视频进行编码。
另外,Final Cut Pro 软件还可以在搭载M1 Pro和M1 Max 芯片的MacBook Pro 上,实时播放最多7条8K ProRes 的视频流,以最快达5 倍的速度分析对象跟踪的动态。
Final Cut Pro 软件可将视频自动修剪成正方形、竖屏或任何自定义尺寸和形状,极好地适应不同社交媒体的需要。
2.4 系统解决的问题
存储系统的成功搭建,解决了访问速度瓶颈的问题,解决了不同系统的兼容问题,包括操作系统的相互兼容(Windows 系统与Mac 系统),以及不同文件系统的相互兼容。
X86 和ARM 是苹果公司在不同时期产品的体系结构。由于使用的文件系统不同,导致它们难以共享存储资源。X86 体系结构采用的是复杂指令集(Complex Instruction Set Computing,CISC),而ARM体系结构采用的是精简指令集(Reduced Instruction Set Computer,RISC)。在指令集方面的差异,使得两种体系结构的设计有着很大的不同,无法在硬件层面直接互通。此外,X86 和ARM 的寄存器和内存布局差异也是两者难以共享存储资源的因素之一。
新建的网络存储很好地解决了这一问题,将X86和ARM 架构的工作站作为节点加入系统中,通过资源管理和调度机制,实现资源的共享和协作。
除了解决苹果公司不同时期产品的共享问题,新建的系统还具有拓展功能,能够为以后Windows操作系统的终端接入提供必要的条件。
2.5 系统测试
为了检验该后期制作存储系统的性能,技术人员对系统开展了满负荷运转测试,让系统中的所有工作站同时工作,访问存储中的素材,测试系统的平滑程度,检测系统和网络状态等。经验证,构建的系统能够在实现储存、剪辑等功能的同时实现资源共享,较大地提升了节目制作的效率,达到了设计目标。
3 结 语
后期制作存储系统实现了资源的共享,同时支持部署Mac 与Windows 等操作系统的工作站,提高了超清和超高清节目的后期制作效率,满足了当下广电行业的需求。在这一平台上,如果加入人工智能(Artificial Intelligence,AI)处理引擎,将可以实现人工智能审片、字幕校准等功能,更好地服务于节目制作。