档案影片云修复基础技术测试研究

刘佳楠

中国电影科学技术研究所 (中央宣传部电影技术质量检测所),北京 100086

1 引言

近年来随着大数据、机器学习等新一代信息技术在电影行业应用的持续深化,加之高分辨率、高新技术格式影片制作需求激增,电影数字化修复领域在图像处理和声音修复技术方面也开始呈现智能化发展趋势。伴随新老技术迭代,在质量与效率双双提升的同时,相应修复工艺的数据处理量也产生极大增长。面对高分辨率素材数量增多、图像渲染和人工智能修复对算力的新要求以及高新技术格式、多版本存档技术指标提升,现有独立运行的电影修复系统,越来越难以在成本和需求之间找到平衡。而云修复概念的引入,或可突破行业瓶颈,为增强修复算力、提升修复能力、扩展修复模式提供新思路。

云修复可看作影视云制作的一类特殊应用场景,将传统修复中的数据存储与计算从本地系统中迁至远程云端,借助云端基础设施和通讯网络,增强数据计算、交换与协作能力,为胶片电影数字化修复提供更加高效和低成本的工作模式,以满足高新技术格式、智能化修复需求。为摸索这一创新应用的相关基础技术,本文进行了实际测试研究。

2 测试系统的搭建

云修复的基本流程是从胶片数字化后的文件上传云端开始至修复完毕。在云上实现损伤修复、编辑、调音调色、声画合成、打包输出和鉴定入库等工艺环节。按照这一流程,测试分别在公有云和私有云两种部署模式中进行,并设计了多个系统搭建方案,旨在通过对测试结果的比对分析,探求云修复的可行依据和其中存在的技术问题。

2.1 云修复运行方式设计

2.2.1 云桌面类

测试选择了两种不同协议的远程桌面,以验证其用于云修复的可行性。一种是微软的Windows RPD 10远程桌面;另一种是阿里云最新推出的无影云桌面,采用的是Citrix公司的ICA/HDX协议。

表1 远程桌面对比

表2 阿里无影云配置详情

2.1.2 原生C/S(Client/Server)架构

原生C/S(Client/Server)架构是从底层开始将应用程序设计成由服务端 (Server)和客户端(Client)两部分组成的分布式系统。原生C/S架构能够充分发掘云端设备和客户端设备的潜力,发挥各自优势,优化任务分工,具有性能优化强、灵活性高和安全性强等优点。由于目前尚无商品化的原生C/S架构修复软件系统可供测试,本项研究采用自主研发的Lion修复软件改编了一个测试模型Lion Cloud,并通过两台图形工作站以及数字专线模拟成修复私有云部署,进行了初步测试。Lion Cloud系统框图如图1所示。

图1 Lion Cloud系统框图

2.2 网络连接的方式

修复过程的所有数据以及客户端人员操作的指令均依靠网络传输到云端机。因此,云修复系统的网络环境是决定该系统能否实际应用的关键因素之一。本文选取了不同类型的网络,模拟云修复系统在实际应用中可能涉及的网络环境,考察网络条件对实现云修复系统的影响。包括:

(1)本地局域网,实验室千兆局域网;

(2)SDH专线,100Mbps带宽,点对点数字专线;

(3)互联网,单位局域网,400Mbps;

(4)互联网,家庭宽带A,300Mbps;

(5)互联网,家庭宽带B,500Mbps;

(6)移动网络,5G移动网络。

2.3 8种云修复模拟系统搭建方案

本文从最基本的系统构成要素开始,将不同部署类型、网络条件和远程连接方式进行组合,逐步丰富系统搭建元素和复杂性,形成8种云修复模拟系统的搭建方案,见表3。

表3 云修复模拟系统搭建方案

2.4 测试所用软件及素材

所用软件为Da Vinci Resolve 16/17、DustBuster+12.5和Lion/Lion Cloud等;所用素材为彩色影片,分辨率2048×1556,dpx序列。

3 云修复系统功能测试

3.1 测试目标

虽然云修复系统本身性能的考察与应用程序基本无关,但由于修复软件的运行对平台有一定要求,仍需要进行功能测试。测试目标包含以下三方面:

(1)确定设备是否连通;

(2)确定软件是否可安装和能否正常运行;

(3)确定是否能走通完整的修复工艺流程,包括:素材上传、编辑、画面及声音修复、调色、校验 (质量鉴定)、下载等。

3.2 测试过程及结果分析

经调试,8个模拟系统均通过测试。可实现设备连通、软件安装及运行,并走通影片修复的基本工作流程。

3.2.1 软件方面

三款专业软件在测试系统中均可正常安装及运行,能够实现影片数字化修复的基本功能。测试表明,修复软件对云端设备的显卡版本和操作系统有一定要求,决定软件安装与运行的影响因素主要集中在软硬件兼容性上,在配置系统时需格外注意。例如,在阿里云上安装DustBuster+时,其最新的13.1版仅支持英伟达cuda.11计算架构,而阿里云的计算服务器显卡驱动版本为cuda.10,导致测试只能安装使用旧版。同样问题也出现在Da Vinci Resolve的安装中。但不同的是,Resolve可通过软件设置使用OpenCL架构解决该问题。另外,在不同版本的RDP远程桌面互联测试中,两个RDP 10之间的互联时消耗带宽明显比使用RDP 7连接RDP 10要低。

软件授权方面,修复软件通常有激活码和实体密钥两类授权形式。在公有云测试中,两类软件授权均可在阿里云端使用。Diamant软件的实体密钥插在客户端上,通过无影云远程桌面可重定向到云端,与调色台映射办法相同。但本测试为一对一使用的简单修复场景,真正云修复模式应能够实现修复协同制作和资源共享。软件许可证授权将是云修复系统成熟落地应用所需解决的问题之一。

3.2.2 硬件方面

经调试,模拟系统均可实现设备连通和修复操作,但存在以下问题。

(1)修复制作环境

本地修复的监听、监看环境尚不能在云修复系统中实现。本地修复系统配置有专门的音视频接口卡来连接专业监视器,用于画面修复、调色和校验过程监看,以及连接专业还音设备用于声音的准确监听。而云修复系统中,以上设备与环境不能套用这套搭建办法,需采取折中方案重新构建监听与监看条件。

①云修复的监看方案

将客户端桌面通过HDMI输出到监视器上。在修复或调色过程中,可在监视器上显示整个软件界面。虽不能独立显示影片画面,但作为折中方案可实现画面内容及色彩的准确监看。

②云修复的监听办法

可以从HDMI分离出音频信号用于监听。

(2)公有云存储性能

本测试中租用的阿里无影云GPU实例,包含150GiB系统盘和150GiB数据盘,但具体存储类型未公布。测其读写速度如表4所示。正常播放2K无压缩修复素材,大约需要306MB/s。实测结果达不到2K修复素材播放与监看要求。当前有些公有云服务 (比如腾讯)可选配不同类型存储。若选择固态硬盘或可有效提升读写速度,达到更好效果。

表4 无影云存储测速

4 云修复系统性能测试

4.1 测试目标

通常,云服务商所提供的云端服务器均采取虚拟化技术,用户租用的主机为虚拟机而非真实物理机。电影修复对系统性能要求苛刻,实时修复即使在独占物理机上都无法完全避免丢帧情况,在云修复下可能更难保证,这是测试考察的重点之一。另外,影片修复涉及大量GPU运算,对GPU编解码能力要求高,这些都是可能对云修复操作产生不利影响的因素。因此,需要通过测试验证搭建的云修复系统是否能满足要求。

为充分了解云修复可达到的系统性能,本文依据测试结果从网络传输、网络时延、交互操作流畅度和声画质量四方面分析论述。

4.2 测试过程及结果分析

4.2.1 网络性能

网络性能主要通过测试传输速率、网络平均时延和路由跃点数来评价,同时进行交互操作流畅度实测。传输速率是影响云模式下修复数据显示、播放以及交互操作效果的关键因素,也是保证云修复模式操作可行性的基础。表5列出了8个模拟系统测得的数据平均上传和平均下载速度。此外,通过从修复客户端ping云端地址,记录两者之间数据包(32字节)的发送接收状况及往返平均用时,并通过跟踪路由探测途径跃点数,综合评估网络时延情况。由于网络性能的影响因素多且复杂,无法深入每个细节评估,在此只横向对比其网络条件。本地局域网数据在此仅做对照。

表5 网络性能测试数据

从表5中数据可以看到,100Mbps带宽专线的点对点传输最稳定,速率最快,平均时延仅4ms,上传、下载速率均在85Mbps左右,可流畅进行远程修复操作。这是当前一些影视云制作项目所采取的网络连接方式,具有可靠性好、效率高的优势,缺点是价格非常昂贵。两次5G移动网络测试数据反映出其网络稳定性很差。从客户端到云端,追踪跃点数量已超过30,其传输速率和平均时延多次测量结果差异很大,测得平均时延最小为37ms,最大为139ms。这直接导致远程修复难以操作。单位局域网速度最为稳定,平均时延仅7ms,且多次测量结果基本一致。家庭网络A和B传输速率相对稳定但分时段,用户多的忙时均有所下降。

从实测结果可知,除5G移动网络外,其余五种网络的传输速率或可满足远程修复操作,但在胶片扫描的海量数据上传方面仍存在很大压力。在云修复流程中,电影胶片经过数字化扫描后,应上传至云端以完成修复与存档。通常,胶片扫描后数据格式为10bit无压缩序列帧。一部90分钟、2K影片扫描源文件大约是1.5TB,若使用单位局域网将其上传至阿里云端,用时约为124小时,相当于5天。这样的低效率不能满足大规模修复制作。因此若要实现修复系统及工艺在云端真正应用,提升网络技术条件是关键问题。

4.2.2 交互操作流畅度

传输速率和网络平均时延从客观角度反映了不同网络的传输性能,以及对云修复系统运行可能产生的影响。交互操作流畅度则是从软件实际运行和人工操作角度出发,通过在8种模拟系统中进行2K影片修复测试,评估在云端实现修复人机交互操作和各项功能的可行性。

可用,修复各项功能的实际操作基本流畅。模拟 手绘笔刷有明显拖尾,界面操作可感知明显延迟。公有云1调色操作流畅。Lion和Resolve播放时有卡顿,Diamant可低速播放,偶有卡顿。模拟 不可用,修复各项功能的实际操作无法实现。公有云2网络不稳定,从运行软件开始所有操作 (鼠标滑动、点击、窗口缩放等)都很困难,无法使用。可用,修复各项功能的实际操作基本流畅。模拟 手绘笔刷有明显拖尾,界面操作可感知明显延迟。公有云3调色操作均有微小延迟。Lion和Resolve素材播放有卡顿,Diamant可低速播放。

交互操作流畅度评估,主要考察的是从修复人员发出操作指令到结果反馈在显示器上所需的时间是否能够满足人员的流畅使用。图2是云修复模式下,从修复人员发出操作指令到结果反馈的过程示意。分析该过程可看到,交互操作流畅度主要受两方面影响。一方面是网络带宽,主要影响操作指令、计算结果的传输,决定了客户端与云端之间数据传输能力。因此流畅度的评估与上节中网络性能测试结果可互为验证。表5和表6中数据反映出测试结果的一致性。可见提升带宽能够缓解网络本身延迟问题,但需考虑成本。另一方面,操作流畅度还取决于运算设备性能。它主要影响修复结果的计算速度、传输到客户端所需的编解码速度。性能配置是相对容易控制的。从本次测试结果可以看到,若排除实时播放等高要求,公有云服务器性能基本满足修复使用,而私有云在性能配置上更加灵活可定制。鉴于此,影响修复流畅度最大因素还是在网络条件方面。

表6 交互操作流畅度测试结果

图2 云修复操作与反馈过程的示意图

4.2.3 画面质量

(1)静态颜色编码准确性

旨在考察远程桌面方式下,修复画面经过编码解码传输后,在客户端显示的结果与原画面在色彩上是否有偏差。从而判断远程桌面方式的色彩准确性,衡量其是否可用于画面调色工作。

①测试工具

柯达2K色彩测试标板。(需注意标板为10bit图像,但显示器及远程桌面仅支持8bit,因此客户端显示并截屏后的测试图均为8bit。)

②测试方法

将测试标板分别显示在客户端本机桌面、RPD远程桌面和阿里无影云桌面上并截图。提取截图中测试标板各色块RGB数值,记录数据。计算每个色块在不同显示条件下的R、G、B数值差,即ΔR、ΔG、ΔB。若所有差值均为0则认为云端机的标板画面经编码、解码后传输显示至客户端上的结果为准确;若差值非0,则说明传输至客户端显示的结果不准确,即画面色彩有偏差。

③结果分析

RDP远程桌面测得结果中,24个色块中有5个色块存在微小数值偏差,偏差值均为1。说明显示过程中画面色彩没有真实还原。但偏差仅1bit,人眼不可察觉,因此并不严重。而阿里无影云桌面上24个色块均未检出偏差,说明色彩准确性良好。

表7 静态标板测试数据

12 164 0 121 0 55 0 164 0 121 0 55 0 13 41 0 56 0 140 0 41 0 56 0 140 0 14 65 0 121 0 67 0 65 0 121 0 67 0 15 166 0 50 0 49 0 165-1 49-1 49 0 16 177 0 150 0 56 0 177 0 150 0 56 0 17 161 0 75 0 132 0 161 0 75 0 132 0 18 57 0 108 0 161 0 57 0 108 0 161 0 19 177 0 181 0 215 0 177 0 181 0 215 0 20 149 0 155 0 186 0 149 0 155 0 186 0 21 121 0 126 0 149 0 121 0 126 0 148-1 22 91 0 95 0 111 0 91 0 95 0 111 0 23 64 0 65 0 70 0 64 0 65 0 70 0 24 36 0 37 0 36 0 36 0 37 0 36 0

(2)图像显示分辨率

旨在考察远程桌面方式下,修复画面经过编解码传输后,在客户端显示的质量与原画面质量在分辨率上是否出现偏差。从而判断远程桌面方式图像显示的准确性,衡量其是否可用于画面修复工作。

①测试材料

柯达胶片2K分辨率测试标板 (静态);自制的动态版测试标板 (长度1秒,偏移量x=400,y=50)。

②测试方法

在RDP远程桌面和阿里无影云桌面上,分别打开分辨率测试标板 (静态),观察标板清晰度并截屏(见表8中RDP栏和阿里无影云桌面栏)。在两种远程桌面上分别循环播放动态版测试标板,并截图(见表8中RDP move栏和阿里无影云桌面move栏),观察其清晰度变化。

表8 显示图像分辨率测试结果

③结果分析

为更清晰地反映测试结果,表8中仅展示了测试标板中1×1分辨率部分的截图。对比两个静态显示截图,RDP和阿里云桌面均可正常显示标版条纹,且肉眼对比与原图无差异。当动态播放标板时,可看到无论RDP还是阿里云桌面的显示均出现不同程度模糊。其中,阿里云的显示略有模糊但条纹仍分明,而RDP显示的条纹严重模糊,甚至竖向条纹已模糊成了色块。由此可见,在显示分辨率方面,静态条件下两者均效果良好,而动态显示条件下阿里云优于RDP。

4.2.4 素材播放

此项旨在评估公有云服务上进行修复结果监看与质量鉴定的可行性。通常,修复监看与质量鉴定应播放无压缩格式影片文件。但由于阿里云所提供的存储性能及网络条件均不支持无压缩格式播放,因此测试素材使用了H.264编码片段。

(1)测试素材:H.264 quicktime格式,分辨率1920×1080。使用该素材制作了不同码率的测试片段,码率由高到低分别为1、2、3号。具体数据见表9。

表9 测试片段码率

(2)测试方法:使用所内局域网由客户端登陆阿里无影云桌面系统。在云端使用Media Player依次循环播放三种测试素材,观察播放效果并记录。

(3)结果分析

素材播放是否流畅主要取决于云端虚拟机性能及共享存储性能。从影片播放到显示的过程分析,当虚拟机播放测试片段时,片段经解码后呈现在云端桌面上,然后经过压缩编码由远程桌面传输到客户端,再经客户端解码后显示在屏幕上。这一过程中,越高码率的片段编码复杂性越高,对虚拟机性能的要求则越高。从测试所用的无影云配置来看,理论上高中低三种码率的测试片段均应流畅播放。但实际测试发现,高码率片段播放时花屏、卡顿现象非常严重,其中摇移镜头更甚。中码率片段偶尔出现卡顿、丢帧等现象,低码率片段播放基本流畅。此外,在多次播放过程中,三个片段均出现过播放速度忽快忽慢状况,码率越高该现象越频繁。这主要是由于虚拟机性能的稳定性不够造成。特别是在上班时间繁忙时段进行播放,很容易出现此现象。推测为云服务共享特性导致的用户竞争,虚拟机性能下降,影响播放效果。

另外,公有云模拟系统的交互流畅度测试中发现,软件内播放素材时,三种网络的传输速率均未超过40Mbps,局域网和家庭网络B基本在25~35Mbps间波动。由此推测,阿里云内部网络对用户存在一定限速。

4.2.5 关于C/S架构的测试

除阿里云桌面没有开通公网IP无法部署外,该软件在本项目测试的其他模式中均可实现设备连通、软件安装和正常运行。

表10 原生C/S架构测试结果

在性能测试方面,由于测试模型均为自行设计,单独测试某项技术指标意义不大。经测试,在稳定的100Mbps带宽10ms以内延迟的网络中,采用原生C/S架构的云修复用户体验与本地模式差别不大,优于云桌面模式。

5 结论

5.1 部署模式

经研究验证,云修复模式已具备一定的技术可行性。

现有条件下,电影数字化修复系统可经过优化后部署在私有云上,实现画面修复、声音修复、画面调色及合成输出等修复制作功能,声画质量能够满足修复基本要求,且成本可控,可支持电影修复项目在云端开展内容修复制作。

经测试,公有云服务在硬件算力上已能够满足电影修复制作的基本要求,可提供丰富的算力资源,具有系统配置灵活多样、随时可更换、免维护与升级的优势。但从经济性考虑,租用第三方云服务需支付相应套餐费以及配套网络和共享存储费用,长期租用成本高昂,离实际推广应用还有距离。未来随着云计算技术的发展,若云端修复制作达到一定规模形成分布式协同制作模式,相信在集群效应下价格成本方面会体现出优势。此外,公有云部署还面临修复专业设备的许可证管理、插件应用以及多人协同工作模式等复杂问题,有待进一步研究解决。

5.2 远程连接方式

采用远程桌面类连接是当前技术条件下实现云修复系统最适用的远程方案。由于专业修复软件种类少、需求小且更新缓慢,短期内主流软件更新到具备云原生架构可能性很小,而一套完整修复工艺中必定涉及使用多种软件,因此采取通用性强且稳定性佳的远程桌面方式是当下最可行方案。目前国内各大云服务商均有推出高性能GPU图形型云桌面服务,具有部署效率高、扩展能力强、维护方便的优势。实测这类云桌面服务已在技术层面达到云修复基本要求,可支持大部分修复软件及外设的安装和远程使用。单纯从技术角度来看,采用这类云桌面配合共享存储可迅速构建一套基础的电影数字化修复云系统。安全性方面也有多种可选策略,比如安全水印功能和加密协议仅传输屏幕变量等,可提供较安全可靠的修复工作环境。

这种方式与本地修复相比仍有不足,主要集中在搭建监看、监听环境方面。云桌面不能将制作内容单独回传到监视设备上显示,并且回传的是压缩图像。阿里云虽有无压缩回传功能,但对网络要求非常高,现阶段无法实际使用。声音修复文件小、对算力要求低但需要一套标准还音设备,因此仍是本地修复更合适。鉴于此,现阶段的公有云修复可保留调色调音工作在线下完成,将画面修复的手工绘制等耗费人工的环节部署到云上分包,从而提升效率、降低成本。

5.3 云端服务器性能要求

电影数字化修复对于云端服务器性能要求主要集中在算力方面,即CPU和GPU性能。根据测试结论,无影云桌面的GPU计算型服务器配置基本满足电影修复对硬件性能的要求。而这类GPU计算型为通用配置,各大云服务商均有提供,根据实际需求可有多种选择。另外,选配云端服务器时还应重点关注兼容性。云服务所提供的通常为虚拟机,配置按固定套餐形式出租,硬件性能升级只有通过更换更高配置的套餐实现。用户无权限更新套餐内硬件。这就需要在搭建云修复系统时充分考虑软硬件兼容性。由此可见,租用公有云服务虽然可为用户免去系统维护成本和精力,但同时也在一定程度上损失了系统搭建的灵活性和扩展性。

5.4 云修复的网络条件

网络传输性能与其使用成本是影响云修复模式能否真正落地的关键因素之一。所测的8种模拟云修复系统均可在云端实现基本画面修复功能和调色操作,但在修复可用性和用户体验上有明显差异。结果表明,100Mbps带宽、10ms以下时延的网络条件可基本满足修复操作需求。但带宽并非唯一决定性因素,网络稳定性也是决定用户体验的关键因素。受限于网络条件,云修复系统尚不支持修复人员 “随时随地”从任意终端、任意网络登入系统开展工作。另外从成本上,测试中SDH专线的网络性能最佳,但其价格高昂不适合长期使用。若将修复系统部署在公有云,则需从云服务商租用公网带宽服务方可实现多用户共享,若长期使用则是一笔不小的费用。

综上所述,档案影片云修复系统已初步具备可行性。虽然当前技术条件离真正在云端实现修复全流程还有差距,但随着云计算技术的不断成熟发展和影视云制作产业链的日趋成熟,以上问题定然会逐步得到改善和解决。