黑白老电影上色标准化流程研究

2022-02-15胡晓彬

现代电影技术 2022年1期

胡晓彬孙帆黎涛

(中国电影资料馆,北京 100082)

1 引言

历史的车轮滚滚向前,为我们留下了许多珍贵的影片。遗憾的是,限于当时的技术,以往很多珍贵的影像都是黑白的。相比于黑白图像,人眼对彩色图像更敏感,如果能将黑白影像着色为彩色影像,不仅能提高影像本身的价值,也会大大提升影片的视觉效果。除此之外,一些珍贵的黑白老电影具有重要的历史意义,将其进行修复和上色,不仅能够使观众欣赏到更精彩的画面,也能够更好地发挥经典黑白老电影的历史价值。

目前,传统的黑白电影上色是应用视频处理软件一帧一帧进行修复和色彩填充,工作量大,耗时耗力,且对修复人员的专业性具有较高的要求。同时,人工修复上色的方法存在大量的重复性工作。实际上,即便一部影片连续多帧的变化不大,但是对于修复人员来说,仍需要针对每一帧从黑白图像开始,重复上色工作。因此这种传统的人工上色方法难以快速实现一整部黑白电影的上色任务。机器学习的兴起使得通过人工智能(AI)进行黑白老电影的上色成为可能。在人工智能时代,经典老电影将有可能重现光彩,让影片中的人物重新焕发出生命力。计算机通过学习上色的规则,可以自动、批量地完成黑白老电影上色的任务,解放了人力,提升了成片的速度,当前已有一些相应的研究成果,能够完成利用人工智能进行电影上色的任务:赵绍良等人提出了一种卷积网络的灰度图像自动上色方法;吕李娜等人提出了一种改进后的生成对抗网络的图像上色方法,使图片着色质量有较大的提升;蒋文杰等人在生成器中添加自注意力机制,使输出图像色彩变得更多样;李炬提出了一种人脸灰度图上色模型,模型的输入为人脸灰度图,输出为子通道的彩色图像,在判别部分的输出端给出生成图像质量的评价。

国外研究者针对如何提升人工智能的上色效果也提出了不同的解决方案。Aditya Deshpande 等人选择了变分自动编码器(VAE)模型,考虑了像素颜色的不均匀分布,他们建立了灰度图像和色域嵌入之间多峰分布的条件模型,此条件模型中的样本会产生不同的颜色;Yuji Morimoto等人提出了一种利用从Web上采集的多幅图像进行全自动彩色化的方法,该方法利用场景结构的信息,从输入的单色图像中生成各种自然的彩色图像;Guillaume Charpiat等人整体考虑整个待上色图片,评估每个像素所有可能的颜色概率分布,而不是在局部选择最可能的颜色;Tomihisa Welsh 等人通过在源彩色图像和目标灰度图像之间传输颜色来“着色”灰度图像,通过匹配图像之间的亮度和纹理信息将源的整个颜色“mood”转移到目标图像,仅传输色度信息并保留目标图像的原始亮度值;Raj Kumar Gupta等人提出了一种基于实例的灰度图像着色方法,用户只需要输入一个语义上与目标图像相似的参考彩色图像,从这些图像中提取超像素分辨率的特征,并利用这些特征来指导着色过程。

虽然人工智能技术的应用能够实现将黑白照片转换为彩色的功能,但是黑白老电影上色的任务是一个更复杂的工程问题,有诸多问题需要解决,单一依靠手工或者人工智能技术都无法很好地完成这项任务。目前已有的一些黑白转彩色影片或多或少都存在缺陷,大部分无法达到在大银幕上映的需求。本文基于影片《永不消逝的电波》修复、上色并在大银幕上映的成功经验,探讨总结了黑白老电影上色的标准化流程。

2 黑白老电影上色标准化流程

本章节针对黑白老电影上色,并达到大银幕上映的要求这一任务进行探讨和研究,总结了完成这一任务所需要的处理步骤,以及一整套的标准化流程。

电影级的黑白上色任务是一项系统化的工程,需要经历:画面修复、底色预处理、人工考证色彩修正、基于参考的纠正上色、人工调色等过程。

2.1 画面修复

胶片数字化后并不能直接用于上色,需要进行前期的画面修复。作为整个上色流程的第一步,画面修复对数字化影片的修复工作尤为重要。数字化后的影片存在诸多的缺陷,例如褪色不均匀、划痕、脏点等,如果这些缺陷在第一步不进行修复和改善,将持续到后续的步骤,直接影响最终的上色效果。因此,在整个上色流程的第一步,需要人工对待数字化后的上色影片画面进行质量检查,同时对于存在缺陷的画面进行修复,保证用于后续步骤的影片的质量。

首先对画面进行质量检查,其目的是确定影片需要修复的问题,以便找出最佳的修复方法。通过画面质量检查,可将影片分为A、B、C 三个等级:A 级影片画面质量较好,有轻微脏点、划痕、闪烁问题;B级影片画面质量一般,有大量脏点、划痕、闪烁、抖动、轻微霉斑等问题;C 级影片画面质量较差,有大量脏点、划痕、闪烁、抖动、霉斑、撕裂等问题。

不同等级的影片可根据不同的损伤程度,制定不同的修复计划:A 级影片画面质量较好,应以AI修复为主,结合手动修复,画面修复周期为1～2周;B级影片画面质量一般,可使用AI修复解决脏点、划痕、抖动、闪烁等问题,手动修复解决霉斑等问题,画面修复周期为4～5周;C级影片画面质量较差,应以手动修复为主,适当结合AI修复,对疑难问题集中解决,画面修复周期为7～8周。

图1 画面修复前后对比

以影片《永不消逝的电波》为例,原版影片于1958年上映,胶片保存质量较好。但是随着时间的流逝,胶片上产生了脏点、划痕、抖动、闪烁等问题,且胶片褪色,整体偏红,影响观感。经过画面质量鉴定,确定为B 级。修复师通过AI算法,解决画面上大部分的脏点、划痕、闪烁、抖动等问题,再通过手动修复,将AI算法处理不好的问题,例如移动镜头、下雨镜头等,一帧一帧进行完善,通过反复观看、检查、修改,最终完成画面修复工作。修复完成的画面清晰,无脏点、划痕问题,画面层次丰富,有空间感。

除了胶片损伤,画面修复还应对由于拍摄条件限制造成的问题进行修复。在影片《永不消逝的电波》中主人公李侠出狱后的一场室内戏,人物的服饰为冬季服饰,可判定剧情发生时的环境设定为冬天,而画面中李侠的衣服上出现了一只苍蝇,这是不符合故事背景的。或许是当时拍摄没有注意到这个细节,或许是当时胶片成本太高,没有进行重拍,我们无从考证,但是现有的画面修复技术可以把画面中的这个“遗憾”去除。由于画面中的苍蝇或纹丝不动,或有合理的运动轨迹,AI不能将其判定为脏点进行自动修复,需要修复师采用前后帧克隆的方法,将画面中苍蝇的位置替换为原本的衣服。在替换时也要充分考虑衣服的纹理,要严丝合缝,不能出现错位。图2展示了男主人公李侠衣服下摆处苍蝇处理前后的效果。

图2 画面修复前后对比图片

画面修复工艺的验收标准:

(1)画面图像分辨率、图像量化深度与原始数据保持一致;

(2)修复完成的帧数与原始数据帧数保持一致;

(3)修复完成画损伤程度较修复前显著降低,无脏点、划痕、黑帧等问题,无明显闪烁、抖动现象,无明显霉斑、干燥斑、镜头接头等问题;

(4)画面细节清晰,无焦点不实、过度平滑滤波等现象;

(5)画面稳定连贯、无明显抖动;

(6)无因修复对画面造成的二次损伤现象。

2.2 底色预处理

完成画面修复之后需要对黑白影片进行预上色,本文选择生成式对抗网络(GAN,Generative Adversarial Networks)模型来完成预上色步骤。这一环节中,需要建立针对待上色影片的训练数据集,根据影片拍摄的年代、出现的物品、影片场景等诸多内容分门别类地建立相应的数据集来进行模型的训练。如图3所示,影片《永不消逝的电波》根据不同场景分成141段,针对不同的片段建立141个训练集。

图3 影片场景划分示例图

为符合电影的年代感,训练数据同时还增加了来自同年代彩色故事片,同题材、同导演的影片。完成训练后可以对整部影片进行预上色,其主要目的是为后续的上色工作提供参考和人工修复所需要的底色。例如,影片《永不消逝的电波》开场便是革命根据地延安的外景,训练集为此增加大量延安外景素材形成延安外景模型,图4为延安外景经过模型处理后的效果。

图4 底色预处理前后对比

2.3 人工考证色彩修正

通过机器学习的算法进行自动上色是存在一定局限性的。一般自动上色模型只能够根据训练数据中的颜色对黑白影片进行上色。而真实的影片中,场景多且复杂,机器难以学习到全部细节,预上色的效果有时不能符合特定场景色彩需求,存在色彩选择错误、单调等问题。这就需要人工进行史料的调研和考证为其确定正确的色彩,例如针对影片拍摄年代的建筑、服装、室内装饰、特殊物品等。人工史料调研和考证是黑白老电影上色最重要的环节,尤其是画面中出现军装、军旗等有明确可考证的元素,需要考证人员认真负责查阅各类书籍,联系史料专家进行交流和探讨,确保色彩还原准确。考证人员需要对影片中的画面了然于胸,深入了解影片的故事背景和拍摄背景,往往耗费数月的时间,才能对影片中的色彩做出正确判断。因此,流程的第三步需要进行人工考证,来确定正确的颜色。图5以老上海建筑为例,展示了通过历史资料考证的方法,来确定的正确颜色。

图5 关于影片中出现的上海街景的色彩考证

2.4 基于参考的纠正上色

完成色彩修正之后,本文通过下述网络进行基于参考的纠正上色,也就是将人工修正后的影片作为参考,有目的地引导模型进行正确上色,在预上色的基础上,修改某些错误的颜色。本文所使用的黑白电影上色任务的网络的模型架构如图6 所示,由两个可训练的部分组成:预处理网络和参考网络。预处理网络主要由卷积神经网络(Convolutional Neural Network)构成,通过共享参数的卷积核在训练网络中不断地移动,提取特征信息,得到输入数据的高级特征。同时,为了提高网络的特征提取能力,使用残差网络(Residual Network)加深神经网络的网络层数,最终通过模型中的色彩生成网络可以生成针对黑白输入图片的彩色图片。参考网络则接受通过人工完成的已上色的关键帧作为输入,经过卷积神经网络处理产生具有颜色高级语义的特征向量。与预处理网络一样,该模型基于编码器/解码器架构。参考网络核心是将作为参考的彩色关键帧进行特征的提出,通过与预处理网络融合,实现对其进行上色指导。

图6 基于参考的纠正上色模型架构

2.5 人工调色

通过以上步骤,可以做到将黑白影像转为彩色影像,但距将这些影像搬上大银幕还远远不够。电影中的每一帧画面,都是由导演、摄影、灯光、美术等诸多电影人精心设计安排的,画面时而丰富多彩,时而简单静谧,光影变化、色调风格都十分精妙。而人工智能转换的影片色彩往往较为生硬、单调,不能够满足我们对彩色电影的要求。所以我们在最后一步要“精雕细琢”,即对上色完成的影像进行优化与调整。这一步骤主要分为以下几个方面:

图7 上色细节修正对比

(1)上色细节的修正。在上一步骤完成的上色影片中可能存在一些缺陷,在某些细小的地方上色效果不理想,例如手指、眼白、嘴唇以及场景复杂或存在人物运动的镜头等,这就需要通过人工的方式对这些细节进行修正。上色细节修正可使画面更加丰富、精致,尤其是人物的眼睛、服饰等,对于表达人物性格、塑造人物形象起到极大的作用。如图7所示,在经细节修正过程中,将人物的眼睛、嘴唇、首饰进行了处理,使画面更加丰富、有层次,人物的眼神明亮,妆容漂亮干净,塑造出地下工作人员正面、坚定、机智的人物形象。

(2)光影的调整。通过人工智能的方法进行上色,原始影片的光影效果会被减弱,造成上色结果色彩死板,缺乏光影变化的问题。这就需要通过人工调色的方法对画面光线进行调整,使画面更具有空间感和层次感。如图8所示,为了安全隐蔽传递情报,影片主人公李侠是深夜在阁楼中工作,通过光线的调整,使画面亮度降低,营造出深夜阁楼隐蔽、幽暗的环境。

图8 光影调整对此

图9 人工调色展示

(3)色彩调整。在符合历史史实的前提下,对于色彩的选择还需要兼顾美学。通过人工智能的方法上色出来的色彩会存在画面色彩单一、突兀、不连贯等问题,需要通过调色的手法,对整体画面色彩进行调整。根据人物性格、服装材质对同镜头中不同人物的服饰颜色进行调整,采用不同色彩,使画面色彩更加丰富。对镜头中人物或者物体的颜色进行色相、明度、饱和度的调整,使之与整体画面色彩协调。对于镜头前后色彩不统一、不连贯的镜头,通过调色的方式也可以将色彩进行调整,使色调统一、连贯,使影片达到最佳的观看效果。图9展示了人工调色的例子。

通过上述步骤,才能够真正完成黑白老电影上色任务。简单的人工智能方法的应用无法达到大银幕上映的要求,需要一整套的制作流程,在人工指导的前提下,结合人工智能的方法才能够满足黑白老电影上色的要求。图10展示了最终的上色结果。

图10 上色前后展示对比

2.6 黑白老电影上色的验收标准

当下电影技术的发展日新月异,我们在网络上也能看到很多黑白影片上色的视频资料,这些视频多以纪录片为主,展现过去的人文历史、生活风貌。而对这些视频的上色引起了广泛的社会关注,网友纷纷表示上色后的影像更加真实,仿佛回到过去。然而这些上色后的视频在网上播放与黑白老电影上色是完全不同的概念,观众对于电影的要求往往更加严格。

黑白老电影上色并不是使用AI人工智能算法计算一遍就算完成了,要达到目前针对上映电影的技术标准,同时满足观众对电影的要求和需求,需要严格对上色完成的画面进行审查,不能出现可考证元素色彩错误、上色完成的画面闪烁、抖动等问题。

本文总结影片《永不消逝的电波》黑白转彩色修复过程中遇到的问题,总结出以下验收标准:

(1)上色完成的画面分辨率、图像量化深度与原始数据保持一致;

(2)修复完成的帧数与原始数据帧数保持一致;

(3)上色色彩还原准确,尤其是影片中可考证的元素还原准确;

(4)色彩稳定,不能出现色彩闪烁、花帧等情况;

(5)色彩边界清晰,不能出现溢色等情况;

(6)画面细节清晰、无焦点不实、过度平滑滤波等现象;

(7)无因上色对画面造成的二次损伤现象。