基于色彩迁移辅助的数字调色方法研究

陈俊良 顾晓娟

1.北京电影学院中国电影高新技术研究院,北京100088

2.北京电影学院影视技术系,北京100088

1 背景

电影是技术与艺术相结合的产物，艺术带动技术，技术启发艺术。随着技术的发展，电影的制作水准也在不断提升，观众的审美要求日趋严格。特别是进入数字时代后，沉浸式观影体验已经是现代电影不可或缺的要求。其中，数字调色对电影艺术风格构建和沉浸式体验的提升起着关键性作用。一部优秀的影片往往离不开数字调色的贡献，配合剧情内容需求，视觉上准确的艺术风格，以及色彩观感连续的体验有助于观众更好的代入影片，将创作者的思绪和情感传递给观众，直击内心。

在数字调色系统中，调色师对于画面的调整一般分为整体性调整和局部调整。整体性调整一般包含降噪锐化、曝光处理、色彩平衡、色彩风格创建、技术性空间转换等步骤。局部调整则是对画面中的某一局部物体，或者颜色范围分区进行选择性处理，例如，通过窗口选区、色键选区等工具，选择人脸、服装等具备语义信息的内容进行调色。调色过程中，色彩风格化创建是影片风格的重要一步。风格化过程是通过参考相关的色彩风格，并对影片色调统一进行整体性色彩调整。这个过程除了对调色师的创造艺术风格的审美要求和调色经验要求极高，同时也占用较多的时间和精力。

图1 传统数字调色流程

图像色彩风格迁移技术是指从参考图片将颜色特征迁移到待处理的目标图片，在目标图片保持原有内容信息不变的情况下，目标图片色彩风格与参考图片相似，得到风格化艺术效果。色彩迁移分为整体图片风格迁移和局部内容色彩迁移，类似的对应在数字调色的色彩风格创建以及二级区域选择调色过程。

本文针对调色过程中的色彩风格化制作部分进行研究，探讨基于多种色彩迁移算法辅助电影调色制作的方法。在电影调色过程中，该方法能够保持镜头组间的颜色风格一致，并且易于艺术家随时进行整体风格修改。

2 色彩迁移方法

色彩风格迁移的方法一般包括全局迁移和局部迁移。全局迁移常见的有基于均值、基于直方图等方法。2001年Erik等[1]首次提出色彩迁移，其由于图片色彩空间在RGB 空间内通道间关联性太强，不利于独立进行迁移变换，因此使用了CIE LAB 色彩空间。LAB是一种基于感知的色彩空间，也是一种正交色彩空间，实现了通道间接耦合分离，在对某一个通道进行变换时，其他通道不会受影响。L 表示亮度，AB 分别表示黄蓝通道和红绿通道。基于LAB 空间再进行色彩迁移，作者将其称为颜色校正（Colour Correction），对参考图像和待处理图像的三通道分别计算其均值和标准差，然后将待处理图像像素减去对应通道均值后，乘以参考图像和待处理图像的标准差比值，最后加上参考图像的均值并转回RGB 空间。这种方式在具有明显的均值差异的情况下，则表现较为明显，但是对于参考图像与待处理图像较为接近的情况，则该方法具有一定局限性。

图2 Erik等[1]提出的色彩迁移结果

基于此思路，后续Welsh 等[2]在此基础上提出了随机采样匹配方法。其主要应用于灰度图像彩色化，利用灰度图的亮度信息，将亮度值进行单独匹配，使待处理图像的亮度分布与参考图像的亮度分布一致。其后使用亮度统计匹配的方式将参考图片的匹配色度分配给待处理图片，以完成图像上色或迁移任务。

除此，Nguyen 等[3]提出一种基于色域（Colour Gamut）的色彩迁移方法，考虑全色域映射技术，不只单独考虑通道，控制局部范围内的色彩迁移结果与参考图像的结果在色域上分布一致。

图3 Nguyen等[3]提出的基于色域的色彩迁移结果

这些方式对于颜色分布具有较大差异或者较小差异时，往往效果不理想。因此，出现了局部颜色迁移的方法，对画面进行分区局部操作，再进行合成处理。局部迁移方法中，Tai等[4]使用高斯混合模型，将输入图像分解为多个均匀颜色的图层，其大多数色彩空域使用六种基色的软颜色混合形成。Hwang 等[5]人提出移动最小二乘的方法进行色彩迁移，但是由于其对于特征点的选择以及参考图片的选择较为严格，需要大量的特征点作为控制点，以及需要参考图片和待处理图片在同一场景，往往很难达到。

图4 Hwang等[5]提出的基于移动最小二乘的色彩迁移结果

随着算力不断提升以及训练数据集的不断丰富，深度学习的发展日趋成熟，基于深度学习的色彩迁移算法应运而生。通过神经网络，在语义区域分割、色板选择、色彩迁移等方面有了更多的可能。通过大量样本的学习，能够得到更加符合样本特征的结果。例如，在色彩迁移上，Liu 等[6]提出了一种采用四元数距离度量，同时保证时间一致性感知视频颜色迁移方法，使得在视频中帧间一致和减少颜色伪影。Lee等[7]为了解决参考图片和待处理图片的风格多样性限制，提出了一个利用颜色直方图类比进行颜色迁移的深度神经网络。直方图包含图像的基本颜色信息，通过直方图之间抽取颜色特征来迁移参考图像的颜色。这个直方图参考空域被应用在全局的色彩迁移中，也可以根据语义信息应用于对应区域。

图5 Lee等[7]基于基于直方图的色彩迁移结果

Du 等[8]提出一种基于凸包的调色板色彩迁移方法，在基于时空几何中，采用一个多顶点的4D倾斜多边形，通过在时间变化过程中进行多边形切片表示对应的色板，使用广义的重心坐标插值进行图片颜色迁移。它们是一类基于色板的色彩迁移方法。

图6 Du 等[8]提出的基于凸包的色彩迁移结果

对于在局部区域带语义信息的色彩迁移，区别于全手动的迁移方法，神经网络基于数据学习后，通过融合用户提供的多个点颜色提示以及高级语义信息相结合，映射到卷积神经网络（CNN）中，传播用户指定的颜色编辑内容，实现用户进行着色或者迁移的功能。同时为了引导用户进行有效的输入选择，也可以根据现有的情况提供对应的建议。在白迁移和颜色迁移[11]（Whitening and Colouring Transform，WCT）基础上，Li等[9]和Chiu等[10]进行改进并实现具有高细节保留的色彩迁移。Zhao 等[12]提出了一种基于学习的图形设计的照片迁移方法，解决在局部语义内容颜色调整同时保持图片视觉自然的问题。将参考图片进行区域预测选择，并可以选择性地调整图片中局部区域选区，然后对迁移的目标颜色进行传播。Afifi 等[13]提出了一种基于物体的语义更改方法，将输入图片进行基于语义的对象分割，得到多个具有不同语义内容的蒙版，同时参考其对象存在的固有色分布情况，如天空所具有的几种分布可能：白天的天空是蓝色，黄昏黎明的天空是红色或者黄色，夜晚的天空是黑色。通过将输入图像颜色直方图映射到参考图像的颜色直方图，直方图是基于图像中学习物体的颜色分布，实现基于物体的颜色迁移。

图7 Zhao等[12]提出的带局部语义分割色彩迁移结果

在现有的研究中，暂时仍不能在复杂镜头场景中进行连续精准的语义分割并迁移。同时，对多个不同镜头场景迁移的情况下，难以保持稳定可控的色彩风格统一。

3 数字调色中色彩迁移辅助应用框架

在电影调色中，不同类型、不同风格甚至在不同情绪的段落中，调色师需要建构的色彩情绪往往不同，需要对内容进行充分的理解和把握后进行处理。色板选择、色调风格确立是调色过程中的重点。一般情况下，同一场戏的镜头风格化信息应该是保持一致的，通常表现为使用相同的色彩查找表（Look Up Table，LUT）作为风格基础，对不同的拍摄镜头进行曝光调整、色彩调整以及局部细节调整。色彩风格LUT以往需要调色师根据参考照片或样片进行风格的制作，类似于在完成色彩迁移的过程。

LUT具备存储颜色风格映射信息，以及快速运算结果、设备兼容性好等优势，常作为色彩风格传递的应用载体。基于数学的这些色彩风格迁移方式，在经过图像对计算之后，将其所完成的风格（Look）信息，大多都可以通过这种形式生成LUT 或者再进行分通道的CTL的方式进行传递，应用于多个图像序列或者镜头，实现成为通用的色彩风格。

基于此，我们设计了一种辅助艺术创作过程的迁移方法，能保持在场景内多个镜头的风格一致性，并且包含多种色彩迁移算法供艺术家选择（注：本文假设影像的色彩空间相同，因此不涉及多空间转换过程）。具体如图8所示，首先，艺术家选择参考风格图片和待处理图片；其次，根据多种色彩风格迁移算法，给出不同的色彩迁移结果；然后，根据艺术家选择的结果，进行色板提取，构造多组对应的色对；最后，采用3D TPS方式进行LUT 插值，生成风格化LUT 制作。这种方法可以解决基于深度学习的色彩迁移应用于多个视频镜头间出现的色彩风格不一致的问题；同时该方法便于艺术家统一修改同一镜头组的风格，提高生产效率。

图8 辅助迁移流程图

图9 目标图像（左列）、参考图像（右列）（图片来自短片《奥克利堆》和《野步》）

3.1 图对选择

首先，我们选择了两个影片的部分帧作为素材，构造了若干个图像对，每一个图相对由提供画面内容信息的目标图像和提供画面风格信息的参考图像组成。

3.2 色彩迁移

我们选择了多种方式进行色彩迁移，其中包括Erik 等[1]使用均值方差方法、Nguyen 等[3]使用白平衡直方图匹配方法、Li 等[9]保留空间信息并使用增加平滑实现自然效果的PhotoWCT 方法和Chiu 等[10]使用小波校正的方法，以及Lee等[7]使用学习直方图方法。具体色彩迁移算法的选择由艺术家的需求决定。

通过对比不同的色彩迁移算法结果，可以发现不同的算法可能也会带来一些问题，如使用带语义分割的方法，如图10 中的M4 方法，在具有复杂信息的语义分割时，可能会出现分割不准确，带来色彩迁移效果不佳的问题。同时，由于AI数据集限制，学习的方法难以生成高分辨率图像，或是由于网络带来的细节损失，造成生成结果图片分辨率小，细节信息损失，素材位深不够，难以统一修改大量镜头等，不能直接使用生成结果作为调色后结果替代传统素材调色方式结果。因此，我们沿用了传统调色LUT 的方式，在对多镜头的多帧素材调整的情况下，能够快速一致地应用同一种风格，并且使用LUT 的方式可以让艺术家有更大的调整空间。

图10 使用不同色彩迁移算法实验结果

3.3 色板提取及LUT生成

以图11为例，艺术家若选择M5的方法进行色板迁移。色板提取有很多种方法，这里我们以kMeans方法为例提取色板，也可以使用其他多种色板提取方法，也可以手动指定或调整对应色板映射点。将色板颜色所在的坐标分别在目标图像的颜色和色彩迁移后图像所在坐标颜色作为颜色对，构造一系列颜色对，寻找映射关系（Map）。

图11 色彩迁移选择示意

色彩迁移风格的LUT 制作，可以分为两种方式，其一是根据数学方式中推导出的迁移过程数据，将其应用于查找表每个颜色数值采样点上，得到新的映射结果，形成色彩风格查找表，或是通过应用于标准色彩图（HALD）进行晶格插值。

由于色彩迁移的结果往往是图片，并无法直接得到一个可被复制的风格处理过程，无法直接应用于HALD 进行晶格插值或者计算出对应的风格映射结果。因此，另一种制作方式需要通过将待处理图片的原图片和色彩迁移结果作为图像对，进行空间随机撒点二次采样，通过形成映射点组，使用3D薄板样条插值（Thin-plate Spline,TPS）[14][15]冲压扭曲的方式，色彩网格扭曲得到映射过程LUT，即可应用于调色过程作为风格LUT 使用。这种方式使得色彩迁移的结果可以被存为独立风格样式并应用于多个镜头，不必对每一个镜头都与参考图片进行风格迁移，计算时间短且便于制作过程中统一进行风格修改操作。

选择足够多的颜色对之后，使用3D TPS 方法（图12），将颜色对分别作为控制点和目标点，计算变换系数后应用于17、33、65 等阶数点上，得到颜色映射LUT，应用LUT 的图像结果如图13 所示。对于显示效果不佳的情况，可以通过修正色对数量补充颜色对。

图12 TPS点坐标映射示意[15]

图13 应用颜色映射LUT后风格结果与色彩迁移图像结果对比

3.4 工程应用

生成色彩风格LUT 之后，可以统一应用于多个镜头。在同一场戏内，可以在分组节点上或者对时间线整体添加色彩风格LUT。调色师在此基础上再对每一个镜头进行独立的处理。如果对色彩风格需要调整，可以再返回上一步进行点对选择或调整，并进行LUT 更新。如图14 左列，为原素材709 的还原色彩，图14 右列为使用了上一步骤制作的LUT 进行监看的结果。使用这种AI 辅助LUT 的制作管线，特别是对于镜头数较多的情况可以更统一地对时间线进行色彩风格控制和管理。

图14 不同镜头使用该风格LUT效果

4 总结与展望

本文通过对现有的风格迁移方法进行调研，提出了一种数字调色中色彩迁移辅助应用框架，对现有的多种风格迁移方法进行总结。对于不同风格的参考画面，使用不同的迁移方法，效果也不同。在实际创作中，对色彩风格化需求也不尽不同，使用多种迁移算法，能够给艺术家提供多种参考选择，这样做可以避免单迁移算法带来的不确定问题。同时，将风格迁移的结果通过LUT 的形式应用于实际生产中，既可以利用人工智能带来的优势生成具有更接近参考图片风格的结果，又可以使用传统方式将其融入到实际制作中，避免了人工智能在分辨率、位深、细节等方面的缺陷。

这种生成LUT 风格的方式，调色师可以更快地拥有一个接近目标参考的调色起点，且因为图对选择可以自由控制点数量和匹配情况，调色师可以有更大空间和自由度进行风格制作调整。应用基于机器学习的色彩迁移辅助数字调色方法，可简化调色师风格创作复杂度，优化制作流程，提升制作效率。❖