曝光校正算法及其在短视频中的应用研究

帅姣妍 顾晓娟

1.北京电影学院中国电影高新技术研究院,北京 100088

2.北京电影学院影视技术系,北京 100088

1 前言

近几年,随着抖音、快手、火山、Tik Tok、Snapchat等短视频平台的普及和迅速发展,使得短视频创作逐渐流行起来,越来越多用户开始用手机、数码相机等拍摄短视频来记录生活或进行短片创作,并将创作的短视频发布到社交平台上进行分享。根据CNNIC第49次《中国互联网络发展状况统计报告》显示,截至2021年12月,我国短视频用户规模为9.34亿人次[1],占网民整体的90%以上。

然而大部分短视频用户缺乏专业的拍摄知识和拍摄技能,或者受限于拍摄环境或拍摄设备,导致拍摄出的短视频经常出现对比度太低、画面过曝、暗部缺乏细节等情况,而曝光校正 (Exposure Correction)方法能够帮助用户解决以上问题,调整视频的亮度和对比度,使画面达到较好的曝光水平。

曝光校正算法的主要目的是让所获得的数字视频能达到一个合适亮度,显示更丰富的细节,提高观众的画质感受。若曝光过度,视频画面就会整体过亮,图像细节信息损失严重。若曝光不足,则会导致视频画面过暗,同样会对细节信息造成不可逆的损伤。目前常用的曝光算法有基于直方图均衡化(Histogram Equalization)的算法[2-4]、基于Retinex理论 (The Retinex Theory)的算法[5-8],以及基于深度学习的方法[9-14]。

本文对已有的视频曝光校正解决方案和不同类型的图像曝光校正算法进行了详细梳理,并对它们的曝光校正效果进行了对比,最后分析了这些解决方案和算法对短视频处理的适用性。

2 曝光校正相关算法

2.1 基于直方图均衡化的算法

直方图可以体现各个亮度等级的像素数量和分布情况,若图像亮度过暗或者过亮,则直方图的分布较为集中,所包含的亮度信息较少,图像细节较少,而直方图均衡化则可以对单帧图像亮度进行重新调整,是经典的曝光校正方法。

2.1.1 直方图均衡化(Histogram Equalization,HE)

直方图均衡化是对单帧图像的整体亮度范围进行重新调整,将像素更加均匀地分布到直方图上[2]。

假设一幅离散图像的亮度值为 {x},ni表示亮度级别i出现的次数,则亮度为i的像素的出现概率是:

其中L是图像中所有的亮度值 (通常为256),n是图像中所有的像素数,Px(i)为像素值为i的图像的直方图,归一化到[0,1]。

Px(i)的累积分布函数 (Cumulative Distribution Function,CDF)为:

假设原图像 {x}经过亮度映射生成新图像{y},即y=T (x),y 的累积分布函数就可以在所有值范围内进行线性化,转换公式定义为:

对于常数K,CDF的性质可以进行以下变换:

其中k∈[0,L)。T将不同的等级映射到 [0,1]域,由于对{x} 进行了归一化,因此需要将值映射回最初域:

当单帧图像的亮度范围比较集中、直方图峰值较窄,即图像整体过暗或者过亮时,可以通过均衡化获得更多的细节,特别是在卫星视频图像、X 射线等科学类图像上较为适用。

2.1.2 自适应直方图均衡化 (Adaptive Histogram Equalization,AHE)

AHE与HE 的不同之处在于,AHE 适用于提高局部对比度[3]。AHE将图像切割为相同大小的矩形块,在每个矩形区域内进行直方图均衡,这样可以对图像的局部进行亮度调整,提高局部细节。当矩形块的大小为8×8时,处理效果最佳[3]。

但是当矩形区域内的亮度范围较小,即局部直方图出现较窄的峰值时,AHE 会将峰值分散映射到整个亮度范围,会导致亮度范围较小的区域在处理后产生明显的噪声。

2.1.3 限制对比度自适应直方图均衡化 (Contrast Limited Adaptive Histogram Equalization,CLAHE)

由于AHE 会出现局部噪声过度放大的问题,因此Pizer 等人提出了CLAHE的方法对AHE进行改进[3]。在计算局部区域直方图的CDF 之前,CLAHE会设定一个阈值对直方图进行裁剪,裁剪掉的像素将均匀分布到直方图的其他区域,如图1所示。

图1 CLAHE裁剪示意图①

不论是AHE 还是CLAHE,由于对图像进行了分块操作,处理后的图像会出现块状效应,并且分块计算映射函数比较复杂,因此采用双线性差值的方式计算映射函数[4],以此提高计算效率和抑制块状效应(图2)。

图2 双线性差值示意图[4]

CLAHE可以对单帧图像进行局部亮度调整,并且可以有效抑制处理后的噪声问题,但是CLAHE处理后的图像与原始图像的亮度级并不是1∶1的对应关系,因此该方法不适用于需要精确测量的科学图像上。并且如果原始单帧图像本身亮度变化较大,亮度梯度较大,则处理后的图像会出现失真问题。

2.2 基于Retinex理论的算法

Edwin H.Land在做人类视觉实验时首次提出Retinex 一词[5],由Retina (视网膜)和Cortex(大脑皮层)组成,表示人类视觉系统在感受外界物体颜色时将同时受到眼睛和大脑的影响。Retinex理论认为物体的颜色由物体对红绿蓝三种光线的反射率决定,而不是由光照强度决定,即使光照不均匀,人类对物体的颜色感知也不会受到影响,即具有颜色恒常性(Color Constancy)。

Retinex理论将人眼所获得的图像S 看做入射光分量L 与物体反射光分量R 的乘积,可以表示为:

式(6)中(x,y)表示像素的二维坐标。

由于人眼视觉特性曲线在数学上符合对数形式,在公式两边同时对数运算可得:

在现实情况中,直接测量反射分量R 比较困难,因此一般先通过所获得的图像,估算出入射光分量L,以此算出物体的反射分量,即:

Retinex算法的基本流程如图3所示。

图3 Retinex算法的基本流程

Retinex算法主要用于低照度区域的光照补偿,不适用于曝光过度的情况,并且需要一直优化参数来达到较好的光照补偿的效果。

2.2.1 单尺度Retinex算法 (Single Scale Retinex,SSR)

Jobson等人在Edwin H.Land的理论基础上,提出了单尺度Retinex算法[6]。该算法认为用高斯环绕函数对原图像进行卷积运算,处理后的图像可以估算为入射光分量,这样就可以用原图像S与入射光分量L 计算出反射分量。因此由式 (8)可以转换为:

式(9)中i为颜色通道,若为灰度图像,则只有一个灰度通道,若为彩色图像,则为RGB三个通道;*表示进行卷积操作,G 为高斯环绕函数,表达式为:

其中K 需满足:

式(10)中σ为高斯标准差,其取值会影响单帧图像曝光调整的效果,若取值较小,则细节还原较好,但是色彩会出现失真情况;若取值较大,色彩还原较好,则细节信息会减少。

2.2.2 多尺度Retinex 算法 (Multi-scale Retinex,MSR)

由于SSR 在色彩还原和细节增强两个方面无法同时改善,因此Jobson 等人对SSR 进行了改进,提出了多尺度Retinex算法[7]。MSR 采用多个不同参数的高斯函数进行SSR,然后再对多个SSR 结果进行加权平均处理,MSR 其表达式为:

式中N 为高斯函数的个数,wn是不同参数n所占的权重,需满足=1wn=1,Gn(x,y)表示不同参数n所对应的高斯函数,公式为式(10)。通常情况N取值为3时效果较好,w1=w2=w3=1/3。

2.2.3 带色彩复原的多尺度Retinex 算法(Multi-scale Retinex with Color Restoration,MSRCR)

由于MSR 是对图像的RGB 三个通道分别处理之后再合成新的图像,这种处理方式很容易导致RGB三个颜色分量的比例关系发生变化,与原图中RGB的颜色分量比例不同,从而导致颜色失真,因此Jobson等人引入了色彩复原因子C,提出了带色彩复原的MSRCR[7],用以调整RGB三个通道的比例。

首先根据原图求出色彩复原因子C:

式(13)中β为增益常数,a为非线性调因子,I(x,y)为原图像,i为第i个颜色通道,通常为RGB三个通道,则S=3。

计算出每个通道的C 后,加入MSR 的处理步骤中,则可以得到MSRCR 处理结果,即:

MSRCR 可以在调整对比度和曝光的同时,保持图像的颜色恒常性,在处理低照度视频图像时效果较好,但其需要调整的参数较多,时间复杂度较高,且有时也会出现光晕、伪影等现象。

2.3 深度学习算法

近年来随着人工智能和深度学习的迅速发展,各行各业都积极使用深度学习方法来解决特定领域的实际问题。目前国内外学者提出了许多基于深度学习的曝光校正算法,尤其是在低照度图像增强以及欠曝光图像修饰方面都取得了不错的成效。

2.3.1 常用的数据集

(1)MIT-Adobe FiveK 数据集

Bychkovsky等人[9]提供了第一个用于图像修饰的数据集MIT-Adobe Five K (图4)。此数据集包含了5000张单反拍摄的原始图片,再由5位专业的摄影师对图片进行亮度和色彩的调整,因此可以用原图与某一位摄影师调整后的图作为配对数据进行训练和学习。

图4 MIT-Adobe Five K 数据集示例图[9]

(2)DPED 数据集

Ignatov等人[12]通过学习手机图像到单反图像之间的映射关系,提出了一种新的提高手机图像质量的方法,并建立一个DPED (DSLR Photo Enhancement Dataset)数据集,包含三款手机以及一款单反拍摄同一场景的图像对 (图5)。作者用端到端的方式学习低质量手机图像到高质量单反图像的映射关系,实现手机图像质量的整体提升。

图5 DPED数据集示例[12]

DPED 数据集均为实拍采集,数量较大,拥有超过6000张照片,且场景较为丰富,能将手机拍摄的照片提升至单反照片质量,但是会放大噪声,并且对不同手机设备需要重新进行训练。

(3)SID 数据集

陈晨等人[13]建立了一个SID (See-in-the-Dark)数据集,包含5094 张短曝光低照度图像,以及对应的长曝光参考图像,并提出一种全卷积网络结构 (Fully Convolutional Network,FCN),通过端到端的训练,实现了极暗图像的快速恢复和去噪(图6)。

图6 Chen的SID处理效果[13]

传统的图像处理流程是由一系列模块构成,每个模块进行单独处理,例如白平衡、色彩转换、去噪、锐化等,而论文采用端到端的学习方式,训练一个FCN 网络对图像原始数据进行整体处理,将所有处理模块集成一起,提出了一种极端低亮度图像的增强系统(图7)。

图7 Chen提出的模型[13]

SID 数据集包含的低光照图像较为丰富,但是均为静态的物品,训练的网络对极暗图像的恢复效果较好,但其为特定相机训练的网络,泛化能力有限,而且需要用户自主设置放大系数来调整亮度。

2.3.2 LLNet网络结构

Lore等人[10]提出了暗光图像增强网络LLNet(The Low-light Net),利用深度自编码器提取暗光图像的特征,自适应地提高图像亮度并降低图像噪声。

Lore提出了两种网络结构:LLNet与S-LLNet(图8)。LLNet将对比度增强与去噪合为一个模块同时训练,而S-LLNet将对比度增强与去噪分成两个模块,分别进行训练。S-LLNet在训练中更具灵活性,但是会增加处理时间。

图8 LLNet与S-LLNet网络结构[10]

LLNet是较早将深度学习用于图像增强的网络,且在公开数据集里处理效果较好,但在实际的暗光图像中,局部细节还原效果有限。

2.3.3 MSR-net网络结构

Shen等人[11]将卷积神经网络 (Convolutional Neural Networks,CNN)与传统的多尺度Retinex (MSR)算法结合起来,提出了MSR-net网络结构,建立了低光照图像到正常亮度图像之间的映射,实现低光照图像的亮度增强。

论文认为传统的MSR 中心环绕函数等价于不同高斯卷积核的卷积层,可以表示为:

式(15)中n为不同尺度,c为高斯环绕函数的标准差,K 为卷积层数。

MSR-net模型由三部分组成:多尺度对数变换、卷积差分、色彩复原,如图10所示。

图10 MSR-net网络结构[11]

MSR-net将深度学习CNN 与传统的图像处理方法MSR 相结合起来,想法比较新颖,但是在色彩还原方面效果有待提升,当图像出现大面积平滑区域时,会出现光晕现象(图11)。

图11 MSR-net处理效果图[11]

2.3.4 DNN 网络结构

2021年Mahmoud等人[14]提出了一种由粗到精(Coarse-to-Fine)的深度神经网络 (Deep Neural Network,DNN)模型,用一个网络模型对欠曝光和过曝光图像进行校正,首先对图像的整体亮度和颜色进行校正,然后再对图像细节进行恢复和增强,在两种极端曝光错误的图像处理上都能达到良好的效果(图12)。

图12 DNN 的处理效果[14]

网络的总损失函数由重构损失、金字塔损失、对抗损失三部分构成(图13):

图13 DNN 网络结构[14]

DNN 网络既可以处理暗图像的增强,也可以实现过曝光图像的恢复,并且处理效果都比较好。但是在细节较少的区域,会出现噪点和偏色等现象。

3 曝光校正在短视频制作中的应用

3.1 后期软件中的曝光校正

目前市场上可供选择的视频后期软件比较多,不同软件的功能和优势也存在明显的差异,比较常用且拥有自动对比度、曝光校正设置选项的后期软件有:Adobe Premiere Pro、Da Vinci Resolve和Final Cut Pro等。

Adobe Premiere Pro是国内外常用的短视频后期创作软件,提供剪辑、调色、字幕等完整的后期流程,并且此软件可以与Adobe公司推出的其他软件相互协作,因此这款软件应用范围较广,Adobe Premiere Pro内置自动对比度效果控件,可以适当改善视频的亮度层次(图14-15)。

图14 Premiere低照度视频曝光校正后的效果(左为原图,右为处理后效果图)

图15 Premiere过曝视频曝光校正后的效果(左为原图,右为处理后效果图)

DaVinci Resolve在2020 年推出一个可以实现曝光校正与色彩匹配的插件:Colourlab AI。用户可以导入自己的视频和一张参考图片 (图16),左边预览窗口为用户自己的视频,右边预览窗口为参考图片。此插件可以根据参考图片自动生成匹配模型(如图16下方7个小图所示),用户从匹配模型中选择一个进行匹配,插件会自动将参考图片的亮度、对比度以及色彩迁移到用户自己的视频上,完成视频自动亮度和色彩匹配。

图16 Colourlab AI界面②

Colourlab AI在曝光校正与色彩匹配的处理上效果都比较好,但是此插件为付费插件,核心算法未对外公布。Colourlab AI实验室购买了You Tube Suggestions 算法,并制作了上千个调色模型,给每一个模型提供了不同的调色方法,随后又制作了另一个Teacher Bot模型,与调色师一起来评估每个调色模型的调色结果,利用深度学习的方式不断进行学习与修正,训练出了可以实现亮度调整与色彩匹配的调色模型(图17)。

图17 Colourlab AI调色模型示意图③

3.2 单帧图像曝光校正算法效果对比

选择四个存在曝光问题的短视频,分别应用HE、CLAHE、SSR、MSRCR、DNN 算法以及Premiere自动对比度进行处理,效果如图18所示。从效果图中可以看出,每种算法都能对短视频中单帧图像的曝光进行一定程度的改善,丰富亮度层次,但是每种算法都存在一定局限性。CLAHE 与HE相比,能更好地提高局部对比度,减少噪声,但是由于CLAHE处理后的图像与原始图像的亮度级并不是1对1的对应关系,因此处理后的图像颜色与原图有一定差异,容易出现颜色失真的问题;SSR与MSRCR 对于低照度图像的处理效果较好,可以提高暗部细节,但是在处理过曝光图像时,很容易出现光晕和伪影等现象;DNN 对于过暗和过曝光图像的校正都能达到较好的效果,但是在缺乏细节的区域,仍然会出现偏色和噪点等问题;Premiere自动对比度效果控件只能在有限的亮度范围内进行曝光校正,过曝光的图像都需要手动校正才能达到良好的效果。

图18 各种算法效果对比

通过实验结果表明,利用基于直方图均衡化的算法进行曝光校正,虽然校正质量不高,但是操作简单,这类算法中有些无需参数设置,有些参数设置简单,当视频整体过暗或者整体过亮时,都能取得较好的曝光校正效果,尤其是HE与AHE,只需要输入用户视频,无需参数设置,即可进行处理,操作简单快捷;CLAHE 相较于HE 而言,能进一步提高局部对比度,但是需要输入一个裁剪阈值参数,这个参数值与视频内容相关。基于Retinex 理论的算法需要输入少量参数,适用于低照度视频的增强,对于过曝光区域容易出现光晕,其中SSR 需要输入参数高斯标准差σ,若取值较小,细节还原较好,但是色彩会出现失真情况;若取值较大,色彩还原较好,但细节信息会减少,而 MSR 与MSRCR 需要输入多个 (通常为3个)不同的高斯标准差σ进行加权处理,其中MSRCR 较为复杂,不仅需要输入高斯标准差σ,还需要输入控制色彩复原因子的参数a和β,虽然MSRCR 可以更好地保持视频的颜色恒常性,但其需要调整的参数过多。基于深度学习的算法种类较多,每种模型在特定的应用场景和数据集中能取得较好的效果,但是深度学习方式处理时间较长,并且对数据集依赖性较大,很难获取所有场景的数据集,如果用户视频与数据集特征差别较大,会导致曝光处理效果不理想。

大部分短视频发布者一般缺乏专业的后期处理技能,因此需要在一定程度上提高短视频画面质量的前提下,选择简单高效的曝光校正方案帮助他们处理短视频。基于直方图均衡的算法,例如HE 与AHE,能够对过暗和过亮的视频进行整体曝光校正,改善视频亮度和对比度,虽然处理效果有限,但易于操作,不需要任何先验知识,用户输入自己的视频即可获得校正后的影像,适用于喜欢一键式处理的非专业用户;CLAHE 算法可以进一步提高局部对比度,减少画面噪声,用户仅需要设置一个参数,进行视频的曝光校正,这个参数设置可以通过在给定的取值范围内进行调整,根据不同参数值校正效果,选取一个较为满意的输出结果即可;SSR 算法与MSR 算法更适用于低亮度视频的增强,参数数量可由用户决定,但容易出现颜色失真的问题;MSRCR 与深度学习的算法可以更好地改善视频曝光效果、复原画面颜色,但是参数设置过于复杂,需要用户对各个参数有一定了解,并且基于深度学习的算法处理时间较长、算法复杂度高,暂不建议非专业用户使用此类方法。

4 结语

本文对不同类型的曝光校正算法进行了梳理和实验对比,并结合短视频的特点对各种算法进行探讨与分析,每种算法都有各自的优势和局限性,其中部分算法能够在一定程度上改善视频质量且操作简单,适用于非专业短视频用户群体。

目前,基于深度学习的曝光校正算法,虽然能处理一些极端曝光的情况,但是由于训练集数据有限并且校正时复杂度高等问题,使得该类方法在短视频曝光校正中使用受限。未来,随着数据集的扩充和模型的迭代优化,笔者相信基于深度学习的算法能够更适用于短视频的自动曝光校正,为短视频创作者节省视频校正时间,将更多精力投入到内容创作本身。

注释

①图片来源:https://en.wikipedia.org/wiki/Adaptive_histogram_equalization。

②图片来源:https://www.youtube.com/watch? v=Cdg KP9 Bwwy Y。

③图片来源:https://www.youtube.com/watch? v=l AvDgxJ cvf A。