高动态范围图像色调映射算法研究

2021-08-10刘婷娜苗笛声白永强朱仲杰

电视技术 2021年6期

关键词：色调直方图亮度

刘婷娜，苗笛声，白永强，朱仲杰*

（1.浙江万里学院，浙江宁波 315100；2.郑州大学，河南郑州 450000）

0 引言

在数字图像处理中，亮度绝对值之间的比值即为动态辐射[1]。通常情况下，108：1为现实环境下的标准亮度动态程度，在固定场景中人类视觉系统的亮度动态范围约为1 000：1[2-5]。光源的动态范围在标准环境下的状态如图1所示。

图1 亮度范围比较

目前在低动态范围（Low Dynamic Range，LDR）中，8 bit/color/pixel是图像中表示亮度常用的方式，但较不稳定，将使得曝光不合理，致使场景信息无法有效留存。显然，这些LDR图像不能满足实际的应用要求。与LDR图像不同，HDR（High Dynamic Range，HDR）图像在宽范围的亮度表示方面主要是运用浮点点数来体现[6-8]，有更多细节能够在亮度区间中得到表现。因此，HDR图像在遥测遥感、安全监控、数字电视以及电子消费等领域得到了广泛的应用[9-12]。在专业的显示器辅助下，HDR图像给使用者的视觉感知几乎同现实环境趋于一致，并且在颜色及亮度方面更具优势。但是由于成本和技术问题，这些HDR显示设备很难普及[13]。因此，在实际的应用过程中，在现阶段的显示设备中将HDR图像可视化至关重要。为了应对这一挑战，人们开发了将HDR图像转换为LDR图像的技术，称为色调映射（Tone-Mapping，TM）技术[14-15]。近几年，一些研究学者[16-18]综述了色调映射算法的发展，现代化的色调映射算法发展迅猛，并且性能更为优质。基于心理物理学的各种色调映射算法实验也表明，不同的色调映射算法在感知的不同方面具有优势，但没有一种方法能够在所有方面都达到最优感知。因此，本文重点研究TM相关技术的发展，分析现有方法的优缺点。

1 常用色调映射算法

TM的最终目标是生成自适应LDR数据，尽可能保留原始HDR对象的场景细节和局部对比度等信息，同时降低整体对比度。换句话说，观察者期望从带有TM的LDR图像中获得与真实场景相同的视觉感知。TM算法在LDR显示器上显示HDR图像的过程如图2所示。

图2 色调映射的作用

现阶段，色调映射算法可分为全局色调映射、局部色调映射以及混合色调映射3种。

1.1 全局色调映射

全局色调映射也称为空间不变色调映射。该算法要求具备标准的映射函数，以确保整体作用的有效性[19]。

Gamma校正广泛用于调整图像的动态范围以增强对比度，其公式为：

式中：Iin为输入图像；Iout为输出图像。尽管HDR图像参数相对来说较为简单，但是为了防止曝光混乱的问题，对HDR图像参数的选择非常重要。实际应用过程中问题也较多。更改直方图布局，能够有效提高图像对比度，该方法称为直方图均衡化法。Larson等人首次将其应用于TM，并结合一些包括眩光、失去敏锐度和颜色敏感度的人类视觉系统（Human Visual System，HVS）特征[20]。在实际应用中，Log-Gamma是英国广播公司（British Broadcasting Corporation，BBC）和日本广播协会（Nippon Hoso Kyokai，NHK）联合开发的一种重要的HDR标准[21]，分别用对数曲线和Gamma曲线表示信号值的上、下半部分来作为非线性传递函数：

式中：r为参考白电平；E是r的归一化信号；E′属于非线性信号；a、b、c为常数。原文中，r值为0.5，a=0.178 832 77，b=0.284 668 92，c=0.559 910 73。

全局色调映射算法除了上文的基本方法外，还发展出了大量的新型算法[22-26]。

Yang等人指出色彩的复原可以使用自适应伽马矫正或者图像整合的方法来实现。而亮度图的直方图，自适应参考的是两个Gamma函数，依次调整明暗分量的亮度，并采用自适应控制方法，实现对图像亮度的调整，并将其融合来提高各个部分的细节强度。结果证实，HDR场景的动态范围可以得到有效压缩，与原始图像对比度好，细节清晰，外观逼真[27]。

基于直方图的TM算法中，直方图均衡化是最为常见的问题，尤其在结果实用性上，对比度的大幅提高以及高亮度的过分压缩会使其质量受损。为了应对此类现象，Khan等人在直方图中提高了肉眼的视觉敏感度，并且结合亮度直方表实现对TM查找表的构建法[13]，基于HVS建造了一系列等间距容器，在图像的各个容器中均分了一定比例的像素，将HVS中像素模糊的部分清除，以实现更优质的视觉体验。吴等人对传统的基于直方图的噪声抑制色调映射算法进行更新，提出显示模型控制函数，由此得到的色调映射曲线的映射结果亮度是可以控制的，通过对映射曲线的管控，实现对对比度过拉伸以及亮度反转的控制[28]。

Lee等人在对称S形曲线的视网膜适应模型基础上，提出了一种新的非对称S曲线，并在非对称S曲线的帮助下提出了两种全局色调映射算法，在难度上更低，性能更为优质[19]。

Jung等人在感知量化（Perceptual Quantization，PQ）（PQ是一种基于对比敏感度函数的传递函数，它体现了人类在亮度上的视觉体验）的基础上提出了一种新的色调映射算法[29]，在PQ极限曲线的基础上，研究出了与人类视觉感知更为贴切的TM对比度提高曲线，该方法不仅能保持图像的自然度，还可以有效地增强图像的对比度。

Xi等人的变分模型以梯度域为基础，能够实现对图像动态范围的控制，并且在图像细节处理上也更为细致[30]。通过将Gibbs样本思想加入到算法中，使得算法效率大幅提高。在确保算法有效的前提下，其对细节的控制也更为严格。此外，在TM过程中色移问题的处理方面，该算法选择的是自适应管理饱和算题[31]。通过对图像处理的前后状态如亮度比、自适应控制输出图像饱和度比对等，来实现对颜色的调整。

1.2 局部色调映射算法

全局色调映射的问题较多，为此，研究人员提出了专门应对HSV部分色调映射方法。该方法不同之处在于，其参考信息主要是周围像素资料，可以灵活地维护每个区域的更多信息。结合人体视觉系统对细节的研究，亮度会在人们进行四周观察时发生变化，但是，亮度的改变并没有对旁观者产生太大的影响[32]。因此，尽管各个亮度区域发生了巨大的变化，但是其映射函数要根据实际情况来设计。

局部色调映射算法分为分层的算法和基于分段的算法两种。分层的算法首先通过滤波将HDR图像的亮度通道进行分解，其次将基层与细节层的部分区域进行压缩，最后LDR图像的生成在修改后的图层中完成。基于分段的算法按照策略的不同来有针对性地划分HDR部分，在HVS等因素的帮助下，实现对各个区域的动态空间检测。如何有效地分解亮度通道，是基于分层的算法的关键步骤。基础层的周围模糊或尖锐时，则会在细节层产生振铃效应，将会引起TM图像梯度反转[33-35]。为此，要解决上述问题，必须通过特定的滤波器来处理。

在分层局部色调映射算法中，反射层和照明层通过图像的形式来实现互相作用。二者的关系为：

I(x,y)=R(x,y)L(x,y) （3）

式中：I为输入图像的亮度；R代表反射层；L代表照明层。在反射层中，所处的环境中细节是固定的，并且动态范围不大。而图像的高动态范围是因为光照层在不同区域的影响不同，使得其变化较大。为此，在滤波的作用下，可以实现图像高度分量的拆分，分解为反射层和照明层两部分，并且要对照明层压缩处理，实现图像的有效建设：

I′(x,y)=R(x,y)L′(x,y) （4）

式中：I′为输出图像亮度，L′为压缩后的照明层。具体流程如图3所示。

图3 基于分层的局部色调映射算法的流程图

高斯滤波是一种经典滤波方法，可将其应用于ICAM中。然而，其权重主要受到空间间隔的影响，因此算法的实际效果不明显[36]。Zhang等人研究了邻近像素和中央像素，并对双边滤波展开了探究，有效地实现了对图像细节的处理[37]。Yang等人以逐像素的方式发明了一种色调映射算法，还设计了量身定制的硬件来实现此TM算法[38]。

Wang等人发现了一种能够有效保留细节的方法，这种自适应双边滤波器方法不仅具有高亮度范围压缩能力，同时提高了工作效率[39]。Liu等人在双边滤波的基础上进一步升级出三边滤波，结合梯度信息，实现图像的分层，进一步实现了梯度滤波阶段的高效能[40]。

由于尺寸的不确定，双边过滤器在细节处理上的效率较低。Farbman等人选择在加权最小二乘改进框架的周围控制平滑算子[41]，提出在渐进式粗化以及对尺度细节控制的过程中，该算子效果显著，因此现阶段方法在细节的控制方面、色彩的处理方面以及对比度的调节方面，TM算法的效果更好。同样，Kim等人通过研究加权最小二乘滤波器，实现了对HDR场景细节的控制，并设计了新的学习神经网络，实现了对色彩的控制，并且亮度稳定[42]。

同时，基于导频滤波器的梯度控制和边缘控制作用较好，Lu等人在Retinex算法的基础上进行了革新[43]。新方法与高斯滤波相比，在细节的处理方面更为有效。Barai等人在视觉注意体系的基础上研究出新的TM算法，将导频滤波器和显著区域相结合，能够比其他方法更好地保持图像的边缘和自然度[44]。

于璐阳等人提出，现阶段算法都是在保边滤波器基础上进行的，此类方法在处理图像基层上的效率较高，但该滤镜在色调映射时会出现光晕，并且对亮度过高或过暗的区域处理时，改善效果不佳。对此，他们提出了新的、更为高效的色调映射算法——在局部极值基础上的色调映射算法和在边窗滤波基础上的色调映射算法[45]。

除上述过滤器外，Yun等人还在TM中加入了拉普拉斯金字塔模型，基于该模型的层次表达性，边缘控制的能力较强[46]。此类方法的整体性能较好，但是局部信息不多，为此光晕及色彩问题严重。相对来说，分段算法在这部分的优势更为显著。

随着对阈值亮度的调节，芦碧波等人在亮度分区自适应的基础上提出了对数色调映射算法，将图像亮度信息划分为高、中、低3个区域，分别对区域亮度进行对数压缩和融合，同时采用双边滤波技术提取细节补偿[47]。区别于一般的阈值控制，Drosler等人在韦伯-费希纳定律的基础上研究出新的亮度控制方法，此方法充分体现了心理与身体量能的联系[48]。在韦伯分数的基础上，图像分为低对比度区域、偏差区域、韦伯区域以及饱和区域，在各个压缩因子的作用下，实现对亮度的压缩。同样，顾等人也在韦伯-费希纳定律的基础上，构建了一种高效的局部非线性模型，有效地减少了细节失真现象。在该模型中，物理与感知刺激强度在非线性关系上趋于相同，为此其应用范围更广泛[49]。

此外，本文还综述了一些能够有效推动图像分割的聚类算法。Li等人在统计聚类色调映射方法的基础上提出了一种更为高效的适应图像内容及色彩的方法，并且在群集中将主成分拆分来进行补丁，以达到丰富域的目的[50]。Kang等人在局部细节的处理上同样选择聚类算法，同时该方法在色调映射图像细节的处理上效果显著[51]。Li等人在K-means聚类的基础上进行了研究，以实现对TM算法的控制，并在高斯和拉普拉斯金字塔的基础上实现了快速分割，降低了混合段间隙对其产生的影响[52]。

1.3 混合色调映射算法

全局色调映射算法在计算上较为便捷，但是细节处理方面的能力不足。局部色调映射算法则较为复杂。为此，将二者结合所得到的结果效率更高[53-56]。

Duan等人在全局直方图的基础上，对其进行控制以再现全局对比度，通过对局部对比度的控制来使其保持稳定。实验结果表明，该方法具有良好的可靠性和有效性，计算效率高，参数稳定[57]。OK等人的混合色调映射算法是在差分压缩以及自适应参考值的基础上进行的，此方法参照客观质量指标来进行，通过对明暗部分细节的考量，实现对区域细节的调整，其感知质量优于现有的其他方法[58]。

Shao和Yu提出了人类体验和分层模型的TM算法，此方法能够实现对人类亮度感知细节的调整，首先在数域中将亮度通道进行映射，以实现对整体亮度的调节，然后利用人眼感知模型对导频滤波器得到的底层亮度进行压缩，最后对调整后的底层与细节层进行色彩处理，以得到低动态范围图像[59]。饶志涛等人在全局对比度与局部细节的处理上选择的是将局部与全局运算符组合的方法[60]，同时，TM过程中的光晕问题在双边滤波的作用下也得到了有效的处置。

2 实验分析与比较

为了实现对TM算法效果的进一步研究，针对不同算法进行了深入的实验，实验情况如图4所示。

Chen[31]等人指出，全局色调映射算法是在直方图的基础上实现对全局动态范围的控制，并且随着亮度的调整，提高其对色彩饱和度的适应力，可实现对色彩偏移的校正，效果如图4（a）、图4（b）及图4（c）所示。Lu等人[43]提出的算子选择为局部色调映射算法，在通过导引滤波器获得一系列基础层和细节层之后，为每个层设计不同的权重系数，图4（d）、图4（e）及图4（f）的实验说明了，在对比度处理的过程中，细节及光晕损失能够得到有效处理。作为混合色调映射算法之一，Shao和Yu[59]提出的算子在性能上更为优质，如图4（g）、图4（h）及图4（i）所示，此算子在人类感知驱动力及分层模型的基础上展开，以实现对细节和色彩的控制。

从主观角度能够证实：当HDR图像的亮度动态范围较小时，在图4（a）、图4（d）及图4（g）图像中，3种算法的作用区别不大；而在其他图像中，结果的偏差则较高。因此，全局算法的整体性较好，但细节处理的效果较差，尤其在明暗部分，如图4（a）中的树木和窗户、图4（b）中的教堂圆顶和窗户以及图4（c）中的云和阴影。相反，局部算法在细节处理上的效果则较好，但是仍然有很多缺点，特别是图4（e）中的对比度和颜色失真以及图4（f）中的轻微晕。如图4（g）、图4（h）及图4（i）所示，混合算法能够有效地实现对细节、对比度及光晕的控制。然而，在图4（h）中颜色失真问题仍旧存在。3种算法在各自的感知面都具有各自的特点，但是在最佳感知效果上无法实现完整性。因此，需要对TM进行深入的研究。

图4 不同算法的实验结果比较

除主观评估外，色调映射图像质量指数（Tone Mapped Image Quality Index，TMQI）是本文的主要算法评估手段。TMQI首先评估色调映射图像的结构保真度和自然度，其次利用幂函数对两个测度进行调整，最后取平均值得到最终得分。色调映射图像的质量会随着TMQI值的提高而提高，相反，TMQI值越低，则图像质量越差[61]。在数据库中对20幅HDR图像使用不同算法后其TMQI的数值如表1所示。从表1可以看出，Shao和Yu混合算法的TMQI分数（0.880 9）和自然度度量（0.497 8）都处于最高的水平，Lu等人提出的局部算法的保真度分数（0.860 6）最高。