宏微观信息增强与色彩校正的高效色调映射

朱仲杰，崔伟锋，白永强，井维一，金敏红

1.浙江万里学院宁波市DSP重点实验室，宁波 315000；2.郑州大学物理工程学院，郑州 450000

0 引言

与普通图像相比，高动态范围（high dynamic range，HDR）图像可以提供更宽的动态范围，呈现更真实的自然场景和更逼真的视觉效果，但其无法在现有常规低动态显示设备上直接显示（Marnerides等，2021）。色调映射（tone mapping，TM）技术可以在保留视觉效果基本不变的前提下，将HDR 图像映射到常规低动态显示设备上进行显示，已经在卫星遥感、医学成像、虚拟现实和数字成像等领域得到了广泛的应用（Ou 等，2022；Liu 等，2021）。但其高强度的场景亮度压缩，极易造成场景信息不同程度的丢失和畸变，特别是面对复杂场景，经常导致细节丢失、亮度失衡、边缘光晕及色彩失真等问题，如图1所示。因此，设计高效、鲁棒的色调映射算法具有重要的研究意义和应用价值。

图1 色调映射常见问题Fig.1 Common problems of tone mapping algorithms（（a）detail lost（Khan et al.，2018）；（b）brightness imbalance（Jung and Xu，2017）；（c）edge halation（Liang et al.，2018）；（d）color distortion（Li et al.，2018））

根据图像特征与处理技术的不同，现有色调映射方法可以分为全局算法、局部算法以及混合算法3 类（Iizuka 等，2017；Miao 等，2019）。全局色调映射对HDR 图像中所有像素采用相同策略进行统一处理，主要包括Gamma 校正、对数校正、直方图规定化和分段灰度变换等方法（郭继昌 等，2022）。Jung 和Xu（2017）提出了一种基于感知量化传递函数的极限曲线进行图像亮度对比度的调整。Khan 等人（2018）以人类视觉敏感度作为视觉适应函数进行直方图建模，有利于减少视觉伪影。Lee 等人（2018）基于对称视网膜响应模型提出非对称S 型曲线来增强全局对比度。Yang 等人（2021）提出基于积分图像和积分直方图的色调映射算法。这些全局算法可以保留整幅图像的全局对比度，具有操作简单、响应速度快等优点，但其亮度范围的高强度压缩也极易导致出现对比度失衡和细节信息丢失等问题。局部映射主要考虑HDR 图像不同区域的特征信息，着重优化局部细节和纹理信息。Eilertsen 等人（2016）利用各项同性滤波器提取细节层，进行细节优化。Liang 等人（2018）提出L0—L1混合分解模型，分别在基础层和细节层进行亮度压缩和细节增强。Farbman 等人（2008）基于加权最小二乘框架提出边缘保持平滑算子，进行多尺度图像分解和边缘优化。Su等人（2021）利用Bicycle-GAN（generative adversarial network）网络构架多模态色调映射方法，可以得到多幅不同细节优化的映射结果。Gu 等人（2013）对图像分解后的3 个细节层进行局部边缘滤波，有效增强了局部细节信息。上述局部算法可以有效增强细节和纹理信息，但在边缘区域会导致光晕现象，影响主观感知。对此，部分学者综合上述全局和局部算法的优缺点，提出混合色调映射方法（Gao 等，2016；邵华和郁梅，2017），很大程度上改善了场景亮度和纹理细节的均衡性。但是考虑到真实场景亮度的波动性和内容的多样性，现有算法仍存在不同程度的亮度失衡、细节丢失等问题。同时，现有算法尚未考量亮度压缩对场景颜色所造成的畸变，也会直接导致人眼主观感知的失真（Li等，2018）。

为此，提出一种宏微观信息增强色彩校正的色调映射算法，从亮度通道和色度通道出发，分别构建亮度感知压缩模型和色度饱和度偏移模型。基于人类视觉感知机制，将图像从RGB 色彩空间转换至通道相互独立的HSV（hue，saturation，value）色彩空间，并对亮度通道和色度通道分别处理，亮度图像压缩时充分考虑场景内容的宏观一致性和微观显著性，保证压缩后图像亮度的整体统一及细节信息的完整。同时基于颜色恒常性原理，融合亮度压缩信息自适应调整图像的色度饱和度，使其与压缩后的亮度图像相匹配，避免通道融合产生的颜色畸变，解决色调映射所造成的主观色彩失真问题。

1 本文算法

本文所提色调映射算法流程如图2 所示。首先，将高动态范围图像转化至HSV 色彩空间，进行亮度信息与色彩信息分离。然后，亮度图像经过加权引导滤波器分离并得到基础层和细节层（He 等，2013）。基础层结合宏观统计信息进行宏观亮度压缩，细节层结合提取的显著性区域进行微观细节增强。同时，基于颜色恒常性理论（Agarwal 等，2006；Barnard 等，2002），色彩信息结合亮度压缩图像统计信息的变化，自适应调节色度饱和度。最后，处理后的亮度信息与色彩信息融合，得到期望的低动态范围（low dynamic range，LDR）图像。

图2 本文算法流程图Fig.2 Proposed algorithm flow chart

1.1 色彩空间转换

计算机显示器采用的颜色模型通常为RGB 三基色模型，红、绿、蓝3 个分量相关度较高，直接处理易导致图像色彩的失真。本文将图像转换到HSV色彩空间，通过色调、饱和度和亮度3 个分量表征图像，亮度信息与色彩信息分离并行处理，避免图像色彩失真（Manchanda和Sharma，2017）。

1.2 亮度压缩处理

如图2 所示，在亮度通道，设计了宏观亮度一致性和微观显著性的亮度感知压缩模型，通过加权引导滤波器将亮度图像分解为基础层和细节层，一方面通过统计信息对基础层进行宏观压缩；另一方面通过显著性区域对细节层进行微观增强；最后，将处理后的基础层和细节层图像融合为压缩后的亮度图像。

1.2.1 亮度图像分解

基于人眼注意力机制（Li等，2010），图像的边缘应该给与更多的关注，本文利用加权引导滤波器将亮度图像分解为基础层和细节层。

式中，F表示加权引导滤波函数，Vb表示滤波后的基础层图像，VG表示引导图像，VHDR为输入亮度图像，T表示图像各个像素点的权重值，此外细节层Vd由亮度图像减去基础层得到。

式中，N为总像素数，σ是确保分母不为零而设的微小常数10-6。

1.2.2 宏观压缩基础层

图像基础层包含了大量的背景及结构信息，基于场景

亮度一致性，利用限制对比度自适应直方图均衡化（Hana 和Maulida，2021），对亮度图像进行宏观信息统计并压缩基础层，降低图像亮度对比度，削弱图像噪声影响，确保整体场景及结构信息的完整性与真实性。

式中，VG是宏观处理后的亮度图像为亮度图像平均亮度值，NL表示低于平均亮度值的像素个数，α，β，γ是可变参数，经过大量实验，本文分别设定为0.741 9、-0.142、0.59。

由最小可查觉误差（just noticeable difference，JND）试验可知（Larson 等，1997），人类视觉系统对图像亮度感知可以近似用对数函数表达，从而对基础层Vb进行对数变换。基于场景亮度一致性，结合统计信息对基础层Vb进行亮度感知压缩，降低整体亮度对比度，得到压缩后的基础层。具体为

1.2.3 微观显著性增强细节层

细节层包含大量的纹理和细节信息，本文采用自下而上（Lu等，2014）的机制来提取HDR图像的显著性区域对细节层增强（李明旭和翟东海，2020）。利用灰度共生矩阵提取HDR 图像的显著性区域（Lu和Lin，2012），图像共生矩阵H定义为

式中，H是一个大小为K×K的方阵，本文设定量化等级K=20，邻域半径r=4，H（m，n）是灰度值m、n在窗口（2r+1，2r+1）共生计数的统计值，对矩阵H归一化得到概率质量函数P，像素p点的视觉显著性S（p）是由反向的概率质量函数计算得出，具体为

基于人眼视觉注意力机制（赵兴运和孙帮勇，2022）对细节层所包含的显著区域和非显著区域进行了不同处理，增强显著区域的纹理信息，对非显著区域进行细节保留（何伟和潘晨，2022）。

式中，θ1和θ2为缩放因子，据经验设置θ1=0.17，θ2=1.5。将经过压缩后的基础层和增强后的细节层指数融合，得到处理后的亮度图像VLDR。具体为

图3 为亮度通道图像。其中，图3（a）为亮度图像分解得到的基础层图像，图3（b）为亮度图像分解得到的细节层图像，图3（c）为亮度图像的显著性区域，图3（d）为经过处理后的亮度压缩图像。

图3 亮度通道图像Fig.3 Brightness domain images（（a）base layer；（b）detail layer；（c）salient region；（d）compressed brightness image）

1.3 饱和度校正

当照射物体表面的颜色光发生变化时，人们对该物体表面颜色的感知仍然保持不变的视觉特性称为颜色恒常性，它与人类的知识经验及心理倾向有关。如图4 所示，经过相机补偿，可以消除光照对物体颜色的影响，使物体在不同光照下仍呈现主观认知的视觉效果（Gijsenij 等，2011）。但是对于TM 而言，保持色彩的一致性需要根据TM 前后亮度变化情况对饱和度进行主动调整（Mantiuk等，2009）。

图4 颜色恒常性Fig.4 Color constancy（（a）original image；（b）camera compensation image）

图5 为不同饱和度色调映射图像的视觉效果，很明显，为了符合人眼的主观色彩感知，需对TM 图像的饱和度进行校正。本文构建自适应饱和度偏移模型，通过图像亮度压缩统计信息的变化，计算图像饱和度偏移量，自适应调节色度饱和度。由于HDR图像的亮度范围远大于LDR 图像，利用传统的均值计算易造成较大误差，本文采用图像中值信息计算，结合宏观统计信息及亮度压缩图像统计信息，计算饱和度偏移量η。具体为

图5 不同饱和度图像Fig.5 Different saturation images（（a）low saturation images；（b）medium saturation images；（c）high saturation images）

式中，Vmedian表示亮度图像VLDR的中值，当η＞0时，图像整体偏暗，需要提高饱和度；反之，则降低图像饱和度。最后，结合偏移量对图像饱和度进行校正，具体为

式中，SLDR表示校正后的饱和度通道图像，SHDR表示原始饱和度通道图像。

1.4 图像融合

将经过处理后的不同通道的图像进行融合，得到LDR 图像，并转换到RGB 色彩空间输出显示（马玲和张晓辉，2014）。具体为

式中，V（VLDR）表示在亮度通道通过宏观一致性及微观显著性压缩感知模型得到的亮度图像，S（SLDR）表示在色度通道结合亮度统计信息变化，通过中值模型校正的饱和度图像，H（HLDR）表示色调保持不变的色调图像。

2 实验结果及分析

实验在Greg Ward 和Rit-mcsl 两个数据库上进行，将所提算法和主流算法的实验结果进行主客观分析对比（程茹秋 等，2022）。对比算法包括Khan’s（Khan 等，2018）、Eilertsen’s（Eilertsen 等，2016）、Gu’s（Gu 等，2013）、Yang’s（Yang 等，2021）、Li’s（Li 等，2018）、Liang’s（Liang 等，2018）、Miao’s（Miao等，2019）和Fahim（Fahim和Jung，2020）。测试图像包含181幅HDR图像，部分信息如表1所示。

表1 部分HDR测试图像列表Table 1 Partial HDR test image list

为了验证本文算法的有效性和通用性，选择室内外、亮暗各异的多种场景进行测试，涵盖了丰富的细节信息和明暗区域，结果分别如图6 和图7 所示。可以看出，在提高亮度对比度的同时，本文算法充分考虑了场景整体信息的真实性和细节信息的完整性，映射效果优于目前主流算法。

图6 不同色调映射算法的Memorial图像Fig.6 Memorial images with different tone mapping algorithms（（a）Original image；（b）Eilertsen’s；（c）Gu’s；（d）Khan’s；（e）Li’s；（f）Liang’s；（g）Miao’s；（h）ours）

图7 不同色调映射算法的Seaport图像Fig.7 Seaport images with different tone mapping algorithms（（a）Original image；（b）Eilertsen’s；（c）Gu’s；（d）Khan’s；（e）Li’s；（f）Liang’s；（g）Miao’s；（h）ours）

2.1 客观评价

采用色调映射质量指数（tone mapping qualityindex，TMQI）对图像进行客观质量评价（Yeganeh 和Wang，2013）。TMQI分值介于0～1之间，得分越高，表示TM 后图像质量越好。表2 和图8 分别为Greg Ward 数据库10 幅HDR 图像及Rit-mcsl 数据库20 幅HDR 图像测试结果。从表2 可知，通过本文算法得到TM 图像的质量指数分值多在0.9 以上，虽然Seaport 图像得分较低，但与对比算法相比仍居首位。从图8 可以更加清晰直观地看到，本文算法的TMQI分值与对比算法相比位居前列。图像在TM 后没有明显的细节信息丢失，整体信息得到极大的保留，且取得了较高的质量，说明了本文算法的泛化性。

表2 不同图像色调映射后TMQI得分表Table 2 TMQI value after different image tone mapping

为了进一步验证算法的性能效果，对新建数据库中所有图像的测试结果进行了分类统计。新建数据库共有270 幅高动态图像，包含自然风光、人物摄影、园林建筑和城市景观等不同场景、不同动态范围图像，其中157 幅是直接通过高动态相机获取的，113 幅是借助计算机软件合成的。表3 为新建数据库中所有图像测试结果的平均得分表，包括结构保真度、自然度和TMQI 三种不同的评价指标。虽然本文算法在结构保真度和自然度两项指标上未取得最高的分值，但与最高分值仅有微小差异，且高于其他主流算法5%～20%。本文算法虽然牺牲了结构保真度和自然度的绝对分值，但取得了最高的TMQI分值，达到了整体的最优效果。

表3 不同色调映射算法客观评价得分表Table 3 Objective evaluation score table of different tone mapping algorithms

此外，本文算法与最新的TM 算法Yang’s（Yang等，2021）和Fahim（Fahim 和Jung，2020）进行了对比。鉴于算法源代码尚未公开，本文选取相同测试图像与原文数据直接进行对比，Yang’s 算法在Moraine2 图像上的TMQI 分值为0.922 9，本文算法得分为0.935 7。同时，由于Fahim 算法未进行单幅图像测试，且测试图像数据库不一致，比较平均值会产生一定误差，因此将对比算法的相对误差作为评判依据。Fahim 算法比Liang’s 算法的TMQI 结果提升了2.89%，而本文算法相比Liang’s 算法的TMQI得分提升了3.93%，可知本文算法在客观评价指标上略优于上述对比算法。

2.2 主观评价

为了进一步验证本文算法的性能，参考国际标准主观平均意见值（mean opinion score，MOS）进行主观评价打分。具体来说，选取20名受试者，包含10名男性和10 名女性，要求用7 种方法对TM 的HDR 图像结果进行评分，分数范围从1 分（非常差）到5 分（非常好），20名受试者的平均得分统计如图9所示。可以看出，本文算法得到了最高的平均分4.3 分，其余TM 算法得分分别是Eilertsen’s为 2.9 分、Gu’s为3.2 分、Khan’s 为3.8 分、Li’s 为3.4 分、Liang’s 为3.8分、Miao’s为3.6分。

图9 主观得分平均值统计图Fig.9 Statistical chart of subjective average score

现有TMQI 评价算法仅考虑TM 图像亮度通道的贡献，而不考虑图像色度通道的贡献。图10 是不同TM算法的Belgium 图像（动态范围4.11），图11是不同算法映射后的Fame图像对比（动态范围4.85）。从图10和图11可知，本文算法在确保场景亮度信息不变的情况下，可以有效增强图像纹理细节信息，消除边缘光晕，保持整体场景信息的完整性，并避免图像色彩失真。图10（b）和图11（b）展现了曝光不平衡导致的亮度失真，图10（c）整体信息保留较完整，但在绿植边缘存在明显的光晕，图11（c）细节信息得到了较好的保留，但降低了图像的自然度，图10（d）和图11（d）虽然保持了图像整体信息的完整性，但其亮度对比度失衡导致暗区域信息模糊，图10（e）和图11（e）图像边缘存在明显的光晕，图10（f）和图10（g）室内的盆栽存在不同程度的细节信息丢失，且由于曝光不平衡导致室内物体颜色暗淡，图11（g）图像整体暗淡，没有考虑饱和度的影响导致图像自然度较差。相比之下，本文算法在图像的自然性、结构的一致性及细节纹理信息的完整性方面都取得了较好的结果。

图10 不同TM算法的Belgium图像（动态范围4.11）Fig.10 Belgium images with different TM algorithms（dynamic range 4.11）（（a）original image；（b）Eilertsen’s；（c）Gu’s；（d）Khan’s；（e）Li’s；（f）Liang’s；（g）Miao’s；（h）ours）

图11 不同算法映射后的Fame图像对比（动态范围4.85）Fig.11 Fame images with different TM algorithms（dynamic range 4.85）（（a）original image；（b）Eilertsen’s；（c）Gu’s；（d）Khan’s；（e）Li’s；（f）Liang’s；（g）Miao’s；（h）ours）

3 结论

提出了一种宏微观信息增强及色彩校正的高效色调映射算法。一方面，在亮度通道构建宏观一致性和微观显著性的亮度感知压缩模型，利用加权引导滤波器将亮度图像分为基础层和细节层，结合宏观统计信息对基础层进行亮度感知压缩，确保图像背景信息和整体结构的真实性和自然性，同时结合图像显著性区域对细节和纹理信息进行微观增强，并进一步消除显著性区域的光晕现象。另一方面，在色度通道结合图像宏观统计信息及亮度压缩图像的信息变化，构建了自适应调节图像色度饱和度的中值偏移模型，对色度饱和度校正，有效避免TM 对图像造成主观色彩失真问题。实验结果表明，本文算法可以有效增强图像的纹理细节信息，同时降低边缘光晕并避免色彩失真，在主观和客观评价方面都优于现有的色调映射算法，在客观评价方面，本文算法的TMQI综合得分达到了最高分0.862 9。在主观评价方面也达到了最高的4.3 分。随着高动态摄影技术的发展，未来可以设计针对特定类型或者特定场景的色调映射算法，从而达到特定情景下最优的结果。此外，随着人工智能深度学习的日益发展，通过深度学习的方式对高动态图像及视频的显示、生成及编码等工作将成为下一步的研究目标。