色度亮度协同滤波的色调映射算法

朱世松，秦 嬴，郑艳梅，芦碧波

(河南理工大学 计算机科学与技术学院，河南 焦作 454000)

1 引 言

在真实物理环境中，亮区和暗区之间的亮度跨度极大。亮区亮度值可达102cd/m2，暗区的亮度值只有10-3cd/m2，亮暗场景之间的动态范围比值更达到108∶1[1]。高动态范围(High dynamic rang，HDR)图像是可以同时有效涵盖亮暗区域的图片，并保留真实的细节信息。但现存绝大部分显示设备亮度范围仅有102，无法直接显示HDR图像。为了解决该问题，需要运用色调映射这一软件技术[2]，以避免花费巨资大批量更换硬件设备。

色调映射技术主要对高动态范围图像进行亮度范围压缩，并有效显示图像的对比度、细节、色彩等信息。现有色调映射算法主要分为3大类：全局色调映射、局部色调映射和混合色调映射。全局色调映射是对图像整体做出映射改变。Khan等人[3]提出使用亮度直方图构造查找表(LUT)用于色调映射，该算法通过构造直方图，利用人类视觉系统的特点加强视觉识别强度，算法复杂度低，能较好地显示图像。Yang等人[4]提出一种三步自适应图像动态范围调整算法，利用两个Gamma函数来调整该亮度，最后再进行融合，可以有效压缩图像的动态范围，图像对比度好。全局色调映射算法复杂度较低，但整体关联性高造成局部细节信息减弱。局部色调映射根据像素值之间的关系以及亮度范围的不同对图像进行区域映射。Kou等人[5]提出一种梯度域引导滤波结合一阶边缘感知约束算法，可以更好地保留边缘，降低光晕的现象。芦碧波等人[6]提出一种改进的多尺度Retinex色调映射算法，运用引导滤波对亮度信息进行分层，经过一系列粗化图像将反射层进行分解重构。冯维等人[7]提出一种改进的梯度域和色彩校正模型的自适应色调映射算法，对亮度使用了高斯金字塔以及泊松方程，同时利用颜色校正技术，可以改善颜色的色偏问题。局部色调映射输出图像的对比度、细节等方面都得到了较好的增强，但算法复杂度较高，同时会产生轮廓虚假、光晕伪影等现象[8]。混合色调映射的提出是为了解决全局映射对比度较低和局部映射复杂度高的问题而融合的映射算法。Ok等人[9]将自适应参考值和差分压缩相结合提出一种混合色调映射算法，使用质量度量方法来保留明暗区域的细节。邵华等人[10]提出一种人眼感知驱动的成分分解色调映射算法，首先对全局亮度使用非线性校正函数，再通过引导滤波对图像进行分层处理。现有的色调映射技术主要是通过处理图像亮度信息解决难以显示问题，并提高图像的局部细节，但在色彩方面，由于没有有效地分离出颜色信息，处理方法通常较为简单。

针对上述问题，本文在色度亮度(Chromaticity brightness，CB)颜色空间中提出了一种基于协同滤波的色调映射算法。该算法首先将HDR图像通过CB颜色空间提取出亮度信息和色度信息，运用双边滤波技术分解亮度信息并重构，运用协同滤波技术对色度信息分解并重构。在对高动态范围图像进行范围压缩的同时，可以更好地保持图像中的细节和边缘信息以及提高色彩质量。

2 色度亮度协同滤波的色调映射算法

2.1 流程算法

现有的基于分解的色调映射算法中，主要是对亮度信息进行分解和重构，颜色信息采用简单的RGB三通道等比例伽马校正进行处理，其比例值取决于映射前后的亮度比值。这样的计算方式无法有效对图像的颜色进行增强等处理。为此，本文在色度亮度空间中将亮度和色度信息进行有效分离，并设计算法同时对这两种信息进行分解和重构，得到色调映射之后的图像。算法流程图如图1所示。

2.2 CB颜色空间

彩色图像在RGB颜色空间中表示方式如下：

I:Ω→R3={r(x,y),g(x,y),b(x,y)}，

(1)

在采集和传输图像数据的过程中，通常会产生噪声和模糊。RGB颜色空间实现过程简单、处理速度快。但由于彩色图像中的RGB三个通道之间相互有着很高的关联性，将其分开处理可能会导致最终的图像出现失真的现象，降低输出图像的质量[11]。为有效分离颜色和亮度信息，本文采用式(2)、(3)将HDR图像分为亮度信息B和色度信息C：

(2)

(3)

其中：I表示输入色彩图像，B表示在RGB颜色上向量的长度，C表示单位长度上的色彩信息。图2给出对一个HDR图像在CB颜色空间中进行分解之后得到的亮度和色度信息。图2(a)是对HDR图像进行线性显示的结果，图2(c)中可以看到原图中包含的天空、树木等丰富颜色信息。

图2 HDR图像的CB颜色分解

2.3 亮度信息处理

2.3.1 归一化

人类视觉系统对亮度的感知与对数域形式相近，因此将亮度信息转化至对数域。由公式(2)获取HDR图像的亮度信息后，将亮度信息转化至对数域。为了后续数据处理的方便，需要将对数域处理过的亮度进行归一化，处理公式如下：

(4)

其中：B为输入图像亮度信息，Bmax和Bmin分别是亮度信息的最大值和最小值。

2.3.2 双边滤波

为了使图像的边界部分保持清晰，细节更加明显，本文运用双边滤波技术对亮度信息进行分解。非线性双边滤波是Tomasi[12]等人提出的，是一种可以有效去噪保边的加权均值滤波器。权重项系数分为两部分，即几何空间距离权重项和强度差值权重项。离待处理像素越近的像素点，几何空间距离权重项越大。与待处理像素值越相近的像素点，强度差值权重项越大。在亮度信息中，将空间距离权重项表示为Gs，强度差值权重项表示为GB：

(5)

(6)

其中：y是滤波窗口内邻域像素点的坐标；x是待测像素点的坐标；IB(y)是窗口内邻域像素值；IB(x)是待测像素值；σs和σr分别是空间距离权重项和强度差值权重项的标准差，根据图像的大小以及归一化后的边缘幅度，取σs为图像对角线长度的1‰，σr为0.1。最终的滤波输出结果为：

(7)

其中：BF是滤波后结果，归一化系数Wx为滤波窗口内两个不同权重项的乘积和，如公式(8)所示：

(8)

2.3.3 亮度分层与重构

通过滤波获得的结果图包含着图像的基本结构信息，因此该结果为亮度基本层，根据亮度基本层和归一化后的亮度信息进行计算得到亮度细节层，亮度基本层和亮度细节层获取公式如式(9)和式(10)所示：

Bbase=BFB(B0)，

(9)

Bdetail=B0-Bbase，

(10)

其中：B0为归一化后的亮度B[0,1]，Bbase是亮度基本层，Bdetail是亮度细节层。将亮度基本层与亮度细节层进行加权并完成亮度信息的重构，公式为：

Bout=WB1Bbase+WB2Bdetail，

(11)

其中：WB1是亮度基本层权重值，WB2是亮度细节层权重值。为了实现图像的动态范围压缩并保持良好的细节信息，WB1和WB2需满足以下公式：

0

(12)

(13)

亮度信息归一化结果、基本层、细节层和亮度重构结果如图3所示。对比图3(a)和图3(d)可以看出，亮度重构后山川和树林的小细节都能更加清晰的表现出来。

2.4 色度信息处理

2.4.1 协同滤波

理论上，色度信息滤波可以采用与亮度信息相同的方法实现，即使用双边滤波对色度信息进行处理，但实际处理中发现效果不佳，主要表现为图像模糊现象较为严重。产生此问题的主要原因在于色度长度均为1，像素之间的差异较小。

经对比观察图2和图3，发现归一化之后的亮度图3(a)和色度图2(c)之间在大尺度边缘具有视觉一致性。为此，本文考虑综合利用色度信息和亮度信息，设计如下的色度亮度协同方法进行滤波：

(14)

其中与权重相关的归一化系数Wx、几何空间距离权重项Gs、亮度强度差值权重项GB与前文一致，但这些权重被用来对色度信息Ic(y)进行加权处理。上述公式综合利用亮度色度信息进行协同滤波，与双边滤波方法相比是有所不同的。在色度信息上使用双边滤波，其强度差值权重项是由色度本身的像素值计算得到。而在色度信息上使用协同滤波，其强度差值权重项是由亮度信息的像素值计算得到，再与色度信息上的像素值进行相乘，充分利用亮度信息对色度进行协同滤波。图4给出了两种方案的滤波结果对比，从图中可以看出协同滤波技术更好地显示了山川与天空的边界、树叶等处的细节。

2.4.2 色度分层与重构

对于输入色度信息和滤波后色度信息，按照式(15)、(16)得到色度基础层Cbase和色度纹理层Ctexture：

Cbase=BFc(C)，

(15)

Ctexture=C-Cbase.

(16)

图5给出了分别使用色度双边滤波和协同滤波得到的纹理层结果图。从图中可以看出，通过协同滤波得到的纹理层，更好地维持了边缘色彩细节，从颜色上可以更好地区分出山川和树林。

将色度基础层与色度纹理层进行加权和来完成色度信息的重构，公式如下：

Cout=WC1Cbase+WC2Ctexture，

(17)

其中：WC1是色度基础层权重值，WC2是色度纹理层权重值。为了提高图像颜色细节信息并使图像色彩鲜艳，WC1和WC2需满足以下公式：

1

(18)

图6给出了分别使用色度双边滤波和协同滤波得到的基础层和纹理层重构，其中纹理层权重系数采用了较大的值。观察图6和图2，协同滤波的重构结果图6(b)与图2(c)相比，山川、树林颜色细节都已经有了明显的提高。而色度信息与亮度信息融合后可以发现，使用色度双边滤波会造成颜色的不正常变化，如图7(c)所示，小区域树林的边缘产生蓝色现象，产生这种现象主要是因为在色度双边滤波的过程中像素受到了周围像素颜色的影响。

图6 不同方法的重构结果

图7 不同方法的输出图像

2.5 色彩转化

根据上述步骤处理后，得到重构后的亮度信息和色度信息。采用如下公式将新的亮度信息和色度信息融合作为最终的映射结果。

LR=Bout×CRout，

(19)

LG=Bout×CGout，

(20)

LB=Bout×CBout，

(21)

其中：Bout为色调映射后的亮度值，CRout、CGout、CBout为色调映射后不同通道的色度值。

3 实验结果与分析

通过实验发现，本文算法分别对HDR图像的色度信息和亮度信息进行分解和重构，输出的图像可以取得较好的视觉效果。实验数据集包含123张HDR图像，分布来源于Anyhere Software网站(www.anyhere.com/gward/hdrenc/pages/orignals.html)和MCSL网站(http://www.cis.rit.edu/research/mcsl2/icam/hdr/rit_hdr/)。经大量实验的分析与测试，确定亮度基本层系数为0.4，亮度细节层系数为1.8，色度基础层系数为1.6，色度纹理层系数为1.3，该系数对于大部分HDR图像都可以产生较好的结果，较好结果的图像达到实验总图像的86%。本文选取了文献[13]、文献[14]和文献[15]中的色调映射算法和本文的算法进行实验结果的对比和客观质量指标的分析。对比算法中文献[13]、文献[14]和文献[15]的算法参数为相关文献中提出的默认参数。

3.1 实验结果对比

图8所示是第一组图像的实验结果图。从文献[13]算法结果可以看出，图像整体边界虚化，墙上画的边缘未得到较好的恢复，产生了扭曲状态。从文献[14]算法结果可以看出，图像保留了较好的细节，但部分地方成片状黑。从文献[15]算法结果可以看出，图像整体亮区和暗区之间差距过大，亮区细节无法展现出来，屋顶上的灯看不出其轮廓。从本文算法结果可以看出，图像恢复较为自然，色泽明亮，没有出现过亮或者过暗的部分，从局部的画和灯可以看出纹理信息表达清晰。

图9所示是第二组图像的实验结果图。从文献[13]算法结果可以看出，通过色调映射算法显示出了完整的图像信息，但整体边缘模糊，开关和窗户的纹理细节较弱。从文献[14]算法结果可以看出，图像边缘细节处理较好，但颜色不均匀，墙体大部分是黑色的暗粒。从文献[15]算法结果可以看出，图像整体颜色未恢复到自然色彩，暗区和亮区部分细节丢失，例如开关处处于曝光状态，而窗帘处纹路模糊不清。从本文算法结果可以看出，图像整体色泽柔和，没有呈现出某区域过增强或者欠增强的现象，开关和窗框纹理清晰可见，且没有失色。

图9 第2组图像色调映射算法结果对比

图10所示是第三组图像的实验结果图。从文献[13]算法结果可以看出，图像颜色恢复较好，但整体细节感较差，手部和窗帘较为模糊，部分纹理没有显示出来。从文献[14]算法结果可以看出，图像整体细节信息都被很好地保留下来，但仍存在颜色恢复不均匀问题，暗粒较多。从文献[15]算法结果可以看出，图像整体颜色恢复均匀，但亮区出现曝光的现象，导致窗帘的形态未被显示出来。从本文算法结果可以看出，图像色彩鲜明，具有较好的局部对比度，局部中的手和窗帘的边界都清晰可见。

图10 第3组图像色调映射算法结果对比

图11所示是第四组图像的实验结果图。从文献[13]算法结果可以看出，图像整体偏暗，墙上的字和安全指示灯恢复较完整，但存在边缘模糊的现象。从文献[14]算法结果可以看出，图像颜色完整地显现出来，但还是存在颜色不均匀的现象，墙上的字清晰可见，但安全指示灯出现了较为强烈的光晕现象。从文献[15]算法结果可以看出，图像整体偏亮，部分区域过亮掩盖了细节，但安全指示灯恢复的较好，边界清晰。从本文算法结果可以看出，图像整体恢复较好，大部分边缘都保留了下来，但安全指示灯与文献[14]算法结果中的一样，出现了较为强烈的光晕现象，没有文献[13]和文献[15]的算法效果好。

图11 第4组图像色调映射算法结果对比

3.2 客观质量指标对比

为了更加客观地对比色调映射后图像的结果，本文采用了Yeganeh等人[16]提出的关于色调映射图像的客观质量评价(TMQI)方法对色调映射算法结果进行对比分析。该客观质量评价方法中包含3个评价指标，分别为图像质量分数(Q)、结构保真度(S)和图像自然度(N)。各指标越接近于1，证明图像客观质量越好。从表1中可以看出，在大部分情况下，本文算法结果的3个客观指标与文献[13-15]算法结果相比分别有一定的提升，平均提高了25.24%，18.89%，45.89%。

表1 客观质量指标对比

4 结 论

本文在CB颜色空间中提出了一种基于协同滤波的色调映射算法。首先将HDR图像利用CB颜色空间提取亮度信息和色度信息，然后运用双边滤波技术来分解亮度信息并重构，以此来增强图像的细节，运用协同滤波技术来分解色度信息并重构，来提高图像的色彩质量。实验结果显示，本文算法的输出图像颜色信息丰富，边界信息保存完好，图像质量较高，主观上符合人眼视觉效果，客观指标上也有所提升，在图像质量分数、结构保真度和图像自然度上分别提高了25.24%，18.89%，45.89%。