保持局部对比度的动态范围压缩算法

燕 明,胡越黎, 胡云生

保持局部对比度的动态范围压缩算法

燕 明1,胡越黎1, 胡云生2

(1.上海大学上海市电站自动化技术重点实验室,上海200072;2.上海大学微电子研究与开发中心,上海200072)

针对高动态范围图像在显示时不能突出部分细节的缺点,提出了一种保持局部对比度的动态范围压缩算法,解决了传统算法在动态范围压缩时会降低局部对比度和影响高亮区域的缺陷,提出了新的S形亮度转换曲线,即通过控制S形亮度映射曲线的强度来提高图像低照度和增强强光区域的显示效果.实验结果表明,该算法可以有效压缩动态范围,使图像拥有较好的视觉效果.

动态范围压缩;局部对比度;亮度映射曲线

自然界中的亮度拥有很大的动态范围(通常为108∶1 cd/m2),人类的眼睛对环境中动态范围的感知度约为104∶1 cd/m2[1],而显示器的动态范围只有500∶1 cd/m2.因此,为了能够在低动态范围的显示器上显示出高动态范围的图像,需要对图像进行动态范围压缩(dynamic range compression,DRC)(见图1).本工作主要针对相机采集的图像,经过DRC算法后,压缩动态范围并保持局部对比度、细节等图像特征,使高动态图像能够在低动态范围显示器上显示并且拥有较好的视觉效果.

图1 高动态图像显示流程Fig.1 High dynamic image display process

近年来,陆续出现了很多DRC算法,如基于视网膜算法的多尺度视网膜增强算法[2]是将图像看作由“反射层”和“光照层”共同作用而成的,故可以通过估算当前图像的照度来减弱光照的影响.Fattal等[3]通过边缘保持滤波器对图像滤波产生低通层和高通层,然后进行不同的色阶映射以消除光晕的影响.席志红等[4]为改善高动态范围梯度域衰减算法的缺陷,并基于电象法的基础理论推导出一种不规则平面区域格林函数的数值解法,根据格林公式和狄利克雷边界条件得到区域泊松方程的解.马红微等[5]考虑了韦伯对比度公式,提出了一种保持输入对比度算法的一般形式,该算法可以结合任何连续可微的亮度映射函数,保持较好的对比度;并将该算法结合双曲亮度映射函数,实现了对输入图像对比度较好的保存,虽然效果不错,但是计算量大,复杂度高.

通常,DRC算法分为两类:基于全局信息统计和基于局部信息统计算法.常用的自适应Gamma矫正[6]、直方图均衡和色调映射等均为基于全局信息统计算法,具有快速、简单等优点,在工业上得到了广泛应用,但是易出现因过曝使得饱和度降低等降低视觉效果的现象.为了弥补全局信息统计算法的缺陷,发展了很多基于局部信息统计的算法,如多尺度视网膜增强算法、Apical公司的ORMIT算法[7]等.但是基于视网膜原理的DRC算法容易出现偏色和光晕,且计算量大,故本工作提出了一种保持局部对比度的DRC算法,避免了传统算法易出现偏色、光晕等现象,本算法计算量小并使图像拥有较好的视觉效果.

1 保持局部对比度的DRC算法

1.1 保持局部对比度

通常,传统的动态范围压缩采用非线性映射曲线,如Shimoyama等[8]将多个不同系数的Gamma曲线组合起来实现的,但是由于Gamma曲线在高亮处不能实现亮度的压缩,故经常会出现人为的过亮点.Safonov[9]采用幂指函数来进行动态范围压缩,但是由于幂指函数输入变量是单个的像素值,故在低照度下容易受到噪声的影响而不能较好地实现非线性映射.为了实现高动态图像的亮度映射,即实现暗区增亮、亮区变暗的动态范围压缩,本工作使用S形亮度映射曲线:

图2 S形亮度映射曲线Fig.2 S shaped luminance mapping curves

从图2中可以看出,本工作的映射曲线在低亮时将输入亮度向亮度变大的区域映射,而在高亮时将输入亮度向亮度变小的区域映射,通过控制sigmas和sigmah的值来控制暗区和亮区增强的程度.当sigmas值越大时,映射曲线的低亮区越凸起,即对暗区的亮度增强能力越强;当sigma h值越大时,映射曲线的高亮区越凹陷,即对亮区的高亮抑制能力越强.但是,仅仅通过亮度映射曲线来实现DRC算法是不能得到较好的视觉效果的(见图3),如当输入的两个相邻数值为10,5时,经过y=x1/2.2的非线性映射后,输出值为58,42,局部对比度由2∶1降低为1.38∶1,由此可见纯粹的非线性拉伸会降低局部的对比度(见图4).如图4(b)所示,经过单纯的S形亮度映射后整幅图的亮度值趋于中亮度值,整幅图的局部对比度降低,会产生“灰蒙蒙”的视觉效果.

图3 数值映射Fig.3 Numerical mapping

图4 亮度映射与本算法比较Fig.4 Comparison of luminance mapping and the proposed algorithm

为了避免“灰蒙蒙”的视觉效果,在图像进行亮度映射时,需要保持映射前后图像的局部对比度一致,故Ferradans等[10]建立了将多尺度视网膜增强和局部亮度自适应矫正结合,在进行亮度映射时仍然可以保持良好的局部对比度的PLCE算法.但是由于该算法需要对当前图像进行光照估计,因此在光照条件复杂以及估计错误时很容易出现偏色,且计算量大.Lee等[11]为了在进行全局对比度增强的同时对局部对比度也进行相应的增强或保持,通过结合邻域像素的亮度差构建了分层的二维直方图,进而构建优化函数来求解变换方程.但是优化方程的求解需要进行多次迭代,且该算法很容易出现过增强的现象,所以对有些包含自然景物场景的图像会产生不自然的效果.为了解决以上问题,本工作给出了一个简洁的保持局部对比度的算法.将输入图像Ⅰ在(x,y)位置处的像素值表示为Iin(x,y),局部均值为(x,y),则局部对比度[1]可以定义为

将经过DRC算法处理后的图像表示为Iout(x,y),为了使输出图像保持局部对比度,输出图像应该满足

故保持对比度的非线性映射函数可表示为

1.2 色彩保持

DRC算法的另外一个重点是在进行亮度映射时保持饱和度.为了保持饱和度,Lee等[11]在YUV色域仅对Y亮度信号进行处理,Farbman等[12]在HSV域仅对V亮度信号进行处理.而人眼对物体的饱和度感知是一个很复杂的模型,物体的饱和度和亮度呈复杂的非线性关系,而YUV和HSV等颜色模型只是对人眼感知的近似模型.通过如图5所示的不同色域处理实验发现,当对图像进行如式(5)的处理时,如果仅使用YUV色域的Y亮度信号,则会使图像的饱和度降低(见图5(b));而在仅使用HSV色域的V亮度信号时,则会使图像的饱和度过高(见图5(c)),两种处理方法都会影响主观视觉效果.由于YUV表示的是加性关系,而HSV表示的是乘性关系,故为了避免在DRC过程中改变图像的饱和度,将两种模型进行结合:

式中,sa为饱和度控制系数,sa∈(0,1),sa值越大则饱和度越高,为图像的RGB 3个通道,ratio=Yout/Yin为亮度的增强比率,D=Yout−Yin,其中Y为YUV色域的Y亮度信号,Y=0.299R+0.587G+0.114B.根据式(4)和(5)可得

图5 不同色域处理实验结果Fig.5 Experimental results of dif f erent color gamut processings

如图5(d)所示,当sa=0.8时,本算法对输入图像保持了良好的饱和度,消除了传统的DRC算法会产生光晕的缺陷.重新定义Yavg为经过双边滤波[13]的Y,即

式中,(x,y)为像素点位置,Ω为邻域区域,σd为距离因子,σr为亮度因子.

2 实验结果

为了验证本算法的有效性,对大量的高动态图像进行了实验,并与Global Gamma、ORMIT、直方图均衡等算法进行了比较(见图6).由图6可以明显看出,(b)为Global Gamma算法的处理结果,该算法降低了局部对比度和饱和度,整幅图给人“灰蒙蒙”的视觉感受;(c)为ORMIT算法的处理结果,虽然该算法保持了图像的饱和度,增强效果也很出色,但是由于采用了“膨胀”处理边界问题,故对黑色物体的对比度保持效果较差,可以看出图中黑色字的颜色明显变淡;(d)为直方图均衡的处理效果,该算法严重降低了图像的饱和度,产生很差的视觉效果;(e)为PLCE算法的处理结果,虽然该算法对低亮区域进行了较好的映射,但还是出现了颜色的失真,图中右侧的房屋颜色变白,天空的饱和度也发生了变化;而(f)为本算法的处理结果,可以看出本算法在进行动态范围压缩时能较好地保持局部对比度和饱和度,相对于其他算法,拥有较好的主观视觉效果.

图6 同类算法比较Fig.6 Comparisons of similar algorithms

由如图7和8所示的高光抑制的实验结果验证了本算法对高亮区域的抑制作用.图7中,本算法对过曝区域有明显的抑制效果,如高亮区域经过本算法处理可以看清左侧广告牌中的文字,且在右侧的暗区,经过本算法处理后可以看到更多的信息,增强后的暗区,符合人的视觉效果.图8(a)为输入图像,其下侧的色卡处有明显的过曝现象;图8(b)为本算法处理结果,可见下侧过曝的色卡处得到了明显的过亮抑制,且经过处理后的图像保持了原有的色彩和饱和度.

图7 高光抑制实验结果1Fig.7 Experimental result 1 of strong light suppression

图8 高光抑制实验结果2Fig.8 Experimental result 2 of strong light suppression

为了测试本算法在真实场景中的处理效果,使用Canon G16相机拍摄了大量的高动态范围图像进行测试,最终视觉效果如图9所示.图9(a)为其中的一个场景,(b)为本算法的处理结果,可以看出暗区的细节得到了较好的呈现,其过曝区域也得到了一定的抑制.

图9 真实场景测试结果Fig.9 Experimental result of real scene

3 结束语

本工作提出的DRC算法实现了图像高动态范围的压缩,使高动态范围图像能够以较好的视觉效果显示在低动态范围的显示器上,既保持了局部对比度和饱和度,又避免出现光晕等现象.另外,在实际图像中表现出了较好的处理效果,在工程中有比较好的应用前景,为DRC算法应用提供了新的思路.

[1]REINHARD E,HEIDRICH W,DEbEvEC P,et al.High dynamic range imaging:acquisition,display,and image-based lighting[M].Sam Francisco:Morgan Kaufmann,2010.

[2]JObSON D J,RAHMAN Z,WOODELL G A.Properties and performance of a center/surround retinex[J].IEEE Transactions on Image Processing,1997,6(3):451-462.

[3]FATTAL R,LISCHINSkI D,WERMAN M.Gradient domain high dynamic range compression[J].ACM Transactions on Graphics,2002,21(3):249-256.

[4]席志红,赵蓝飞.基于格林函数的动态范围压缩算法[J].计算机辅助设计与图形学学报,2014,26(4):581-589.

[5]马红微,吴成茂,屈汉章.基于局部对比度保存的动态范围压缩算法[J].西安邮电大学学报,2013(5):14-18.

[6]HUANG S C,CHENG F C,CHIU Y S.Efficient contrast enhancement using adaptive gamma correction with weighting distribution[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society,2013,22(3):1032-1041.

[7]VYACHESLAv C.Image enhancement methods and apparatus therefore[P].United States,B2,7302110.2007.

[8]SHIMOYAMA S,IGARASHI M,IkEbE M,et al.Local adaptive tone mapping with composite multiple gamma functions[C]//Proceedings of the 16th IEEE International Conference on Image Processing.2009:3117-3120.

[9]SAFONOv I V.Automatic correction of amateur photos damaged by backlighting[C]//International Conference on Graphicon.2006:80-89.

[10]FERRADANS S,PALMA-AMESTOY R,PROvENZI E.An algorithmic analysis of variational models for perceptual local contrast enhancement[J].Image Processing On Line,2015,5:219-233.

[11]LEE C,LEE C,KIM C S.Contrast enhancement based on layered dif f erence representation of 2D histograms[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society,2013,22(12):5372-5384.

[12]FARbMAN Z,FATTAL R,LISCHINSkI D,et al.Edge-preserving decompositions for multi-scale tone and detail manipulation[J].ACM Transactions on Graphics,2008,27(3):1-10.

[13]DURAND F,DORSEY J.Fast bilateral f i ltering for the display of high-dynamic-range images[J].ACM Transactions on Graphics,2002,21(3):257-266.

Dynamic range compression with local contrast preservation

YAN Ming1,HU Yueli1,HU Yunsheng2
(1.Shanghai Key Laboratory of Power Station Automation Technology,Shanghai University,Shanghai 200072,China;2.Microelectronic Research and Development Center,Shanghai University,Shanghai 200072,China)

As partial detail in a high dynamic range image cannot be shown on a common display,a dynamic range compression algorithm with local contrast preservation is presented.This paper addresses the problem that ordinary algorithms reduce local contrast and damage highlighted regions,and proposes a new S shaped luminance mapping curve.Luminance is successfully enhanced by controlling intensity of the curve.Experimental results show that the algorithm can ef f ectively compress the image dynamic range with good visual ef f ect.

dynamic range compression;local contrast;luminance mapping curve

TN 911.73

A

1007-2861(2017)05-0682-08

10.12066/j.issn.1007-2861.1722

2015-12-09

胡越黎(1959—),男,教授,博士生导师,博士,研究方向为微电子与集成电路设计、汽车电子与系统集成、机器视觉与片上多处理系统架构.E-mail:huyueli@shu.edu.cn

本文彩色版可登陆本刊网站查询:http://www.journal.shu.edu.cn