基于多曝光的高动态图像合成的噪声处理

刘宗玥，席志红

(哈尔滨工程大学 信息与通信工程学院，黑龙江 哈尔滨 150001)



基于多曝光的高动态图像合成的噪声处理

刘宗玥，席志红

(哈尔滨工程大学 信息与通信工程学院，黑龙江 哈尔滨 150001)

针对在高动态范围图像合成的过程中有噪声影响图像的质量这一问题，采取一种基于多曝光图像的高动态范围图像合成降噪算法。通过对各曝光图像的灰度数据进行提取、整理、分析，能合成代表原始场景光线分布的亮度图像。通过分析噪声对高动态范围图像合成质量的影响，提出在图像合成前将图像中含有的噪声进行处理。根据光子散粒噪声变化的特点，将图像混有的噪声问题转化为求解一个多曝光图像序列组的平均值问题，合成的图像视觉效果与真实图像极为接近。

高动态范围图像合成；多曝光图像；降噪算法；亮度图像；光子散粒噪声

普通的数字相机拍摄[1]的图像与真实场景差别很大，但利用普通数字相机很难生成动态范围很高的图像。适当地利用相机的曝光时间，对相同的场景进行多次的拍摄，且每次拍摄的图像都具有不用的曝光量。通过调节ISO设置，不同的曝光时间可拍摄到一组有着不同曝光量的图像，利用每张图像中细节完整的部分，可有效地合成高动态范围图像[2]。

在具体场景中，一幅数字图像的曝光区域不同，分为过曝光，曝光不足和正常曝光3个区域。不同的曝光时间会影响图像的拍摄效果，曝光时间长的图像，在低曝光的区域的图像拍摄效果更好，相反，曝光时间短的图像，在过曝光图像区域的图像拍摄的效果更好。利用这种现象，对同一场景进行拍摄，通过改变曝光时间可获得一系列的曝光图像[3]，可以对每个图像提取不同亮度区域[4]的图像信息，最后利用这组图像的细节信息的合成一幅高动态范围图像。在高动态范围图像合成过程中将图像中含有的噪声[5]进行优化，可使合成的高动态范围图像视觉效果更接近真实场景。

1 降噪算法模型

本文中所提出的噪声，主要指图像合成过程中所产生的噪声，可将噪声主要分为3类：暗电流噪声，光子散粒噪声和读噪声。由于数码相机传感器固有的缺陷，噪声可以在相机[6]的非线性响应过程和相机后期处理过程中产生[7]。暗电流噪声由电子的热运动引起，在感光元件工作时产热而导致噪声的增加，噪声服从泊松分布或正态分布。光子散粒噪声是光子随机运动进入感光器件形成的，也服从泊松分布。读出噪声成因较多，分布类型也不确定。本文所处理的噪声主要是光子散粒噪声，针对光子散粒噪声服从泊松分布，而设定了降噪模型[8]。

由于相机本身的缺陷，总会在拍摄后的图片上携带噪声，令所合成的图像[9]质量下降。针对这一问题，本文提出了对多曝光图像序列在合成前进行降噪处理，令合成的高动态范围图像视觉效果更满意。

图像中的噪声[10]是本文的主要解决的问题，根据噪声的特性[11]，用一个模型进一步说明。假设一幅图像的区域辐照度是I，图像j在拍摄过程中相机记录的辐照度带有加性噪声nj。如果光子散粒噪声为主要噪声，随着拍摄时间增加方差减小，所以nj～sj/tj，其中,sj表示单位时间的方差。所以图像j的辐照度可表示为

Ij=(I+sj/tj)tj

(1)

在本文算法中，先要根据曝光时间将图像线性排列，然后计算加权平均，如式(2)所示。

(2)

其中，权重项用w简要表示，整理为

(3)

设定w=tj，整理为

(4)

2 算法原理

本文将同一场景的不同曝光图像，按着曝光时间的排序，形成一组多帧的图像。利用多帧图像的平均，将已经选好的可用图像组成序列，在合成HDR图像[12]之前进行预处理，降噪要在噪声被进一步放大前完成。

已知相机的响应f和权重函数w，利用由N帧构成的相关像素值的加权平均求像素p的辐照度的值Ip。

(5)

其中，f-1是相机响应曲线[13]的逆；pi是i图像的像素p的值；ti是图像i的曝光时间。为了能修正一个噪声帧，需要将每一帧进行加权平均，并要将相同序列的之后的几个更长时间的曝光帧进行平均，如式(6)～式(8)所示。

(6)

(7)

pi′=f(tici)

(8)

式(6)中,g是权重方程，将平均序列中不同帧给定不同的权重系数。在式(7)中ci是第i帧图像的修正值，s是进行加权平均的图像组的大小，用做平均曝光序列的长度值。例如，若s为4，第1帧的平均就是用第2帧，第3帧和第4帧进行平均。第2帧就是用第3帧，第4帧和第5帧进行平均，以此类推。将第i组的图像利用相机响应曲线的逆乘上权重系数并除以曝光时间tj，再进行加权平均[14]去修正带有噪声的图像。式(8)中pi′是经过相机响应曲线输出的去掉噪声的图像。

权重方程g是每个曝光量的权值v的集合。而另一个方程t是用来排除曝光度过高和不符合要求的像素点。在数字图像中，由于噪声和伪影的存在，波动通常发生在像素的极值附近，这样的波动会给本文算法带来一个负面的影响。由于曝光过度的图像在平均的过程中会导致动态范围的丢失，在结果中表现出来一种“冲溃”现象。为避免这种情况的发生，设定t函数将大于249的像素从多曝光图像的序列中排除，在200～249之间的像素是平滑增长的，利用埃尔米特插值进行加权平均，小于200的像素做完全平均。

(9)

在加权平均的一组图像中，有可能一些像素超过了249，此时t便可应用在所有的图片而不仅是当前正在修正的图片。例如，当前正在处理第1帧图像，假设一组图像内有3帧，t也可将第2帧和第3帧图像中曝光过度的和不可信的像素点排除。

当所有帧的图像修正后，根据相机的响应曲线，就可利用每一帧的图像合成高动态范围图像[15]。根据已知的权重方程w和图像降噪后的ci可求得图像的辐照度Ip。

(10)

3 实验结果与分析

实验采用SONY公司的数字相机α57，对获得的多曝光图像进行图像去噪处理，实验部分采用的硬件平台是PentiumDual-Core2.70GHz处理器，2.00GB内存，仿真软件编程环境是MicrosoftVisualStudio2010。对比算法包括：Jiang算法，Gu算法，Granados算法，Lee算法和Mertens算法。算法输出标准的RadianceRGB格式。由于常规显示器的动态范围是100∶1，远小于亮度图像的动态范围，因此本文采用基于局部线性变换的方法进行色阶映射，再通过Gamma校正将亮度图像转化为位图文件进行存储、显示。

由于本文算法，噪声的多集中在低曝光图像的拍摄过程中，提取多曝光图像序列中曝光时间比较短的5张图像进行实验结果对比，通过实验仿真的结果，可证实本文的方法可较好地降低噪声，令合成的HDR图像更清晰清晰，如图1所示。

图1 场景Bridge不同曝光图像去噪后的对比图

由对比图可看出，曝光度越低的图像有的噪声越多，图像越不清楚，图1(a)未经本文算法处理的图像，噪点较多，细节模糊。图1(b)是经过本文算法处理的，清晰且视觉效果更好。第6幅图像是截取局部的放大图像，对比的效果明显。之后再将Jiang算法，Gu算法，Granados算法，Lee算法和Mertens算法与本文经过降噪处理合成的高动态范围图像进行比对，如图2和图3场景Wildness所示。

图2 场景Wildness的多曝光图像

图3 场景Wildness对应的不同高动态范围成像算法的视觉比较

4 结束语

本文提出了一种简单有效的高动态范围图像的降噪技术，算法只需相机的响应曲线，或是从图像序列中恢复出响应曲线，任何现有的恢复算法均可回复相机的响应曲线。利用较短的曝光时间的图像序列，可通过增加相机的ISO设置来实现，这种方法获得的图像通常产生较大的噪声，但本文算法可以将图像中的噪声降低，弥补这一缺点。本文算法还有一个重要的优势就是发生图像模糊或鬼影的现象概率较小。此外，本文的算法也可应用在高动态范围的视频影像中，通过增加视频摄像机的灵敏度来获得更高的帧速率，可利用本文算法，对所拍摄的帧进行后期处理。

[1]ReinhardE,StarkM,ShirleyP,etal.Photographictonereproductionfordigitalimages[J].ACMTransactionsonGraphics,2002,21(3):267-276.

[2]ReinhardE,HeidrichW,DebevecP,etal.Highdynamicrangeimaging:acquisition,display,andimage-basedlighting[M].MA,USA:MorganKaufmann, 2010.

[3] 张军,戴霞,孙德全,等.不同曝光值图像的直接融合方法[J].软件学报,2011,22(4):813-825.

[4]LeddaP,WardG,ChalmersA.Awidefield,highdynamicrange,stereographicviewer[C].Macao:Proceedingsofthe1stInternationalConferenceonComputerGraphicsandInter-activeTechniquesinAustralasiaandSouthEastAsia,ACM, 2003.

[5] 黄芹华,欧阳为民.手机及小型手持数字设备数字取证研究综述[J].计算机工程与应用,2009, 45(18):81-84.

[6] 都琳,孙华燕,张廷华,等.基于相机响应曲线的高动态范围图像融合[J].计算机工程与科学,2015,37(7):1331-1337.

[7]WardG.Realpixels[M].Boston:AcademicPress,1991.

[8]LiS,KangX.Fastmulti-exposureimagefusionwithmedianfilterandrecursivefilter[J].IEEETransactionsonConsumerElectronics, 2012, 58(2): 626-632

[9]GuB,LiWJ,HuangJT,etal.Gradientfieldmulti-exposureimagesfusionforhighdynamicrangeimagevisualization[M].JournalofVisualCommunicationandImageRepresentation, 2012, 23(4): 604-610.

[10] 佟首峰,阮锦,郝志航.CCD图像传感器降噪技术的研究[J].光学精密工程,2000(2):140-145.

[11] 李云飞,司国良,郭永飞.科学级CCD相机的噪声分析及处理技术[J].光学精密工程,2008(s1):158-163.

[12] 刘卫华.合成高动态图像有关技术综述分析[J].电子世界,2014(4):178-179.

[13] 章卫祥,周秉锋.一个稳健的用于HDR图像的相机响应函数标定算法[J].计算机学报,2006,29(4):658-663.

[14] 刘庆祥,蒋天发.彩色与灰度图像间转换算法的研究[J].武汉理工大学学报:交通科学与工程版,2003,27(3):344-346.

[15] 李光鑫.红外和可见光图像融合技术的研究[D].长春:吉林大学,2008.

Noise Processing of High Dynamic Image Synthesis Based on Multiple Exposure

LIU Zongyue，XI Zhihong

( School of Information and Communication Engineering,Harbin Engineering University,Harbin 150001, China)

Aiming at the problem that the quality of image is affected by noise in the process of high dynamic range image synthesis, a high dynamic range image synthesis algorithm based on multi exposure image is adopted. By extracting, sorting out and analyzing the gray data of each exposure image, the brightness image of the light distribution of the original scene can be synthesized. By analyzing the effect of noise on the quality of the high dynamic range image, it is proposed to deal with the noise in the image before the image is synthesized. According to the characteristics of the photon shot noise, the mixed image noise problem is transformed into the average value problem of a multi exposure image sequence group, and the image visual effect is very close to the real image.

high dynamic range image synthesis; multiple exposure images; noise reduction algorithm; luminance image; photon shot noise

2016- 01- 21

国家自然科学基金项目(60875025)

刘宗玥(1989-)，女。硕士研究生。研究方向：数字图像处理。席志红(1965-)，女，博士，教授，博士生导师。研究方向：数字图像处理。

10.16180/j.cnki.issn1007-7820.2016.11.026

TP391.41

A

1007-7820(2016)11-090-04