基于DCT变换的多曝光图像融合方法

刘卫华，马洋花，刘 颖

(西安邮电大学 通信与信息工程学院，陕西 西安 710121)



基于DCT变换的多曝光图像融合方法

刘卫华，马洋花，刘 颖

(西安邮电大学 通信与信息工程学院，陕西 西安 710121)

针对普通相机拍摄图像中存在区域曝光问题，提出一种改进的基于离散余弦变换的多曝光图像融合算法。分别对同一场景的多幅不同曝光图像分块，并对每个小块进行离散余弦变换。对提取相应位置的低频系数平均加权，获取图像近似部分的融合分量；对高频系数基于区域标准差确定权重系数，根据权重系数的大小获取细节部分的融合分量。最后，通过反离散余弦变换获得较好质量的多曝光融合图像。仿真实验表明，该算法在提取低频系数为25%，高频系数为75%时，展现的图像细节信息更加丰富。

图像融合；多曝光图像；DCT变换；局部标准差；加权平均

传统相机拍照只能记录有限范围的对比度、亮度和色度，不能对现实场景的细节信息完全记录。拍摄一系列不同曝光度的同一场景的图像，可以提供比单张照片更为丰富的细节信息[1]。 在不同曝光度下，图像所呈现的细节信息不同，通过多曝光图像合成可以将不同图像的细节呈现在同一张图像上。对这样的图像序列进行融合处理，不仅能够消除数据之间的冗余，提高信息的利用率，还可以使更多的图像细节信息表现出来，可抑制各图缺点，使图像质量更好[2]。

已有的获取多曝光图像融合方法中，基于细节特征的图像融合获取算法在提取方差区域特征时，窗口过大，导致合成图像不清晰[3]。用分光技术获取不同曝光图像的电路系统，对于光路设计有较高的要求，不仅需要设计分光系统，而且加入的中性滤镜使得光线利用率不高[4]。基于时域的多曝光融合方法，通过采用对比度、饱和度等质量评估方法对输入图像的质量进行分析，确定融合权系数将图像融合为一幅最佳曝光图像，但得到图像的色彩效果不够好，存在明显色差[5]。在时域中得到融合图形的算法，虽然融合图像视觉不错，但是存在部分区域失真问题[6]。将离散余弦变换 (Discrete Cosine Transform，DCT)和提升小波变换相结合的融合算法，计算复杂度过高[7]。利用局部对比度进行图像融合的方法，选择对比度较大的DCT系数用于图像融合，计算过程比较复杂，而且融合图像出现了块效应和模糊现象[8]。基于方差判断准则的方法，将输入图像划分为DCT块，分别计算它们的方差，选择方差较大的块作为融合图像的DCT块，但是该方法存在大量的平方运算，耗费资源[9]。

DCT[10]除了具有一般的正交变换性质外，它的变换阵的基向量能很好地描述语音信号和图像信号的相关特征。在实时应用方面，DCT被认为是一种最佳变换。针对在时域中得到的融合图像的失真现象以及块效应问题，本文拟提出一种基于DCT变换的多曝光图像融合算法。对参与融合的源图像分块，通过DCT变换分别对每个小块提取低、高频系数，并对它们进行相应地融合，最后通过反离散余弦变换(IDCT)得到融合结果图。

1 DCT变换

DCT变换是一种线性正交变换，表示交换核各矢量间单位正交，并且是对称可分离，所以它可以被分解成为行列之间的两次一维变换。

设f(x,y)为M×N的数字图像矩阵，则二维DCT定义为

(1)

M×N的二维图像IDCT定义为

(2)

其中F(u,v)为图像的二维DCT变换，M和N对应数字图像矩阵的行和列。从式(1)可以看出，DCT变换之后，系数从左上角到右下角，从低频到中频，再到高频，系数的绝对值逐渐变小，能量集中在低频成分。DCT系数的频带与方向信息在DCT系数矩阵中的体现如图1所示。低频代表图像像素之间慢变化,即图像框架部分,高频代表像素之间的快变化,即图像细节部分。

(a) DCT系数的频带信息

(b) DCT系数的方向信息

2 基于DCT变换的图像融合算法

在图像融合过程中，最主要的就是如何提取低高频系数以及低高频系数的融合准则。基于DCT变换的图像融合算法原理如图2所示。

图2 DCT融合算法原理

算法步骤如下。

步骤1 精确配准待融合的源图像。

步骤2 采用分块的方法将参与融合的每幅大小为M×N的源图像分别分成m×m个小块。

步骤3 对步骤2中得到的小块都进行DCT变换。

步骤4 对通过DCT变换的小块分别提取低频系数和高频系数，并对相应位置的低高频系数根据低高频融合准则进行融合。

步骤5 对已融合的DCT系数进行IDCT，最终得到融合图像。

2.1 低频系数融合

对视觉最重要的信息部分,都集中在图像的低频。低频代表图像像素之间慢变化，即图像框架部分[11]。为了保持图像的可视性,保留图像的低频部分，低频部分的改变有可能引起图像较大的变动。基于DCT变换的融合图像的低频系数采用平均法，假设有p幅多曝光图像，可定义为

(3)

式中Gk(i,j)是源图像经DCT变换后提取的低频系数；G(i,j)为融合后的低频系数；wk是权重因子。

2.2 高频系数融合

高频系数对应于图像的细节信息，如边缘等特征。高频系数的融合规则如下。

(1)分块后的图像经DCT变换后，提取它的高频系数。

分别计算高频系数D(i,j)以像素点(i,j)为中心的(2k+1)×(2k+1)邻域内的图像标准差表达式为

(4)

(5)

(2)记p幅多曝光图像的某高频系数的区域标准差分别为[C1(i,j),C2(i,j),…,Cp(i,j)]，则提取的高频系数对应的权重系数为

(6)

(3)由式(7)可以得出p幅多曝光图像的权重，对它们进行比较，融合后的高频系数D(i,j)为最大的权重系数所对应的高频系数。如果

wk(i,j)=

max[w1(i,j),w2(i,j),…,wk(i,j),…,wp(i,j)]，

那么

D(i,j)=Dk(i,j)。

(7)

3 实验结果及分析

实验图像使用Canon PowerShot S3 IS相机三脚架拍摄，并且场景内无运动目标，即假定各组不同曝光的图像是严格配准的，融合之前不需要经过配准。曝光时间分别为1/30 s、0.25 s、2.5 s、15 s，分辨率为2 816×2 112。图3是相同场景4张不同曝光度的图像序列。

(a) 原始图像1

(b) 原始图像2

(c)原始图像3

(d) 原始图像4

3.1 低高频系数提取对比

图像经DCT变换后，提取的低频系数占DCT系数的百分比分别为12.5%和25%，则对应的高频系数分别为87.5%和75%，如图4所示。

(a) 12.5%的低频系数(b) 25%的低频系数

图4 低频系数提取

对图3中各原始图像按照改进方法进行融合，结果如图5所示。

(a) 12.5%的低频系数的融合图像 (b) 25%的低频系数的融合图像

图5 提取不同低频的融合图像

由图5可以看出，原始图像经DCT 变换后，当低频系数提取25%，高频系数提取75%时，房顶上的字母HYATT可以很清晰地看出来，其展现的图像细节信息更加的丰富。

3.2 算法对比

分别对比4×4、8×8、16×16的二维DCT变换时的融合效果，利用峰值信噪比(PSNR)、均方根误差(RMSE)以及结构相似性度量(SSIM)评价标准[13]进行评价，评价结果如表1所示。

表1 评价结果

表1中，8×8分块的PSNR略高，PSNR越高表示融合后的图像失真越少；RMSE较低，RMSE越低表示融合后的图像失真越少；SSIM略高，SSIM越高表示融合后的图像与参考图像越相似。因此，8×8分块相比较其他分块较好。

文献[5]算法和改进算法合成的图像结果如图6所示。

(a) 文献[5]算法结果

(b) 改进算法结果

从图6中可以看出，文献[5]得到的融合图像中太亮的部分会出现光晕，而改进算法得到的融合图像能更好地还原原始图像序列的真实场景，保留了原始图像更多的细节。

4 结语

改进的基于DCT变换的多曝光图像融合算法，是对DCT变换后低高频系数的提取进行了分析，并且将该算法得到的融合图像与在高斯变换和拉普拉斯变换中得到的融合图像进行了对比。实验结果表明，当低频系数提取25%，高频系数提取75%时，得到的融合图像清晰度较好，而且保留了更多图像细节。

[1] 江铁, 朱桂斌,孙奥.基于金字塔变换的多曝光图像融合[J/OL].计算机技术与发展, 2013(1):95-98[2016-07-01].http://dx.chinadoi.cn/10.3969/j.issn.1673-629X.2013.01.024.

[2] 唐振华，梁聪等. 基于DCT域纹理特征的多聚焦图像融合[J/OL].应用科学学报,2015,33(6):628-636[2016-07-01].http://dx.chinadoi.cn/10.3969/j.issn.0255-8297.2015.06.006.

[3] 刘颖, 焦淑云,刘卫华.基于细节特征的高动态范围图像获取算法[J/OL]. 西安邮电大学学报,2014,19(6):22-25[2016-07-01].http://dx.chinadoi.cn/10.13682/j.issn.2095-6533.2014.06.004.

[4] TOCCI M , KISER C ,SEN P. A versatile HDR video production system[J/OL].ACM Transaction on Graphics,2011,30(4):41-89[2016-07-01].http://dx.doi.org/10.1145/2010324.1964936.

[5] MERTENS T, KAUTZ J, REETH F V. Exposure fusion[C/OL]//The 15th Conference on Computer Graphics and Application,[s.l.]:IEEE,2007:382-390[2016-07-01].http://dx.doi.org/10.1109/PG.2007.17.

[6] LIU W H, WU S Q, LIU Y, et al. An improved HDRI acquisition algorithm based on quality measurement[C/OL]//IEEE 10th Conference on Industrial Electronics and Applications, [s.l.]:IEEE,2015:614-619[2016-07-01].http://dx.doi.org/10.1109/ICIEA.2015.7334184.

[7] 聂敏.一种改进的DCT变换图像融合技[J/OL].科技通报,2012,28(4):178-179[2016-07-01].http://d.wanfangdata.com.cn/Periodical/kjtb201204064.DOI:10.3969/j.issn.1001-7119.2012.04.064.

[8] TANG J. A contrast based image fusion technique in the DCT domain[J/OL]. Digit Signal Process,2004,14(3):218-226[2016-07-01].http://dx.doi.org/10.1016/j.dsp.2003.06.001.

[9] HAGHIGHAT M B A,AGHAGOLZADEH A.Multi-focus image fusion for visual sensor networks in DCT domain[J/OL].Computers and Electrical Engineering,2011,37(5):789-797[2016-07-01].http://dx.doi.org/10.1016/j.compeleceng.2011.04.016.

[10] 楚恒,朱维乐.基于DCT变换的图像融合方法研究[J/OL].光学精密工程,2016,14(2):266-273[2016-07-01].http://d.wanfangdata.com.cn/Periodical/gxjmgc200602023.DOI:10.3321/j.issn:1004-924X.2006.02.023.

[11] 孟宪浩,吕绪良,蔡云骧.一种基于二维DCT变换的图像信息隐藏方法[J/OL].光电技术应用,2009,24(3):63-66[2016-07-01].http://d.wanfangdata.com.cn/Periodical/gdjsyy200903018.DOI:10.3969/j.issn.1673-1255.2009.03.018.

[12] 甘甜,冯少彤,聂守平 . 基于分块DCT变换编码的小波域多幅图像融合算法[J/OL].物理学报,2011,60(11):301-307[2016-07-01].http://d.wanfangdata.com.cn/Periodical/wlxb201111049.

[13] PETROVIC V,DIMITRIJEVIC V.Focused pooliing for image fusion evaluation[J/OL].Information Fusion , 2015,22(2):119-126.[2016-07-01]. http://dx.doi.org/10.1016/j.inffus.2014.05.002.

[责任编辑：祝剑]

Multi-exposure image fusion algorithm based on DCT transform

LIU Weihua, MA Yanghua, LIU Ying

(School of Communication and Information Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121,China)

There are overexposure or under-exposure problems in images on ordinary camera, and these result in poor image quality. An improved multi-exposure image fusion algorithm is proposed based on DCT transform to relieve the above problem. Firstly, multi-exposure images of the same scene are respectively divided into blocks and DCT transform is applied to each of block. Secondly, each block is extracting the low-frequency coefficient and high-frequency coefficient. For low-frequency coefficients, they are average weighted and used as the approximation of the fusion image. For high-frequency coefficients, the local standard deviation of every pixel is calculated to achieve the weights of every high-frequency coefficients, and then weighted average the coefficients. Lastly, inverse DCT transform is applied to obtain the fusion one of the multi-exposure images. Simulation results show that the algorithm can provide richer details of the image while extracting the low-frequency coefficient of 25% and the high-frequency coefficient of 75%.

image fusion, multi-exposure image, DCT transform, local standard deviation, weighted average

10.13682/j.issn.2095-6533.2016.06.008

2016-07-10

陕西省国际科技合作计划资助项目(2015KW-014)

刘卫华(1977-)，女，副教授，博士，从事高动态图像的获取与显示研究。E-mail：hua.cat@163.com 马洋花(1991-)，女，硕士研究生，研究方向为高动态范围成像。E-mail: 731202350@qq.com

TP391

A

2095-6533(2016)06-0040-04