方向对比度和区域标准差相结合的图像融合

林卉，Ruiliang Pu，梁亮，张连蓬

1.江苏师范大学测绘学院，江苏徐州 221116

2.School of Geosciences of University of South Florida,Tampa,Florida 33620

3.中国矿业大学环境与测绘学院，江苏徐州 221009

方向对比度和区域标准差相结合的图像融合

林卉1，2，3，Ruiliang Pu2，梁亮1，张连蓬1

1.江苏师范大学测绘学院，江苏徐州 221116

2.School of Geosciences of University of South Florida,Tampa,Florida 33620

3.中国矿业大学环境与测绘学院，江苏徐州 221009

小波变换的图像融合方法已成为现今研究的一个热点。但几乎所有的算法都是在小波域不同尺度上分别对高频系数和低频系数进行融合，没有考虑到它们之间固有的相关性。为此，提出了一种基于方向对比度和区域标准差最大的融合新算法，主要特点是在低频部分采用加权因子自适应调节参数融合，以减少边缘模糊，对于高频部分采用方向对比度和局部区域窗口标准差最大值作为高频分量，突出对比度和局域细节，实验表明：融合后影像信息量丰富，地物轮廓清晰可辨，对比度大大加强，空间分辨率得到了提高，最大限度保留了原始影像的光谱信息，是一种可行有效的融合方法。

小波分解；多分辨率分析；高频系数；低频系数；方向对比度；区域标准差

小波变换的图像融合是一种多尺度、多分辨率的图像融合方法。它将原图像分解成一系列具有不同空间分辨率和频域特性的子图像，然后在多个分解层、多个频带上进行融合。小波变换所具备的多分辨特性与人眼的视觉模型相近，同时，小波分解具有方向性，这一特性与人眼对不同方向的高频分量具有不同分辨率这一视觉特性相符合，可以获得视觉效果更佳的融合图像[1-3]。因而，在图像处理中得到了广泛应用，出现了许多算法，它们几乎都是在小波分解的高频分量和低频分量上制定不同的融合规则[4-11]，而没有考虑包含低频分量的子带与相应高频子带之间的关系，即没有考虑局部区域标准差和方向对比度这一重要信息。而生理学研究表明，人类视觉系统对于图像的对比度变化十分敏感[12]，基于方向对比度的融合规则可有选择地突出被融合图像的对比度信息。图像局部区域的标准差反映了各像素灰度相对于该区域灰度均值的离散情况，标准差越大，则灰度级分布越分散，而灰度级的起伏和梯度反映了图像的细节、纹理和边缘信息。因此，本文提出结合方向对比度和局域标准差的融合算法，实验表明，该方法既可以突出对比度信息，又可以突出图像的局域特征和细节信息，从而取得了良好的融合效果。

1 小波分解和方向对比度

根据二维Mallat小波快速算法[13]，图像第j次小波分解后生成3个高频分量Dij和1个低频分量Cj。其中，上标i=H，V，D分别为水平方向、垂直方向及对角方向的高频分量；下标m，n分别对应于图像的行和列；下标j表示小波分解尺度。Mallat小波分解公式为：

与之相应的小波重构公式为：

其中H*，G*分别为H，G的共轭转置矩阵。

这里，图像对比度R定义为[12]：

式中，L表示局部灰度；LB表示图像的局部背景亮度（相当于局部低频分量），则LH=L-LB相当于局部高频分量。根据图像对比度定义公式，小波域的方向对比度可分别定义为[14]：

由于小波分解的正交性使得经过多分辨分解得到的图像信号的高低频分量之间消除了数据的相关性。所以，在小波分解后的方向对比度定义式（4）在某种程度上比式（3）定义的对比度更为合理。

2 图像融合规则与算法

以两幅图像A，B的融合为例，融合后图像为F。设小波分解的最大尺度为L，具体的融合规则和融合算法为：

（1）先对融合图像进行预处理并配准采样得到分辨率一致的源影像A，B，分别进行L尺度小波分解。

（2）融合图像F的低频部分取为各源图像A，B分解后的低频部分的加权值[15]，即

(A(j，k)+K×B(j，k))×α表示取两幅图像的加权均值，影响融合后图像的能量，对融合后图像的亮度起决定作用；后半部分|A(j，k)-K×B(j，k)|×β表示取两幅图像的加权差值，包含两幅图像的模糊信息。因子K调节两幅图像的占优比例，使两幅亮度不同图像达到均衡。随着因子α的增大，图像加亮；随着因子β增大，图像的边缘加强。对于不同的图像，适当调整K，α，β，可以消减模糊边缘，并确保在消减时不过度地丧失边缘信息[16-17]。

（3）在最高分解层上，计算A，B图像的3个方向高频分量的方向对比度值，对应比较A，B图像的各方向对比度，取绝对值大的方向对比度所对应的图像A，B的小波系数作为融合图像F对应方向的小波系数[12]。按式（4）计算各源图像在最大分解尺度L上的方向对比度，融合图像在最高分解尺度L上的各高频系数为：

（4）最高分解尺度L以外的其他各小波分解尺度上的高频系数的确定采用标准差最大准则，即选取以当前处理像素为中心的局域区域（一般可取3×3、5×5、7×7等，本文采用5×5的区域窗口[18]）的标准差最大的图像A，B的小波系数作为融合图像F对应的小波系数，即

其中，分解尺度j取1到L-1；STDA，STDB分别表示源图像A，B在分解尺度j上i方向上的对应局部区域上的标准差。标准差STD定义为[19]：

此处，M，N分别为所取局部区域的行数与列数；xi，j表示当前局部区域内的1个像素灰度值；xˉ是当前局部区域像素的灰度均值。

（5）确定融合图像F的各小波系数后，进行逆小波变换重构融合图像F。

3 融合实验与结果评价

实验图像为2006年5月获取的南京市某郊区的SPOT全色影像和Landsat TM 5、4、3波段的合成影像，分辨率分别为10 m和30 m，如图1所示。对TM543影像进行配准采样得到分辨率10 m的影像，如图2（a）所示。为了验证本文算法的有效性，还采用了另外两种融合方法，一是α′Trous小波变换与PCA变换相结合融合法，具体算法见文献[20]，另一种方法是基于小波变换和MNF变换融合，见文献[21]。融合图像见图2所示。

图1 原始影像

从目视效果来看，三幅融合图像均比图2（a）效果要好，主要表现在图像清晰度要高，地物层次感更强，细节体现更突出，纹理也依稀可辨，河流、道路、植被、鱼塘等地物边界分明，说明所有方法都取得了不同程度的融合效果。尤其图2（d）中对比度更高，亮度也高，地物轮廓更分明，鱼塘的间隔块容易分辨，视觉效果更好。为了更全面地考察融合方法的优劣，本文还采用标准差、熵、交叉熵、偏差度、清晰度、空间频率客观指标来评价[15，19]。计算结果如表1所示。

表1显示，从反映单幅影像统计信息指标来看，熵和标准差值都在增加，本文算法融合达到了最大值，表明融合后影像的信息量得到了富集，影像中微小细节反差拉大，地物细节更加清晰。从源影像与融合影像的相关统计指标来看，交叉熵、偏差度、清晰度和空间频率各项指标也同样表明本文提出的算法性能要优于文献[20]和文献[21]的算法，这与目视解译的结果非常吻合，主要原因都是对小波分解后的高频系数和低频系数分别融合，没有考虑它们之间的相关性。从而也充分说明，本文提出的融合方法是非常有效的。

4 结论

小波变换已经广泛应用于图像融合，但目前的算法都是把高频系数和低频系数通过一定的融合规则分别处理，得到逆变换的所需的近似分量和细节分量，其实在每个小波分解层，高频系数与低频系数间有一定的相关性，这样最后的融合影像会损失一些有用信息。基于这种考虑，本文提出了基于方向对比度和区域标准差最大化的融合方法，在低频系数上，通过加权因子采取自适应的方式来融合，调节图像亮度和减少边缘模糊以满足人的视觉特性的需要。在高频系数上，对最高分解层取方向对比度绝对值大的作为融合图像对应方向的小波系数。最高分解尺度以外的其他各小波分解尺度上的高频系数采用局部区域窗口标准差最大来确定，这样，从理论上很好地兼顾了高频和低频分量的相关性和互补性，实验结果也表明，无论从定性的视觉效果和定量的客观评价，本文的算法是可行有效的。虽然本文在小波多分辨率分析融合中考虑了高频和低频系数相关性，但如何选取更优的指标和融合规则值得深入研究。

图2 配准图像和融合结果图

表1 影像的统计指标值

[1]Garguet-Duport B，Girel J，Chassery J M，et al.The use of multi-resolution analysis and wavelets transform for merging SPOT panchromatic and multi-spectral image data[J].Photogrammetric Engineering&Remote Sensing，1996，62（9）：1057-1066.

[2]Piella G.A general framework for multiresolution image fusion：from pixels to regions[J].Information Fusion，2003（4）：259-280.

[3]刘振慧，高晶敏，崔天横.一种基于小波变换的图像融合新算法[J].计算机工程与应用，2007，43（12）：74-76.

[4]张家明.基于小波变换的图像融合算法研究[J].武汉理工大学学报：信息与管理工程版，2007，29（12）：62-66.

[5]李涛，田岩，柳健，等.一种基于模糊集和小波变换的图像融合方法[J].华中科技大学学报：自然科学版，2005，33（3）：24-27.

[6]陈虹，江振治，胡海彦，等.基于小波变换的遥感影像融合技术发展现状[J].测绘通报，2012（7）：47-49.

[7]朱文武，侯敏，秦昆.基于小波变换影像融合方法的对比研究[J].科技信息，2011（19）.

[8]吴学文，徐涵秋.多分辨率分解的遥感影像融合方法对比分析[J].地球信息科学学报，2010（3）：419-425.

[9]罗艳，刘荣，朱煜峰.基于PCA+àstrous小波融合方法[J].测绘科学，2009（6）：108-109.

[10]高文涛，汪小钦，凌飞龙，等.基于纹理的雷达与多光谱遥感数据小波融合研究[J].中国图象图形学报，2008（7）：1341-1346.

[11]Nikolov S G.Image fusion：a survey of methods，applications，systems and interfaces，Technical Report UoBSYNERGY-TR02[R].University of Bristol，UK，1998.

[12]蒲恬，方庆吉，倪国强.基于对比度的多分辨图像融合[J].电子学报，2000，28（12）：116-118.

[13]Mallat S G.A theory for multiresolution signal decomposition：the wavelet representation[J].IEEE Trans on Pattern Anal Mach Intell，1989，11：674-693.

[14]王丽，卢迪.一种基于小波对比度的多聚焦图像融合方法[J].中国图象图形学报，2008，13（1）：144-149.

[15]林卉，杜培军，张莲蓬.基于小波变换的遥感影像融合与评价[J].煤炭学报，2005，30（3）：332-337.

[16]赵瑞珍，徐龙，宋国乡.基于小波变换的图像多尺度数据融合[J].计算机辅助设计与图形学学报，2002，14（4）：361-364.

[17]黄登山，杨敏华，姚学恒，等.基于a’trous小波与广义HIS变换的SAR与多光谱影像融合[J].遥感信息，2011（1）：9-13.

[18]董张玉，赵萍，胡文亮.ASTER多光谱影像与资源二号全色影像融合研究[J].遥感技术与应用，2010（1）：143-148.

[19]李超，朱满，赵家平.多源遥感影像融合效果的定量评价研究[J].测绘与空间地理信息，2010（3）：143-146.

[20]林卉，景海涛，张连蓬.α′Trous小波变换与PCA变换相结合的遥感影像融合分析[J].地球信息科学，2008，10（2）：69-74.

[21]李海涛，顾海燕，林卉，等.基于小波变换和MNF变换的遥感影像融合[J].山东科技大学学报：自然科学版，2007，26（5）：56-60.

LIN Hui1，2，3,Ruiliang Pu2,LIANG Liang1,ZHANG Lianpeng1

1.School of Geodesy and Geomatics,Jiangsu Normal University,Xuzhou,Jiangsu 221116,China
2.School of Geosciences of University of South Florida,Tampa,Florida 33620,USA
3.School of Environment Science and Spatial Informatics of China University of Mining and Technology,Xuzhou,Jiangsu 221009,China

A new multi-resolution analysis fusion algorithm introducing directional contrast and region window standard deviation is proposed,which considers the correlation between approximation and details.Weighted factors are adaptively adjusted to gain fused low frequency parts,meanwhile,directional contrast maximum and local small window standard deviation maximum are respectively adopted to form fused high frequency parts from decomposed details.Experiments show that fused image using the new algorithm considering the correlation between decomposed low frequency and high frequency coefficients is prior to that of other algorithms focusing on merging these coefficient separately regardless of visual effect or objective assessment metrics.In contrast,the fused image by the new algorithm is rich in information, features are clear,greatly enhancing contrast,improving spatial resolution and retaining spectral information of original images.Obviously,it is feasible and effective.

wavelet decomposition;multi-resolution analysis;high frequency coefficient;low frequency coefficient; directional contrast;region standard deviation

A

P237

10.3778/j.issn.1002-8331.1306-0036

LIN Hui,Ruiliang Pu,LIANG Liang,et al.Image fusion based on directional contrast and region standard deviation.Computer Engineering and Applications,2014,50（6）：31-34.

国家自然科学基金（No.411101428）；国家科技支撑计划（No.2012BAH31B00）；江苏省自然科学基金（No.BK2012145）；现代工程测量国家测绘地理信息局重点实验室经费资助项目（No.TJES1204）；地理空间信息工程国家测绘局重点实验室经费资助项目（No.201310）；江苏省高校自然科学研究面上项目（No.12KJB420001）。

林卉（1973—），男，博士生，副教授，研究领域为影像融合；Ruiliang Pu（1956—），男，博士，教授，研究领域为高光谱/高分辨率遥感应用；梁亮（1981—），男，博士，副教授，研究领域为高光谱遥感；张连蓬（1963—），男，博士，教授，研究领域为遥感信息提取。E-mail：linhuixznu@126.com

2013-06-07

2013-09-02

1002-8331（2014）06-0031-04

CNKI网络优先出版：2013-09-29，http://www.cnki.net/kcms/detail/11.2127.TP.20130929.1023.008.html