非抽样形态小波的构造及在图像融合中的应用

邓 苗，张基宏，，任仙怡，梁永生，

1)深圳大学信息工程学院，深圳518060;2)深圳信息职业技术学院，深圳市可视媒体处理与传输重点实验室，深圳518172

小波变换是一种良好的多分辨率的数学工具，被广泛用于图像处理领域. 由于图像在成像过程中受设备的精度、误差和噪音影响，以及数据保存过程中亦存在量化误差，使像素变化往往不满足线性关系，因此图像中常包含大量边缘和纹理等非线性特征. 在采用线性小波分析(即分解采用线性滤波器)处理图像时，无法精确描述这些非线性特征，其在分解过程中常被模糊而不能精确定位［1］. 多尺度几何分析方法，如非下采样Contourlet 变换(nonsubsampled contourlet transform，NSCT)［2］，虽能更稀疏地表达图像特性，但计算量大，不利于实时图像融合. Heijmans 等［3］采用形态算子代替线性滤波器实现形态小波 (morphological wavelets，MW)，克服了以上缺点. 这种非线性小波变换具有良好的细节保持和抗噪音性能，因此一直倍受关注. 形态小波变换具有:运算快捷非常适合实时图像处理(具有2 ×2 的最小支撑集)、整数变换、能有效表示边缘信息等特点，且兼顾了金字塔变换及小波变换的特性.

现有的形态小波在图像融合方面的研究大都局限于多聚焦图像融合［1，3-8］，且因它是一种抽样的分解方式，所以会导致融合图像中存在块状效应. 解决方法主要是引入非抽样［9-13］，及其他一些方法［14-15］. Yang 等［9-11］提出的非抽样方法虽在医学图像融合方面取得了较好的效果，但因其每层分解过程中，滤波器都要采用可分离小波的方式，进行一个因子为2 的上采样，所以细节保持的能力不强.Zhang 等［12-13］提出的形态非抽样小波(morphological undecimated wavelets，MUDW)，相当于用数学形态学算子构造àtrous 小波中的低通滤波器，并非基于形态小波分解，由于采用有限方向的二通道分解，融合效果并不佳.

本研究提出一种构造非抽样形态小波(undecimated morphological wavelets，UMW)新方法，将形态小波表述为非线性滤波器组的形式，基于非抽样不可分离小波变换，用形态小波的非线性滤波器组代替线性滤波器组，从而实现非抽样形态小波. 该方法结合了非抽样和不可分离变换两者优点，所以细节保持能力更强，更适于图像融合. 为使融合的细节更丰富，增加了分解通道数量. 同时，构造一种适用于所有类型图像融合的S -变换形态小波，结合非抽样并引入增强因子，能显著改进融合质量. 非抽样形态小波类似形态小波，具有快速计算能力，融合图像耗时达毫秒级，适于实时图像融合，这是同样硬件条件下超小波不能比拟的.

1 形态小波理论

形态小波的分解一般指对于图像中每个2 ×2像素的方块，可将其分解为1 个低频分量和水平、垂直、对角线3 个方向的高频分量. 文献［3］提出小波与形态小波的统一框架，即对偶小波和非对偶小波，见图1.

图1 小波和形态小波的统一框架［3］Fig.1 Unified framework of wavelets ＆morphological wavelets transform given by Ref［3］

现有的形态小波主要有Harr 形态小波［3］和Chanda 形态小波［1］. 由于采用的分析算子特性不同，它们得到的细节图像侧重的显著特征亦不同:Chanda 形态小波着重描述梯度，适于多聚焦图像融合;Harr 形态小波着重描述梯度的平均值，在图像融合的应用中有局限性，适于其他类型图像融合.

下面我们采用非线性滤波器组的方式描述这两种形态小波，它们满足图1 的统一框架，从中可分析它们在分析算子上不同.

1)Harr 形态小波的非线性滤波器组如式(1)和式(2)，分别对应分解和重构过程.

2)Chanda形态小波的非线性滤波器组为

其中，⊕是膨胀算子;∧是取小操作;(r，c)是像素在图像中的坐标.

2 非抽样形态小波构造及图像融合应用

借鉴小波变换的非抽样方法，将其中的线性滤波器组替换为各种形态小波中对应的非线性滤波器组，构造出非抽样形态小波. 在此我们首先提出一种更适合于图像融合的不可分离非抽样形态小波的构造方法，然后提出一种新的形态小波，将之扩展为多通道的非抽样形态小波后，引入增强因子，从而获得更好的图像融合效果.

2.1 二维多通道非抽样形态小波构造

将形态小波看作二维4 通道不可分离的非线性小波变换，根据文献［3］中小波和形态小波的统一框架(图1)，构造出二维4 通道的统一的小波(形态小波)分解和重构框图，如图2. 其中，对偶小波的重构中无ψ↓通道，而是将Xj+1输入到下面虚线的通道;X'j 是第j 层的重构图像;I 是将子图像按原抽样方式整合成的大图像;⊕是将两幅图像相加;↑2 是将输入信号与2 ×2 的全1 矩阵做直积. 形态小波相当于将其中的滤波器用非线性滤波器代替.

图2 二维四通道不可分离小波(形态小波)变换的分解和重构的统一框图Fig.2 Unified framework of two dimensional four channel nonseperable wavelets ＆morphological wavelets transform

将图2 中的下采样部分去掉，并扩展通道数量，重新构成非抽样的二维多通道不可分离小波(形态小波)变换的统一框图，同时，重构时的高频综合滤波器成为冗余，可弃之，如图3. 将其中的滤波器用形态小波中的非线性滤波器，如式(1)或式(2)代替，构成本研究所采用的非抽样形态小波变换.

图3 非抽样二维多通道不可分离小波(形态小波)变换的分解和重构的统一框图Fig.3 Unified framework of undecimated two dimensional multi-channel nonseperable wavelets＆ morphological wavelets transform

这种非抽样形态小波的构造方法符合形态小波自身特性，且兼备不可分离小波变换的优点，适于图像融合. 多通道分解虽然引入了更多冗余，但也克服了形态小波只能沿有限方向分解的局限. 本研究采用将结构元素B 变成3 ×3 后构成的9 通道分解方式，即Dj= 8.

2.2 改进的形态小波及其非抽样形态小波

2.2.1 不可分离S-变换形态小波

由于两种主要的形态小波在图像融合应用上皆具局限性，因此必须构造一种适用于各种图像融合的形态小波.

S-变换形态小波被认为是一种非线性化的低频取平均方式的Harr 小波，其一维形式为［3］

其中，INT()是向下取整运算.

本研究提出的不可分离S -变换形态小波，在满足完美重构条件［3］的前提下，直接定义二维形式的各通道非线性滤波器，如

这种形态小波的高频分量是原图像各方向的梯度，因此具有明晰的物理意义，适于图像融合和特征提取等处理领域. 同时，该形态小波的低频分量是取均值，所以可兼顾图像平滑和边缘保持特性.

将S-变换形态小波根据图3 变成非抽样形态小波(记为UMW-S)，其分解过程为

其中，各滤波器定义为

重构表达式为

2.2.2 在UMW-S 中引入增强因子

从式(10)可见，ω↓0的表达式由各方向梯度之和构成，能较好地描述图像中边缘. 因此，在UMW-S 重构式中增加一个增强因子α，就可进一步改善重构图像的边缘增强效果. 将引入增强因子的方法记为UMW-Se，此时ω↓0表达式变为

虽然可用同样方式对Chanda 和Harr 非抽样形态小波的重构图像进行增强，但效果不佳. 这是因为Chanda UMW 本身尺度间差异较大，细节图像对融合图像造成的增益已很大，引入增强因子会造成边缘增厚，同时原本的模糊区也会被增强;而Harr UMW 细节图像并无明显物理意义，因此加入增强因子效果不明显，且会模糊边缘细节. 此外，形态小波因具有移变性，使用这种方法只会加剧块状效应.

3 实验结果分析

分别对多聚焦图像融合、红外和可见光图像融合进行实验. 在进行图像变换时，图像分解层数L均取各方法融合性能较优时的层数. 其中，形态小波超过此较优分解层数时块状效应较明显. NSCT分解的层数为5 层，每层方向数为4. 各方法均采用最简单的融合规则，即低频图像加权求和(系数均取0.5)，高频图像按绝对值取大的规则. UMWS 因支撑集小，因此可分解更多层以达到更优效果，但为均衡运算性能和效果，本实验采用的分解层数为5 层. 增强因子α 取值最好在1 ～5 之内，取值太大会使平坦区域内的差异变大，所以设α =3 较适中.

3.1 评价指标

采用互信息(mutual information，MI)［11］、边缘保持度(QAB/F)［16］、相似度(SIM)［1］、信息熵(entropy)［13］和平均梯度(AVG)［13］指标，来定量评价融合效果.

比较未引入增强因子时的融合结果，由图4(c)、图4 (e)和图4 (g)可知:①UMW-S 能以更高层分解进行融合(测试证明甚至可高达20 多层)，证明其克服了MW 的块状效应. ②结合表1前3 行可知，UMW-S 的融合质量较MW 更好，达到与NSCT 相当的程度.

3.2 多聚焦图像融合结果

采用大小为512 ×512 像素的源图. 实验结果如图4，评价指标如表1.

图4 多聚焦图像融合结果比较Fig.4 Experimental results of multifocus image fusion

表1 多聚焦图像融合评价结果Table 1 Evaluation results of multifocus image fusion

比较几种具有增强效果的方法的融合结果，由图4 (d)、(f)和(h)结合表1 中后3 种方法可知，这3 种方法的增强效果相近，但MUDW［13］和NSCT方法在增强后，融合图像边缘附近会出现较厚重影;而UMW-Se的融合图像中边缘依然清晰，整体图像清晰度更好. 这是因为UMW-Se比MUDW 具有更多的分解通道，比NSCT 具有更小的支撑集.

3.3 红外/可见光图像融合结果

采用大小为505 ×510 像素的源图. 实验结果如图5，评价指标如表2. 比较方法和结论同多聚焦实验部分，在此从略.

图5 红外/可见光图像融合结果比较Fig.5 Experimental results of visibal/IR image fusion

表2 红外可见光图像融合评价结果Table 2 Evaluation results of visible/IR image fusion

图6 证明UMW 能有效地克服块状效应.

图6 克服块状效应示意图Fig.6 Illustration of the overcoming of block effect

3.4 运算性能比较

在双核2.5 GHz 处理器、1 G 内存，Matlab 2010b 的实验平台上，对比本实验中用到的几种算法的运行效率，结果如表3.

表3 运算性能比较Table 3 Computational time comparison

由表3 可知，因为本方法采用了非抽样和更多通道，所以运算效率较MW 方法和MUDW 方法低，即以牺牲运算效率的代价换取了融合效果的提升.尽管如此，其效率比NSCT 仍高许多.如采用C ++等高效语言并行实现，依可满足实时性需求.

结 语

本研究克服了形态小波移变性的缺点，适用于更多类型的图像融合，不仅取得了更清晰的、增强的融合效果，且实时性能较佳，因此具有较强的实用价值. 下一步我们将进一步研究UMW 的构造，及与其与其他图像融合技术的结合.

/ References:

［1］De I，Chanda B. A simple and efficient algorithm for multifocus image fusion using morphological wavelets［J］. Signal Processing，2006，86(5):924-936.

［2］ Li Tianjie，Wang Yuanyuan. Biological image fusion using a NSCT based variable-weight method ［J］. Information Fusion，2011，12(2):85-92.

［3］Heijmans H J A M，Goutsias J K. Nonlinear multiresolution signal decomposition schemes-part Ⅱ:morphological wavelets ［J］. IEEE Transactions on Image Processing，2000，9(11):1897-1913.

［4］Zhao Peng，Wang Nihong，Pu Zhaobang. Image fusion based on morphological wavelet decomposition pyramid［J］. Journal of Optoelectronics Laser，2008，19(6):814-817.(in Chinese)赵 鹏，王霓虹，浦昭邦. 基于形态小波分解金字塔的图像融合［J］. 光电子激光，2008，19(6):814-817.

［5］Lin P L，Huang P Y. Fusion methods based on dynamicsegmented morphological wavelet or cut and paste for multifocus images ［J］. Signal Processing，2008，88(6):1511-1527.

［6］Li Min. Multifocus image fusion based on morphological Harr wavelet transform ［J］. Computer Engineering，2012，38(23):211-214.(in Chinese)李 敏. 基于形态Haar 小波变换的多聚焦图像融合［J］. 计算机工程，2012，38(23):211-214.

［7］ Cheng Zengbing，Zhang Jihong. Remote-sensingImage fusion based on HIS and morphological wavelet transforms［J］. Journal of Shenzhen Institute of Information Technology，2012，10(1):48-52.(in Chinese)陈增兵，张基宏. 基于IHS 变换和形态小波变换的遥感图像融合［J］. 深圳信息职业技术学院学报，2012，10(1):48-52.

［8］Cao Yiqin，Lei Zhangming，Huang Xiaosheng. An effective multi-focus image fusion algorithm based on morphological wavelets ［J］. Experimental Technology and Management，2012，29(3):38-41.(in Chinese)曹义亲，雷章明，黄晓生. 一种有效的形态小波多聚焦图像融合算法［J］. 实验技术与管理，2012，29(3):38-41.

［9］Yang B，Jing Z L. Medical image fusion with a shift-invariant morphological wavelet ［C］// IEEE Conference on Cybernetics and Intelligent Systems. Chengdu(China):IEEE Press，2008:175-178.

［10］Yang B，Chen E. Image fusion using an improved maxlifting scheme ［C］// The 2nd International Congress on Image and Signal Processing. Tianjin (China):IEEE Press，2009:1-5.

［11］Cao Yiqin，Lei Zhangming，Huang Xiaosheng. Regionbased algorithm for non-sampling morphological wavelet medical image fusion ［J］. Application Research of Computers，2012，29(6):2379-2381.(in Chinese)曹义亲，雷章明，黄晓生. 基于区域的非下采样形态小波医学图像融合算法［J］. 计算机应用研究，2012，29(6):2379-2381.

［12］Zhang Wenbin，Shen Lu，Li Junsheng，et al. Morphological undecimated wavelet decomposition for fault feature extraction of rolling element bearing ［C］// The 2nd International Congress on Image and Signal Processing.Tianjin (China):IEEE Press，2009:1-5.

［13］Deng Miao，Zhang Jihong，Liu Wei，et al. Real-time image fusion based on morphological un-decimated wavelets ［J］. Journal of Computer Applications，2012，32(10):2809-2813.(in Chinese)邓 苗，张基宏，柳 伟，等. 基于形态非抽样小波的实时图像融合方法［J］. 计算机应用，2012，32(10):2809-2813.

［14］He Liujie，Hu Tao，Ren Xianyi. Image fusion based on the translation invariance of morphological wavelets ［J］.Journal of Shenzhen Institute of Information Technology.2012，10(1):22-25.(in Chinese)何刘杰，胡 涛，任仙怡. 一种平移不变的形态小波图像融合方法［J］. 深圳信息职业技术学院学报，2012，10(1):22-25.

［15］Zhou Shanxue，Xie Guoxi. An improved GRAPPA algorighm based on the correlation between multi-coil images［J］. Journal of Shenzhen University Science and Engineering，2013，30(2):162-166.(in Chinese)周山雪，谢国喜. 基于多通道图像相关性的改进GRAPPA 算法［J］. 深圳大学学报理工版，2013，30(2):162-166.

［16］Deng Miao，Zhang Jihong，Liu Wei，et al. Application of mathematical morphological levelings scale-space to image fusion ［J］. Signal Processing，2012，28(11)，1513-1520.(in Chinese)邓 苗，张基宏，柳 伟，等. 形态学平整运算尺度空间在图像融合中的应用［J］. 信号处理，2012，28(11):1513-1520.