一种基于无下采样Contourlet变换的多聚焦彩色图像融合算法

邹蓉

摘 要： 提出了一种基于无下采样Contourlet变换和YIQ颜色空间的多聚焦彩色图像融合算法。对变换得到的高低频分量，根据各自的物理意义采用不同的融合规则进行融合处理，其中对高频分量的Y分量采用基于区域绝对值的融合规则，对I、Q分量采用改进的区域对比度融合规则。通过实验验证了这种改进算法的可行性、有效性和稳定性。

关键词： 图像融合； 无下采样Contourlet变换； YIQ颜色空间； 多聚焦彩色图像

中图分类号：TP391 文献标志码：A 文章编号：1006-8228（2013）06-47-03

A multi-focus color image-fusion algorithm based on non-subsampled Contourlet transform

Zou Rong

（Xiamen Institute of Technology Huaqiao University， Xiamen， Fujian 361021， China）

Abstract： In this paper， a multi-focus color image fusion algorithm based on non-subsampled Contourlet transform and YIQ color space is proposed. Different fusion rules are used to fuse the high and low frequency components， according to their own physical significance. The fusion rule based on regional absolute value is used to fuse the Y component of high frequency， while the fusion rule based on improved regional contrast grade is used to fuse the I and Q component. The experimental results show that this fusion algorithm is feasible， effective and stable.

Key words： image fusion； non-subsampled Contourlet transform； YIQ color space； multi-focus color image

0 引言

图像融合是指将两个或两个以上的传感器在同一时间或不同时间获取的关于某个具体场景的图像或图像序列信息加以综合，以生成新的有关此场景解释的信息处理过程[1]。融合后的图像更符合人或机器的视觉特性，以利于对该图像进一步的分析、理解，以及目标的检测、识别或跟踪。

当前对图像融合技术的研究主要集中于图像的灰度融合，对图像的彩色融合研究则相对较少。由于彩色图像有着灰度图像无可比拟的良好可视性且包含更多的信息量，各相关领域对彩色图像融合技术的需要越来越迫切，所以对彩色图像融合技术的研究将是一个热点和难点。本文针对多聚焦彩色图像的融合作了一些研究，提出了一种基于YIQ颜色空间和无下采样Contourlet变换的多聚焦彩色图像融合算法。

1 无下采样Contourlet变换（NSCT）

作为一种图像多尺度几何分析工具，2006年Arthur L.da Cunha等提出的无下采样Contourlet变换（NSCT）[2]，针对Contourlet变换[3]的一些局限性进行了改进，是一种平移不变、多尺度、多方向的超完备变换。

无下采样Contourlet变换分为无下采样金字塔（NSP）分解和无下采样方向滤波器组（NSDFB）分解两部分。首先利用NSP对图像进行多尺度分解，通过NSP分解可有效捕获图像中的奇异点；然后采用NSDFB对高频分量进行方向分解，从而得到不同尺度、不同方向的子带图像（系数）。与Contourlet变换不同的是，在图像的分解和重构过程中，NSCT没有对NSP以及NSDFB分解后的信号分量进行分析滤波后的降采样（抽取）以及综合滤波前的上采样（插值），而是对相应的滤波器进行上采样，再对信号进行分析滤波和综合滤波，使得NSCT不仅具有多尺度、良好的空域和频域局部特性以及多方向特性，还具有平移不变特性，可以有效消除吉布斯现象，同时具有各子带图像之间尺寸大小相同等特性。

2 颜色空间变换

颜色空间模型是多种多样的，常见的有RGB颜色模型、HSI颜色模型、YIQ颜色模型等。其中，应用最为普遍的是RGB（红、绿、蓝）模型，几乎大部分的监视器都采用这种彩色模型。其他表色系统必须最后转化成RGB系统才能在彩色显示器上显示。但是RGB颜色空间在感知上是非常不均匀的，其分量不仅表示色度也表示亮度，存在很大的相关性，对三个分量分别处理将会带来颜色信息的丢失和错乱[4]。为了得到更符合人眼视觉特点的表示方法，可以把RGB重新编码，得到色彩空间YIQ表示法。其中，Y分量代表图像的亮度信息，I、Q两个分量则携带颜色信息，I分量代表从橙色到青色的颜色变化，而Q分量则代表从紫色到黄绿色的颜色变化。通过把彩色图像从RGB转换到YIQ颜色空间，可以把彩色图像中的亮度信息与色度信息分开。YIQ颜色空间在保持良好彩色特性的同时减小了信号的频带宽度，它对色彩分量之间的冗余信息是最少的。

RGB空间向YIQ空间转换公式如下：

⑴

YIQ空间向RGB空间转换公式如下：

⑵

3 基于YIQ颜色模型与NSCT的多聚焦彩色图像融合算法

本文提出的多聚焦彩色图像融合算法是以无下采样Contourlet变换与YIQ颜色空间为基础的，基本步骤如下：首先将两张严格配准的多聚焦彩色图像由RGB颜色空间转换到YIQ颜色空间；其次将转换到YIQ颜色空间中的图像进行无下采样Contourlet变换，得到各源图像的高低频分量；然后对得到的高低频分量根据各自不同的物理意义分别按照一定的融合规则进行融合；最后经过无下采样Contourlet变换的反变换以及颜色空间反变换得到融合图像。

3.1 低频部分融合规则

经NSCT分解得到的低频部分，代表了图像的近似和平均特性信息，本文采用简单平均的融合规则。公式如下：

CF，J=（CA，J+CB，J）×0.5 ⑶

式中，CA，J和CB，J分别表示源图像A、B分解后的低频分量系数，CF，J表示融合图像F的低频分量系数。

3.2 高频部分融合规则

对于NSCT分解得到的高频部分，融合的关键在于特征和细节信息的提取。把彩色图像从RGB颜色空间转换到YIQ颜色空间后，亮度分量Y和色度分量I、Q具有不同的物理意义，其中亮度分量Y含有的细节信息较多，它对融合结果的影响要比I、Q两色度分量对融合结果的影响要大，所以对Y和I、Q分量分别采用不同的融合规则。

3.2.1 Y分量融合规则

高频系数的绝对值是图像细节信息的衡量指标之一，并且基于区域的融合规则明显优于基于像素的方法，因此对含有较多细节信息的Y亮度分量直接采用基于区域绝对值的融合规则。计算源图像A和B的区域绝对值最大的公式如下：

⑷

⑸

其中，RA和RB分别是源图像A、B在j分解层i方向上的高频系数对应的以像素（x，y）为中心，大小为M×N的区域。基于区域绝对值最大的高频系数融合规则如下：

⑹

式中j=1，2，…，J，，，分别为源图像A、B和融合后图像F在各分解层j各方向i上对应的NSCT系数。

3.2.2 I、Q分量融合规则

由于图像的对比度体现了图像的清晰度，对比度越大表明清晰度越高，因此对I、Q色度分量则采用改进的区域对比度融合规则。具体过程如下。

第一步，根据参考文献[5]，定义本文的图像对比度量测如下：

⑺

式中，I=A，B；用（x，y）表示任意像素的坐标；CI（m，n）表示源图像I经NSCT分解得到的低频系数，表示源图像I经NSCT分解后得到的j分解层i方向上的高频系数；N（x，y）为以像素（x，y）为中心定义的一个窗口。越大，表明源图像I中像素（x，y）所在局部区域对比度越大，清晰度越高。

第二步，定义A与B两图像的相关对比度因子如下：

⑻

式中和分别表示图像A、B在像素（x，y）处的区域对比度量测，w（m，n）为对应的窗口函数。考虑到对高频分量，窗口函数应该尽量突出其对比度变化，所以本文选择的窗口函数w只有其4领域内非零、中心位置数值较大，这样可以有效地突出以窗口中心点为中心的、对比度变化剧烈的高频系数及其变化边界。

第三步，确定A与B两图像的区域匹配度：

⑼

该参数反映了两图像区域对比度的近似程度。当A、B比较接近时，MA，B趋近于1，而当A、B差别很大时，MA，B趋近于0。

第四步，选定一个阈值T，如果区域匹配度MA，B小于等于T，表明两幅图像的对比度信息差异较大，这时候取区域对比度比较大的像素值作为融合后的系数；如果区域匹配度MA，B大于T，表明两幅图像的对比度信息比较接近，此时采用加权平均得到融合后的系数。高频系数选择由公式（10）给出，其中，j=1，2，…，J，，，分别为源图像A、B和融合后图像F在各分解层j上各方向i对应的NSCT系数。a（x，y）为加权系数，一般我们取作为自适应调整参数。阈值T的取值范围视源图像A，B的相关性而定。

（10）

最后对组合后的NSCT系数进行NSCT逆变换，以及YIQ颜色空间到RGB颜色空间的转换，即可得到融合后的图像。

4 实验结果与分析

为了验证本文算法的正确性和有效性，实验中采用严格配准的多聚焦彩色图像（大小为256×256，为便于显示，统一进行了压缩）进行了仿真实验。图1（a）为待融合的左聚焦图像，图1（b）为待融合的右聚焦图像，图1（c）为标准参考图像，图1（d）、图1（e）、图1（f）、图1（g）和图1（h）分别为本文算法、比较算法一至算法四所得到的融合结果。

表1是本文算法的融合结果与其他四种算法（低频部分采用的是与本文算法相同的简单平均融合规则，故表中未列出）的融合结果在均方根误差、峰值信噪比、相关系数和平均梯度四个评价指标下的比较结果。从表中可以得到如下结论。

⑴ 对于高频部分，对Y、I、Q三个分量根据它们不同的物理意义分别采用不同的融合规则取得的图像融合效果要优于对Y、I、Q三个分量采用相同的融合规则取得的图像融合效果。

⑵ 本文算法的均方根误差值明显小于其他四种算法，说明该融合方法能够更多地保留住源图像中的清晰部分，与给定的标准参考图像差异最小；本文算法的峰值信噪比值最大表明融合图像的质量优于其他四种算法；相关系数值也是最大的，表明融合结果更接近给定的标准参考图像；本文算法还具有最高的平均梯度值，表明其融合图像较好地保留了源图像的边缘细节信息，图像清晰度高。综合所有评价指标表明本文算法相对其他四种算法具有更好的融合效果。

我们还选取了多组多聚焦彩色图像进行了相同的测试，综合多组测试结果，表明本文提出的算法是一种可行、有效、稳定的融合方法。

5 结束语

本文在无下采样Contourlet变换和YIQ颜色空间基础上提出了一种低频采用简单平均，高频的Y分量采用区域绝对值，I、Q分量采用改进的区域对比度的多聚焦彩色图像融合算法。对多组源图像进行了实验，对比了多种融合算法，结果表明：本文提出的融合算法对于不同的源图像，都能在尽可能保持源图像共同特征的基础上，较好地将待融合两源图像各自具有的特征添加到融合图像中，能够互补源图像中的各种细节信息，从而使融合后的图像具有更高的可信度、清晰度和更好的可理解性。

参考文献：

[1] POHL C， Van Genderen J L. Multisensor image fusion in remote

sensing concepts， methods and application[J].International Journal of Remote Sensing，1998.19（5）：823-854

[2] Da Cunha AL， Zhou J， Do MN.The nonsubsampled contourlet

transform：theory， design， and applications[J]. IEEE Trans Image Processing，2006.15（10）：3089

[3] Do M N， Vetterli M. The contourlet transform：an efficient

directional multiresolution image representation[J]. IEEE Trans Image Processing，2005.14（12）：2091-2106

[4] 付朝霞，韩焱，刘晓利.一种新的多聚焦彩色图像融合方法[J].中国体

视学与图像分析，2006.11（3）：222-225

[5] 李振华，敬忠良，孙韶媛等.基于不可分离小波框架变换的多聚焦图

像融合算法[J].上海交通大学学报，2005.39（4）：557-560