红外和彩色可见光图像亮度-对比度传递融合算法

李光鑫，吴伟平，胡 君

（中国科学院长春光学精密机械与物理研究所，吉林长春130033）

红外和彩色可见光图像亮度-对比度传递融合算法

李光鑫，吴伟平，胡 君

（中国科学院长春光学精密机械与物理研究所，吉林长春130033）

以红外和彩色可见光图像为研究对象，提出了一种基于亮度-对比度传递（LCT）技术的彩色图像融合算法。首先借助灰度融合方法将红外图像与彩色可见光图像亮度分量融合，然后用LCT技术改善灰度融合结果的亮度和对比度，最后利用快速YCBCR变换融合策略在RGB空间内直接生成彩色融合图像。文中利用像素平均融合法和多分辨率融合法作为不同的灰度融合措施以分别满足高实时性和高融合质量的需求。实验结果表明，提出算法的融合结果不仅具有与输入彩色可见光图像相近的自然色彩，而且具备令人满意的亮度和对比度，即使采用运算简单的像素平均法进行灰度融合，同样可以获得良好的融合效果。

彩色图像融合；亮度-对比度传递；YCBCR变换；红外图像；可见光图像

1 引 言

红外和可见光图像融合按输出结果的色彩可分为灰度图像融合和彩色图像融合。彩色图像可以为人们提供更多的信息，将源多波段图像合成为一幅彩色融合图像可以扩大多传感器系统表达信息的动态范围，从而更有利于场景的理解，因此，彩色图像融合技术受到了各国学者的广泛关注［1～3］。

现今的传感器技术能够方便地获取彩色的可见光图像，在对红外和可见光图像进行融合时，如果能够充分利用可见光图像的颜色信息，得到的融合结果就会具备可见光图像的自然颜色特征，从而符合人的视觉感知，增强融合图像的可辨识性。 Toet［4］、Blum［5］、Smith［6］等众多学者［7，8］对红外和彩色可见光图像的融合进行了研究，提出的方法通过颜色变换分离可见光图像的彩色分量，然后直接利用这些颜色信息构筑最终融合图像的彩色分量，所生成融合图像的色彩比较自然，接近场景的真实情况，非常便于人眼观察。

红外和彩色可见光图像融合过程中需要用到灰度图像融合方法来合并源图像的信息。为了获得高质量的融合图像，通常需要用到高计算复杂度的灰度融合算法（一般为多分辨率图像融合方法），使得整个融合系统变得复杂，很难满足实际系统高实时性的需求。众所周知，像素平均法（即将两幅输入图像相加后除以二）运算速度快，可以运用到实时系统中，但是由于算法本身融合性能差，很难获得令人满意的融合效果，因此很少得到人们的青睐。

融合图像亮度差，特别是对比度低是像素平均法的主要缺点。为了利用简单的像素平均法同样能够获得良好的彩色融合效果，本文提出了一种十分简单的亮度-对比度传递（Luminance-contrast Transfer，LCT）技术，基于该技术，结合提出的快速YCBCR变换融合思路，开发了一种红外和彩色可见光图像的融合方法：基于LCT的彩色图像融合算法（LCT Based Color Image Fusion Algorithm）。这种方法省去了颜色空间变换过程，直接在RGB空间内对图像进行融合。实验结果表明，LCT方法的融合结果不仅可以保持源彩色可见光图像的自然色彩，而且还具有令人满意的亮度和对比度，即使用像素平均法进行灰度融合同样可以获得良好的融合效果。

2 快速YCBCR变换融合原理

为了提高融合算法的运算速度，本文给出了一种快速YCBCR变换融合策略。YCBCR变换［9，10］是图像处理领域中较为常用的颜色变换，Y为亮度分量，CB和 CR存储彩色信息，二者符合色差（Color Difference）模型［11，12］；CB为蓝色差通道，CR为红色差通道。YCBCR变换可以很容易地将彩色图像的亮度和颜色信息分离，因此可以借助YCBCR变换完成红外和彩色可见光图像的融合。用IR表示源红外图像，Vis表示源彩色可见光图像，利用YCBCR变换对红外和彩色可见光图像进行融合的一般思路如下：

（1）将彩色可见光图像［RVis，GVis，BVis］T变换到YCBCR空间，得到可见光图像的3个颜色分量YVis，CB，Vis，CR，Vis：

（2）用灰度图像融合方法将可见光图像亮度分量YVis和红外图像IR融合，得到灰度融合图像F。

（3）用灰度融合图像F作为亮度分量，CB，Vis，CR，Vis作为彩色分量，通过YCBCR逆变换得到最终的彩色融合图像［RC，GC，BC］T：

对图像进行YCBCR变换需要大量的乘法和加法运算，这会耗费融合系统的运算时间。通过

下列推导可以简化上述的YCBCR变换融合过程：

式（3）表明，在RGB空间内，通过对彩色可见光图像［RVis，GVis，BVis］T进行简单的加法操作就可以获得最终的彩色融合图像［RC，GC，BC］T，这种快速YCBCR变换融合策略省去了颜色空间变换过程，直接在RGB空间内完成图像的融合，有效地降低了算法的复杂度。

3 亮度-对比度传递技术

2001年，美国犹他大学的Reinhard等人［13］通过均值和方差匹配思想提出了一种在两幅彩色图像之间进行颜色传递（Color Transfer）的方法，该方法得到了图形、图像处理界众多学者的重视。受Reinhard的均值、方差匹配思想的启发，本文提出了LCT技术，用以改善融合图像的亮度和对比度。LCT技术的具体表达式如下：

式中，F*为调整后的灰度融合图像，Ref为灰度参考图像，（μF，σF）和（μRef，σRef）分别为灰度融合图像F和灰度参考图像Ref的均值和方差。

式（4）所示的映射变换使得调整后的灰度融合图像具有和参考图像一样的均值和方差。均值可以反映图像的平均亮度，方差可以表示图像的对比度，因此经过映射变换后，参考图像的亮度和对比度特征就会传递到灰度融合图像中。这样，只要选取一幅合适的灰度参考图像，就可以用式（4）所示的方法来改善彩色融合图像亮度分量的亮度和对比度，从而提高最终彩色融合图像的质量。由式（4）可以看到，亮度-对比度传递过程中只用到参考图像的一阶（均值）和二阶（方差）统计量，这就表明，在实际的融合系统中没有必要存储一幅真正的图像，只需要存储参考图像的均值和方差两个特征参数。

4 LCT融合算法

结合LCT技术和快速YCBCR变换融合策略，本文提出了基于LCT技术的彩色图像融合方法。算法步骤如下：

（1）计算彩色可见光图像的亮度分量YVis：

（2）用灰度图像融合方法将可见光图像亮度分量YVis和红外图像IR融合，得到灰度融合图像F。

（3）用式（4）将灰度参考图像Ref的亮度和对比度传递给灰度融合图像F，得到调整后的灰度融合图像F*。

（4）将彩色可见光图像的R，G，B分量分别与（F*-YVis）相加，得到最终的彩色融合图像［RC，GC，BC］T，如式（3）所示。

可见光图像亮度分量YVis和红外图像IR的灰度融合是LCT方法的重要步骤。除了采用像素平均（Pixel Averaging，PA）融合法以外，本文还利用多分辨率（Multiresolution，MR）融合法来融合YVis和IR。MR法可以将源图像分解到多个频率通道，从而进行更为细致的融合，这种方法可以获得非常高的融合质量，但是其计算复杂度远高于PA法，不利于实时处理。因此，在实时性要求高的场合，可以用PA法来完成LCT方法的灰度融合步骤；在对融合质量要求高的场合，可以用MR法来完成。

5 实验结果与分析

5.1 融合方法的比较

为了验证LCT融合方法的有效性，本节将该方法（这里称 LCT方法）与灰度图像融合方法（用PA法和MR法对红外图像IR和可见光图像亮度分量YVis进行灰度融合）和不用LCT的彩色图像融合方法（这里称为NLCT方法）进行比较。其中 NLCT方法与 LCT方法相近，不同的是，NLCT方法不用LCT技术，直接用灰度融合图像F与可见光图像的亮度分量 YVis相减，然后将差值（F-YVis）分别加入到可见光图像R，G，B 3个颜色通道来形成最终的彩色融合图像。采用PA法进行灰度融合的LCT方法称为 P-LCT，采用MR法进行灰度融合的LCT方法称为M-LCT，相应地，采用PA法和MR法进行灰度融合的NLCT方法称为P-NLCT和M-NLCT。为了降低纹波现象，实验中采用基于相关信号强度比的加权多分辨率图像融合算法［14］进行灰度MR融合，用Daubechies的双正交“5-3”小波［15，16］作为多分辨率分析工具，分解层数为 4，阈值取 0.75，掩模取｛｛1/16，1/8，1/16}，｛1/8，1/4，1/8}，｛1/16，1/8，1/16}}。

图1 实验中所用的参考图像Fig.1 Reference image used in the experiment

采用图1所示的灰度图像作为LCT方法的参考图像，该图像是作者用Sony Cybershot DSCF717数码相机在日照充足情况下拍摄的，拍摄地点：吉林大学南岭校区3号教学楼南侧；拍摄时间：2006年5月。选取由英国Octec公司提供的“Octec1”、“Octec2”两组配准的长波红外和彩色可见光图像作为实验源图像。Octec1红外和彩色可见光图像分别如图2（a）和（b）所示，该组图像在有烟雾障碍情况下拍摄，场景中包括3个人、一些树木和楼房。Octec2红外和彩色可见光图像分别如图3（a）和（b）所示，该组图像在无烟雾障碍情况下拍摄，场景中包括一个人、一些树木和楼房。

图2 各方法对Octec1图像的融合结果Fig.2 Fusion results of Octec1 images obtained by different methods

图3 各方法对Octec2图像的融合结果Fig.3 Fusion results of Octec2 images obtained by different methods

图2、图3分别展示了各方法对Octec1图像、Octec2图像的融合结果。通过实验结果可以得到以下两个重要结论：

（1）同灰度融合方法和NLCT方法相比，LCT方法具有最好的融合效果，其融合图像既具有与可见光图像相近的自然色彩，又有良好的亮度和对比度。

图2（c）、（d）和图3（c）、（d）分别展示了灰度融合方法对Octec1图像和Octec2图像的融合结果。虽然源图像信息在PA融合图像和MR融合图像中得到了不同程度的体现，但是由于灰度动态范围的限制，无论是对于PA法还是MR法，瞬时观察它们的融合图像都有一种“模糊一片”的感觉。

图2（e）、（f）和图3（e）、（f）分别为NLCT方法对 Octec1图像和 Octec2图像的融合结果。NLCT方法实质是在未经过任何处理的灰度融合图像中直接“灌注”可见光图像的颜色，因此可以明显地看到，P-NLCT融合图像和M-NLCT融合图像都很好地传承了可见光图像的自然色彩。这种色彩虽不能提高融合图像的亮度和对比度，但是却使得图像场景中的各个部分更加容易区分。

图2（g）、（h）和图3（g）、（h）分别为用LCT方法对Octec1图像和Octec2图像的融合结果。同NLCT方法一样，LCT方法直接用可见光图像的颜色信息来构筑融合图像的彩色分量，所以PLCT融合图像和M-LCT融合图像都很好地保持了可见光图像的自然色彩。LCT方法用经过LCT技术处理后的灰度融合图像作为彩色融合图像的亮度分量，有效地改善了最终融合图像的亮度和对比度，可以看到，LCT融合图像的亮度和对比度明显好于NLCT融合图像。LCT技术和颜色信息的联合运用，使得LCT融合图像具有一种“一目了然”的感觉。

（2）M-LCT方法具有最优的融合质量，P-LCT方法也能够取得令人满意的融合效果。

由图2和图3可以明显地看到，相对于同组的其他图像，M-LCT融合图像（见图2（h）和图3（h））突出和表现图像细节的能力更强，无论是对于Octec1图像还是Octec2图像，源多波段图像中的人、树木、地面、楼房的细节信息在M-LCT融合图像中都得以清楚、准确地的再现。彩色图像融合、LCT、MR融合3种技术的性能优势在M-LCT融合图像中得到了充分的展示，但是，这种优势是以牺牲算法复杂度为代价的，复杂的MR融合过程给算法计算带来了严重的负担。

LCT技术的运用使得计算简单的P-LCT方法也能够取得良好的融合效果，源图像中主要的特征信息在P-LCT融合图像中都得以很好的再现。与P-LCT方法相对应的PA方法和P-NLCT方法中都没有使用LCT技术，它们的融合图像表现源图像细节信息的能力就较弱。PA方法（见图2（c））、P-NLCT方法（见图2（e））对Octec1图像的融合结果中最右侧楼房的门窗比较模糊，场景中最右侧的人也不易识别；PA方法（见图3（c））、PNLCT方法（见图3（e））对Octec2图像的融合结果中树木、楼房和地面的纹理都不清晰，人也不易看得清楚。相比之下，在P-LCT融合图像（见图2（g）和图3（g））中，可以明显地看到上述信息。

P-LCT方法的融合效果虽然没有M-LCT方法好，但是，P-LCT方法的融合质量也能够令人满意。更重要的是，P-LCT方法的计算复杂度低，利于实时处理。因此，如果没有特别的需要，实际工作中没有必要采用复杂的M-LCT方法来融合图像，低计算复杂度的P-LCT方法足以满足大部分情况的需要。

5.2 参考图像的选取

LCT方法对灰度参考图像的要求并不苛刻，对参考图像的场景和大小没有严格的限制，只需要其具有适中的亮度和对比度。为了说明这一点，本节结合3幅不同的参考图像，用M-LCT方法分别对Octec1图像和Octec2图像进行融合，融合结果如图4所示。图4左列为实验中所用的3幅参考图像，这3幅图像均来自于FreeFoto.com网站；与这些参考图像相对应的融合图像显示在中、右两列，分别为Octec1图像和Octec2图像的融合结果。

由图4可以看到，所有的融合结果都传承了相应参考图像的亮度和对比度特征。图4上、中两行参考图像的亮度和对比度都比较适中，因此相应的融合图像都具有良好的视觉效果；下行参考图像的亮度过高，这种不合适的亮度特征使得下行的融合图像也过亮，严重地淹没了图像中的细节信息。

由图4上、中两行的图像可以发现，不同参考图像所对应融合结果的差异不大。因此，在实际的融合系统中，没必要随着输入图像的变化来重新设置参考图像的均值和方差，只需在系统中存储一组固定的均值和方差（均值和方差所对应的参考图像需具有适中的亮度和对比度）即可完成亮度-对比度传递过程。

图4 采用不同参考图像的M-LCT方法的融合结果左：3幅不同的参考图像；中：与各个参考图像相对应的Octec1图像的融合结果；右：与各个参考图像相对应的Octec2图像的融合结果Fig.4 Fusion results obtained by M-LCT method with different target images Left：three different target images；Middle：fusion results of Octec1 images corresponding to each target image；Right：fusion results of Octec2 images corresponding to each target image

6 结 论

以红外和彩色可见光图像为研究对象，提出了一种基于LCT技术的彩色图像融合算法。该算法产生的融合图像不仅具有和可见光图像相近的自然色彩，而且还具备令人满意的亮度和对比度，即使采用运算简单的像素平均法进行灰度融合同样可以获得良好的融合效果。只要光照条件充足，能够获得彩色的可见光图像，结合LCT方法就可以构筑一个有效的实时彩色图像融合系统。

致谢：Octec公司，FreeFoto.com网站提供了本文的实验源图像，特此声明并表示感谢。

［1］SMITH M I，HEATHER J P.Review of image fusion technology in 2005［J］.SPIE，2005，5782：29-45.

［2］倪国强，肖蔓君，秦庆旺，等.近自然彩色图像融合算法及其实时处理系统的发展［J］.光学学报，2007，27（12）：2101-2109.NI G Q，XIAO M J，QIN Q W，et al..Development of near natural color image fusion algorithms and real-time image fusion system［J］.Acta Optica Sinica，2007，27（12）：2101-2109.（in Chinese）

［3］金伟其，王岭雪，赵源萌，等.彩色夜视成像处理算法的新进展［J］.红外与激光工程，2008，37（1）：147-150.JIN W Q，WANG L X，ZHAO Y M，et al..Developments of image processing algorithms for color night vision［J］.Infrared and Laser Eng.，2008，37（1）：147-150.（in Chinese）

［4］TOET A.Color image fusion for concealed weapon detection［J］.SPIE，2003，5071：372-379.

［5］XUE Z Y，BLUM R S.Concealed weapon detection using color image fusion［C］.The 6th International Conference of Information Fusion，Melbourne Australia Jul 8-11，2003：622-627.

［6］DWYER D，SMITH M，DALE J，et al..Real time implementation of image alignment and fusion［J］.SPIE，2005，5813：16-24.

［7］LI G X，WANG K.An efficient natural-looking color fusion method of infrared and visible images［C］.IEEE TENCON 2006，Hong Kong，China Nov 14-17，2006：1-4.

［8］李光鑫，王珂.基于Contourlet变换的彩色图像融合算法［J］.电子学报，2007，35（1）：112-117.LI G X，WANG K.Color image fusion algorithm using the contourlet transform［J］.Acta Electronica Sinica，2007，35（1）：112-117.（in Chinese）

［9］NEELAMANI R，QUEIROZ R de，FAN Z，et al..JPEG compression history estimation for color images［J］.IEEE T.Image Process.，2006，15（6）：1365-1378.

［10］SKODRAS A，CHRISTOPOULOS C，EBRAHIMIT.The JPEG 2000 still image compression standard［J］.IEEE Signal Proc.Mag.，2001，18（5）：36-58.

［11］JACK K.Video Demystified［M］.3rd ed.Eagle Rock，VA：LLH Technology Publishing，2001.

［12］POYNTON C.Digital Video and HDTV，Algorithms and Interfaces［M］.San Francisco：Morgan Kaufmann，2003.

［13］REINHARDE，ASHIKHMIN M，GOOCH B，et al..Color transfer between images［J］.IEEE Comput.Graph.，2001，21（5）：34-41.

［14］李光鑫，徐抒岩.适于图像融合的快速颜色传递方法［J］.光学 精密工程，2009，9（17）：2301-2310.LI G X，XU S Y.Fast color transfer method for image fusion［J］.Opt.and Precision Eng.，2009，9（17）：2301-2310.

［15］COHEN A，DAUBECHIES I，FEAUVEAU J C.Biorthogonal bases of compactly supported wavelets［J］.Commun.Pur.Appl.Math.，1992，45：485-560.

［16］DAUBECHIES I.Ten Lectures on Waυelets［M］.Philadelphia：SIAM，1992.

Luminance-contrast transfer based fusion algorithm for infrared and color visible images

LI Guang-xin，WU Wei-ping，HU Jun

（Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China）

With the particular research on infrared and color visible images，a color image fusion algorithm based on Luminance-contrast Transfer（LCT）technique is presented.Firstly，the method employs a grayscale fusion approach to fuse the infrared image and the luminance component of the color visible image.Then，it uses the LCT technique to improve the luminance and contrast of the grayscale fused result.Finally，the color fused image is generated directly in the RGB space with the fast YCBCRtransform fusion scheme.Two different strategies which employ the pixel averaging fusion approach and the multiresolution fusion approach as the grayscale fusion solution are proposed to implement the high real-time and high fusion quality，respectively.Experimental results show that the proposed algorithm can produce a color fused image not only with the natural color appearance similar as that of the input color visible image，but with pleasing luminance and contrast，and can also provide a good result even using the pixel averaging scheme to implement the grayscale fusion.Key words：color image fusion；Luminance-contrast Transfer（LCT）；YCBCRtransformation；infrared image；visible image

国家自然科学基金资助项目（No.60507003）

TP751

A

1674-2915（2011）02-0161-08

2010-12-12；

2011-01-23

李光鑫（1978—），男，吉林长春人，博士，副研究员，主要从事图像融合、图像处理等方面的研究。E-mail：guangxin.li@126.com