红外与微光融合图像的多尺度色彩传递算法

谯涵丹，富容国，王贵圆



红外与微光融合图像的多尺度色彩传递算法

谯涵丹，富容国，王贵圆

（南京理工大学 近程高速目标探测技术国防重点学科实验室，江苏 南京 210094）

针对红外与微光的灰度融合图像不利于人眼观察的问题，提出了一种在YCbCr颜色空间的基于多尺度多分辨率分析的色彩传递算法，帮助观察者获取丰富的场景信息和舒适的观察效果。该算法首先在Y通道将红外和微光图像进行灰度融合；然后将灰度融合图像和彩色参考图像的Y分量做拉普拉斯金字塔分解，比较其金字塔各层系数差异，综合各层系数差异找出最佳匹配点；最后将参考图像中最佳匹配点的Cb和Cr值传输到灰度融合图像中，生成最终的具有自然色彩的融合图像。实验结果表明，本文方法生成的彩色融合图像接近自然真实的颜色，有利于人眼对目标的观察与场景的理解。

色彩传递；图像融合；红外图像；微光图像；YCbCr颜色空间

0 引言

红外热像仪和微光夜视仪获取的红外与微光图像具有互补性，将红外与微光图像融合可以综合红外热像仪的热目标探测能力和微光CCD的场景观察能力[1]。研究表明，人眼对色彩的敏感度要远远高于亮度的敏感度，相比于灰度融合图像，彩色图像能够提供丰富的色彩信息[2]。因此，彩色融合图像更利于人眼对目标的观察与场景的理解。

图像间色彩传递是近几年计算机图形学、计算机视觉领域内的研究热点之一，观察者能从颜色的区别上更容易地判断目标特征，快速理解场景[3-7]。目前，国内外文献中色彩传递方法可以总结为两大类，第一类是全局传递[8-11]：在参考图像和目标图像之间做颜色整体信息的传递，根据参考图像的色彩的统计特性对目标图像的色彩进行调整，使之与前者相一致，从而获得相似色彩。此类算法比较适合色彩分布单调的图像，对于色彩较为丰富的图像，其色彩传递的结构层次感较弱，难以突出色彩细节。第二类是点对点传递[12]：将参考图像和目标图像的像素进行点匹配运算，在匹配的像素点之间实现点对点的色彩传递。此类算法需要寻找评价像素点特性的指标，如果指标选取不恰当，难以准确描述像素特征，容易造成像素点的误匹配，使得色彩传递的效果不佳。

针对以上问题，本文提出一种在YCbCr空间的基于多分辨分析的夜视图像色彩传递方法，将白天自然光下彩色图像的色彩特征参数传递于夜视融合图像中。首先在Y通道对红外和微光图像进行融合，将融合图像根据参考图像做灰度处理；然后将处理后的融合图像和参考图像的拉普拉斯金字塔各层做差异比较，根据一定规则寻找最优匹配点；最后根据把参考图像中匹配点的Cb和Cr值传输到灰度融合图像中的对应像素点中。

1 灰度融合图像的色彩传递

文中提出的夜视融合图像的色彩传递算法是在YCbCr颜色空间进行的。首先对红外与微光图像进行拉普拉斯金字塔融合，得到灰度融合图像作为彩色融合图像的Y通道分量；将灰度融合图像整体灰度均值和方差根据参考图像进行调整，调整后灰度融合图像的均值和方差与彩色参考图像一致。然后将灰度融合图像与参考图像金字塔做系数差异匹配，寻找差异值最小的点，记录该点的坐标信息，最后将参考图像中该点的颜色信息即Cb和Cr分量传递给原灰度融合图像中对应的点。本文算法的原理框图如图1所示。

1.1 红外与微光图像的灰度融合

对红外和微光图像的Y分量分别做2次金字塔分解，进行拉普拉斯金字塔融合。设红外与微光图像分别为IR和LL，融合结果为，IR和LL分别为红外与微光图像拉普拉斯金字塔的第层图像，O是第层图像融合结果，其中＝1，2，3。对金字塔1、2层采用区域能量法进行融合，其中(,)为3×3的卷积窗口，局部能量表示为：

第1层和第2层图像融合结果为：

对于第3层即顶层图像的融合，本文采用基于阈值分割的目标提取融合法。红外图像中目标一般很亮，而背景很暗，设定一个阈值，当灰度值大于阈值时，可判定其为目标；反之，则判定该像素点为背景。

在金字塔顶层，取红外图像的目标和微光图像背景作为顶层融合结果：

在得到金字塔各个层次的融合图像1、2、3后，重构得到最终的融合图像。

1.2 基于多分辨率分解的系数差异匹配

如图2(a)和(b)所示，原始灰度融合图像和参考图像的整体亮度和对比度存在差异，为了能够准确地传递色彩，寻找最精确的匹配点，将两幅的亮度和对比度调节一致，所以在Y通道里根据参考图像对灰度融合图像进行调节，调节后的图像如图2(c)所示。灰度调节公式为：

式中：和¢分别为拉伸前后灰度融合图像；o和s为融合图像与参考图像的均值；o和s为融合图像与参考图像的方差。

基于点匹配的色彩传递算法是根据两幅图像中场景的某些特征进行匹配，在选取特征的时候，应尽可能地使选取的特征包含足够的图像信息。拉普拉斯金字塔各层系数代表了图像在不同尺度不同分辨率下的特征，反映了图像的频率特性。图像中不同目标区域的亮度、形状和纹理的差异，使其相应的拉普拉斯金字塔各层系数也存在差异，因此可以通过比较各层系数区分不同目标。文中选取了道路、树木和墙壁作为典型目标区域进行系数比较，分别用方框标记，如图2所示。

图2 图像中的不同目标区域

对拉伸后的融合图像和参考图像分别做拉普拉斯金字塔分解，比较融合图像和参考图像不同目标区域在拉普拉斯金字塔各层上的系数差异。金字塔顶层是原始图像的低通缩略图，计算其区域均值可反映图像相应区域的亮度信息；金字塔底层和中间层是图像高频系数，存在正负值，其值的大小和波动反映图像相应区域的细节纹理特征。因此选取金字塔顶层系数的区域均值，底层和中间层系数的区域绝对值的均值和标准差，作为系数特征进行比较。每个目标选取两个不同区域，各层系数特性如表1和表2所示。

表中Abs1和Abs2表示金字塔第1层与第2层系数绝对值的均值，Std1和Std2表示金字塔第1层与第2层系数标准差，Mean3表示金字塔顶层系数均值。

（1）验证本次交易是否是可支付的。比特币的所有交易记录提供了比特币UTXO查询，只有当本次交易的UTXO对应的金额大于或等于收款金额时，该笔交易才是可支付的。

根据表1和表2可知，两幅图像中的树木细节丰富，明暗变化快，其高频系数绝对值均值和标准差相比道路与墙壁较大，两幅图的各层相应区域系数特征值比较接近；两幅图像道路的各层系数特征值变化范围相近；墙面比较光滑，两幅图像的墙面系数标准差相比树木与道路都较小，墙面亮度较高，顶层系数均值也相应较高，两幅图像墙面的各层系数特征值较为接近。由此可以看出不同图像中的不同目标区域系数特征值差异较大，相似目标区域的系数特征值存在一定相似性，故可以选取图像的拉普拉斯金字塔分解系数作为色彩传递匹配特征。

表1 参考图像不同目标区域系数值

表2 灰度调整后融合图像系数值

文中系数特征匹配的思路是：在Y空间对灰度融合图像和参考图像做系数差异匹配。拉普拉斯金字塔的生成经历了高斯低通滤波和隔行隔列降2采样，当前层图像的大小依次为上一层图像大小的1/4，故融合图像金字塔底层中的某一个点(,)，依次对应其第二层金字塔的(/2,/2)点和顶层的 (/4,/4)点；该点(,)系数遍历参考图像金字塔底层，与其做差异匹配；(,)在灰度融合图像第二层金字塔中的对应点(/2,/2)的系数遍历参考图像第二层金字塔系数做差异匹配，依此类推，直到顶层做完系数匹配；最后将三层金字塔的差异系数对应相加，得到灰度融合图像中的点(,)与参考图像在不同尺度不同分辨率下的差异总和。系数匹配如公式(5)和(6)所示：

式中：和¢分别为参考图像和拉伸后的灰度融合图像；s、s为参考图像的行数和列数；/2，/2，/4，/4，/2，/2，/4，/4均为不大于自身的最大整数。

得到对应层的差异匹配系数后，将各层差异系数对应相加，就得到参考图像和灰度融合图像在不同层次不同分辨率上的总体差异：

式中：/2，/2，/4，/4均为不大于自身的最大整数。

1.3 色彩传递

公式(6)生成的差异值代表了融合图像中的某个点与参考图像中各点在不同层次不同分辨率上的总差异，找到最小值点记为min(,)，记录该点的坐标信息，将该点在参考图像中对应点的Cb和Cr颜色分量传递给灰度融合图像中的对应点；利用灰度拉伸后的融合图像做系数差异匹配是为了减小匹配误差，使色彩传递更精准，但为了保持融合图像的原始灰度特征，Y通道的亮度分量保持原灰度融合图像中的Y分量保持不变。对于出现多个最佳匹配点的情况，本文将所有最佳匹配点的色度分量Cb和Cr取平均，用均值进行色彩传递。传递公式如下：

2 算法评价与实验结果

2.1 彩色融合图像评价方法

本文在HSI颜色空间对彩色融合图像进行评价，采用基于色调纹理和色调信息量的彩色融合图像评价准则：

1）色调分量平均梯度

式中：(,)表示点(,)的色调值。平均梯度反映了图像中的纹理变化特征和微小细节反差，故彩色融合图像中色调的平均梯度可反应图像的色彩纹理变化，图像的色调平均梯度越大，图像的色彩层次越丰富，色彩传递效果越好。

2）色调分量信息熵

式中：表示彩色融合图像色调的熵；为图像的色调级总数；P为色调值为的像素所占比例。熵反应了图像所含信息量的多少，故可认为图像的色调信息熵反应了彩色融合图像色彩的丰富程度，图像的色调信息熵越大，所含色彩信息越丰富，色彩传递效果越好。

2.2 实验结果与分析

为了验证文中算法有效性，我们在MATLAB上进行了对比仿真实验，将本文算法与文献[8]全局传递算法、文献[11]YUV空间的全局传递算法以及文献[12]点匹配传递算法进行对比分析，图3和图4是两组实验结果。

从表3中可以看出，本文算法与其他3种算法相比，获得的色调平均梯度值较高，说明本文算法获得的彩色图像有较好的彩色纹理；文献[8]和文献[11]获得的信息熵较高，但结合实验效果图，图3(e)的得到的彩色图像不符合人眼视觉特性，图3(f)目标不明显，已淹没在背景中；从图像效果上看，图3(g)在目标探测性和色彩传递效果上优于图3(e)和图3(f)。与图3(g)相比，本文算法得到的彩色图像目标更突出，颜色更鲜艳，更有利于人眼的观察。

从表4可以看出，与其他3种算法相比，本文算法的色调平均梯度和信息熵均有较好表现，说明本文算法得到的彩色图像有良好的色彩纹理和丰富的图像色彩。结合图4的实验效果，图4(e)传色效果不自然，且道路和草丛的颜色没区分开；图4(f)传色效果优于图4(e)，但目标不突出，草丛和树木的颜色相近，不易区分；图4(g)图像模糊，草丛与树木的颜色未区分开。与上述3幅图像相比，本文算法得到的彩色图像传色自然，符合人眼视觉特性，道路、草丛和树木有不同颜色，景物区分度高，且目标突出，有利于观察者对场景的理解和目标的识别。

表3 第一组实验结果质量评价

表4 第二组实验结果质量评价

3 结论

针对红外与微光灰度融合图像不利于人眼观察的不足，本文提出了一种在YCbCr空间的基于多尺度多分辨分析的红外与微光融合图像色彩传递算法。该算法是一种点匹配色彩传递方法，能够继承彩色参考图像的原始色彩信息，并且该算法采用多尺度多分辨分析的方法，考虑了不同目标区域在拉普拉斯金字塔不同层次上的系数特性，综合利用拉普拉斯金字塔各层系数作为匹配准则，使得像素点的匹配更加准确，从而保证了色彩传递的准确性。实验结果证明，文中算法可以得到符合人眼视觉特性的彩色夜视图像，彩色融合图像更利于观察者对目标的观察和场景的理解。

[1] 宋敏, 张蓉竹, 孙年春. 基于红外与微光融合图像的夜视仪设计[J]. 红外技术, 2014, 36(11): 885-889.

SONG Min, ZHANG Rongzhu, SUN Nianchun. Design of a night vision system based on infrared and low light level imaging sensor technology[J]., 2014, 36(11): 885-889.

[2] LAND E H. Recent advances in Retinex theory[J]., 1986, 26(1): 7-21.

[3] 朱黎博, 孙韶媛, 谷小婧. 基于色彩传递与扩展的图像着色算法[J]. 中国图象图形学报, 2010, 15(2): 200-205.

ZHU Libo, SUN Shaoyuan, GU Xiaojing. Image colorization based on color transfer and propagation[J]., 2010, 15(2): 200-205.

[4] 何永强, 王群, 王国培, 等. 基于融合和色彩传递的灰度图像彩色化技术[J]. 红外技术, 2012, 34(5): 276-279.

HE Yongqiang, WANG Qun, WANG Guope. Gray image colorization based on fusion and color transfer[J]., 2012, 34(5): 276-279.

[5] 徐铭蔚, 李郁峰, 陈念年, 等. 多尺度融合与非线性颜色传递的微光与红外图像染色[J]. 红外技术, 2012, 34(12): 722-728.

XU Mingwei, LI Yufeng, CHEN Niannian. Coloration of the low light level and infrared image using multi-scale fusion and nonlinear color transfer technique[J]., 2012, 34(12): 722-728.

[6] 陈小娥. 两种色彩传递算法适用情况研究[J]. 计算机应用与软件, 2011, 28(9): 251-254.

CHEN Xiaoe. Study on applicable conditions of two color transfer algorithms[J]., 2011, 28(9): 251-254.

[7] 许廷发, 李俊涛, 张一舟. 真彩色传递双波段图像融合[J]. 中国光学, 2014, 7(3): 402-407.

XU Tingfa, LI Juntao, ZHANG Yizhou.True color transfer for dual band image fusion[J]., 2014, 7(3): 402-407.

[8] Toet A. Natural color mapping for multiband vision imagery[J]., 2003, 4(1): 155-166.

[9] 王鹏宇. 基于小波和色彩传递夜视图像彩色融合算法研究[J]. 电子器件, 2014, 37(1): 143-145.

WANG Pengyu.Pass the color of night vision image fusion algorithm based on wavelet and color[J]., 2014, 37(1): 143-145.

[10] 杨静, 陈昭炯. 不同颜色空间中全局色彩传递算法的分析研究[J]. 计算机工程与应用, 2007, 43(25): 80-83.

YANG Jing, CHEN Zhaojiong. Analysis and research of globally matching color transfer algorithms in different color spaces[J]., 2007, 43(25): 80-83.

[11] 史世明, 王岭雪, 金伟其. 基于YUV空间色彩传递的可见光/热成像双通道彩色成像系统[J].兵工学报, 2009, 30(1): 30-35.

SHI Shiming, WANG Lingxue, JIN Weiqi. A dual-band color imaging system for visible and thermal IR images based on color transfer in YUV color space[J].II, 2009, 30(1): 30-35.

[12] WELSH T, ASHIKHMIN M, MUELLER K. Transferring color to grayscale images[J]., 2002, 21(3): 277-280.

Multi-resolution Color Transfer Algorithm for FusionImage of Infrared and Low-level light

QIAO Handan，FU Rongguo，WANG Guiyuan

(,,210094,)

In order to convert the fusion image of infrared and low-level light images into color image which accords with human visual perception, and helps observers to get rich scene information and comfortable visual effect, a color transfer algorithm based on multi-scale and multi-distinguishability in CbCrcolor space was proposed. Firstly, infrared and low-level light images were fused in Y channel. Then, the laplace pyramid decomposition was done with the gray fusion image and the reference image. The best matching point was located by comparing the coefficients of each pyramid layer of both images and finding the minimum difference value point. Finally, the Cband Crcomponents of the best matching point in reference image were transferred into gray fusion image to get the final fusion image with natural color effects. The experimental result shows that the color-transferred image has a natural color perception to human eyes, which benefits for the human eye observation of the target and understanding of the scene.

color transfer，image fusion，infrared image，low-level light image，YCbCrcolor space

TP391

A

1001-8891(2016)02-0157-06

2015-11-04；

2015-12-16.

谯涵丹（1990-），女，硕士生，主要从事图像处理方面研究。E-mail：qhd79937@163.com。

富容国（1970-），男，副教授，硕士生导师，主要从事红外与微光探测技术研究。E-mail：frguo@njust.edu.cn。

江苏省产学研联合创新资金（BY2012024），中国兵器工业集团预研项目。