自适应参考图像的可见光与热红外彩色图像融合算法

刘佳妮、金伟其、李 力、王 霞

北京理工大学光电成像技术与系统教育部重点实验室、北京 100081

自适应参考图像的可见光与热红外彩色图像融合算法

刘佳妮、金伟其*、李 力、王 霞

北京理工大学光电成像技术与系统教育部重点实验室、北京 100081

可见光与红外热图像的彩色图像融合技术是现今国内外高性能夜视技术发展的重要方向之一、该技术有效提高了人们对目标的探测和场景理解能力。目前常用的色彩传递算法多属于基于单幅参考图像的全局色彩传递算法、彩色融合图像的色调受到参考图像的影响较大、在实际应用中难以保证对各类场景的适应性。针对常规YUV空间色彩传递彩色图像融合算法的环境适应性问题、通过对植物、城镇和海天三类典型场景的分类与统计、发现了典型场景在UV通道的均值和标准差具有的较为明显的分类特性、由此提出了一种基于UV通道均值和标准差的自适应参考图像构造方法、使得可见光与热红外彩色图像融合算法具有较常规算法更好的环境适应性、融合图像的色彩具有较好的自然感、且算法处理量较小、对现有实时硬件融合处理算法的运算速度影响不大、是一种环境适应性强的自然感彩色融合处理算法。

可见光； 热成像； 彩色图像融合； 参考图像； 自适应

引 言

随着多传感器成像技术的发展、多传感器信息融合技术得到了飞速的发展[1]。图像融合作为信息融合技术的重要分支、将多源信道采集的同一目标场景图像通过特有的图像处理方法、最大限度地利用各信道之间的互补信息、消除多源信道信息间的冗余、有效提高了人们对目标的探测、识别和跟踪能力[2-5]。基于人眼彩色视觉特性的彩色夜视技术充分利用微光和红外波段的夜视图像信息、可使观察者的目标识别速度和准确度提高30%～60%[6-7]、因此受到国内外的广泛关注、目前已有基于双波段的彩色夜视的装备应用。

颜色空间的色彩传递方法是目前常用的自然感彩色图像融合方法、该方法源于2001年Reinhard[8]等提出的彩色图像的彩色渲染方法、之后2003年荷兰TNO研究所的Toet[9-11]将其引入到了多波段夜视图像的彩色融合应用、获得了接近白天的自然感彩色夜视图像、有利于观察者更快地发现目标和更准确地理解场景信息。但是、该算法要求在lαβ颜色空间进行色彩传递、其中存在大量的指数和对数运算、不利于实际成像系统的快速处理。2006年北京理工大学[12]提出基于YUV空间的自然感彩色夜视图像融合算法、其生成的自然感彩色图像的色彩与lαβ空间传递方法相当、但处理时间降低一半、并在DSP和FPGA处理平台上实现了双波段自然感彩色夜视融合的实时处理、成功实现装备应用。

目前常用的色彩传递算法属于基于单幅参考图像的全局色彩传递算法、彩色融合图像的色调受到参考图像的影响较大、在实际应用中难以保证对各类场景的适应性。为此、人们对色彩传递算法进行了持续而深入的研究。马爽[13]等研究了基于伪彩色融合图像聚类的夜视图像上色算法、先利用小波变换将可见光与红外图像进行融合、再将两种原图像进行RGB伪彩色融合并变换到IUV通道、用灰度融合图像替换I通道、然后将伪彩色融合图像与彩色图像进行聚类分割并进行色彩传递。何永强[14]等研究了一种基于融合图像特征库的夜视图像彩色化方法、采用小波融合方法来融合大量微光和红外图像、建立纹理图像库匹配相应参考图像、最后对图像进行分割后进行色彩传递。这些算法都取得了一定的效果、但处理过程都比较复杂、不利于实时处理。为此、拟研究一种自适应参考图像的可见光与热红外自然感彩色图像融合算法、实现参考图像的自适应选择、提高自然感彩色融合算法的环境适应性。

1 基于YUV空间色彩传递的自然感彩色图像融合算法分析

1.1 基于YUV空间色彩传递的自然感彩色图像融合算法

YUV颜色空间是国际电信联盟ITU推荐的颜色空间、常用于视频信号处理传输、通过空间变换可压缩彩色图像的传输带宽、其中Y为亮度信号、U和V分别为蓝色、红色与亮度的色差信号[5]。虽然YUV空间没有lαβ空间的感知去相关特性、但其建立同样考虑了人类的视觉感知、通过亮度和色差表示彩色图像、实现亮度与色彩分离。

如图1、基于YUV空间色彩传递的自然感彩色融合算法[13]的流程大致如下：

1)采用线性组合法在YUV空间将微光Vis(i,j)和红外图像IR(i,j)进行初始彩色融合、得到初始彩色源图像(Ys,Us,Vs)

(1)

式中、d1、e1、d2、e2、d3和e3为正有理数、且满足d1+e1=1；d2和e2以及d3和e3的选取则需要使U和V保持在相应的取值区间。

在彩色初始化中、主要考虑将目标场景纹理信息较为丰富的微光/可见光图像送到Y通道、将白热红外图像主要送到V通道、将黑热红外图像(前者的负片)主要送到U通道、使初始彩色图像基本保持具有传统视觉的暖冷色感规律。

图1 基于YUV颜色空间的彩色融合算法流程图

2)将选取的参考图像由RGB空间转换到YUV空间中

(2)

3)将参考图像YUV分量的均值和标准差传递给初始彩色源图像的YUV分量

(3)

4)将经过色彩传递后的源图像从YUV空间转换到RGB空间

(4)

5)将色彩传递后的RGB图像再现、即可获得类似参考图像色调的彩色融合图像。

可以看出：色彩传递实际上是将彩色参考图像在YUV空间的6个全局灰度统计值(均值与标准差)传递给初始彩色源图像、因此、实际应用中只需存储彩色参考图像的灰度统计值、即每幅彩色参考图像只需6个统计值表征。

1.2 参考图像对彩色融合图像的影响分析

由于自然界场景千差万别、我们简单地将其分类为植物、城镇、海天三种典型场景、图2给出了三幅分别对应三类典型场景的可见光和热红外图像。图3(b)、(c)和(d)分别给出植物、城镇、海天三种典型场景采用图3(a)三幅典型场景的彩色参考图像的彩色融合结果图像。可以看出：参考图像的色调对彩色融合图像的色调影响较大； 使植物、城镇和海天类型场景获得较佳自然感彩色融合图像的彩色参考图像与其实际场景类型基本一致。

图2 三种典型场景的可见光/热红外图像

图3 三种典型参考图像对图2双波段图像的彩色融合图像

我们进一步针对植物、城镇、海天三种典型场景分别选取80幅彩色参考图像分别进行了色彩传递融合处理、并选出其中融合图像颜色自然、符合人眼视觉特性的112幅参考图像(其中、植物场景41幅、城镇场景36幅、海天场景35幅)、对其YUV三个通道的均值和标准差进行统计(如表1和表2所示、表中Max表示最大值、Min表示最小值、Mean表示平均值、Med表示中位数)。由此可看出参考图像的六项灰度统计值的大致取值范围。

表1 彩色参考图像在Y、U、V通道的均值

表2 彩色参考图像在Y、U、V通道的标准差

(1)Y通道均值取值范围为80～180、值越大融合图像的平均亮度越大； Y通道标准差取值范围为20～80、其值越大融合图像的对比度越大；

(2)U通道均值取值范围为90～180、其值越大融合图像总体上越偏蓝紫色、值越小越偏绿色； U通道标准差取值范围为3～50、其值越大融合图像的蓝绿变化幅度越大；

(3)V通道均值取值范围为80～140、其值越大融合图像越偏红色、值越小越偏黄绿； V通道标准差取值范围为3～30、其值越大融合图像的红黄变化幅度越大。

图4 典型参考图像库U和V通道的均值和标准差聚类特性分布

Fig.4 The clustering distribution of mean and standard deviation in U and V channels for typical reference image library

2 自适应参考图像的可见光与热红外彩色图像融合算法

为了减小彩色图像融合过程中对彩色参考图像选择的盲目性、我们提出一种基于3幅典型(绿地、城镇和海天)场景彩色参考图像的彩色参考图像线性组合方法。

2.1 彩色参考图像的线性组合

如前所述、彩色参考图像越接近待融合场景类型通常具有更好的自然感彩色融合效果；UV通道均值反映图像的平均颜色、而UV通道标准差则反映了场景细节的颜色变化程度。因此、可选取具有代表性的典型彩色参考图像作为“基本”图像、通过线性组合的方法重构组合彩色参考图像。

(5)

(6)

“基本”参考图像即可选取已有的彩色自然场景图像、也可选择与实际参考图像无直接关系的6个统计值。在以植物、城镇和海天场景为“基本”参考图像的条件下、其选择原则是应处于色彩UV聚类图中各自的区域中、且构成的三角形具有足够大的面积。从图4(a)和(b)可以看出：图3(a)的3幅彩色参考图像以及表1、表2彩色参考图像的色彩统计均值和标准差都基本处于各聚类区域的中心(如图4(a)、(b)中的★点和+处)、属于较好的“基本”参考图像、将在后续分析讨论中采用。

2.2 自适应参考图像的参数选择

在选定3幅基本彩色参考图像的基础上、根据待融合图像的“类型”确定组合参考图像的关键就是自适应地确定基本参考图像的组合系数ri(i=1, 2, 3)。我们通过待融合初始彩色图像与基本彩色参考图像均值和标准差的差值来确定3幅基本参考图像在组合参考图像中所占的比例即线性组合系数。

首先确定待融合初始彩色图像与基本彩色参考图像均值和标准差的差值度量

(7)

由此进一步确定组合系数

(8)

2.3 自适应参考图像的可见光与热红外彩色图像融合算法

自适应参考图像的可见光与热红外彩色图像融合算法的具体流程步骤如下：

2)根据S图像与基本参考图像在U和V通道的均值和标准差、按照式(7)和式(8)确定基本参考图像的组合系数ri；

3)根据式(5)和式(6)计算得到组合参考图像的6个统计值、并在YUV空间中按照式(3)进行色彩传递、得到YUV空间的自然感彩色融合图像；

4)将YUV彩色融合图像转换回RGB空间进行显示、观察。

3 结果与讨论

为了检验算法的有效性、我们对多种场景的可见光和热红外图像进行了自适应彩色图像融合实验、均取得了较好的融合效果。这里分别给出植物、城镇、海天三种典型场景的一组彩色融合图像结果、并据此进行相应的分析和讨论。仿真实验在MATLAB环境下进行、图5给出了三种典型场景待融合的可见光图像和红外热图像、基本彩色参考图像采用图3的三幅典型场景图像、无参考图像的18个图像统计值采用表1和表2中的统计平均值。

图5 三种典型场景双波段图像

图6给出了三种典型植物、城镇和海天场景分别采用图3典型场景彩色参考图像、自适应参考图像以及表1和表2平均统计特征值传递得到彩色融合图像。从融合图像可以看出：1)单幅参考图像对融合结果的色调影响很大、而自适应参考图像和平均统计特征值传递对三种典型场景均可获得较好的自然感色彩、可在不进行专门的参考图像选择基础上、提高色彩传递的彩色融合图像的环境适应性； 2)虽然色彩有些过艳、但总体上用图3的植物参考图像对三种场景均可获得较为自然的融合图像色彩、实际上、该参考图像是目前常用的彩色参考图像、在大多数场景类型下具有较好的环境适应性、自适应参考图像选择方法可一定程度上解决其色彩过艳的问题、因此、本方法相对目前实际使用的方法具有明显的进步。3)本方法相对标准的色彩传递方法所增加的运算量很小、其硬件实现不会对现有处理系统的实时性产生明显的影响、但算法的环境适应性将会得到明显改善。

图6 三种场景融合结果

由于图像的灰度直方图与灰度统计值相关、我们还可从直方图的分布分析色彩传递彩色图像融合的特点。图7分别为图3的三种典型场景彩色参考图像在YUV颜色空间的灰度直方图、图8分别给出图5三个典型场景的可见光和红外热图像灰度直方图以及线性组合彩色图像、自适应参考图像、自适应参考图像色彩传递融合图像、统计特征值传递融合图像等在YUV通道的灰度直方图。从直方图分布可以看出：

1)线性融合彩色图像的直方图不仅包含红外热图像的直方图信息、也包含了可见光图像丰富的细节(直方图分布)信息；

图7 参考图像1、2、3在YUV三个通道的直方图

图8 自适应参考图像的色彩传递过程直方图

2)自适应参考图像在YUV三个通道的直方图与每个场景的直方图分布及组合系数ri有关、即与线性组合融合图像的YUV均值和标准差越接近的基本参考图像所占的比重越大、自适应参考图像的直方图就与该基本参考图像的直方图越类似；

3)自适应参考图像色彩传递与统计特征值色彩传递的彩色融合图像在YUV三个通道的直方图基本相似、只是直方图的位置(均值)和宽度(标准差)稍有差别、因此、两者的彩色融合图像具有较好的色彩相似性。

4 结 论

在常规的YUV空间色彩传递彩色图像融合算法基础上、通过对植物、城镇和海天三类典型场景的分类与统计、提出了一种基于UV通道均值和标准差的自适应参考图像选择方法、由此构成自适应参考图像的可见光与热红外彩色图像融合算法。实验结果表明、算法具有较常规基于单幅彩色参考图的全局色彩传递算法更好的环境适应性、融合图像的色彩自然感、且生成的自适应参考图像处理量小、基本不影响算法的硬件实时处理、是一种具有实用性的彩色融合处理算法。

多波段彩色图像融合技术仍处于不断完善的过程、新的融合方法或环节处理均可对算法的效果产生明显的影响。在本算法中原始可见光和红外热图像的灰度及其细节分布、线性组合过程的组合系数等都对初始彩色图像的YUV通道均值和标准差产生影响、进一步结合场景特点、实现更有效的线性组合对于完善自适应参考图像的彩色融合算法具有重要的意义、这将是后续深入研究的内容。

[1] MAO Shi-yi,ZHAO Wei(毛士艺,赵 巍). Journal of Beijing University of Aeronautics and Astronautics(北京航空航天大学学报)、2002,28(5): 512.

[2] HU Chuan-qi,WANG Xi,HOU Jia-huai,et al(胡传奇,王 檄,侯家槐、等). Geomatics & Spatial Information Technology(测绘与空间地理信息),2010,33(2): 159.

[3] Terashima,S,Ogawa,K. Brain Research,2002、958：468471.

[4] LUO Yuan,WANG Ling-xue,JIN Wei-qi,et al(骆 媛,王岭雪,金伟其,等). Infrared Technology(红外技术),2010,32(6): 337.

[5] HE Gui-qing,CHEN Shi-hao,TIAN Yun,et al(何贵青,陈世浩,田 沄、等). Chinese Journal of Computers(计算机学报),2008,31(3): 486.

[6] QIN Zheng,BAO Fu-min,LI Ai-guo,et al(覃 征,鲍复民,李爱国,等). Microelectronics & Computer(微电子学与计算机),2004,21(2): 1.

[7] Toet A,Walraven J. Optical Engineering,1996,35(3): 650.

[8] Reinhard E,Ashikhmin M,Gooch B,et al. IEEE Computer Graphics and Applications,2001,21(5): 34.

[9] Toet A. Information Fusion,2003,4(3): 155.

[10] Toet A. International Society for Optics and Photonics,2003. 168.

[11] Toet A,Hogervorst M A. Optical Engineering,2012,51(1): 010901.

[12] WANG Ling-xue,SHI Shi-ming,JIN Wei-qi,et al(王岭雪,史世明,金伟其,等). Journal of Beijing Institute of Technology(北京理工大学学报),2007,27(3): 189.

[13] MA Shuang,FANG Jian-an,SUN Shao-yuan,et al(马 爽,方建安,孙韶媛,等). Acta Optica Sinica(光学学报),2009,29(6): 1502.

[14] HE Yong-qiang,WANG Qun,LI Guo-song,et al(何永强,王 群,李国松,等). Laser & Infrared(激光与红外),2012,42(12): 1393.

*Corresponding author

Visible and Infrared Thermal Image Fusion Algorithm Based on Self-Adaptive Reference Image

LIU Jia-ni、JIN Wei-qi*、LI Li、WANG Xia

MOE Key Laboratory of Photoelectronic Imaging Technology and System,School of Optoelectronics,Beijing Institute of Technology,Beijing 100081,China

The technology of fusing visible images and infrared thermal images is one of the most important researching fields in terms of high-performance night vision technology home and abroad Using this kind of technology can efficiently improve people’s ability of target-detecting and scene’s comprehension. The commonly used color transfer algorithm belongs to single reference image’s global color transfer,which results in huge influence on the color of fusion image. Thus,this kind of method cannot adapt to different kinds of scenes. In this essay,we focus on environmental adaptation problems of regular color transfer in color image fusion algorithm base on YUV color space. After analyzing the mean and standard deviation of typical scenes’ UV channel,we find that it has obvious classified characteristics. As a result,we propose a method of constructing adaptive reference image based on mean and standard deviation of U and V channels,which makes visible and infrared thermal image fusion algorithm better adapt to environment and fusion images’ color is natural. Furthermore,the handling capacity is small and it exerts little impact on the speed of algorithm real-time hardware processing. To conclude,it is a kind of practical natural color fusion processing algorithm.

Visible light; Thermal imaging; Color image fusion; Reference image; Self-adaption

Nov. 24,2015; accepted Mar. 2,2016)

2015-11-24、

2016-03-02

国家自然科学基金重点项目(61231014)、教育部博士学科点专项科研基金项目(20131101130002)和“十二五”总装重点预研项目(40405030302)资助

刘佳妮、女、1991年生、北京理工大学光电成像技术与系统教育部重点实验室硕士研究生 e-mail: hengengliu@163.com *通讯联系人 e-mail: jinwq@bit.edu.cn

TN215

A

10.3964/j.issn.1000-0593(2016)12-3907-08