基于区域间相似度的红外与可见光图像融合算法研究

任全会，孙逸洁，黄灿胜

基于区域间相似度的红外与可见光图像融合算法研究

任全会1，孙逸洁1，黄灿胜2

（1. 河南省智慧教育与智能技术应用工程技术研究中心，河南 郑州 451460；2. 广西民族师范学院 数理与电子信息工程学院，广西 崇左 532200）

针对传统的红外图像与可见光图像融合算法存在局部模糊、背景信息不完整的问题，文章提出了一种新的融合算法。使用边缘检测算子实现图像轮廓的提取，同时还进行基于能量的加权融合处理；使用区域间相似度的方法实现信号域的提取，最后根据过信号强度进行图像的融合。为了验证算法的正确性，文章进行了对比测试，同时还使用标准差、信息熵和平均梯度3个参数进行了定量分析，本文方法和传统的加权平均算法相比标准差最大提高106.3%，测试结果表明，本文提出的融合方法融合效果更好，具有一定的实用价值。

红外图像；融合算法；边缘检测；相似度

0 引言

红外图像已经被广泛地应用到各个领域，在恶劣天气和光线不好的环境下也可以展现出物体目标，但是红外图像的缺点是对比度不高，地物轮廓不清晰。可见光图像地物轮廓清晰，但是恶劣天气和光线不好的环境下容易丢失目标物体。可以使用图像融合的方式实现两种图像的信息互补，从而得到清晰度高和目标可识别的融合图像[1]。

两种图像融合能在像素级、特征级和决策级3个层次上实现[2]。现在研究的焦点是像素级层面上。国内外学者也进行了大量研究，研究方法也比较多，比如加权平均法、取大法、区域方差等。目前应用比较广泛的是多分辨率融合算法，小波变换算法、Contourlet变换、IHS变换等等，使用此类算法融合后的图像会出现局部模糊的现象和吉布斯（Gibbs）现象[3]。为了解决此类问题，提出了一种新的红外图像和可见光图像的融合算法，使用边缘检测算子实现图像轮廓的提取，同时还进行基于能量的加权融合处理；使用区域间相似度的方法实现信号域的提取，最后根据过信号强度进行图像的融合。

1 边缘检测算子的图像轮廓处理算法

1.1 图像轮廓的处理

两幅图像边缘信号的模值相除可以得到：

1.2 基于能量的加权融合处理

假设判断边缘强度的临界值是，其取值范围是0～1，通过测试，当＝0.65的时候效果最佳。如果＜，就能确定此信号属于边缘信号，通过一个重要的参数基于能量的加权融合进行处理[5]；如果Q(,)≥Q(,)，融合的小波系数就可以表示成：(,)＝MAX×(,)＋MIN×(,)；如果Q(,)＜Q(,)，融合的小波系数就可以表示成：(,)＝MIN×(,)＋MAX×(,)。MAX和MIN表达式分别是：

MIN＝1－MIN(5)

因此，就可以把小波变换的区域能量表示成：

因此就可以得到两幅图像的能量表达式：

为了进一步提高图像的融合质量，设(,)表示匹配度，此参数是以(,)位置为中心领域的，则：

如果≥，就能确定此信号不属于边缘信号，使用基于能量的算法，比较两幅图像的能量大小，图像的能量值越小，表示此图像的边缘信息越不显著[6]，具体表示成：

2 图像区域信息处理算法

根据两幅图像融合的性质，同时结合各个区域间的相关性，使用分类处理的方法进行融合[7]。

文章引入一个重要的参数平均梯度特征，使用此参数把各个区域之间的相似度函数重新优化，这样就能够提高保存图像有效信号的效果[8]。区域相似度可以表示成：

区域中的均值可表示为：

参数平均梯度特征主要的功能就是可以客观地反映出图像的相对清晰程度[9]，可以准确地描绘图像的微弱变化细节，可以为图像的科学融合提供重要的依据[10]，优化后的表达式可以表示成：

式(12)和(13)中：Da(,)表示横向的差分值；Db(,)表示纵向的差分值。

根据两幅图像区域间的相似度不同[11]，使用不同的方法进行融合，这样可以大大提高融合的效果，当Sim(u,M,u,N)大于等于相似度阈值时[12]，使用区域信号强度这个参数实现图像的融合，区域图像的相关信号强度可以表示成：

式(14)和(15)中：D,M(,)和D,N(,)分别红外图像和可见光图像在(,)处的细节分量；D表示正在检测的图像区域；(,)表示掩模矩阵，主要的功能是对|D,M(,)|和|D,N(,)|进行线性滤波[13]。

如果Sim(u,M,u,N)小于相似度阈值，也就是说此时两幅图像的区域间的相似度不高时，使用基于能量的融合算法实现红外图像和可见光图像的融合[14]。也就是说通过对比两幅图像的能量实现融合，如果红外图像的能量比可见光图像的能量大，表明红外图像的边缘信息更为突出；反之，就表明可见光图像的边缘信息更为突出，其函数表达式是：

3 测试结果和结论

为了验证算法的正确性，使用小波融合算法、加权平均算法、IHS（Intensity，Hue，Saturation）变换算法和本文算法对两组图像进行对比测试，文章进行了两组图像的对比测试，图1是一组带有人物的待融合图像，图2是一组不带人物的待融合图像，采用测试的平台是Matlab 2018a。小波融合算法，小波变换的固有特性使其在图像处理中有如下优点：完善的重构能力，保证信号在分解过程中没有信息损失和冗余信息；加权平均算法，权重系数可调，适用范围广，可消除部分噪声，源图像信息损失较少，但会造成图像对比度的下降，需要增强图像灰度；IHS变换算法，但空间分辨率较低，而全色图像具有高空间分辨率，但光谱分辨率较低。

图1 第一组待融合图像

图2 第二组待融合图像

Fig.2 The second group of images to be fused

图3 第一组图像对比测试结果

图4 第二组图像对比测试结果

从测试结果可以看出这4种方法把源图像的重要信息都有效保留，两组图像的使用加权平均算法和IHS变换算法得到的图像比较暗并且比较模糊，使用小波融合算法得到的图像亮度比较高，可以相对完整地包含有红外图像的目标信息，并且也包含丰富的可见光图像的背景信息，但是图3和图4的(a)～(c)都存在局部模糊的现象，背景信息缺失严重。通过仔细对比图4中房屋下目标人物可以看出，图像(a)～(c)中的人物非常模糊，而本文方法则对此目标任务得到了有效的保留。

为了进一步验证文章算法的优越性，还使用参数标准差、信息熵和平均梯度进行了定量测试分析，参数信息熵表征图像的整体信息，标准差反映了图像像素值与均值的离散程度，平均梯度表征图像的清晰度，此3个参数越大就表明融合图像的效果越好[15]。测试数据如表1和表2所示。

从3个参数的测试数据可以看出，本文方法的指标和其它3种方法来比都得到明显提高。第一组图像的融合数据中，本文方法的标准差比加权平均算法的标准差提高了61.3%，第二组数据中更是提高了106.3%。这就充分说明，和其它方法相比，本文方法的图像融合效果更好。

表1 第一组图像融合数据

表2 第二组图像融合数据

4 结论

文章论述了一种红外图像与可见光图像融合算法，此算法使用两种不同的方法对图像的边缘轮廓进行处理，并且根据图像相似度的不同使用不同的方法进行融合。为了验证本文方法的正确性，进行了一系列的对比测试，从图像对比测试可以看出，本文方法可以更多地保留源图像的重要信息；从定量的3个参数的结果来看，特别是标准差，最多可以提高106.3%，和传统的融合算法相比，此方法可以有效地解决局部模糊的现象和吉布斯现象，有效地提高了融合图像的效果。本文算法优势明显，具有较强的实用价值。

[1] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]., 2019, 45:153-178.

[2] LIU Y, CHEN X, Ward R K, et al. Medical image fusion via convolutional sparsity based morphological component analysis[J]., 2019, 26(3): 485-489.

[3] 蔡铠利, 石振刚. 红外图像与可见光图像融合算法研究[J]. 沈阳理工大学学报, 2016(3): 17-22.

CAI Kaili，SHI Zhengang. Research on Image Fusion Algorithm of Infrared and Visible Image[J]., 2016(3):17-22.

[4] 郝志成, 吴川, 杨航, 等. 基于双边纹理滤波的图像细节增强方法[J].中国光学, 2016, 9(4): 423-431.

HAO Zhicheng, WU Chuan, YANG Hang,et al.Image detail enhancement method based on multi-scale bilateral texture filter[J]., 2016, 9(4): 423-431.

[5] FU Z, WANG X, LI X, et al. Infrared and visible image fusion based on visual saliency and NSCT[J]., 2017, 46(2): 357-362.

[6] DING S, ZHAO X, HUI X, et al. NSCT-PCNN image fusion based on image gradient motivation[J]., 2018, 12(4): 377-383.

[7] KOU F, LI Z, WEN C, et al. Edge-Preserving smoothing pyramid based multi-scale exposure fusion[J]., 2018, 53: 235-244.

[8] ZHOU Z, BO W, SUN L, et al. Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with Gaussian and bilateral filters[J]., 2016, 30: 15-26.

[9] YANG B, LUO J, GUO L, et al. Simultaneous image fusion and demosaicing via compressive sensing[J]., 2016, 116(7): 447-454.

[10] ZHANG Y, BAI X, WANG T. Boundary finding based multi-focus image fusion through multi-scale morphological focus-measure[J]., 2017, 35: 81-101.

[11] MA J, ZHOU Z, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]., 2017, 82: 8-17.

[12] YANG Y, QUE Y, HUANG S, et al. Multiple visual features measurement with gradient domain guided filtering for multisensor image fusion[J]., 2017, 66(4): 691-703.

[13] ZHANG L, ZENG G, WEI J. Adaptive region-segmentation multi-focus image fusion based on differential evolution[J]., 2018, 33(3): 32.

[14] YAN X, QIN HL, LI J, et al. Infrared and visible image fusion using multiscale directional nonlocal means filter[J]., 2015, 54(13): 4299-4308.

[15] CUI G M, FENG H J, XU Z H, et al. Detail preserved fusion of visible and infrared images using regional saliency extraction and multi-scale image decomposition[J]., 2015, 341: 199-209.

Infrared and Visible Image Fusion Algorithm Based on Regional Similarity

REN Quanhui1， SUN Yijie1，HUANG Cansheng2

(1.,451460,; 2.,,,532200,)

To address the problems of local blur and incomplete background information in the traditional fusion algorithm of infrared and visible images, a new fusion algorithm is proposed in this paper. The edge detection operator was used to extract the image contour, and weighted fusion based on energy was also executed. The similarity between regions was used to extract the signal domain. Finally, image fusion is performed according to the over-signal strength. To verify the correctness of the algorithm, a comparative test was conducted and a quantitative analysis was performed using three parameters: standard deviation, information entropy, and average gradient. Compared with the traditional weighted average algorithm, the standard deviation of this method was up to 106.3 %. The test results confirmed that the fusion method proposed in this study has a better fusion effect and practical value.

infrared image, fusion algorithm, edge detection, similarity

TN223

A

1001-8891(2022)05-0492-05

2021-08-29；

2021-11-23.

任全会（1978-），男，汉族，河南郑州人，副教授，主要研究方向：电子系统设计和EDA技术。E-mail:hzkd_2006@163.com。

黄灿胜（1970-），男，汉族，广西崇左人，高级实验师，研究方向为人工智能。E-mail: 645948468@qq.com。

2022年度河南省重点研发与推广专项（科技攻关）（222102320125）；2022年度河南省高等学校重点科研项目（22B510021）。