一种基于参数自适应引导滤波的红外图像细节增强算法

欧阳慧明，夏丽昆，李泽民，何 燕，朱晓杰，朱尤攀，曾邦泽，周永康

一种基于参数自适应引导滤波的红外图像细节增强算法

欧阳慧明1，夏丽昆2，李泽民1，何 燕1，朱晓杰3，朱尤攀1，曾邦泽1，周永康1

（1. 昆明物理研究所，云南 昆明 650223；2. 陆军装备部驻重庆地区军事代表局驻昆明地区第一军事代表室，云南 昆明 650023；3. 中国船舶工业系统工程研究院，北京 海淀 100094）

图像分层滤波器中引导滤波器因其滤波保边效果好和计算复杂度低，在红外图像细节增强领域得到了广泛的研究与应用。但传统的引导滤波器固定的正则化参数不能在所有场景下都取得较好的滤波分层效果，所以本文提出基于局部方差的参数自适应算法，以提高引导滤波器场景适应性。此外本文进一步通过自适应参数值，提出了改进的基于噪声掩膜函数的细节层自适应增强算法，从而在有效抑制了图像噪声水平同时提高了算法在不同场景下的细节增强能力。

引导滤波；参数自适应；噪声掩膜函数；噪声抑制；细节增强

0 引言

红外图像增强是指提升红外图像的对比度和细节分辨能力，以达到丰富图像信息量、加强图像辨识效果以及改善红外图像可视化质量的目的。传统的红外图像细节增强方法可大致分为空域增强算法和频域增强算法两大类[1]，空域类的红外图像细节增强算法计算复杂度相对较低从而广泛应用于实时红外成像系统中，典型的空域增强算法有基于线性映射的增强方法（如自动增益控制[2]）、基于图像直方图调整的增强方法（如直方图均衡化[3]）、基于图像分层的反锐化掩膜[4]的增强方法等；频域增强算法需要傅里叶变换、DCT变换等方式将图像转换到某个变换域内进行处理，算法复杂度相对较高，典型的频域增强算法有基于Retinex[5]、基于小波变换[6]、Contourlet变换[7]等。

其中，基于分层思想的红外图像细节增强算法[8-10]相较于其他传统的增强算法，能更好地保留和增强原始宽动态红外图像的细节信息，从而成为了红外图像可视化研究领域的热点方向。因为通过具有场景边缘保持能力的高斯低通滤波器先将原始宽动态范围红外图像进行分层，以提取出原图像中的细节信息进行单独的增强处理，并对高动态范围的基础层进行动态范围压缩[11]（一般由14位或16位压缩至8位），最后再将增强后的细节层与压缩后的背景层进行拟合相加。这样既实现了动态范围的压缩，同时可以有效保留原图细节信息并进一步进行细节信息的增强处理。

其中，如何选择分层滤波器以保证图像细节信息的有效分离出来，以及在增强细节信息的同时更好地抑制图像噪声是此类基于分层的红外图像细节增强算法的关键。基于此，本文在传统的引导滤波算法的基础上，将算法中的核心参数改为自适应，从而提高了引导滤波算法对不同场景图像的分层能力。此外，在自适应参数的基础上，本文进一步提出了基于噪声掩膜函数的细节层增强改进算法，该方法对不同清晰度图像的细节层整体增益水平和同一图像不同区域的局部细节信息增益水平，进行不同程度的调整，从而实现在增强图像细节信息的同时更好地掩蔽图像噪声。

1 引导滤波器

常用的红外图像保边分层滤波器有双边滤波器[12]，引导滤波器[13]，最小二乘滤波器[14]等。引导滤波器是以局部线性模型为基础的线性滤波器，所以算法的计算复杂度要远远小于其它非线性保边滤波器，此外引导滤波器可以更好地保护原图像的边缘梯度信息，从而有效地减少了图像“梯度反转”现象[15]的出现。假设输入图像为，输出图像为，引导图像为，与在以像素为中心、为半径的窗口中存在局部线性关系如式(1)所示：

当计算a和b时，每个像素在不同的窗口下计算得到的将不同，所以为提高计算效率可在遍历全图后取a和b均值，以得到引导滤波后输出图像，即表示为式(2)：

而且当引导图像等于输入图像，及＝时，引导滤波器可以作为边缘保持滤波器而表现出保边滤噪的特性，此时求得a和b可以表示为式(3)：

2 改进的参数自适应引导滤波分层及细节增强算法

本文将基于图像分层的原理对原始红外图像进行动态范围压缩和细节增强处理，其中分层滤波器采用本文提出的参数自适应引导滤波器；对图像进行分层后，采用基于对比度受限的局部直方图压缩算法[16]对图像基本层进行动态范围压缩；同时提出基于噪声掩膜函数的细节层增强改进算法对图像细节层进行处理；最后将处理后的图像基本层和细节层进行合并，得到最终的动态范围压缩和细节增强的红外图像。

2.1 引导滤波参数e自适应算法

由公式(3)可知，对a值影响的两个变量为局部方差2和值，基于上一节中对引导滤波器的分析可以进一步得出：当2值远小于值时，a值趋于0，引导滤波后图像的细节提取能力强；当2值远大于值时，b值趋于0，引导滤波后图像的细节提取能力弱。而局部方差2由原始红外图像的自身灰度值决定，所以滤波参数值的选择在很大程度上影响着滤波分层的效果，但传统算法中的值一般设定为一个固定参数。

图1(a)、(b)和图1(c)、(d)，分别为能见度较高的晴朗天气和能见度较低的阴雨天气的场景下不同取值引导滤波细节增强处理结果。可以看出图1(a)最终的细节增强效果明显好于图1(b)，说明较高的取值，针对能见度较高、目标能量较强、场景细节信息明显的清晰红外图像，由于滤波效果较强，提取的细节信息较多，能取得更好的处理效果；但图1(c)最终的细节增强效果却比图1(d)差，说明较低的取值引导滤波，针对雨雾天等能见度较低、目标场景能量较弱、场景细节信息不明显的模糊红外图像，反而能取得更好的细节增强效果，而较高的取值引导滤波的强滤波能力此时起不到很好的边缘保护的分层作用，图像将被过度平滑，细节层中将包含过多的图像梯度纹理信息，从而导致细节增强效果较差。所以固定的值对不同场景下的红外图像不一定都能取得较好的滤波分层效果。

图1 不同能见度场景下e的不同取值时引导滤波细节增强处理结果

上文中已经分析了局部方差2和值之间的比较关系对图像滤波效果的影响，所以只要建立起局部方差2和值两者之间的映射关系，将不同场景下的原始红外图像局部方差2值作为参量来自适应的求取合适的值，滤波器的场景适应性将极大的提高。而本文考虑到局部方差2值反映的是图像的细节和边缘纹理，而2统计信息直方图又可以作为2分布情况的重要参考，基于此，本文将结合不同图像的2统计直方图特性作为依据来求取相应的值。

图2(a)、(b)分别为图1(a)和图1(c)的原图局部方差统计直方图，直方图横坐标表示局部方差数值大小，纵坐标表示其相应的统计数量。从图2的两幅统计直方图可以看出图像的局部方差统计信息分布很广（所以两幅图像的统计信息都只截取到6000的局部方差值），且局部方差值大部分都较小，但是由于局部方差2值反映了图像的细节和边缘纹理，所以图2(a)细节纹理丰富图像的局部方差统计直方图的统计信息分布更宽，且相比于图2(b)细节纹理不丰富图像的局部方差统计直方图，图2(a)在局部方差较大的区间2分布数量也更多，但在局部方差较小的区间图2(a)中2的分布数量却又比图2(b)要少很多。基于以上分析，本文进一步考虑用局部直方图中2的均值来求取值，其表达式如式(4)所示：

图3为本文提出的自适应引导滤波细节增强算法在不同场景下处理结果对比。从图3可以看出本文算法求得的值基本符合我们前文中对理想的取值的预期，且基于本文算法求得的值在不同场景下都可以得到比较好的处理效果。

图2 细节纹理丰富图像和细节纹理不丰富图像局部方差直方图对比

图3 本文自适应e引导滤波细节增强算法处理结果（k取2）

2.2 基于噪声掩膜函数的细节层增强改进算法

对细节层的处理对于最终的细节增强效果好坏有着重要的影响。而基于视觉掩蔽效应的细节拉伸方法是目前最常用的细节层增强和噪声抑制方法之一，视觉掩蔽效应[17]理论认为：平坦区域的噪声对人眼视觉系统的刺激比复杂纹理区域中的噪声要更大，所以平坦区域的噪声将明显降低图像的可视化效果，而噪声在图像灰度信息丰富的区域却表现出了低可见性。文献[18]基于这种视觉掩蔽效应提出了噪声可见度函数，其表达式如式(5)所示：

式中：(,)表示基于图像局部方差的噪声掩膜函数；为调节参量。从上式可以看出，噪声可见度函数与表征图像局部信息丰富程度的噪声掩膜函数的值成反比：当区域中的灰度信息丰富时，噪声的可见度较低；而当图像处于灰度信息较少的平坦区域时，图像噪声将更为凸显。基于上述噪声掩膜效应，基于双边滤波的色调映射算法（bilateral filter and dynamic range partitioning，BF & DRP[19]）、基于引导滤波器的图像细节增强算法（guided filter and dynamic detailed enhancement，GF & DDE[20]）等算法将图像滤波分层过程中计算得到的某些权值和中间系数来作为对图像噪声进行抑制的掩膜，得到细节层增益基本计算公式如式(6)所示：

式中：max和min分别为图像的高、低增益值系数，代表了图像的增益范围，取值一般在（1～2.5）；(,)是表示图像区域灰度信息丰富程度的关系式。但是上式(6)仅对图像细节层进行单一的指定增益区间的拉伸处理，却没有考虑不同场景下细节层的整体增益调整问题，所以细节层增强方法的场景适应性较差。基于此，本文在式(6)的基础上增加了表征图像清晰度的整体增益系数，本文提出的细节层图像增强算法如式(7)所示：

式中：为上一节中求得的自适应滤波正则化参数；为的归一化调整因子，取值接近于标准清晰场景下图像求得的，一般取值500；2为图像的局部方差。该增益系数公式主要是基于图像的滤波参数和局部方差2设计的。此处刚好可以应用上一节中求得的值来表征图像的整体清晰度水平，而/代表了图像的整体增益调整参量，在整体细节纹理清晰的图像中，/较小，图像不需要额外的整体增益，从而避免了图像强边缘信息和图像噪声的过度增强；在整体细节纹理模糊的图像中，细节层信息提取量较少，所以需要更大的整体增益，而求得的/更大，最后图像的整体增益也相应会更强。2/(2＋)代表了图像各个区域的细节纹理丰富度信息，当2/(2＋)较大时，代表该区域图像细节丰富，基于噪声掩膜原理，与增益系数相乘后该区域像素将获得较大的增强；当2/(2＋)较小时，代表该区域较为平坦，根据噪声掩膜原理，与增益系数相乘后该区域像素也将相应获得较小的增强。所以本文算法在同时考虑了图像局部清晰度和图像整体清晰度水平的基础上，对图像细节层进行增强处理。最后再将处理后的图像细节层和基础层按一定比例相加，可以得到最终动态范围压缩及细节增强后的红外图像。

图4(a)、(b)和图4(c)、(d)分别代表了不同清晰度场景下，细节层处理方法应用GF & DDE算法细节层处理方法和本文细节层处理方法不同的处理效果对比。从图4(a)、(b)可以看出，本文算法通过减小清晰图像整体增益水平，相比GF & DDE算法，在有效增强目标细节时，避免了云层等处噪声的过度放大。从图4(c)、(d)可以看出，本文算法通过增大模糊图像的整体增益水平，相比GF & DDE算法，进一步增强了全图的细节信息。

2.3 针对FPGA嵌入式实现的算法优化和可行性分析

针对本文所提的参数自适应引导滤波及细节增强改进算法，式(4)和式(7)只涉及简单的加法和乘、除法运算，像素局部方差已通过引导滤波求得，而引导滤波遍历全图像素过程中就可以统计出局部方差小于阈值的像素总数及局部方差总和，再根据式(4)可以直接求取自适应值，并进一步通过式(7)求得细节增益系数，因此两个算法也基本不占用存储空间。所以本文所提的参数自适应引导滤波及细节增强改进算法不用优化，可以基于FPGA硬件平台直接实现。此外，对于硬件实现时的实时性问题，考虑实际应用时目标场景的变化速度一般远小于红外实时系统的帧频率，所以我们可以通过使用前一帧图像的局部方差统计直方图求得的值作为下一帧图像引导滤波和自适应细节增强算法所需的值。

3 实验结果与分析

为进一步说明本文所提算法的处理效果好坏，本章将从主观和客观两个方面对本文所提的红外图像动态范围压缩及细节增强算法做综合评价。同时选择了5个经典的红外图像动态范围压缩和细节增强算法与本文算法进行综合的比较：最简单也是最基础的线性映射算法AGC、线性映射和直方图均衡化相结合算法HALEQ（histogram adjustment based on linear to equalized quantizer）[21]、经典局部直方图色调映射算法CLAHE[22]（contrast limited adaptive histogram equalization）、基于双边滤波的色调映射算法BF & DRP、基于引导滤波器的图像细节增强算法GF & DDE。为了更好地说明本文算法的处理效果和算法适应性，本文选用了3个典型场景下的非制冷红外图像（图5～图7）进行实验，场景分别为：细节丰富的清晰图像、细节纹理不丰富的模糊图像、测试红外图像NETD等重要性能指标的四杠靶图像。本文中使用的实验数据均为艾睿光电12mm氧化钒长波探测器采集，并进行非均匀性校正后输出的16bit、1024×768像素的原始非制冷红外图像。

图4 不同能见度下基于GF & DDE细节层处理方法和本文细节层处理方法结果对比

图5 场景一：细节丰富的清晰室外场景

图6 场景二：细节纹理模糊的室外场景

图7 场景三：四杠靶图像

从上述典型的3个场景中，我们可以看出AGC算法简单，但是整体的处理效果很差，只能将其作为原始红外图像的可视化参考图像。CLAHE算法映射后对图像的局部对比度拉伸明显，图像的细节增强能力相对较好，但是图像整体层次感和均匀性较差，图像噪声水平较高。HALEQ算法处理后图像整体对比度拉伸明显，但是和AGC算法、CLAHE算法一样对图像的细节保持和增强方面的能力相比于其他基于分层的细节增强算法明显更差。BF & DRP算法对图像的细节保持和增强方面的能力较好，但是也存在强边缘过度增强等现象，且对于图像噪声的抑制能力较差。GF & DDE算法细节增强效果好于BF & DRP算法，但算法对不同场景的适应性较差，平坦区域的噪声也不能得到有效抑制。而本文算法相比其它算法在实验中的综合表现最好，算法在图像细节保留及增强、对比度提升、噪声水平抑制、场景适应性等方面都表现出了很好的处理效果。

客观评价方面，本文选择了平均梯度（average gradient，AG）[23]和基于图像信息熵概念的增强指标EMEE（measure of image enhancement of Entropy）[24]两个指标来定量分析本文所提算法的好坏。其中平均梯度AG指标通过对全图平均梯度水平的计算来刻画和评判图像中细节纹理信息的丰富程度，为得到更精确的AG值，本文选用了对噪声不敏感的sobel算子来求图像梯度；基于图像信息熵概念的增强指标EMEE主要是对图像进行分块，然后计算各子块内像素灰度最大值和最小值的比值来表征图像的局部增强程度，EMEE值越大，表明图像的局部对比度拉伸越强，图像增强效果越好。各算法在上述不同场景下的AG值和EMEE值情况如表1所示。

表1 各算法在3个场景下处理图像的AG值和EMEE值结果对比

从表1可以看出，基于分层思想的3种算法的细节信息AG值要明显高于其他3种传统算法，而基于双边滤波的细节增强算法比基于引导滤波算法往往表现出过度的边缘增强现象，所以BF & DRP算法的AG值要大于GF & DDE，但处理图像的可视化效果要比GF & DDE算法差。而本文算法虽然也是基于引导滤波分层但是经过了改进和完善后，不仅表现出来的可视化效果要优于其他算法，而且在各场景下的AG值也是所有算法中整体表现最好的。此外由于CHALE算法和本文算法对图像局部对比度的拉伸能力要强于其他几种算法，CHALE算法和本文算法的EMEE值总体要高于其他算法，而本文算法的细节增强能力更强，所以在各场景下的EMEE值表现也要比CHALE算法更好。

最后对本文所提算法的复杂度进行分析：上述6个算法在不同场景下，AGC算法、CLAHE算法、HALEQ算法和GF & DDE算法的仿真计算时间分别为0.1s、0.8s、0.9s和1.6s左右，BF & DRP算法和本文算法的仿真计算时间分别在3s和2.4s左右，由于BF & DRP算法和本文算法的计算量相对更大，仿真时间都要高于其他4个算法。

4 结论

本文提出了基于原始红外图像的局部方差直方图的引导滤波参数自适应算法，以取代传统算法中固定的参数值；进一步的，通过自适应值设计了图像清晰度评价系数，提出了基于噪声掩膜函数的细节增强改进算法对图像细节层进行处理。从而较大地改善了引导滤波器在不同场景下的滤波分层效果，并在有效抑制图像噪声水平同时提高了细节增强算法的场景适应性。最后本文选择了5个经典的红外图像动态范围压缩和细节增强算法，结合不同的典型红外场景和评价指标，从主观和客观两个方面对本文提出的算法的综合性能进行对比验证和评价。实验结果表明，本文算法的综合可视化效果更好、场景适应性更高，在不同场景下，能保证原始图像的灰度信息在映射后不会过度丢失，并可以对图像的对比度和细节信息进行有效增强，同时能更好地抑制图像噪声。

[1] 杨静, 李争. 一种基于双边滤波的红外图像细节增强方法[J]. 激光与红外, 2016, 46(4): 507-511.

YANG Jing, LI Zheng. Detail enhancement method for infrared image based on bilateral filter[J]., 2016, 46(4): 507-511.

[2] 金伟其, 刘斌, 范永杰, 等. 红外图像细节增强技术研究进展[J]. 红外与激光工程, 2011, 40(12): 2521-2527.

JIN Weiqi, LIU Bin, FAN Yongjie, et al. Research progress of infrared image detail enhancement technology[J]., 2011, 40(12): 2521-2527.

[3] 纪平, 胡学友, 张瑞琦, 等. 基于直方图均衡算法的图像增强技术研究[J]. 蚌埠学院学报, 2021, 10(2): 20-43.

JI Ping, HU Xueyou, ZHANG Ruiqi, et al. Research on image enhancement technology based on histogram equalization algorithm[J]., 2021, 10(2): 20-43.

[4] Polesel A, Ramponi G, Mathews V J. Image enhancement via adaptive unsharp masking[J]., 2000, 9(3): 505-510.

[5] Jobson D J, Rahman Z, Woodell G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]., 1997, 6(7): 965-976.

[6] 吴颖谦, 施鹏飞. 基于小波变换的低对比度图像增强红外[J].红外与激光工程, 2003, 32(1): 4-7.

WU Yingqian, SHI Pengfei. Approach on image contrast enhancement based on wavelet transform[J]., 2003, 32(1): 4-7.

[7] ZHOU P, ZHAO B J. Novel scheme for infrared image enhancement based on contourlet transform and fuzzy theory[J]., 2011, 41(6): 635-640.

[8] HE K, SUN J, TANG X. Guided Image Filtering[J]., 2013, 35(6): 1397-1409.

[9] SONG Q, WANG Y, BAI K. High dynamic range infrared images detail enhancement based on local edge preserving filter[J]., 2016, 77: 464-473.

[10] 葛朋, 杨波. 一种基于引导滤波图像分层的红外图像细节增强算法[J]. 红外技术, 2018, 40(12): 1161-1196. GE Peng, YANG Bo. A detailed enhancement algorithm for infrared images based on hierarchical guided filtering[J]., 2018, 40(12): 1161-1196.

[11] 欧阳慧明, 李泽明, 周永康, 等. 非制冷红外图像动态范围压缩算法研究综述[J]. 红外技术, 2021, 43(3): 208-217.

OUYANG Huiming, LI Zeming, ZHOU Yongkang, et al. A review of dynamic range compression algorithms for infrared images[J]., 2021, 43(3): 208-217.

[12] Barash D, Comaniciu D. A common framework for nonlinear diffusion, adaptive smoothing, bilateral filtering and mean shift[J]., 2004, 22(1): 73-81.

[13] HE K, SUN J, TANG X.[M]//Computer Vision – ECCV 2010. Berlin Heidelberg: Springer, 2010.

[14] 朱道广, 隋修宝, 朱才高, 等. 基于多尺度的高动态红外图像增强算法[J]. 红外技术, 2013, 35(8): 476-481.

ZHU Daoguang, SUI Xiubao, ZHU Caigao, et al. High dynamic infrared image enhancement algorithm based on multi-scale[J]., 2013, 35(8): 476-481.

[15] 樊启明. 基于滤波分层的红外图像增强算法研究[D]. 武汉: 华中科技大学, 2017.

FAN Qiming. Research on Infrared Image Enhancement Algorithm Based on Filtering Layering[D]. Wuhan: Huazhong University of Science and Technology, 2017.

[16] Pizer S M, Amburn E P, Austin J D, et al. Adaptive histogram equalization and its variations[J]., 1987, 39(3): 355-368.

[17] 周永康, 朱尤攀, 曾邦泽, 等. 宽动态红外图像增强算法综述[J].激光技术, 2018, 42(5): 718-726.

ZHOU Yongkang, ZHU Youpan, ZENG Bangze, et al. A review for high dynamic range infrared image enhancement algorithms[J]., 2018, 42(5): 718-726.

[18] Katsaggelos A K, Biemond J, Schafer R W, et al. A regularized iterative image restoration algorithm[J]., 1991, 39(39): 914-929.

[19] Branchitta F, Diani M, Corsini G, et al. New technique for the visualization of high dynamic range infrared images[J]., 2009, 48(9): 096401.

[20] LIU N, ZHAO D. Detail enhancement for high-dynamic-range infrared images based on guided image filter[J]., 2014, 67: 138-147.

[21] DUAN J, Bressan M, Dance C, et al. Tone-mapping high dynamic range images by novel histogram adjustment[J]., 2010, 43(5): 1847-1862.

[22] Zuiderveld K.[M] //Graphics Gems IV, Academic Press Professional,. 1994: 474-485.

[23] ZHANG F, XIE W, MA G, et al. High dynamic range compression and detail enhancement of infrared images in the gradient domain[J]., 2014, 67: 441-454.

[24] Agaian S S, Silver B, Panetta K A. Transform coefficient histogram-based image enhancement algorithms contrast entropy.[J]., 2007, 16(3): 741-58.

An Infrared Image Detail Enhancement Algorithm Based on Parameter Adaptive Guided Filtering

OUYANG Huiming1，XIA Likun2，LI Zemin1，HE Yan1，ZHU Xiaojie3，ZHU Youpan1，ZENG Bangze1，ZHOU Yongkang1

(1.,650223,;2.,650023,;3.,100094,)

Of all the image layered filters, guided filter has been widely studied and applied in the field of infrared image detail enhancement because of its good edge preserving effect and low computational complexity. However, traditional fixed regularization parameter ε of the guide filter cannot achieve good filtering layering effect in all scenarios. Therefore, an adaptive algorithm of parameterbased on local variance is proposed in this paper to improve the adaptability of the guide filter in all scenarios. In addition, an improved detail layer adaptive enhancement algorithm based on noise mask function is proposed by using the adaptive parameter ε value, which can effectively suppress the noise level and improve the detail enhancement ability of the algorithm in different scenes.

guided filtering, parameter adaptation, noise mask function, noise suppression, detail enhancement

TP751.1

A

1001-8891(2022)12-1324-08

2021-04-18；

2021-06-23.

欧阳慧明（1991-），男，白族，硕士，工程师。主要研究方向：红外成像系统设计及相关技术。E-mail: 799049681@qq.com。

周永康（1991-），男，硕士，工程师，红外成像系统设计及相关技术。E-mail：zyk1120102464@163.com