基于引导滤波的高动态红外图像增强处理算法

葛 朋，杨 波，毛文彪，陈绍林，张巧燕，韩庆林



基于引导滤波的高动态红外图像增强处理算法

葛 朋，杨 波，毛文彪，陈绍林，张巧燕，韩庆林

（昆明物理研究所，云南 昆明 650223）

主要论述了一种基于引导滤波器图像分层的高动态范围红外图像增强算法，通过引导滤波器将原始红外图像分解成基本层和细节层，再对它们分别采用相应的γ变换进行压缩，最后按照一定比例将两部分重新合成，从而在保留图像细节的同时有效地使红外场景得到高动态灰度显示。引导滤波器不依赖于滤波半径与图像灰度值范围，执行效率更高，计算速度更快；另外，引导滤波器是局部线性模型，边缘保持特性更好，能克服其他滤波器在图像灰度变化比较剧烈的边缘易出现梯度翻转，造成图像出现“伪边缘”的缺陷。实验结果表明，通过本算法增强后的红外图像，不论是人眼的主观评价还是客观评价，都具有较强的细节增强能力和较佳的视觉表现，且具有实时处理的前景。

引导滤波；红外图像；细节增强；高动态范围

0 引言

红外成像系统所面对的应用场景往往处在较大的温度变化中，而目标与背景或目标局部的温差却相对较小，因此需要红外成像系统不仅具有较高的空间和温度分辨力，而且具有较大的信号动态范围[1]。目前，对高性能红外探测器的输出信号进行采样和量化的A/D通常都是14位或16位。这样，对于一般场景，红外图像的灰度分布容易集中在较小的灰度范围内，而在某些大动态场景中，其灰度往往分布在较大的灰度范围内。

为了保证最终处理得到的图像具有适当对比度和亮度，同时兼顾到显示设备的图像显示，往往需要将红外成像系统获得的14位或16位原始数据压缩到8位数据宽度。针对高性能红外探测器的输出数据是大动态范围数据，而显示器显示图像范围为8位小动态范围的矛盾问题，对探测器获取的数据进行动态范围压缩就成了显示图像的必要环节。如果动态范围压缩方法使用不当，将导致原始高动态红外图像的某些信息得不到保留，也就是使最终得到的8位图像难以复原出原始图像中的某些目标或信号，从而造成高动态红外图像的细节丢失；另一方面，红外成像图像往往还存在一些缺陷，例如图像边缘模糊、整体偏暗、细节较难分辨、对比度低、噪声较大等，这也对红外目标识别与跟踪应用带来了困难[2]。

综上所述，基于8位图像数据的图像处理已不能满足高性能红外探测器的需求，而基于14位或更高位数据的图像处理技术已经成为高动态红外图像细节增强的重要发展趋势之一。高位宽的原始数据能在最大程度上保存目标场景中的细节信息，但高位宽图像的数据处理同时也对处理算法的处理速度、效率和有效性提出了更高的要求。

通过深入研究目前红外图像的常用细节增强处理算法，本文在图像分层思想的基础上提出了一种基于引导滤波的高动态红外图像细节增强处理算法。

1 基于引导滤波的红外图像增强算法

引导滤波是由He K. M. 等人提出的一种图像滤波的新方法[3]，指出得益于通过积分图来实现的盒式滤波器，它本质上具有O()的复杂度（为图像总像素数），即引导滤波器的时间复杂度不依赖于滤波半径与灰度值范围，只与的大小有关。这样，引导滤波器的执行效率更高，计算速度快；另外，引导滤波是局部线性模型，具有较好的边缘保持特性，能克服其他滤波器在图像灰度变化比较剧烈的边缘易出现梯度翻转，造成图像出现“伪边缘”的缺陷。

1.1 引导滤波

引导滤波是一种基于局部线性模型的边缘保持平滑滤波器，其思想是将图像中任一像素点与其部分邻近像素点定义为线性关系，然后分别进行局部滤波处理，最终将所有局部滤波结果累加从而推导出全局滤波结果[4]。

如式(1)所示，原始图像通过引导滤波后，将得到反映图像轮廓部分的基础层和反映图像纹理细节和噪声信息的细节层：

＝＋(1)

基础层被定义为一个与引导图像有关的线性模型。将待滤波红外图像设为，引导图像记为，结果图像记为，则引导滤波的局部线性模型表示如下：

q＝aI＋b,"Î(2)

式中：为引导图像上某一点处的像素；是以中心为点、半径为的局部窗口；a和b是引导图像在内的线性系数。对式(2)等式两边取导数得：

Ñ＝Ñ(3)

从式(3)可知，输出图像与引导图像拥有相似的梯度，从而验证了引导滤波具有良好的图像边缘保持特性。

引导滤波的核心在于，求得线性函数的两个系数a和b的最优解，使输入图像最接近的输出图像，采用线性回归的方法，使输入图像与拟合函数的输出值之间的差值达到最小，在窗口内，其代价函数为：

式中：为规整化因子，它用于规整掉值很大的a。经计算，对应的a和b分别为：

1.2 基于引导滤波的细节增强算法

传统的红外图像细节增强方法主要有高频增强和非锐化掩模等，其处理方法可以分别表示为式(8)和式(9)：

out(,)＝(,)＋×H[(,)] (8)

out(,)＝(,)＋×{(,)－L[(,)]} (9)

式中：out(,)为处理输出图像，(,)是原始输入图像，为强调图像细节的比例因子，控制细节增强的效果，H和L分别表示图像锐化和平滑滤波过程。常用的空间平滑滤波器则包括平板滤波器、高斯滤波器等；而常用的锐化滤波器包括Sobel滤波器、拉普拉斯滤波器等。基于高频增强和非锐化掩模的图像细节增强方法的优势在于其处理简单易行，但是其在增强高频细节的同时，往往也会放大图像噪声，另外，滤波器在获取图像高频信息并叠加的过程中容易在图像边缘处产生伪像。

伪像常表现为光晕和梯度反转两种现象：光晕现象是指，原始图像经过某些平滑滤波器后，边缘灰度变化剧烈的区域往往会被平滑，这样就会造成在得到的图像细节层边缘处产生一个灰度跳变，这个跳变再次叠加到之前经过滤波器得到的平滑层上，就会导致合成图中的边缘两边比原始图像更亮或者更暗；梯度反转是指，图像边缘灰度变化剧烈的区域经过某些锐化滤波器处理后，得到的细节层边缘处的灰度往往会发生翻转，这个翻转经过二次叠加，这样会导致最终增强结果图的图像边缘出现亮暗交替的“圈”[2]。

基于引导滤波的高动态范围红外图像增强算法的处理方法是通过引导滤波器将原始红外图像分解成基础图和细节图两个部分，再对它们分别采用相应的γ变换进行压缩，最后按照一定比例将两部分重新合成，从而在保留图像细节的同时有效地使红外场景得到高动态灰度显示。如图1所示，是基于引导滤波的高动态范围红外图像增强算法流程图。

图1 本文增强算法流程图

假设(,)为原始高动态红外图像，基于引导滤波的高动态红外图像增强算法可表示为：

out(,)＝(1－)×[base(,)]＋×[detail(,)] (10)

式中：out(,)代表处理后的输出图像；base(,)是(,)经过引导滤波器处理后得到的图像基本层；detail(,)＝(,)－base(,)表示经过本文算法处理后得到的图像细节层；函数[]表示14位高动态红外图像进行非线性映射压缩到8位灰度范围；为图像基本层与细节层合成时细节层所占比例。

2 实际红外图像处理与评价

为了验证本文算法的有效性，对多种红外图像增强算法进行对比试验。如图2所示，图中(a)、(b)、(c)、(d)分别为传统高频增强、非锐化掩模算法增强效果和引导滤波增强处理效果对比图，原始图像为制冷型640×512碲镉汞中波红外焦平面探测器对人和烙铁所成图像，其ADC分辨率为14位。图(a)为经过自适应增益控制（Automatic Gain Control，AGC）线性映射后所得到的图像，图(b)是采用高斯滤波器（滤波窗口为3×3，标准差为0.9）进行非锐化掩模处理后得到的图像，图(c)是采用拉普拉斯滤波器进行高频增强处理后得到的图像，图(d)是采用本文提出的基于引导滤波分层的图像增强算法处理后得到的图像。从图中可以清楚地观察到，图(b)和图(c)经过处理后图像的细节均得到增强，特别是人的眉毛、头发、衣服等细节都有较好的体现，但是对于烙铁四周具有强边缘处分别出现了“光晕”和“梯度翻转”现象，这也是上述分析中指出的基于高频增强和非锐化掩模的图像细节增强方法容易在边缘产生伪像；图(d)是本文算法得到的增强效果图，其中引导滤波半径＝3，规整化因子＝0.001，图像基层和细节层映射到8bit范围所取伽马变换的B和D分别为1.5和0.8，图像基层和细节层合成权重为0.4，从图中可以看出，不仅人的细节得到了更好的体现，对于烙铁强边缘处也没有出现“光晕”和“梯度翻转”现象，这是因为引导滤波是局部线性模型，输出图像与输入图像有相似的梯度，具有较好的边缘保持特性，能克服其他滤波器在图像灰度变化比较剧烈的边缘易出现梯度翻转，造成图像出现“伪边缘”的缺陷。

采用图像信息熵评价指标对4种处理效果进行客观评价，结果如表1所示。图像信息熵是衡量图像信息的一个重要指标，对于二维灰度图像而言，若不考虑某灰度在二维空间的具体位置，单从图像的灰度层次来看，信息熵值越大，图像所含的信息量越大[6]。从结果中可以发现本文算法的处理结果具有最高的信息熵值，说明经过本文算法处理后，得到的图像信息量确实变多了，这也与实际主观感受一致。

表1 不同算法处理结果的信息熵对比

另外，为了进一步验证本文算法的有效性，对比了在红外图像动态压缩中使用广泛的双边滤波与本文算法的增强效果。双边滤波也是一种具有边缘保持性能的非线性滤波器，其特点是以高斯滤波器为基础，通过空域邻近度高斯核函数与值域相似度高斯核函数相乘来构造双边滤波核，用对邻域像素进行加权所得到的像素值来代替当前像素值，从而实现滤波的目的[7]。如图3所示为本文算法和双边滤波压缩算法对高动态红外图像增强效果图对比，其中双边滤波器半径＝4，空域滤波核均方差s＝2，强度域均方差d＝0.02；引导滤波器半径＝4，规整化因子＝0.001。对比图3(a)、(b)、(c)，从图中可以看出经过双边滤波算法和本文算法增强后，相较于原始图像AGC的图像细节均得到了较好地增强，特别是建筑物、窗户等细节都得到更好体现，远处塔尖轮廓清晰，近处水箱上的“良机”商标清晰可见。双边滤波器的一个缺陷就是它跟其他滤波器一样在图像灰度变化比较剧烈的边缘易出现梯度翻转，如图3(d)、(e)、(f)所示为3种处理算法增强局部图，对比后发现双边滤波算法处理后在图中“水管”边缘处出现了较强的“伪边缘”，而本文算法具有良好的边缘保持特点。

图2 不同算法增强处理结果对比

图3 双边滤波算法与本文算法处理结果对比

虽然双边滤波算法和本文算法一样能取得较好地细节增强效果，但是经过深入研究，双边滤波算法的时间开销远远大于本文算法。在Matlab平台下对引导滤波和双边滤波的处理速度分别进行了模拟，表2给出了在不同滤波半径下双边滤波和引导滤波在Matlab 2010平台下的运行时间。实验结果表明，随着滤波半径的增大，双边滤波的计算复杂度会随之增大，而引导滤波的计算复杂度保持不变；当滤波半径为6像素时，双边滤波处理时间已经超过1s，而引导滤波处理方法的处理时间则可以保持在较少的时间内。鉴于引导滤波的算法复杂度与滤波半径无关，在处理尺寸较大的红外图像的时候将极具优势。

表2 不同滤波半径条件下双边滤波和引导滤波处理时间

为了进一步测试本文算法的实用性，采集了图4所示的室内高动态范围红外目标场景图像，其中人物手中的电烙铁的温度大约为550K。图(a)、(b)、(c)、(d)分别表示自动增益控制处理后原始图像的压缩图像、双边滤波算法增强图像、非锐化掩模算法增强图像和本文引导滤波算法增强图像。通过对比可以发现经过双边滤波和本文算法增强后的图像，均包含了丰富的细节信息，特别是与烙铁温度差异200K的窗户和转椅等都能有很好的细节体现。其中双边滤波方法较好地提取了目标场景中的人物的细节特征，并且人物的纹理特征等信息清晰可见，但对于目标场景中的强边缘抑制效果不好，以致人的外轮廓处出现了明显的“伪边缘”现象，表现在图像上是一条明显的边界线；而采用本文算法处理后，图像展现了丰富的场景细节特征和目标轮廓，对比双边滤波中人的外轮廓可以发现，本文算法有效地避免了“伪边缘”的产生，增强后的图像更为自然；而采用非锐化掩模的算法没有产生较好的增强效果，场景细节体现不佳。采用图像信息熵评价指标对这4副图像进行客观评价，结果如表3所示，从结果中可以发现本文算法的处理结果具有最高的信息熵值，信息熵值越大表明图像信息量越多，从而客观说明了本文算法对目标场景的细节具有良好的增强效果。

图4 不同算法效果对比

表3 不同算法处理结果的信息熵对比

3 结论

针对传统的高频增强和非锐化掩模算法在增强图像细节的同时，容易造成增强图像出现“伪边缘”和“光晕”的问题，提出了一种基于引导滤波的红外细节增强算法，该算法能克服这种“伪像”缺陷。同时，通过Matlab平台对实际红外图像进行不同算法处理的仿真，结果表明本文算法对于对比度低、动态范围大、细节丰富的红外图像增强效果明显。

本文采用的引导滤波器与双边滤波器具有相当的图像细节增强效果，但是由于引导滤波器是局部线性模型，具有更好的边缘保持特性，能克服双边滤波器在图像灰度变化比较剧烈的边缘易出现梯度翻转，造成图像出现“伪边缘”的缺陷；并且引导滤波器不依赖于滤波半径与图像灰度值范围，执行效率更高，计算速度快，处理尺寸较大的红外图像极具优势，具有实时处理的前景，该方向的应用还有待进一步深入研究。

[1] 金伟其, 刘斌, 范永杰, 等. 红外图像细节增强技术研究进展[J]. 红外与激光工程, 2011, 40(12): 2521-2527.

JIN Weiqi, LIU Bin, FAN Yongjie, et al. Review on infrared image detail enhancement techniques[J]., 2011, 40(12): 2521-2527.

[2] 詹筱. 高动态范围红外图像压缩的细节增强算法研究[D]. 南京: 南京理工大学, 2014.

ZHAN Xiao. Research on the details of the high dynamic range infrared image compression enhancement algorithm[D]. Nanjing: Nanjing University of Science and Technology, 2014.

[3] HE K, SUN J, TANG X. Guided image filtering[J].e, 2013, 35(6): 1397-1409.

[4] 谢伟, 周玉钦, 游敏. 融合梯度信息的改进引导滤波[J]. 中国图象图形学报, 2016, 21(9): 1119-1126.

XIE Wei, ZHOU Yuqin, YOU Min. Improved guided image filtering integrated with gradient information[J]., 2016, 21(9): 1119-1126.

[5] 颜奇欢. CCD图像宽动态范围显示算法研究及其硬件实现[D]. 南京: 南京理工大学, 2015.

YAN Qihuan. Wide dynamic range image display algorithm of CCD and its hardware implementation[D]. Nanjing: Nanjing University of Science and Technology, 2015.

[6] 刘斌, 金伟其, 王岭雪, 等. 基于空域和频域处理的红外图像细节增强算法[J]. 红外技术, 2011, 33(8): 477-482.

LIU Bin, JIN Weiqi, WANG Lingxue, et al. Infrared image detail enhancement based on the spatial and frequency domain processing[J]., 2011, 33(8): 477-482.

[7] 都琳, 孙华燕, 张延华, 等. 基于相机响应曲线的高动态范围图像融合[J]. 计算机工程与科学, 2015, 37(7): 1331-1337.

DU Lin, SUN Huayan, ZHANG Yanhua, et al. High dynamic range image fusion based on camera response function[J]., 2015, 37(7):1331-1337.

High Dynamic Range Infrared Image Enhancement Algorithm Based on Guided Image Filter

GE Peng，YANG Bo，MAO Wenbiao，CHEN Shaolin，ZHANG Qiaoyan，HAN Qinglin

(,650223,)

This paper analyzes a new high dynamic range infrared image enhancement algorithm, based on a guided image filter with hierarchical techniques. This algorithm adopts a base component and a detail component extracted by the guided image filter, and the two components are compressed through gamma transform to fit the dynamic display range, and then recombined to obtain the output enhancement image. Independence from the filter radius and the image gray value range increases the execution efficiency and calculation speed of the guided filter technique. In addition, guided filter is a local linear model with better edge-keeping, which allows it to avoid in curring gradient flip and causing “pseudo edge” on the edge of the image, where the gray-level change is dramatic, unlike other filters. The experiments described in this paper show that image enhancement using this algorithm results in strong detail enhancement and better visual performance, regardless of subjective(human eyes) or objective evaluation. Moreover, this algorithm also has the potential for use in real-time processing.

guided image filter，infrared image，detail enhancement，high dynamic range

TN911.73

A

1001-8891(2017)12-1092-06

2017-04-21；

2017-05-30.

葛朋（1992-），男，硕士研究生，主要研究方向为红外图像处理技术。E-mail：542851112@qq.com。