一种结合单尺度Retinex与引导滤波的红外图像增强方法

程铁栋，卢晓亮，易其文，陶征亮，张志钊

〈图像处理与仿真〉

一种结合单尺度Retinex与引导滤波的红外图像增强方法

程铁栋，卢晓亮，易其文，陶征亮，张志钊

（江西理工大学 电气工程与自动化学院，江西 赣州 341000）

针对传统红外图像增强算法中图像对比度低、细节信息丢失与过度增强等问题，提出了一种单尺度Retinex与引导滤波相联合的红外图像增强方法。首先根据Retinex算法，利用主特征提取法获取原始图像的照射分量和反射分量，对照射分量采用平台直方图增强其对比度；然后利用局部方差加权引导滤波将反射分量分解为基本层和细节层，对两层分量的图像分别进行对比度和细节增强操作；最后将各个层次的结果按照合适的权重因子进行融合得到增强红外图像。实验结果表明，相比于其他增强算法，本文所提方法能更有效地提高红外图像的整体对比度，突出其细节特征，增强后的3组图像的信息熵和平均梯度平均值分别为9.7373和5.6922，相较于原图像分别提升了2.7499和3.8296。

红外图像；图像增强；单尺度Retinex；引导滤波；主特征提取

0 引言

随着红外技术的迅速发展，红外热成像仪在国防军事、民用、工业等领域的应用愈来愈广泛[1]。但在实际应用中，红外热辐射信号容易受大气环境的影响，导致获得的红外图像目标细节模糊、整体对比度低、噪声大[2]。这种视觉效果差的红外图像满足不了实际的应用需求。因此，突显红外图像细节特征，提升对比度，抑制噪声等操作显得尤为关键。

传统的红外图像增强算法主要归纳为基于空间域和频率域的图像增强算法[3]。空间域增强算法主要有基于直方图均衡、Retinex的增强算法等。直方图均衡（histogram equalization，HE）通过调整红外图像中的像素灰度，使其均匀分布，从而提高了图像的整体对比度[4]。然而经过HE处理后的红外图像往往噪声也得到了增强，且场景目标的细节信息有所丢失。为此学者们提出了多种改进算法，如平台直方图均衡[5]（plateau histogram equalization，PHE）、对比度受限自适应直方图均衡[6]（contrast limited adaptive histogram equalization，CLAHE）等。这些算法通过分割图像和设置阈值等操作来改善HE算法中噪声放大和细节丢失的情况，取得了良好的效果。但是直方图类的图像增强算法未考虑图像的边缘特征，导致处理后的图像视觉效果较差，过于生硬[7]。基于Retinex的增强算法能够凸显出图像中较暗场景的细节，降低过亮场景的灰度，但处理后的图像会出现“光晕”现象[8]。频率域增强算法主要包括基于傅里叶变换、小波变换[9]的增强算法等，这类算法能够有效地增强图像的结构特征，但经过其增强后的图像目标细节还是较为模糊。2009年Branchitta和Francesco提出了一种基于图像动态范围分割的图像增强方法[10]，此后学者们提出了与之类似的图像分层增强方法，使得这种方法在红外图像增强方面的应用越来越广泛[11]。图像动态范围分割方法的思想是利用具有保持图像边缘能力的滤波器将输入图像分解为基础层与细节层分量，然后对两层分量分别进行对比度拉伸与细节增强，最后选择合适的权重值将处理后的两层分量进行融合。图像分层模式的方法处理，在突显红外图像边缘细节信息的同时提高了图像的整体对比度，常用的保边滤波器有双边滤波器[12]、引导滤波器等。但是传统引导滤波（guided image filtering，GIF）对图像每个区域采用相同的线性模型和规整化因子[13]，并不能适应图像不同区域间的纹理特征差异。针对传统GIF的缺陷，Li Z.[14]等人提出了一种基于局部方差的加权引导滤波（weighted guided image filtering，WGIF），该算法构造了一种能够自适应调整的规整化因子，从而提高了边缘保持能力，将其应用于图像滤波分层增强方法的框架中，可以更精确地分解图像。

本文在图像分层方法的基础上提出了一种基于单尺度Retinex[15]（Single-Scale Retinex，SSR）与WGIF的红外图像增强方法，该方法充分发挥了SSR在图像灰度调节方面的良好性能与WGIF对图像细节的提取能力，达到了增强原图像中的大动态背景信息和突出其小动态目标细节信息的目的，实现了红外图像的目标与细节增强。

1 基于SSR与WGIF的红外图像增强

通过研究基于视觉特性的单尺度Retinex算法和基于局部方差的加权引导滤波算法，本文提出了一种结合SSR和WGIF的红外图像增强方法。针对红外图像对比度低、细节纹理缺失和视觉效果不佳等问题，该方法采用SSR和WGIF算法将红外图像分解为不同层次的分量，并对各个分量进行相应的增强处理，最后选择一定的权重因子进行融合得到增强图像。方法的具体操作流程分为3个模块，如图1所示。模块一，基于SSR的图像分层处理；模块二，基于WGIF的图像分层处理；模块三，各个层次分量的图像增强与融合。

图1 本文方法流程

1.1 基于SSR的图像分层处理

在Retinex理论中，图像信息由图像本身的反射性质与图像周围的光照强度这两个因素决定，而不均匀的光照会造成图像的退化。根据该理论，一幅红外图像可以被分解为反射分量和照射分量，其中可视为影响图像质量的关键因素，而则被看作反映图像固有属性的分量，不受外界环境的影响。其数学模型可表示为：

＝×(1)

式中：可以将照射分量视为附加在本质图像上的乘性噪声，因此该理论的思路就是从红外图像中去除的影响，还原图像的本质信息，从而实现增强图像的目的。传统SSR算法采用高斯滤波估计输入图像的照射分量，再转化到对数域，计算出反射分量：

但高斯滤波在图像边缘处的估计容易产生偏差，从而出现“光晕”现象。鉴于此，本文采用主特征提取法估计照射分量，该方法能更好地保留图像的主要边缘信息，从而减弱在边缘信息丰富区域出现的“光晕”现象。Xu L.[16]等人在2012年提出的主特征提取模型如下：

式中：是输出的主特征图像，为像素索引；是权重参数，用于调节主特征图像的光滑程度，可通过增大来增加图像的光滑度；是一个接近0的正数，以避免分母为0；D()和D()为像素在和方向上变化的函数：

图2给出了基于主特征提取法的SSR算法对一幅红外图像的分解结果，图2(b)为照射分量(,)，从图中可看出，由于主特征提取法具有较好的保边能力，因此图像的大致边缘轮廓都被保留了下来。图2(c)为反射分量(,)，与原图像相比，原来的暗场景细节都被突显出来，如图像上方的树枝。图像整体的视觉效果有所提升，为了进一步扩大图像的灰度级分布，需要对(,)进行进一步的增强处理。

图2 SSR算法对图像的分解结果

1.2 基于WGIF的图像分层处理

引导滤波是一种以局部线性模型为基础的图像平滑滤波器。该算法的基本思想是将图像内的每个像素点与其相邻像素点假定为线性关系，求出各个像素的线性模型，从而获得和原始图像梯度相似的基础层图像。设输入图像为，引导图像为，输出图像为，则其数学模型表示为：

由于传统GIF对图像中各个区域采用固定的规整化因子，因此在图像的边缘区域会因为较大的而产生“光晕”现象。鉴于此问题，WGIF通过引入一个边缘权重因子G来自适应调整规整化因子，以此获得对图像各区域的自适应，从而提高了滤波效果。权重因子G和新的系数a如式(11)、式(12)所示。

通过WGIF获得包含大动态信息的基本层(,)可表示为：

式中：WGIF[∙]表示局部方差加权引导滤波的过程。然后通过反射分量(,)减去基本层(,)得到细节层(,)：

(,)＝(,)－(,) (14)

图3给出了利用WGIF来分解反射分量的结果。图3(b)为基本层图像，从图中可以看出，经过WGIF的处理，图像中的大量细节和噪声被滤除，但由于WGIF考虑了图像中各个区域间的纹理差异，避免了“光晕”现象的产生。图3(c)为细节层图像，图中存在大量的亮点和暗点，因此需要对其进行去噪和细节增强处理。

图3 WGIF对反射分量的分解结果

1.3 各个层次分量的图像增强与融合

通过主特征提取法获得的照射分量(,)对比度与原始图像相差不大，因此采用PHE算法增强其对比度和边缘细节[17]：

¢(,)＝PHE[(,)] (15)

式中：¢(,)为经过PHE增强后的照射分量。

因基本层(,)整体对比度较低，且该图像包含的细节信息较少，所以采用HE算法对其进行处理：

BE(,)＝HE[(,)] (16)

式中：BE(,)为经过HE处理后的基本层。细节层(,)中不仅包含了图像的纹理细节和边缘信息，还含有一些噪声信息。因此本文先利用中值滤波抑制图像的噪声，再采用gamma变换（＝0.7）对去噪后的细节层进行处理，进一步突出其纹理细节。

将图像BE(,)和增强后的细节层¢(,)进行合并：

式中：1和2是调节参数，用于调节基本层和细节层的融合比例，1通常选择1，2选择2～5；¢是增强后的反射图像。最后，将图像¢(,)和¢(,)进行合并，获得高对比度且细节纹理突出的高质量红外图像¢(,)：

式中：为调节参数，用来调节增强图像中照射分量的强度，本文方法中取0.1～0.3，为避免增强后的红外图像光照强度过大而导致过度增强。

2 实验分析

为测试本文所提出方法的性能，选取3组红外场景图像进行仿真实验分析。采用直方图均衡（HE）、对比度受限自适应直方图均衡（CLAHE）和双边滤波（BF）图像分层增强算法，从主、客观两方面与本文所提方法进行对比。第一个场景图像大小为240×320，第二个和第三个场景图像大小均为512×640。实验的软件环境是MATLAB R2016a和Windows10，硬件环境是Intel(R) Core(TM) i5-9400 CPU @2.9GHz和8GB内存的电脑。

2.1 主观评价

图4～图6所示为3组不同场景的红外图像，及其经过不同算法增强后的图像。图4(a)为场景一的原始图像，图中包含人物、树木、房屋和草地，图像整体的对比度较低，目标细节也模糊不清，图4(b)～图4(e)分别为经过HE、CLAHE、BF和本文所提方法增强后的红外图像。对比图4(a)与图4(b)可知，经过HE算法增强后的图像整体对比度有了明显提高，但是该图像显现出过度增强的现象，人物只留下高亮的轮廓，其衣服、头发等纹理特征几乎全都丢失，该现象是由于HE算法在增强对比度的同时会抑制图像中灰度级像素数量较少的细节信息[4]。CLAHE算法是对HE算法的优化，从图4(c)可以看出，该算法能够在一定程度上克服HE算法中纹理细节丢失的问题，但细节特征还是不够突出。BF算法的增强结果如图4(d)所示，该算法在图像的细节和对比度增强方面都表现出较好的效果。图4(e)为经过本文所提方法增强后的图像，相比于其他3种算法的增强结果，图4(e)中人物、树木和草地等细节更加清晰，同时图像的整体对比度也得到了更大的提高。

图5(a)为场景二的原始图像，由该图可以看出，图中包含路灯、树木、房屋、车和道路，而图像中的树木、车等目标较为模糊，难以辨别其细节。从图5(b)至图5(d)可以看出，经过HE算法处理后的图像，树木的纹理特征被凸显出来，但是路灯、房屋、车的细节特征反而受到抑制，且屋顶与道路出现了高亮的块状现象。CLAHE与BF算法的增强效果比较柔和，图像对比度和细节未得到明显改善。图5(e)为经过本文方法增强后的图像，相比于图5(a)，图像中树木和房屋等目标的纹理细节变得更加丰富，图像的整体视觉效果变得更佳。图6的场景和增强结果与图5较为相似，综上所述，相对于3种传统红外图像增强算法，本文提出的方法能够更有效地增强图像对比度与细节清晰度，改善场景的视觉效果。

2.2 客观评价

本文采用信息熵、平均梯度这两个客观指标来衡量不同算法对红外图像的增强效果。图像信息熵是一个用来评价图像信息量的指标，该值越大，图像信息量越多，图像质量越高。信息熵计算方法为：

图5 不同方法对红外图像的增强结果（场景二）

图6 不同方法对红外图像的增强结果（场景三）

式中：()是红外图像中灰度为的密度；为图像的灰度级。图像的平均梯度反映图像多维方向上微小细节的变化，该值越大，图像细节清晰度则越高。平均梯度计算方法为：

式中：和是图像的长和宽；(,)为图像中像素点(,)的灰度值。

表1和表2分别为选取的3个场景及其增强后图像的信息熵和平均梯度。从表中数据可以看出，本文所提方法增强后的3组图像的信息熵和平均梯度平均值分别为9.7373和5.6922，相较于其他算法，其增强后的图像信息熵和平均梯度都取得了更大的提升。由此表明，经过本文方法处理后的图像细节信息更加丰富、清晰度更高。

3 结论

针对传统红外图像增强算法中存在的缺陷，提出了一种基于Retinex算法和引导滤波图像分层的红外图像增强方法。该方法采用主特征提取法来获取原始图像的照射分量，能够准确地估计图像强边缘处的光照信息，避免“光晕”现象的产生；采用基于局部方差的加权引导滤波对图像进行平滑滤波，可以较好地保留图像的边缘信息。在不同场景下，将本文所提方法与3种传统红外图像增强算法进行了仿真实验与对比分析，从视觉效果的主观感受来看，本文所提方法能够更有效地提升红外图像的对比度，突显图像中弱小目标的细节特征；由信息熵和平均梯度的客观数据可知，其增强后的红外图像清晰度更高，内容更加丰富，质量更佳。

表1 不同方法增强结果的信息熵

表2 不同方法增强结果的平均梯度

[1] 汪子君, 罗渊贻, 蒋尚志, 等. 基于引导滤波的自适应红外图像增强改进算法[J]. 光谱学与光谱分析, 2020, 40(11): 3463-3467.

WANG Zijun, LUO Yuanyi, JIANG Shangzhi, et al. An improved algorithm for adaptive infrared image enhancement based on guided filtering[J]., 2020, 40(11): 3463-3467.

[2] 路皓翔, 刘振丙, 郭棚跃, 等. 多尺度卷积结合自适应双区间均衡化的图像增强[J]. 光子学报, 2020, 49(10): 158-172.

LU Haoxiang, LIU Zhenbing, GUO Pengyue, et al. Multi-scale convolution combined with adaptive bi-interval equalization for image enhancement[J]., 2020, 49(10): 158-172.

[3] 葛朋, 杨波, 韩庆林, 等.一种基于引导滤波图像分层的红外图像细节增强算法[J]. 红外技术, 2018, 40(12): 1161-1169.

GE Peng, YANG Bo, HAN Qinglin, et al. Infrared image detail enhancement algorithm based on hierarchical processing by guided image filter[J]., 2018, 40(12): 1161-1169.

[4] 丁畅, 董丽丽, 许文海. “直方图”均衡化图像增强技术研究综述[J]. 计算机工程与应用, 2017, 53(23): 12-17.

DING Chang, DONG Lili, XU Wenhai. Review of "histogram" equalization technique for image enhancement[J]., 2017, 53(23): 12-17.

[5] 徐超, 何利民, 王霞, 等. 红外偏振成像系统高速处理模块设计[J]. 红外与激光工程, 2017, 46(2): 133-140.

XU Chao, HE Limin, WANG Xia, et al. Design of high speed processing module for infrared polarization imaging system[J]., 2017, 46(2): 133-140.

[6] 杨卫中, 徐银丽, 乔曦, 等. 基于对比度受限直方图均衡化的水下海参图像增强方法[J].农业工程学报, 2016, 32(6): 197-203.

YANG Weizhong, XU Yinli, QIAO Xi, et al. Method for image intensification of underwater sea cucumber based on contrast limited adaptive histogram equalization[J].2016, 32(6): 197-203.

[7] 李佳, 李少娟, 段小虎, 等. 基于Retinex理论与概率非局部均值的红外图像增强方法[J]. 光子学报, 2020, 49(4): 187-196.

LI Jia, LI Shaojuan, DUAN Xiaohu, et al. Infrared image enhancement based on Retinex and probability nonlocal means filtering[J]., 2020, 49(4): 187-196.

[8] 王卫星, 赵恒. 结合改进Retinex及自适应分数阶微分的雾霾公路交通图像增强[J]. 光学精密工程, 2020, 28(8): 1820-1834.

WANG Weixing, ZHAO Heng. Haze traffic image enhancement based on improved retinex and adaptive fractional differential[J]., 2020, 28(8): 1820-1834.

[9] 王晓柱, 钮赛赛, 张凯, 等. 基于小波变换与特征提取的红外弱小目标图像融合[J]. 西北工业大学学报, 2020, 38(4): 723-732.

WANG Xiaozhu, NIU Saisai, ZHANG Kai, et al. Image fusion of infrared weak-small target based on wavelet transform and feature extraction[J]., 2020, 38(4): 723-732.

[10] Branchitta F, Diani M, Corsini G, et al. New technique for the visualization of high dynamic range infrared images[J]., 2009, 48(9): 096401-1-9.

[11] 葛朋, 杨波, 洪闻青, 等. 一种结合PE的高动态范围红外图像压缩及细节增强算法[J]. 红外技术, 2020, 42(3): 279-285.

GE Peng, YANG Bo, HONG Wenqing, et al. Dynamic range compression and detail enhancement algorithm combined with PE for high dynamic range infrared images[J].2020, 42(3): 279-285.

[12] 周志强, 汪渤, 李立广, 等. 基于双边与高斯滤波混合分解的图像融合方法[J]. 系统工程与电子技术, 2016, 38(1): 8-13.

ZHOU Zhiqiang, WANG Bo, LI Liguang, et al. Image fusion based on a hybrid decomposition via bilateral and Gaussian filters[J]., 2016, 38(1): 8-13.

[13] HE Kaiming, SUN Jian, TANG Xiaoou. Guided image filtering[J]., 2013, 35(6): 1397-1409.

[14] LI Zhengguo, ZHENG Jinghong, ZHU Zijian, et al. Weighted guided image filtering[J]., 2015, 24(1): 120-129.

[15] 张庆宇, 范玉刚, 高阳. 基于单尺度Retinex与改进的K-均值聚类的涡流热成像缺陷检测[J]. 红外技术, 2020, 42(10): 1001-1006.

ZHANG Qingyu, FAN Yugang, GAO Yang. Defect detection of eddy-current thermography based on single-scale Retinex and improved K-means clustering[J]., 2020, 42(10): 1001-1006.

[16] XU Li, YAN Qiong, XIA Yang, et al. Structure extraction from texture via relative total variation[J].(TOG), 2012, 31(6): 1-10.

[17] 李红, 吴炜, 杨晓敏, 等. 基于主特征提取的Retinex多谱段图像增强[J]. 物理学报, 2016, 65(16): 61-76.

LI Hong, WU Wei, YANG Xiaomin, et al. Multispect ral image enhancement based on Retinex by using structure extraction[J]., 2016, 65(16): 1-16.

Research on Infrared Image Enhancement Method Combined with Single-scale Retinex and Guided Image Filter

CHENG Tiedong，LU Xiaoliang，YI Qiwen，TAO Zhengliang，ZHANG Zhizhao

(School of Electrical Engineering and Automation, Jiangxi University of Science and Technology, Ganzhou 341000, China)

This study proposes an infrared image enhancement method combined with single scale Retinex and guided image filtering to eliminate the problems of low image contrast, loss of detail information, and excessive enhancement in traditional infrared image enhancement algorithms. First, a structure extraction algorithm is used to obtain the incident and reflected components of the original image according to the Retinex algorithm. The platform histogram is used to enhance the contrast of the incident component. Then, the reflected component is decomposed into the base layer and detail layer by the weighted guided image filter based on variance and by performing contrast and detail enhancement operations on the images of the two components, respectively. Finally, the results of each level are fused according to the appropriate weight factors to obtain an enhanced infrared image. The experiments in this study show that the proposed method can improve the overall contrast of infrared images and highlight their detailed features more effectively than other enhancement algorithms. The information entropy and average gradient of the three groups of images after enhancement are 9.7373 and 5.6922, respectively, which are 2.7499 and 3.8296 higher than the original image.

infrared image, image enhancement, single-scale Retinex, guided image filter, main structure extraction

TN219

A

1001-8891(2021)11-1081-08

2020-12-09；

2021-01-30.

程铁栋（1975-），男，江西宜春人，副教授，博士，主要研究方向为人工智能装备。E-mail: Chengtiedong@126.com。

江西省科技计划联合资助项目（20192BBEL50042）；江西理工大学高层次人才科研启动项目（205200100522）。