高动态红外图像自适应增强算法研究

刘 乐 刘 勇 赵子伦 李 旭 侯 雄

1.北京航天计量测试技术研究所，北京 100076；2.北京航天自动控制研究所，北京 100854

0 引言

红外图像由于隐蔽性强，极强的穿透烟雾能力、抗干扰能力的特征使其在军事领域受到广泛应用，然而，由于光学探测器的光敏响应和光学系统在非理想条件下工作的影响，导致红外图像具有高噪声、低对比度、图像边缘细节模糊等缺点，给远距离目标及弱小目标的识别带来很大干扰，降低了武器装备识别率和准确度，为了改善图像质量，增强红外图像纹理特征，突出目标特性，需要对图像进行细节增强。

红外图像增强可以被划分为频域增强和空间域增强2种方法[1]。基于频域的红外图像增强方法将空间域变换为频域，通过修改图像的幅度等信息，增强或抑制图像中相关特征，增强了图像的辨识能力。基于空间域的红外图像增强方法，通过改变像素的灰度值，实现图像的增强。直方图均衡化(Histogram Equalization，HE)是根据输入像素值的概率将像素均匀分布在各灰度级上，从而增强红外图像的对比度[2]。自适应直方图均衡化(APHE)算法在统计红外图像的局部灰度直方图的基础上，自适应地将灰度重新分布在动态范围，以提升红外图像的整体对比度，但存在过度放大图像中相同区域噪声的问题[3]。而限制对比度直方图均衡(CLAHE)算法能够限制这种不利的放大[5]。上述的增强算法推动了红外图像处理领域的发展，但是由于算法仅关注灰度值的分布，忽略了细节信息的处理，导致纹理特征和占据像素点较少的细节信息而变得模糊。

为了使红外图像具有更好的细节信息，学者们开始关注分层处理的方式，出现了许多分层与细节增强相结合的算法。Branchitta等提出了一种基于双边滤波的动态范围增强算法[6]，该算法对高动态范围红外图像进行细节增强时保留了图像的高频细节信息,但在灰度变化较大的区域容易产生边缘翻转的现象，导致处理后的红外图像中出现光晕伪像。Liu N等提出了一种基于引导滤波的红外图像细节增强算法[7]，算法采用引导滤波器代替双边滤波器作为分频工具，但算法在计算红外图像有效灰度值个数、门限阈值时均采用固定参数的方法，导致算法场景适应性较差。Gao C 等提出了基于小波变换的图像细节增强算法[8],该算法将小波变换作为分频器，并使用CLAHE处理基础层低频信息，最后实验结果表明，基于分层思想的算法相较于单一的增强算法提升效果明显，但是对运动场景的适应性不强。

本文通过多种红外图像增强算法的对比分析，最后基于分层处理的思想，提出一种高动态红外图像自适应增强与压缩算法。如图1所示，算法利用小波变换作为分频器，将图像分为基础层低频信息和细节层高频信息。根据二者所包含的图像信息的不同，对基础层图像采用基于自适应伽马变换的增强方法，提高图像的对比度；利用双边滤波对高频细节层信息进行降噪处理。选取适当的加权参数，将处理后的高频细节层信息和低频基础层信息加权融合。最后将融合后的16位高动态红外图像压缩至8位图像。

图1 算法框图

1 高动态红外图像自适应增强与压缩算法

基于分层思想的算法是将高动态红外图像分解为包含大量低频背景信息的基础层和包含少量高频信息的细节层，然后进行分布式处理。低频信息是红外图像中像素灰度值变化平缓的区域，需要对其进行灰度图展开等操作，以提升对比度；高频信息是红外图像中变换较为剧烈的区域，一般包括边缘和局部纹理信息以及噪声，因此需要对高频部分进行降噪处理。

1.1 小波分解与重构

小波变换是一种具有时域局部变化的函数，可以在有限的时间和变化的频率下对信号进行多尺度分析，因而可以同时提供时间和频率信息[9]。小波变换基本原理是通过对基本函数进行伸缩、平移得到小波基以对时变信号进行分解和重构。小波变换可以将图像分解为低频部分和高频部分，如式(1)所示。

(1)

(2)

如图2所示，为分解后的低频基础层图像以及3个方向的高频细节层图像。可以看出小波变换能够有效的将图像的边缘特征和场景信息分离开，如图3所示为原图和基础层信息及其各自灰度直方图分布对比，经小波分解后，低频信息的有效灰度范围没有变化，由于分解后的图像直方图分布波峰较多，致使图像局部对比度有所增强，视觉效果得到提升。

图2 分解后的高低频图像

图3 原图与小波分解后图像对比

1.2 改进的自适应伽马增强方法

本文将16位原始红外图像数据作为输入，在实际应用中，高动态红外图像很少甚至几乎无法达到整个动态范围，这使得输出图像出现对比度差，细节纹理信息不突出等问题，不易于肉眼观察。如图4所示，未经处理的高动态红外图像的灰度直方图分布范围窄，导致图像整体效果偏亮或偏暗，能够辨别出的特征少。因此需要对基础层的信息进行灰度拉伸，达到增强图像细节的目的。HE及其相关增强算法过度关注全局或局部灰度分布，忽略了图像纹理特征，导致图像出现过度增强，细节丢失的问题。对此，本文提出了一种改进的自适应伽马变换增强算法。

图4 红外图像及其灰度直方图

伽马变换是相对简洁且对环境适应性较强的图像处理算法，能够改善低对比度图像的视觉效果。伽马变换通过使用2个变化参数γ和c来控制红外图像的整体亮度及对比度，伽马变换如式(3)。

(3)

其中，c,γ∈(0,1)，Igamma为输出图像数据；Iin为原始图像数据。伽马变换可以根据不同的γ取值选择性的增强低灰度或高灰度区域的对比度，如图5所示为输入图像和输出图像之间的灰度映射关系。

图5 伽马变换映射曲线

红外原始图像数据有效灰度范围很窄，然而红外探测器时常会遗留未被检测到的盲原或响应不完全的像元，这导致有效灰度范围外出现零散的灰度值，给有效灰度范围的提取带来了困扰。如图6所示，若将少数无效的灰度值包含在有效灰度范围内，会大大降低算法对红外图像的增强效果。另外从算法处理后的直方图分布也可以看出，包含无效灰度值的增强直方图虽然有所展开，但未被完全拉伸，这也证明零散无效灰度的存在会大大妨碍算法的性能。因此如何准确提取有效灰度范围是伽马变换增强的关键。自适应伽马增强流程如下。

图6 不同有效灰度范围增强效果图

首先，求得输入16位高动态红外图像Igamma的均值μ及标准差σ，均值能够体现有效灰度值的中心所在，标准差则能体现出有效灰度值分布的紧密性。为了剔除无效的灰度值，引进参数α和β。将存在于(α*β,β*μ)范围外的视为无效灰度值，将其置为μ。其中α和β依据式(4)选取

(4)

其次，提取图像的最大值IHigh及最小灰度值ILow，即有效灰度范围(ILow,IHigh)，所要映射到的灰度范围为(FLow,FHigh)。为了保证算法能够适应多场景的应用，本文根据原始数据分布区域与γ的映射关系设计自适应参数，输出红外图像F由式(5)所得

(5)

(6)

1.3 高频信息处理

对红外图像低通滤波降噪是比较常用的图像去噪方法，但容易将红外图像中的高频强边缘信息变得模糊，所以细节增强算法需要采用能够保留图像边缘信息同时去除噪声的滤波器。本文采用双边滤波来对高频信息进行降噪处理，同时能够保留边缘信息。

双边滤波(Bilateral filter)是一种非线性滤波器，能够在滤除图像噪声的同时，具有很强的边缘保持性能，并且能够保留大量的细节特征。其原理如式(7)所示

(7)

(8)

(9)

其中，f(i,j)为位置(i,j)的灰度值；W为图像点f(i,j)的某个领域；R(i,j)为点f(i,j)双边滤波后的灰度值；ws(i,j)为空间邻近度因子；wr(i,j)为灰度相似因子；σd和σr滤波参数w(i,j)为以(i,j)为中心计算的(k,l)处模板的权重。w(i,j)由式(10)可得。

(10)

由式(8)和(9)可以看出，σd变大时，参与加权的像素数量增多，图像变得模糊，但由于σr的限制，保持了边缘特征。

1.4 图像融合及压缩

本文设计的动态场景红外图像自适应增强算法将基础层和细节层信息按照不同比例融合，如式(11)所示

Iout=(1-p)Ibase+pIdetial

(11)

其中，Iout为融合后的红外图像；Ibase和Idetial分别为基础层信息以及细节层信息；p∈(0,1)为融合参数，经大量实验验证p=0.3为最合适的取值，能够适应多种场景。

在图像融合后，红外图像依然是16位，因此还需将其压缩成8位以便于显示。在算法最后阶段进行图像压缩能够有效避免因图像的灰度级合并使得部分信息丢失。由于已经对红外数据高低频信息进行了分布式处理，红外图像的对比度等特征得到了很好的提升，因此只需采用简洁的线性压缩方法，即将16位红外图像按照线性关系压缩成8位图像，压缩过程如式(12)所示

(12)

其中(a,b)位输入灰度动态范围，(c,d)为压缩映射后的动态范围。

2 实验验证

本文有针对性的选取了场景信息丰富的、小目标及单一背景的、具有易对比的多细节的及亮暗场景对比明显的4种类型的红外图像来验证算法性能，且所有红外图像均为16位数据，大小为320×256。如图7所示为传统的HE、CLAHE、基于引导滤波的增强方法和基于小波变换的增强方法与本文算法对比图。

图7 实验结果对比

通过5种算法增强后的图像可以看出，基于分层思想的增强算法在对比度、边缘等特征信息的增强都优于传统的HE、CLAHE增强算法。HE算法虽然能对红外图像进行一定拉伸，但易造成局部乃至整体对比度过度增强，致使细节信息丢失；CLAHE增强算法虽然避免了全局对比度过度增强，但细节边缘等特征信息损失过多；由于将一些无效的灰度值引入需被增强的灰度范围内，基于引导滤波的增强算法导致其增强结果在整体上偏亮或偏暗，局部细节信息被淹没；基于小波变换的增强方法在前3种场景的对比度增强效果很好，但在第4种场景中出现过度增强，且在边缘增强较差；本文提出的算法能够很好地适应4种不同的场景，经过本算法处理后的图像信息要远多于其他算法，且目标轮廓清晰为了更加客观全面的分析对比5种算法的性能，实验选择信息熵、峰值信噪比(PSNR)、细节增强评价(EME)3种指标进行评价。

(1)信息熵

信息熵是衡量图像信息丰富程度的重要指标，对于图像而言，灰度分布越广，细节更丰富，信息熵也越大。图像信息熵定义如下：

(13)

(14)

其中，p(k)表示第k个灰度级出现的概率；Ak表示第k个灰度级上的像素个数；M×N为图像大小。

(2)PSNR

PSNR用于评价图像质量的参数，能够反映噪声对图像影响的大小，图像峰值信噪比越大表示图像质量越好，其表达式如式(15)所示

(15)

其中，IMAX为最大灰度值；m,n为图像大小；I(i,j)，K(i,j)分别为经算法处理后的图像和原始图像灰度值。

(3)EME

EME是针对图像细节丰富程度的评价指标，其思想将图像分为多个小区域，统计小区域的灰度差异来反映整幅图像细节的丰富程度。可以反映出局部区域灰度变化程度，变化越剧烈，图像细节越丰富，EME值越大。表达式如式(16)所示：

(16)

表1为5种不同的红外增强算法在3种评价指标下得出的结果。可以看出，基于分层思想的增强算法在噪声消除和纹理特征的增强都要强于单一的HE算法。而基于引导滤波的算法由于引入无效灰度值导致其信息熵较低，但在信噪比方面要优于基于小波变换的算法。本文提出的算法对低频和高频信息都进行了相应的处理，使其在信噪比和细节信息的指标都较高，增强效果明显。

表1 不同算法客观评价结果

3 结论

提出了一种高动态红外图像自适应增强与压缩算法，算法以分层处理的思想为基础，利用小波变换将红外图像分解为高频细节信息和低频基础层信息；针对基础层的低频信息，设计了自适应的伽马增强方法，并利用自适应门限参数，去除原始图像中占据像素点个数较少但分布范围较广的无效灰度值，使得有效灰度均匀分布到全局动态范围；针对高频信息，利用双边滤波在去除高频噪声的同时能够保留边缘信息，然后将处理后的高低频信息利用阈值系数进行加权融合。高动态红外图像数据已经进行了充分的处理，因此最后只需将其线性压缩至低动态范围，而不会损失图像的细节信息。在最后的实验验证中，对5种算法性能进行对比，无论是主观评价还是3种指标的客观评价都证明本文算法在红外图像细节增强与压缩方面具有一定的优势。