基于多尺度多直方图融合的红外图像增强映射方法

王豪斌, 汤志慧,, 刘 琼, 张生伟

(1.空基信息感知与融合全国重点实验室,河南 洛阳 471000; 2.中国航空工业集团公司洛阳电光设备研究所,河南 洛阳 471000; 3.空军装备部驻洛阳地区第二军事代表室,河南 洛阳 471000)

0 引言

红外成像系统通常获取的是具有高动态范围的原始红外图像,以应对温度变化大、温差变化丰富的目标场景并保持对目标细节灵敏精确的热感知能力。为了方便红外图像在显示设备上显示以及后续的图像处理工作,往往需要将14 bit或更高精度数据压缩到8 bit数据宽度[1-3]。但是对原始红外图像动态范围压缩会不可避免地造成大量细节信息的丢失并难以通过后续的图像增强技术恢复或突出,导致原始红外图像中许多具有微小对比度的细节特征难以被呈现。红外图像增强映射是红外图像可视化研究领域的重要研究方向,因而对原始红外图像进行增强映射具有重要意义[4]。

目前红外成像系统中广泛使用的全局映射算法包括线性映射算法[5]、非线性映射算法和直方图均衡化(HE)算法[6]。全局映射算法执行速度快、处理效率高,并且在硬件实现方面具有独特的优势。然而,由于动态范围的全局压缩,算法存在映射图像细节丢失的问题,并且还会导致图像整体对比度、亮度偏低,图像质量变差。为解决全局映射算法存在的问题,局部映射算法应运而生。该类算法将原始图像分成多个子块分别进行压缩映射,文献[7]在自适应直方图均衡映射(AHE)算法基础上提出对比度受限的直方图均衡化(CLAHE)算法[8],该算法对各个子块局部区域直方图进行限幅来避免局部噪声放大,并将裁剪掉的部分均匀地加给有效灰度级,再对各个子块进行直方图均衡,最后使用双线性差值方法解决分块效应问题[4]。局部映射算法能显著提升图像的局部对比度和细节丰富程度,较好地弥补全局类算法的缺点。但相较于全局映射算法,局部映射算法存在全局对比度较差、噪声容易被放大、分块效应、图像过增强以及算法复杂度过大等问题[4]。如何在保持图像全局一致性的同时避免细节信息丢失,在提升图像对比度的同时避免噪声放大成为红外图像增强映射算法的难点,因此,混合色调映射[9-10]算法逐渐成为红外图像增强映射算法的主流。DUAN等[11]提出了基于线性映射和直方图均衡化的混合色调映射算法,该算法通过设置权重将线性映射与直方图均衡结合,从而在充分保持全局一致性的同时增强了局部对比度和细节信息,但该算法无法自适应计算融合权重,缺乏场景适应性。YANG等[12]提出了基于多尺度直方图合成的色调映射算法,该算法使用基于不同尺度的函数来将像素色调映射到不同的值,大尺度函数用于保持图像亮度一致性,小尺度函数用于保持局部细节和对比度,并提出一种基于局部方差的有效方法来融合不同尺度的值,但该算法采用逐像素色调映射的方法会大大增加计算量,且只依靠局部方差进行权重计算,仍会出现背景噪声放大问题。

综上,本文针对全局映射算法存在的细节信息丢失、亮度对比度偏低,局部映射算法存在的图像过增强、噪声容易放大、分块效应以及混合色调映射算法中存在的场景适应性差等问题,提出了基于多尺度多直方图融合的红外图像增强映射方法。

1 算法流程

本文在原有红外图像增强映射算法基础上,针对整体局部对比度矛盾提出多尺度多直方图映射方法;针对背景噪声放大和场景适应性问题提出基于引导滤波显著性判断的融合算法;针对细节信息丢失问题提出基于灰度域高斯核函数的细节层自适应增强算法。最终算法流程如图1所示。首先,将原有红外16 bit图像数据进行基于双边滤波的细节层提取;然后,采用全局线性变换和多尺度窗口的CLAHE对HDR红外图像进行分别映射;再基于局部显著度和动态范围特征自适应计算权重,完成多尺度多直方图映射结果融合;最后,通过灰度域的高斯核函数实现自适应细节增强。

2 算法原理

2.1 细节层提取

基于分层思想的红外图像色调映射算法能取得较好的细节增强结果[13-14],其主要思想是通过边缘保留滤波器将高动态范围图像分离为基础层和细节层,在映射过程中压缩基础层、保留细节层。受此启发,本文采用双边滤波进行细节层提取,双边滤波器是在传统高斯低通滤波器的基础上改进的一种保边平滑滤波器,在高斯低通滤波的基础上进一步加入了像素灰度域的相关性,在平滑图像的同时还不会模糊强边缘信息[15]。基础层和细节层分别表示为

IB=I*BF(Ωσs,σr)

(1)

ID=I-IB

(2)

其中:I为原始图像;*表示卷积运算;BF(Ωσs,σr)为双边滤波器,σs为度量空间相似性的高斯标准差,σr为度量灰度相似性的高斯标准差,Ω为滑动窗口,大小为N×N;将经双边滤波后的图像IB定义为基础层;原始图像减去基础层得到细节层图像ID。

2.2 多尺度映射

在映射过程中,通过不同尺度分块映射可以得到不同的成像效果。如果一个像素位于纹理区域中,则适合使用小尺度窗口进行色调映射,因为它显示了更多的细节和对比度;如果一个像素在一个均匀区域,则更适合使用大尺度窗口进行色调映射,因为它可以保持亮度一致性且不会放大噪声[12]。因此,本文在全局尺度下使用线性映射算法,并分别在2×2、4×4、8×8、16×16窗口尺度下采用对应窗口尺度的CLAHE算法映射,获得多尺度多直方图映射结果。

2.2.1 全局线性映射

本文对传统线性映射算法进行改进,通过引进对比度、亮度参数[16],实现图像对比度和亮暗的调节功能,使其更适用于均匀场景或低动态范围场景,更好地压制背景噪声。核心映射表示为

(3)

式中:I(i,j)是线性映射后的图像,(i,j)是像素坐标;α为对比度增益系数,该参数与图像整体对比度有关,α越大,对比度越高,反之越小,过大时可能导致亮区域饱和;O(i,j)是原始图像;β为亮度偏置系数,该参数与图像整体亮度有关,β越大,亮度越高,反之越暗;ρ为固定值参数,默认取值8192,针对不同位宽进行调整。

2.2.2 多尺度CLAHE算法

本文在传统CLAHE算法基础上进行改进,通过对各子块动态范围进行限制,避免出现过度拉伸的现象,并引进对比度增益和亮度偏置系数,使算法能够调节图像的对比度和亮度[16]。改进效果如图2所示。

图2 CLAHE算法改进前后对比图像

核心映射公式如下

(4)

(5)

(6)

其中:r为映射范围;ε为固定值参数,默认取值230;R为子块动态范围;a为映射起点;g(s)为灰度变换函数;P(s)为积分直方图;s为灰度级。

对原始图像分别进行2×2、4×4等多窗口尺度的CLAHE算法,以获得不同尺度窗口下的细节信息。

2.3 多尺度融合

获得多尺度多直方图映射结果后,通常情况下,各个尺度映射结果都包含其特有的图像特征,很难在单一尺度下获取全部图像特征[17],需要通过构建权重矩阵将不同尺度的图像特征提取并融合,最大限度地保留原始图像结构信息,因此如何构建融合函数,成为多尺度融合算法的重点。本文提出了一种结合像素显著性和细节纹理信息的图像融合权重构建方法,并利用动态范围评估的方式减少均匀区域噪声的引入,最后采用引导滤波来平滑权重信息,优化融合效果。

由2.2节可知,原始高动态范围图像分别从多个尺度(本文以全局尺度、2×2、4×4、8×8及16×16的窗口尺度为例)被压缩映射为8 bit图像。全局尺度的图像虽然整体对比度低、细节信息模糊,但保证了图像整体亮度的一致性,且均匀区域噪声明显抑制。其余小尺度图像虽然对比度高、细节信息突出,但会有轻微的分块效应,且均匀区域噪声明显放大。本文选取拉普拉斯对比度权重、显著性权重和空间信息量权重进行图像融合,使较大尺度的窗口用于均匀区域的色调映射,而较小尺度的窗口将用于细节和纹理区域的色调映射,从而获得对比度高、细节纹理突出、噪声抑制明显的融合图像。多尺度融合算法如下。

首先,对各个尺度图像应用拉普拉斯滤波,从而增强图像的全局对比度,突出显示图像的边缘纹理信息以获得高通图像Hn,即

Hn=In*L

(7)

式中:In为源图像;L为拉普拉斯滤波器。拉普拉斯对比度权重可以保证图像的边缘和纹理具有较高的值。

然后,使用Hn的绝对值的局部平均值来构造显著性映射Sn,即

Sn=|Hn|*grg,σg

(8)

式中:g是尺寸为(2rg+1)×(2rg+1)的高斯低通滤波器;rg和σg为经验参数。显著性映射Sn提供了不同尺度图像细节信息的显著性水平。

如果仅考虑显著性则可能将小尺度映射图像中被放大的噪声和分块的边界当成显著性信息,从而增加噪声和块效应的融合权重。因此本文引入基于动态范围评估的空间信息量权重,使均匀区域偏重全局尺度映射图像。

当n=1时

(9)

当n≠1时

(10)

图3 各尺度映射后的图像及其权重图

基于此,本文提出了一种基于引导滤波[18]的权重优化方法,消除噪声和边界伪影,完成多尺度多直方图图像融合。引导滤波的机理如下

Oi=akIi+bk∀i∈ωk

(11)

(12)

(13)

本文以对应的源图像In作为引导图像,对每个权重图Pn执行引导图像滤波,用Gr′,ε′(P,I)表示引导滤波操作,其中,r′和ε′分别为决定引导滤波的滤波大小和模糊程度的参数。多尺度映射图像的最终权重图为

Wn=Gr′,ε′(Pn,In)。

(14)

最后,n个权重的值被规范化,使得它们在每个像素k处求和为1。

最后,通过加权平均将不同尺度的图像融合在一起,即

(15)

2.4 细节层自适应增强

多尺度融合后的图像模糊、细节纹理不清晰,需要加上细节层进行增强。传统细节层增强是通过压缩后的图像加固定倍数细节层实现的,该方法存在均匀区域过增强导致噪声放大,纹理区域欠增强导致边缘模糊等问题,因此,利用双边滤波其中一个权值函数灰度域高斯核实现细节层自适应增强。具体算法过程如下。

计算灰度域高斯核函数,灰度域高斯核函数的表达式为

(16)

式中:f为多尺度融合后的图像;(m0,n0)为窗口中心像素点的坐标。

自适应权重表达式为

W(i,j)=2×(1-wr(i,j))

(17)

则细节层增强后的图像为

Imrc=F+W(i,j)·ID

(18)

其中:W(i,j)为细节层权重矩阵;Imrc为本文算法输出的最终图像。图4所示为多尺度融合细节增强前后的对比图像。

图4 多尺度融合细节增强前后对比图像

3 实验结果分析

为了验证本文方法可行性,将本文方法和全局线性映射、8×8 CLAHE、文献[11]方法(混合映射)和文献[12]方法(基于多尺度直方图合成的算法)进行对比,同时从主观和客观两方面进行对比分析。

3.1 主观评价

本文对5种不同环境下的图像进行对比仿真实验,处理结果如图5所示。从图5可以看出:全局线性映射可以保证图像整体亮度的一致性,均匀区域噪声较小,但存在对比度低,细节丢失的问题;8×8 CLAHE虽然可以提高图像局部对比度,突出边缘细节,但是仅采用局部处理会导致整体局部矛盾,并且还会放大噪声;混合映射可以在一定程度上综合整体和局部映射两者的优势,但两者的劣势也不可避免;多尺度直方图合成基本解决了分块效应的问题,图像的对比度和细节也得到了提升,但仍存在噪声放大和边缘模糊问题;本文方法大幅提高了图像对比度,整体局部矛盾得到解决,突出了图像边缘细节,成像视觉效果更好。

图5 5种不同红外图像增强映射结果

3.2 客观评价

本文采用峰值信噪比(PSNR)、平均梯度(AG)、标准差(SD)、信息熵(IE)4种性能指标来评估红外图像质量。PSNR就是到达噪音比率的顶点信号,是一种评价图像的客观标准。PSNR主要计算最大值信号与背景噪声之间的比值,PSNR值越大,图像质量越高。其算式为

(19)

(20)

其中:M、N分别表示图像的宽、高;MMSE表示图像的均方误差;n1表示图像像素的比特数。

AG用来衡量图像的边界或影线两侧附近灰度差异即灰度变化率的指标,这种变化率的大小可用来表示图像清晰度和纹理变化,平均梯度越大说明图像越清晰。其算式为

(21)

SD表示一组像素值和其平均值的差异大小,可以用来衡量均匀区域的噪声情况,均匀区域标准差越小,噪声影响越小。其算式为

(22)

其中:P(i,j)为第i行、第j列的像素值;μ为均值。

IE是衡量图像中所包含的信息量的大小的指标,熵越大说明包含的信息越多,意味着可以从处理后的图像中获取更多的信息。其算式为

(23)

式中:H为图像信息熵;Pa为灰度值a所占的比例。

上述指标的客观评价数据见表1～4。

表1 不同算法PSNR性能比较

表1是不同算法PSNR性能比较表,从表1可以看出,本文算法的PSNR值基本上是对比算法中最高的,除了Picture5混合映射的PSNR值高于本文方法,但结合图像进行主观判断,本文算法相较于混合映射算法细节更加丰富,对比度亮度更好。表2是不同算法平均梯度性能比较表,从表2可以看出本文算法的平均梯度是所有对比算法中最高的,说明本文算法纹理细节更加清晰。表3是不同算法均匀区域标准差性能比较表,由于只有Picture1和Picture4存在天空均匀区域,因此只对这两个场景进行计算,从表3可以看出本文算法在图像均匀区域标准差最低,说明本文算法噪声抑制效果更好。表4是不同算法图像信息熵性能比较表,从表4可以看出,本文算法图像信息熵最高,说明本文算法在多尺度映射融合后保留了原始图像更多的信息。

表2 不同算法平均梯度性能比较

表3 不同算法均匀区域标准差性能比较

表4 不同算法图像信息熵性能比较

主观上,Picture5中不同图像增强后的效果来看,本文算法可以有效解决目前红外图增强映射算法中所存在的问题,呈现出良好的视觉效果;客观上,从表1～4可以看出,本文算法各项指标的数值几乎都是最优的。因此,本文算法可以有效实现红外图像增强。

4 结束语

本文针对目前主流的红外图像增强映射算法中存在的整体局部矛盾、细节丢失、场景适应性、噪声放大等问题,提出一种基于多尺度多直方图融合的红外图像增强映射算法。提出一种基于CLAHE的多尺度映射算法,能从不同尺度提取图像特征信息,大尺度函数用于保持图像整体的一致性,小尺度函数用于增强图像对比度,丰富图像细节纹理信息,解决整体局部矛盾问题;提出一种结合像素显著性和空间动态范围的图像融合权重构建方法,并利用引导滤波进行优化,从而融合各尺度图像的优势,提高场景适应性;提出一种基于灰度域高斯核函数的细节增强算法,实现图像自适应增强,进一步增强图像细节,提高图像对比度。对比实验结果显示,本文方法无论是主观评价还是客观评价方面都优于其他典型红外图像增强映射算法。