基于双域和ILoG-CLAHE 的矿井红外图像增强算法

范伟强，李晓宇，翁智，刘斌，杨坤

（1.内蒙古大学 电子信息工程学院，内蒙古 呼和浩特 010021；2.中国矿业大学（北京）机电与信息工程学院，北京 100083；3.国家能源集团宁夏煤业有限责任公司 羊场湾煤矿，宁夏 银川 750408；4.煤炭科学技术研究院有限公司，北京 100013）

0 引言

红外图像可反映监视区域内物体表面的温度场分布特征，且具有抗干扰能力强、对物体温度敏感等优点。目前，红外图像已被逐渐应用于矿井监控视频分析和安全隐患监测，但由于井下环境中的目标与背景温差偏小，红外辐射传输衰减大[1]，导致采集的红外图像存在空间相关性强、灰度分布集中、细节分辨率差等缺点[2]。此外，由于矿井环境的随机干扰和热成像设备的自身扰动，导致矿井红外图像中充满噪声，使得红外图像的信噪比低于可见光图像[3-4]。因此，对矿井红外降质图像进行增强已经成为智能矿山建设中的重要研究方向之一。

目前，红外图像增强已逐渐形成了以直方图均衡化（Histogram Equalization,HE）和反锐化掩膜（Un-sharp Mask,UM）2 种算法为主，其他算法不断涌现的局面[5-8]。HE 算法的复杂度低、实现过程简单，但存在图像细节特征丢失和易过度增强的缺点[9]。数字细节增强（Digital Detail Enhancement,DDE）算法可提高图像的对比度，但存在信噪比低的问题[10]。基于梯度域的红外图像增强算法能够在一定条件下消除过饱和、光晕、梯度反转等问题，但对图像中细节信息的改善效果不明显。基于Retinex 的增强算法可凸显出红外图像中暗区域的细节，降低亮区域的灰度，但增强后的图像易出现光晕现象[11]。基于UM 策略的红外细节图像增强算法可有效克服灰度反转和过冲现象，但存在信噪比低的问题[8]。基于自适应HE 算法耦合拉普拉斯变换的红外图像增强算法扩大了图像的动态范围，但易出现细节信息丢失和目标边缘模糊的问题[12]。基于自适应引导滤波（Guided Filtering,GF）的图像增强算法对红外图像中每个区域采用相同的线性模型和规整化因子，不适用于区域间存在较大纹理特征差异的矿井红外图像增强[13]。基于梯度域和Gamma 变换的红外图像增强算法可提升图像的细节特征，但对显著目标的强边缘抑制效果不佳，易出现“伪边缘”现象[14]。

针对上述红外图像增强算法在实现对比度提升的同时易丢失场景细节信息或造成目标边缘模糊的问题，结合矿井实际环境，提出了一种基于双域分解耦合改进的高斯-拉普拉斯（Improved Laplacian of Gaussian,ILoG）算子和对比度受限自适应直方图均衡化（Contrast Limited Adaptive Histogram Equalization,CLAHE）的矿井红外图像增强算法。利用双域分解模型将矿井红外图像分解为基础子图和细节子图；采用CLAHE算法调整基础子图的亮度、对比度和清晰度；采用构造的ILoG 算子进行细节子图的噪声抑制和边缘锐化；重构调整后的基础子图和细节子图，并采用灰度重分布的Gamma 校正（Gamma Correction for Gray Redistribution,GCGR）函数调整重构图像的亮度，得到红外增强图像。该算法可提高原图像中大动态背景信息并突出小动态目标细节信息，实现矿井红外图像的目标与细节增强。

1 基于双域分解的红外图像增强建模

由热成像原理可知[1]，矿井红外图像可反映井下监视场景中的温度分布规律，场景中物体细节特征和噪声主要分布于高频部分，而场景的概貌特征主要分布于低频部分[4,15]。因此，在基于双域和ILoGCLAHE 的矿井红外图像增强算法中，首先利用双域分解模型将红外图像分解为包含高频信息的细节子图和包含低频信息的基础子图。然后采用CLAHE算法对基础子图进行亮度和对比度调整，用以突出监视场景的概貌特征；同时通过构造的ILoG 算子对细节子图进行噪声抑制和边缘锐化，用以改善监视场景中物体的细节特征。最后重构调整后的基础子图和细节子图，并采用GCGR 函数调整重构图像的亮度，得到红外增强图像。

1.1 双域分解模型

相比于Gaussian 滤波器，双边滤波器（Bilateral Filtering,BF）是一种采用加权平均策略的边缘保持、降噪平滑滤波器[16]。该滤波器由几何空间距离决定的滤波器系数和像素差值决定的滤波器系数构成[8]，其核心思想是将任意像素点与部分邻近像素点定义为线性关系，依次进行局部滤波处理后，将所有局部滤波结果累加，进而推导出全局滤波结果。结合矿井实际监视环境，本文采用BF 分离红外图像的不同图层，得到代表场景概貌特征的基础子图。将红外图像减去基础子图，得到代表目标细节特征的细节子图。双边滤波后的基础子图中任意系数依赖于邻域系数的加权组合，定义为

式中：fB(k,l)为 滤波后的基础子图fB在中心像素点坐标 (k,l) 处的像素值；f(p,q)为红外图像f在滑动窗内坐标 (p,q) 处的像素值，(p,q)为邻域像素点的坐标；w(p,q,k,l)为权重系数。

权重系数w(p,q,k,l)为空域核和值域核的乘积，其表达为

通过式（1）求得双边滤波后的基础子图fB，则细节子图fD在 中心像素点坐标 (k,l)处的像素值由下式得到：

式中：f(k,l)为 红外图像f在中心像素点坐标 (k,l)处的像素值；ξ为估计系数，ξ ∈（0,1），为避免红外图像中小动态目标的细节信息丢失，本文取ξ=0.8。

1.2 基于CLAHE 的基础子图对比度调整

传统HE 算法不仅可以改善图像的对比度，还能够调整图像的动态范围。因此，降质图像广泛采用HE 算法进行增强处理。但矿井红外图像中目标物的细节特征较少[17]，使得红外灰度直方图存在不均匀分布的特点，直接采用HE 算法易导致增强图像出现过度均衡现象。自适应直方图均衡化（Adaptive Histogram Equalization,AHE）算法采用局部直方图均衡策略，克服了HE 算法的缺点，提升了图像平滑区域的概貌特征，但易过度调整均匀区域的对比度[18]。CLAHE 算法是AHE 算法的一种变体，该算法将区域对比度的改善程度与灰度直方图的曲线倾斜度相关联，在获取每一区域的累积分布函数前，对呈尖状的灰度直方图进行适当裁剪，并将裁剪掉的像素数在灰度直方图中进行平均分配，从而克服了AHE 算法易引起均匀区域的对比度过度调整的问题[19]。为此，本文采用CLAHE 算法对基础子图进行亮度和对比度调整。

对基础子图进行分块后，由下式可计算出每一区域中第i级灰度的统计概率：

式中：ni为第i级灰度的像素总数；n为每一区域的像素总数；M为单通道图像中灰度级的总数，通常M=256。

根据统计概率绘制相应区域的灰度直方图，并对灰度直方图的峰值进行剪裁，使其幅值低于阈值上限。此外，将裁剪掉的像素点均匀分布在原灰度直方图中，以确保没有丢失像素点。峰值裁剪及像素点重分布过程如图1 所示。

图1 峰值裁剪及像素点重分布过程Fig.1 Peak clipping and pixel redistribution process

由图1 可知，像素点重分布后裁剪掉的部分又重新超过了裁剪阈值（蓝色区域），为此每个区域可结合对应的灰度直方图分布进行重复裁剪，进而通过多次迭代处理，直至忽略不计超出部分。

迭代处理可最大限度地减少非相邻区域中灰度强度分布性质截然不同引起的图像“块”效应。此外，迭代处理可更好地保留细微的场景概貌特征，避免在对比度增强过程中被吞没。通过灰度直方图裁剪，获取基础子图的累积分布函数，并通过灰度重映射获取对比度调整后的基础子图FB。

1.3 基于ILoG 变换的细节子图去噪与锐化

矿井红外图像经过BF 分解后获取的细节子图中不仅包含物体的细节特征，还包含了场景中大量的高频噪声。为了实现细节子图中高频噪声的抑制和细节特征的增强，通常采用低通滤波器对细节子图进行降噪处理。但低通滤波过程采用加权平均的滤波策略，易导致细节子图的边缘、轮廓出现局部模糊现象[20]。从频域角度分析来看，红外图像中细节特征模糊的实质是高频分量衰减和梯度反转。因此，需要通过微分运算或高通滤波对图像进行清晰化处理。鉴于此，本文采用基于ILoG 变换的细节子图去噪与锐化策略实现对细节特征的增强和高频噪声的抑制。首先采用Gaussian 滤波器对细节子图进行去噪，然后采用Laplacian 算子对去噪后图像进行边缘锐化，最后通过构造单位阶跃函数来消除梯度反转。该策略不仅可以提高细节子图的信噪比，还能够有效提升细节子图的边缘和纹理等细节特征的显著度。

2D Gaussian 滤波器与细节子图进行卷积，得到去噪后的平滑图像P。Gaussian 滤波过程为[4]

式中：P(x,y)为平滑图像P在坐标（x,y）处的像素值；G(x,y)为Gaussian 核函 数，G(x,y)=exp((-x2+y2)/为Gaussian 核函数的方差；*为卷积运算符；fD(x,y)为细节子图fD在坐标（x,y）处的像素值。

假设2D Gaussian 核大小为（2r+1）×（2r+1），r为Gaussian 核半径，用于控制Gaussian 核的大小，则离散化的G(x,y)表示为

式中α，β为任意整数，α∈ [-r,r]，β∈ [-r,r]。

Laplacian 算子是具有各向同性特征的微分算子，具有旋转不变性。一个2D 图像函数的Laplacian变换是各向同性的二阶导数，定义为

式中：∇2为 Laplacian 算子；L(x,y)为Laplacian 核函数。

将式（5）中的Gaussian 核函数代入式（7），推导得到高斯-拉普拉斯（Laplacian of Gaussian，LoG）算子：

式中：ELoG(x,y)为LoG 核函数；σg为Gaussian 核函数的标准差，σg值越大，滤波效果越好。

将式（5）的平滑图像P与式（8）的LoG 算子进行卷积，得到细节子图中灰度突变的特征图像：

由式（9）得到的特征图像存在梯度反转，若直接对特征图像与细节子图执行数值运算，则得到的锐化图像易出现局部模糊。为此，本文采用基于ILoG变换的细节子图去噪与锐化策略，采用单位阶跃函数抑制锐化图像中的局部模糊。

式中：FD(x,y)为锐化图像FD在坐标（x,y）处的像素值；usf(·)为单位阶跃函数[21]。

1.4 图像重构与校正模型

细节子图采用ILoG 算子降噪和锐化处理后，得到的锐化图像整体偏暗，直接将锐化图像FD和对比度调整后的基础子图FB进行重构，得到的重构图像中暗区域细节特征不明显。为此，本文采用GCGR函数来调节重构图像的亮度，并突出图像暗区域的细节特征[22]。

式中：F(x,y)为红外增强图像F在坐标（x，y）处的像素值；R(x,y)为重构图像R在坐标（x，y）处的像素值，且R(x,y)=FB(x,y)+FD(x,y)，FB(x,y)为对比度调整后的基础子图FB在坐标（x，y）处的像素值；Rmax为重构图像R的最大像素值；Rmin为重构图像R的最小像素值；ε为调节因子，ε∈（0,1），用于调节重构图像的亮度。

由式（11）可知：ε值越小，图像亮度提升越明显；ε值越大，图像亮度抑制越明显。由于锐化图像的亮度整体偏暗，只有边缘轮廓亮度较高，为使重构图像的亮度调整效果最佳，本文中ε取0.6。

2 算法实现过程

基于双域和ILoG-CLAHE 的矿井红外图像增强算法实现原理如图2 所示，具体实施步骤如下：

图2 基于双域和ILoG-CLAHE 的矿井红外图像增强算法实现原理Fig.2 Implementation principle of mine infrared image enhancement algorithm based on dual domain and improved Gaussian Laplacian（ILoG）and contrast limited adaptive histogram equalization（CLAHE）

（1）选用5×5 滑动窗的BF 将矿井红外图像f分解为基础子图fB和细节子图fD。

（2）采用CLAHE 算法提升基础子图fB的对比度，并得到对比度调整后的基础子图FB。

（3）采用ILoG 算子对细节子图fD进行降噪和锐化处理，并获取锐化图像FD。

（4）将步骤（2）和步骤（3）得到的新基础子图FB和锐化图像FD进行图像重构，得到重构图像R。

（5）采用GCGR 函数调节重构图像R的亮度，并得到红外增强图像F。

3 实验与结果分析

为了验证基于双域和ILoG-CLAHE 的矿井红外图像增强算法的有效性，通过对不同监控场景中的矿井红外图像（原图像，分辨率为384×288）进行测试，并从主观视觉和客观指标2 个方面对该算法和6 种对比算法的增强性能进行评价。实验计算机配置：Intel Core i7-10750H CPU，2.60 GHz，RAM 16 GB，GTX 1650；编程工具：Matlab R2020a。6 种对比算法分别为CLAHE 算法、BF 分解与基础子图的CLAHE增强（BF-CLAHE）算法、BF 分解与Gamma 变换（BF-Gamma）算法[23]、引导滤波与Gamma 变换（GFGamma）[14]算法、AHE 耦合拉普拉斯变换（AHE-LP）[12]算法、基于UM 的图层融合（LF-UM）[8]算法。本文ILOG 算子中的Gaussian 滤波器采用大小为5×5 的模板，标准差σg=1.2，Gaussian 核半径r=3。对比算法参数设置：CLAHE 算法的对比度增强限制参数为0.02，其他参数采用Matlab 工具箱中adapthisteq 函数的默认值；BF-CLAHE 算法中BF 和CLAHE 算法的参数设置与本文算法相同；BF-Gamma、GF-Gamma和AHE-LP 算法均采用原文献中推荐的参数；LFUM 算法中BF 的参数设置与本文算法相同，其他参数采用原文献中推荐的参数。

3.1 主观视觉评价

（1）实验1：对采煤工作面回风巷道的红外图像进行增强处理，实验结果如图3 所示。

图3 采煤工作面回风巷道的红外图像增强Fig.3 Infrared image enhancement of the return air roaduay of coal mining face

（2）实验2：对井下辅运大巷的红外图像进行增强处理，实验结果如图4 所示。

图4 井下辅运大巷的红外图像增强Fig.4 Infrared image enhancement of underground auxiliary transportation lane

（3）实验3：对巷道灾害现场的红外图像进行增强处理，实验结果如图5 所示。

从图3-图5 可看出：红外图像（图3（a）-图5（a））的亮度、对比度和清晰度均偏低，且存在粉尘和噪声干扰，导致视觉效果较差。6 种对比算法的增强效果存在部分差异，其中经CLAHE 算法增强的图像（图3（b）-图5（b））的对比度和亮度明显提高，但图像中粉尘和噪声干扰影响也被放大，验证了CLAHE 算法容易增强图像的噪声。经BF-CLAHE算法处理后的图像（图3（c）-图5（c））的亮度、对比度和清晰度均得到了改善，噪声也得到一定程度的抑制，验证了本文选用的BF 具有较好的保边滤波效果，通过CLAHE 算法可以提高基础子图的亮度和对比度，且不会放大高频噪声。经BF-Gamma 算法和GF-Gamma 算法处理后的图像（图3（d）-图5（d）和图3（e）-图5（e））的亮度和对比度改善不明显，且存在部分细节特征丢失。经AHE-LP 算法处理后的图像（图3（f）-图5（f））的对比度和清晰度均得到了较大提高，但同时也存在严重的失真。经LF-UM算法处理后的图像（图3（g）-图5（g））的对比度、清晰度和细节特征均得到了较大提高，但图像中的高频噪声抑制效果不明显。经本文算法处理后的图像（图3（h）-图5（h））的亮度、对比度、清晰度和细节特征均得到了较大提升，整体视觉效果优于其他6 种对比算法，表明本文算法适用于矿井红外图像的增强处理。

图5 巷道灾害现场的红外图像增强Fig.5 Infrared image enhancement of roadway disaster scene

3.2 客观指标分析

为了更加客观评价图像的增强效果，本文采用均值（Mean）、平均局部均方误差（Mean Local Mean Square Error,MLMSE）、平均梯度（Average Gradient,AG）、平均局部信息熵（Mean Local Information Entropy,MLIE）、结构相似性（Structural Similarity Index Measurement,SSIM）5 种指标来进行性能评估和分析。Mean 用于评价图像的亮度，MLMSE 用于评价图像的对比度[24]，AG 用于评价图像的清晰程度，MLIE 用于评价图像的信息丰富程度[24]，SSIM用于评价图像的失真程度[25]。主观评价中图3-图5 对应的客观指标数据见表1-表3。

表1 实验1 中不同算法的客观评价指标值Table 1 Objective evaluation indicator values of different algorithms in experiment 1

表2 实验2 中不同算法的客观评价指标值Table 2 Objective evaluation indicator values of different algorithms in experiment 2

表3 实验3 中不同算法的客观评价指标值Table 3 Objective evaluation indicator values of different algorithms in experiment 3

从表1-表3 可看出：本文算法与6 种对比算法的5 个评价指标值各有高低，其中CLAHE、BFCLAHE 和LF-UM 算法的5 个评价指标值均未出现最差和最优；BF-Gamma 算法的SSIM 最优，但MLMSE、AG 和MLIE 最差；GF-Gamma 算法的Mean最差，AHE-LP 算法的MLMSE、AG 和MLIE 最优，但SSIM 最差；本文算法的Mean 最优。

为了更直观地分析不同算法的综合增强性能，本文采用指标归一化累加值[24]分别计算本文算法与6 种对比算法的综合评价指标值：

式中：wt为第t（t=1，2，…，m，m为评价指标总数，本文中m=5）个评价指标的权重；Yt为某一算法的第t个评价指标值；Ymax为不同算法第t个评价指标的最大值；Ymin为不同算法第t个评价指标的最小值。

由于评价指标Mean、MLIE 和SSIM 之间相互独立，而MLMSE 和AG 之间关联性较强，导致不同评价指标的权重不同，为此本文采用加权平均规则为不同评价指标分配权重，即Mean、MLIE 和SSIM 的权重取0.25，MLMSE 和AG 的权重取0.125[22]。假设红外图像的SSIM 为1，则由式（12）可得实验1-实验3 中红外图像和不同算法的综合评价指标值。同时，为进一步验证本文算法的有效性，另随机选取多个矿井场景下的40 幅红外图像进行增强处理，并计算对应的平均综合评价指标值。不同算法的综合评价指标值见表4，可看出本文算法的综合评价指标值优于其他对比算法。

根据不同算法的综合评价指标值绘制对应的综合评价指标折线，如图6 所示。

从表4 和图6 可看出：在不同的矿井环境中，相较于其他6 种对比算法，本文算法的综合评价指标值最优，且更趋于稳定，表明本文算法的图像增强效果最好，鲁棒性最强；BF-Gamma 和GF-Gamma 算法的综合评价指标值低于红外图像f，表明BF 和引导滤波模型可以很好地抑制图像噪声并保持边缘特征，但基础子图和细节子图经过Gamma 变换后，极易导致图像亮度降低和细节特征丢失；AHE-LP 算法的综合评价指标值高于其他对比算法，表明AHELP 算法采用的AHE 方法对提高红外图像的对比度和清晰度具有较好的作用，但拉普拉斯锐化易引起红外增强图像失真；CLAHE 和BF-CLAHE 算法的综合评价指标值波动较大，表明CLAHE 可较好地提高红外图像的亮度和对比度，但也易引起部分高亮区域的过度增强；LF-UM 算法的综合评价指标值更接近于本文算法，表明采用UM 策略的红外图像增强效果更优。这进一步表明本文采用双域分解模型，并耦合CLAHE 算法和ILoG 算子的红外图像增强算法不仅可以较好地提高红外图像的亮度和对比度，还能够很好地消除图像噪声并提升图像的细节特征。

图6 不同算法的综合评价指标值折线图Fig.6 Line chart of comprehensive evaluation indicator of different algorithms

表4 不同算法的综合评价指标值Table 4 Comprehensive evaluation indictor values of different algorithms

根据表4 中随机实验对应的平均综合评价指标值，计算本文算法的综合评价指标值相较于红外图像f和6 种对比算法的相对提高值，并绘制对应的直方图，如图7 所示。可看出本文算法相较于红外图像f、CLAHE、BF-CLAHE、BF-Gamma、GF-Gamma、AHE-LP 和LF-UM 算法，其综合评价指标值分别提高了0.28，0.11，0.23，0.38，0.57，0.04，0.10。

图7 本文算法综合评价指标值相较于红外图像f 和对比算法的相对提高值Fig.7 Relative improvement of the comprehensive evaluation indicator value of the proposed algorithm compared to the infrared image f and the comparison algorithms

综上可得，相较于其他6 种对比算法，本文算法的综合评价指标值更优，即本文算法的综合增强性能和鲁棒性更好。同时也表明本文算法更适用于矿井和隧道环境中的红外图像增强。

4 结论

（1）采用具有保边滤波作用的BF，并结合CLAHE、ILoG 算子和Gamma 变换函数的各自优点，提出了基于双域和ILoG-CLAHE 的矿井红外图像增强算法。采用BF 实现了红外降质图像的分解，并得到了基础子图和细节子图；采用CLAHE 算法提高了基础子图的亮度、对比度和清晰度，构造的ILoG 算子实现了细节子图的噪声抑制和边缘锐化；对处理后的基础子图和细节子图进行重构，得到了重构图像；设计GCGR函数对重构图像的亮度进行调整，得到了图像质量改善的红外增强图像。

（2）通过主观视觉和客观指标对算法进行性能分析。结果表明：经基于双域和ILoG-CLAHE 的矿井红外图像增强算法增强后的红外图像，其亮度、清晰度和对比度均得到了较大提升，并且实现了噪声抑制和边缘锐化，整体视觉效果优于红外图像f、CLAHE、BF-CLAHE、BF-Gamma、GF-Gamma、AHELP 和LF-UM 算法。相较于红外图像f和其他6 种对比算法，基于双域和ILoG-CLAHE 的矿井红外图像增强算法的综合评价指标值分别提高了0.28，0.11，0.23，0.38，0.57，0.04，0.10，这进一步表明该算法的综合增强性能和鲁棒性更好，可满足矿井复杂作业环境中红外降质图像的目标与细节增强。