基于引导滤波的多尺度自适应矿井低质图像增强方法

2022-12-08王媛彬李媛媛齐景锋吴华英

西安科技大学学报 2022年6期

王媛彬，李媛媛，齐景锋，吴华英，段誉

（1.西安科技大学电气与控制工程学院，陕西西安 710054；2.陕西陕煤榆北煤业有限公司榆林信息化运维分公司，陕西榆林 719000）

0 引言

随着各行各业的智能化发展，视频监控被普遍应用于矿井作业中，为工作人员的安全作业提供有利保障，避免造成巨大的经济损失。但是煤矿井下存在较多粉尘干扰且光照环境复杂，往往导致采集到的矿井下图像质量较差。主要表现为图像整体亮度较低、边缘轮廓模糊、细节大量丢失细节信息被隐藏，人眼难以辨别；局部光照过亮，图像对比度差，噪声较多。为了更好地监控矿井下的信息，增加工作人员对矿井信息判别的准确性，矿井下低质图像增强具有十分重要的意义[1]。

目前，常见的增强方法往往能够针对低质图像的不同特质进行改善，但仍存在部分不足。例如：①对于矿井下亮度和对比度不足的图像，基于空域变换的增强方法[2-4]能够通过变换函数进行映射，重新调整像素。该类算法计算复杂度低、实现简单，但是会放大原有的噪声，并在图像局部出现过增强、欠增强现象，模糊图像特征；②对于局部细节模糊的图像，基于图像分层处理的方法[5-9]，例如双边滤波算法、引导滤波算法等，能够有效增强弱细节，但是对图像整体质量改善不明显；③对于局部区域较暗的图像，基于Retinex的相关方法[10-12]通过变换反射分量，有效调整图像的灰度分布，但是容易造成边缘模糊，对细节增强不足。并且在假设光照均匀的情况下，对矿井下图像增强效果较差；④对于层次感不强的图像，使用基于小波变换的增强方法[13-18]能够调整频域内分解出的高频信息和低频信息，通过不同尺度的系数调整，达到突出图像细节的目的。但是该类算法普遍忽视低频信息的增强处理，对图像亮度改善不足。

针对上述各个方法存在的缺陷，提出一种基于引导滤波的多尺度自适应图像增强方法。利用引导滤波分解图像为高、低频2个部分，通过对比度受限的自适应直方图均衡（Contrast Limited Adaptive Histogram Equalization，CLAHE）对低频部分的对比度进行整体调整，再利用梯度域内的改进直方图增强整个高频部分，并结合多尺度的细节增强算法增加高频分量，扩展动态范围。在进行线性重构时，引入灰狼算法（Grey Wolf Optimizer，GWO）自适应选择最佳参数，提高算法效率。

1 图像增强方法研究

1.1 基于引导滤波的图像分解

引导滤波是一种局部的线性模型，该模型能够保证图像边缘附近的梯度一致，有效克服梯度翻转现象。且滤波时间复杂度与窗口大小无关，具有较高的运行效率[19]。因此，文中采用引导滤波将原始图像分解为低频和高频2个部分，再分别进行后续不同处理。在一个以像素k为中心，半径为r的二维窗口ωk中，引导图像G和输出图像I1两者间的线性关系满足

I1（i）=akGi+bk,∀i∈ωk

（1）

式中（ak,bk）是在窗口ωk内的线性系数。在ωk内，利用线性拟合函数使得输出图像I1和原始图像I差距最小，系数ak,bk最优解的求取见式（3）

（2）

（3）

计算输出图像时，单个像素i可能被多个不同窗口所包含，取值不唯一。因此，对包含同一像素的函数值取均值，即可得到输出图像。

（4）

I2=I-I1

（5）

1.2 自适应低频分量改善

低频图像I1整体较暗且对比度较低，不便于人眼直接观察，使用CLAHE能够有效改善图像对比度和整体亮度，同时避免噪声的放大[20]。输入图像I1与输出图像I1′之间存在映射关系见式（6）。

（6）

式中 INT[]为取整符号；I1的灰度范围为[0,L-1]，T为对应的累积分布函数。设子块的总像素为P，μ为截断系数，可得受限阈值C。

（7）

P=m×n

（8）

式中m和n分别为子区域的行数和列数；L为直方图的总灰度级数256。

通过阈值C裁剪子区域直方图，将超出阈值的像素点重新分配，从而达到限制放大幅度的目的。再将裁剪后的子直方图均衡化，求得每一子区域的映射函数。最后，利用线性插值重构像素灰度值，能够减少算法时间复杂度和避免块状效应的出现。CLAHE算法处理后的直方图如图1（b）所示，在局部直方图均衡化的基础上，对子区域的直方图进行对比度限幅，有效抑制噪声的放大，在提高I1对比度的同时有效缓解过增强、欠增强。

1.3 多尺度高频分量增强

通过引导滤波得到的高频图像I2，对比度较低，细节信息大量丢失、边缘模糊。针对上述特点，首先采用基于梯度域的直方图均衡化提高整体的对比度，排除多余的背景干扰[21]。由于背景部分在图像整体中的占比较大，该部分对应的直方图严重限制了图像整体对比度的拉伸。通过抑制低梯度区域的像素数量能够可靠地增强整个高频部分，但对局部细节的改善不足，仍存在一定局限性。在此基础上，利用多尺度细节增强来提高局部细节可见性，算法的具体流程如下。

图1 低频部分的灰度直方图对比Fig.1 Gray histogram comparison of image with low frequency

1）通过公式（9）对高频图像I2进行平滑运算

f（x,y）=I2（x,y）*G（x,y）

（9）

式中G为高斯函数；f为平滑后的图像。

2）利用Canny算子计算像素点的梯度值

（10）

（11）

（12）

式中 dx和dy分别是像素点的水平和竖直梯度；g（i,j）像素点梯度的幅值。

3）将图像的像素梯度依次排列，划分为高梯度和低梯度2个区域。

4）依据图像梯度最大值1/2处对应的像素点灰度值进行均衡化，得到整体增强的图像I2′。

5）将I2′与不同尺度的高斯核函数进行卷积运算，不同平滑图像S1，S2和S3求取见式（13）。

S1=G1*I2′,S2=G2*I2′,S3=G3*I2′

（13）

式中G1，G2和G3分别是标准差σ1=1.0，σ2=2.0和σ3=4.0的高斯核。

6）通过不同尺度平滑图像之间相互做差，得到细节D1,中间细节D2和粗细节D3。

D1=I2′-S1,D2=S1-S2,D3=S2-S3

（14）

7）将3个包含不同层次边缘信息的细节层合并，得到高频分量见式（15）。

D′=[1-η1×sgn（D1）×D1+η2×D2+η3×D3

（15）

式中η1+η2+η3=1,0.2≤η2≤0.5。通过调节D1中的正、负分量来保持细节间的平衡。

图2 高频部分的灰度直方图对比Fig.2 Gray histogram comparison of image with high frequency

1.4 基于灰狼算法的图像重构

基于反锐化掩模（Unsharp Masking，UM）算法具有处理简单，效果明显的优势[22]。因此，文章选择基于反锐化掩模的线性融合方式完成图像重构，原始的UM处理方法见式（16）。

fout=fin+α·[fin-Lp（fin）]

（16）

式中fout为处理后的图像；fin为原始图像；fin-Lp（fin）为将原始图像与平滑后图像做差后得到的高频分量；α为高频分量的调节因子。

在上述基础上，利用双变量合理调整融合参数ω1,ω2，来控制不同的融合效果能有效克服光晕产生，增强细节，处理方式如下所示。

Iout=ω1×I1′+ω2×I2″

（17）

GF[I]=I1,I-GF[I]=I2

（18）

I1′=Enhanced（I1）,I2″=Denoised[I2′]=Denoised[Enhanced（I1）]

（19）

式中Iout为输出图像；I为原始图像；GF[]为引导滤波过程；系数ω1用于控制图像的整体亮度，系数ω2调节图像的细节增强程度。

图3展示不同融合比例系数下图像的灰度直方图。固定系数ω2=0.5不变，ω1值越大图像越亮，但易造成过增强，产生明显光晕；ω1越小图像整体较暗，视觉效果差。系数ω2取值过大，容易导致图像过度锐化、噪声被放大；ω2越小图像趋于平滑，细节不足。

图3 不同融合比例下，图像的灰度直方图Fig.3 Image histogram under different fusion coefficients

在实验过程中，考虑到人工手动设置参数效率低下的问题，文中方法采用灰狼寻优算法[23]完成系数ω1,ω2的自适应选择，获取较佳的融合图像增强效果。灰狼种群内部严格的等级制度，保证不同等级间的信息能够有效地协调和反馈。算法中随机参数向量以及个体间信息共享，为优化过程中及时更新参数，避免陷入局部最优奠定基础。与其他优化算法相比，灰狼算法整体结构简单、参数设置少、编码易于实现，具有较强的收敛性能和空间搜索能力。参数寻优的具体步骤如下。

将灰狼狩猎时搜索得到最优的3个解依次命名为α,β,δ，其余则命名为γ。灰狼狩猎的行为模式见式（20），式（21）。

（20）

（21）

（22）

2）根据变量的上下界来随机初始化灰狼个体的位置，即线性融合参数ω1,ω2的初值。利用该参数对增强后的低频和高频图像进行线性融合见式（17），根据适应度函数Fitness评价结果图像的增强效果，并作为当前目标猎物的适应度值。

（23）

（24）

（25）

5）判断是否达到最大迭代次数200，若满足则终止迭代，输出此时相应的最优参数值ω1,ω2作为线性融合参数的最佳值；否则跳转至步骤（3）继续更新，直至最大迭代次数为止。

为了更客观地评价增强后图像质量，综合考虑信息熵（Entropy）和峰值信噪比（Peak Signal to Noise Ratio，PSNR）2个评价指标的加权和作为适应度函数。

Entropy从信息论的角度反映图像信息的丰富性。熵值越大，图像的信息越丰富，质量越好，计算见式（26）。

（26）

式中g和G分别为图像的像素灰度最小值和最大值；X为增强后图像；p（Xi）为灰度值Xi的像素在图像中出现的概率。

PSNR是一种衡量图像质量的指标，定义为信号最大值与背景噪声间的差值。该值越大，去噪效果越好，计算见式（28）。

（27）

（28）

式中I（i,j）和K（i,j）分别为原始图像和对比图像；MSE为原图像和处理图像间的均方误差；H和W分别是图像的高和宽。

针对同一幅图像2个评价指标的数值相差较大的问题，选取对方指标数值所占指标数值之和的占比作为加权系数来平衡两者的影响，达到较好的增强效果。适应度函数Fitness定义见式（29）。

（29）

式中θ1和θ2分别是信息熵和峰值信噪比的值。

2 方法流程

基于引导滤波的多尺度自适应增强方法具体实现步骤如下。

1）通过引导滤波，利用式（4）和（5）将原始图像分解为低频和高频2部分。

2）利用限制对比度的自适应直方图均衡提高低频图像的整体对比度，得到图像I1′。

3）在梯度域内计算像素点见式（12），得到其分布特点。根据改进的直方图调整细节层，排除多余的背景干扰，得到整体增强的高频图像I2′。

4）采用多尺度的细节增强算法添加高频分量至I2′中见式（14），拓宽整体的动态范围。选择中值滤波抑制图像中的噪声，获得最终高频图像I2″。

5）根据式（17）进行基于UM的线性融合。引入灰狼算法，对亮度调节系数和细节增强系数寻优。并构造适应度函数即式（29）评价融合后的最终图像，取得最优增强效果。算法整体框架如图4所示。

图4 方法整体框架Fig.4 Overall framework of the methods

针对文中方法，有证明过程如下。

由上文中引导滤波原理可得出以下关系式

I2=I-I1

式中I,I1,I2意义同前。分别对高频和低频分量进行针对性的增强处理，再通过线性融合得到最终结果图像Iout

Iout=ω1×Enhancced[GF（I）]+ω2×Deennced{Enhancced[I-GF（I）]}

式中Iout为最终结果图像；I为原始图像；GF（I）为引导滤波处理部分；ω1,ω2为线性调节因子。构造一个适应度函数Fitness来评价结果图像。

θ1=Entropy（Iout）,θ2=PSNR（Iout）

式中θ1和θ2分别是结果图像的信息熵值和峰值信噪比值。灰狼算法根据变量A,C不断更新个体位置，直至循环结束得到Fitness最大值，此刻对应的ω1,ω2值，即为寻找得到的参数最优值。

3 实验及分析

为有效验证文中图像增强方法性能，以4幅矿井下低质图像KJ1，KJ2，KJ3和KJ4为例进行增强实验。采用的编程工具为：Matlab R2016 b。分别从主观视觉和定性定量的客观评价指标2个方面将文中方法与5种经典的增强方法进行性能比较，同时完成参数的最优选择。对比算法及其参数设置如下：引导滤波方法（GF，滤波器参数设置：窗口半径r=16，正则化参数ε=0.12）、CLAHE（裁剪阈值：clipLimit=0.01）、基于模糊的增强方法（Fuzzy，参数设置：指数型模糊因子Fe=0.8，倒数型模糊因子Fd=125）、Single-scale Retinex（SSR，参数设置：高斯函数的标准偏差σ=100）、Multi-scale Retinex（MSR，参数设置：3个尺度的加权系数为ω1=ω2=ω3=1/3，3个高斯函数的标准偏差分别为σ1=15,σ2=80,σ=200）。

3.1 主观分析

从图5可以直观地看出，原图像整体较暗且对比度较低，导致人眼观察图像轮廓模糊，不利于检测识别。而采用实验中的算法均能够改善图像视觉效果，增强细节但是各个方法均不能达到理想的增强效果，实验结果如图6～11所示。

引导滤波处理后的图像整体亮度提升不明显，信息丰富的边缘区域出现不同程度的模糊。CLAHE会在对比强烈处产生光晕，图像局部区域有过增强、欠增强现象。并且由于均衡化后图像灰度级的减少，图像中的部分区域甚至会发生细节消失。基于模糊集的算法能有效抑制图像噪声，但是缺少细节增强措施，图像整体偏暗，且暗区域的细节难以分辨。SSR算法采用高斯算子估计光照，导致图像在过渡区出现光晕现象，图像清晰度不足。MSR算法在局部出现块效应，图像包含较多噪声。而文中方法在一定程度上克服上述增强算法中存在的不足，在增强局部细节信息的同时有效改善整体亮度，更加符合人眼的视觉特征。

图5 不同场景下的矿井低质图像Fig.5 Mine low-quality images in different scenarios

图6 引导滤波算法增强后Fig.6 Enhanced results by Guided Filter

图7 CLAHE算法增强后Fig.7 Enhanced results by CLAHE

图8 模糊集算法增强后Fig.8 Enhanced results by Fuzzy enhancement algorithm

图9 SSR算法增强后Fig.9 Enhanced results by SSR

图10 MSR算法增强后Fig.10 Enhanced results by MSR

图11 文中方法增强后Fig.11 Enhanced results by the proposed algorithm

3.2 客观分析

对不同场景KJ1,KJ2,KJ3和KJ4的线性融合系数ω1,ω2进行寻优，参数寻优值见表1。

表1 参数寻优值

寻优过程中适应度函数值的变化趋势如图12所示。实验设置最大迭代次数为200次，4幅图像的适应度函数分别在迭代次数为40次、48次、51次和43次时达到收敛。此时，获得的融合系数值能产生最好的图像增强效果。

图12 灰狼算法寻优迭代过程Fig.12 Optimization iteration process of GWO

为更客观地分析不同算法的增强效果，分别选择信息熵、峰值信噪比、结构相似度（Structural Similarity，SSIM）和梯度相似度（Gradient Similarity，GSIM）[24]这4种评价指标进行定性和定量的评价，结果见表2～5和如图13所示。

SSIM充分考虑到人体视觉，从图像的整体结构失真的角度来评价图像质量。结构相似度越高，即图像细节损失越少，信息保留越完整，计算见式（30）。

（30）

式中x，y为进行比较的2幅图像；μx,μy分别为x和y的均值；σx,σy分别为x和y的标准差；C1和C2是常量，避免当均值接近0时产生波动，通常取C1=（K1L）2，C2=（K2L）2，默认K1=0.01，K2=0.03，L=255。

表2 场景KJ1的客观评价结果

表3 场景KJ2的客观评价结果

表4 场景KJ3的客观评价结果

表5 场景KJ4的客观评价结果

GSIM根据图像的梯度特征来评价边缘的损失情况，进而更好地评价图像质量。梯度相似度越大，图像质量越好。在实际应用中，一般选择平均GSIM（MGSIM）来评价整幅图像质量。该评价指标包括3个部分，即亮度比较函数、对比度比较函数和清晰度比较函，计算见式（31）。

图13 不同算法的客观评价值Fig.13 Objective evaluation values of different algorithms

（31）

式中M×N为图像大小；l（x,y）,c（x,y）,d（x,y）分别为亮度比较函数，对比度比较函数和清晰度比较函数；α>0,β>0,γ>0，用于调整3个部分的相对重要性，α=β=γ=1。

由表2～5和图13中数据可知，针对矿井下低质图像的增强，各算法表现均有优劣。由于引导滤波固定参数ε值，导致算法增强效果不稳定、细节纹理突出不足。该算法仅PSNR值略高于文中方法，其余各项指标普遍较低。CLAHE在处理过程中直接对图像全局处理，增加背景干扰，放大噪声，所得PSNR值最低。基于模糊集的增强算法抑噪能力较强，处理后的图像PSNR值较高。但对图像的细节提升能力不足，图像质量提升不明显。而SSR算法采用对数处理操作压缩了图像亮区域的显示范围，所以图像Entropy较低，细节模糊甚至丢失。MSR在SSR的基础上，以牺牲SSIM和PSNR值来提高图像中的细节信息量，提升Entropy的同时不可避免的产生多余噪声。综合分析，文中方法在4个客观指标上均有较好的表现，各个指客观指标值与主观视觉效果基本保持一致，在丰富细节的同时能够保持较好的PSNR值。