基于TopHat加权引导滤波的Retinex矿井图像增强算法
2022-09-16洪炎朱丹萍龚平顺
洪炎, 朱丹萍, 龚平顺
(安徽理工大学 电气与信息工程学院,安徽 淮南 232001)
0 引言
随着智慧矿山的发展,利用图像对矿井安全进行监控得到了广泛应用[1]。然而受煤矿井下光源分布不均、整体光线弱等影响,监控图像呈亮度低、不清晰等特点,给后续的图像分析带来较大困难[2]。因此,增强矿井图像的亮度和清晰度对煤矿安全具有重要意义。
目前,针对矿井低照度图像增强大多采用Retinex算法,其中多尺度Retinex(Multi-Scale Retinex,MSR)算法对矿井图像亮度增强有较好的效果,但容易造成图像产生光晕和色彩失真等问题。张立亚等[3]提出了一种融合双边滤波和MSR算法的井下图像增强方法,能有效减少光晕模糊的现象,但图像边缘不够清晰。Hu Haokun等[4]提出了基于形态学Retinex算子的低照度图像增强算法,能有效提高图像清晰度,但算法较为复杂,需设置参数多。智宁等[5]采用引导滤波提取光照分量来对Retinex算法进行改进,但对光晕处理效果不佳。李晓宇等[6]通过引入快速引导滤波改进Retinex算法,实现了矿井图像的亮度增强,但对图像暗部细节增强不明显。Mu Qi等[7]在引导滤波的基础上提出了一种加权引导滤波(Weighted Guided Filtering,WGIF)算法,通过引入权重因子改进引导滤波的权重,降低了光晕的影响,然而WGIF算法中基于图像局部方差的权重估计[8]对于低照度图像的边缘增强效果并不明显。
针对上述算法存在的不足,本文提出了一种基于TopHat加权引导滤波(TopHat Weighted Guided Filtering,THWGIF)的Retinex算 法(以 下 简 称THWGIF-Retinex算法),并用于矿井图像增强。该算法通过引入TopHat变换改进WGIF的权重因子,实现光照分量提取,可提升图像边缘的清晰度,避免产生光晕现象;采用自适应Gamma校正函数对图像的光照分量和饱和度分量进行增强,可改善图像细节信息和色彩失真情况,有效提高矿井图像质量。
1 THWGIF-Retinex算法
采用THWGIF-Retinex算法对矿井图像进行增强,流程如图1所示,具体步骤如下:
(1) 将输入图像从RGB空间转换到HSV空间[9],并将其分离成色调(H)、饱和度(S)、亮度(V)3个通道分量。
(2) 通过THWGIF算法对亮度分量进行光照分量提取;分别对光照分量和饱和度分量进行自适应Gamma校正,得到校正后的光照分量和饱和度分量。
(3) 根据步骤(2)得到的校正后光照分量,采用Retinex算法求得反射分量。
(4) 将色调分量、校正后饱和度分量、反射分量进行通道合并后转回RGB空间,输出增强图像。
图 1 基于THWGIF-Retinex算法的矿井图像增强流程Fig. 1 Mine image enhancement process based on THWGIF-Retinex algorithm
1.1 光照分量提取
引导滤波是一种能保持图像边缘的滤波技术[10],将其应用到矿井图像增强中可保留图像细节。假设引导图像与输出图像存在局部线性关系:
式中:qi为 输出图像中第i个 像素点的值;ak,bk为以像素k为中心的滤波窗口ωk的线性系数;Ii为引导图像中第i个像素点的值。
采用最小二乘法对ak和bk进行求解,代价函数为
式中:pi为输入图像中第i个 像素点的值;ε为正则化参数,其对滤波效果有较大影响。
由于引导滤波对所有窗口均选取相同的ε,未考虑窗口的像素差异,导致图像边缘不清晰。WGIF选取窗口内的方差作为边缘权重因子,用于调节ε,使有明显纹理区域的图像方差更大,对应的权值也更高,从而更好地保留图像边缘信息[11-12]。但方差大不代表图像的边缘信息强,对于井下低照度图像,仅通过计算方差很难得到合适的边缘权重因子。
TopHat变换是图像处理中一种形态学变换方式,能够完成较暗背景图像中局部较亮区域的提取[13]。当光照较强时图像边缘有所模糊,通过TopHat变换处理后,光亮区域的边缘效果会有所提升[14]。
为进一步提高边缘检测的准确性,本文将TopHat变换融合到边缘权重因子计算中:
式中:φn为边缘权重因子;N为引导图像的像素点个数;T(m) 为经过TopHat变换后的图像以像素点m为窗口中心的均值;T(n)为 引导图像以像素点n为窗口中心的均值;α为常数,取值1 ×10-4。
对于图像亮度较高的区域,边缘权重因子较大,则对应的 ε较小,能更好地保留亮度较高区域的图像边缘信息。对于图像亮度较低的区域,边缘权重因子较小,则对应的 ε较大,对低照度区域有更好的平滑效果。
THWGIF对应的代价函数为
THWGIF在保持WGIF优势的基础上,能有效减少图像光晕,具有更好的图像边缘保持效果。本文采用THWGIF对光照分量进行提取:
式中:F(x,y)为根据引导图像I估计出的光照分量;G(•) 为作用于引导图像I的THWGIF运算;ri为引导滤波窗口大小;s为下采样倍数。
WGIF和THWGIF算法对同一幅矿井图像的滤波效果对比如图2所示。可看出在平滑效果相近的前提下,THWGIF算法能更好地保留图像边缘信息。
1.2 光照分量及饱和度分量校正
煤矿大多采用矿灯对矿井进行照明,光源集中在某几处地方,使得图像部分区域过亮,难以观测到暗区域的信息,影响视觉效果。为解决该问题,本文采用自适应Gamma校正函数对光照分量进行增强,使图像不仅在亮度上有所提高,并保证亮度分布更加均匀[15-16]。
式中:Z(x,y)为 经过校正后的光照分量;γ为自适应Gamma校正系数。
γ是影响图像亮度的关键。选取不同γ时的图像增强效果如图3所示。当γ=0.2时,图像出现亮度过饱和的现象;当γ=0.5时,图像暗区域的亮度有明显增强效果,且图像亮区域没有出现过度增强的现象;当γ=0.8时,图像整体亮度增强不明显。因此本文采用的光照分量校正系数为0.5。
图 2 不同算法的滤波效果对比Fig. 2 Comparison of filtering effects of different algorithms
图 3 不同γ的增强效果对比Fig. 3 Comparison of enhancement effects of different γ
在HSV空间模型中,当亮度增加,饱和度就会有所降低。为保证图像的饱和度细节不丢失,在对光照分量进行增强后,图像的饱和度分量也要进行相应的增强。本文采用自适应Gamma校正函数对饱和度分量进行增强,经实验可得,当饱和度校正系数为1.1时,图像增强效果最佳。
1.3 反射分量获取
Retinex算法是一种以颜色恒常性为基础的图像增强方法。该算法认为物体的颜色不是由反射光的绝对值决定的,而是由物体的反射能力决定的。
式中:L(x,y)为 原始图像;R(x,y)为反射分量,通常具有大量的高频信息。
为求解反射分量,一般先将式(7)转换到对数域,再移项使原始图像与光照分量相减:
对 lnR(x,y)进行指数运算,得到最终的反射分量。
2 实验分析
选取煤矿井下低照度图像,从主观评价和客观评价2个方面对MSR算法、WGIF-Retinex算法及本文THWGIF-Retinex算法对图像增强效果进行对比。
2.1 主观评价
不同算法下无强光直射的矿井图像增强效果及灰度直方图分别如图4和图5所示,不同算法下有强光直射的矿井图像增强效果及灰度直方图分别如图6和图7所示。
图 4 不同算法下矿井图像1增强效果对比Fig. 4 Comparison of enhancement effects of mine image 1 under different algorithms
从图4可看出,对于无强光直射的矿井低照度原始图像1,经MSR算法增强后的图像亮度有所增强,但图像细节丢失,整体色彩偏浅;经WGIFRetinex算法增强后的图像整体亮度较为均匀,在饱和度方面有较好的改善,但图像边缘较为模糊;经THWGIF-Retinex算法增强后的图像与经WGIFRetinex算法增强后的图像相比,色彩还原度较高,且图像边缘更清晰,视觉效果明显增强。从图6可看出,对于有强光直射的矿井低照度原始图像2,经MSR算法增强后的图像在光源处存在光晕现象;经WGIF-Retinex算法和THWGIF-Retinex算法增强后的图像对光晕有很好的改善效果,且经THWGIFRetinex算法增强后的图像在还原暗区域的细节信息和清晰度上优于WGIF-Retinex算法增强后的图像。
图 5 不同算法下矿井图像1灰度直方图对比Fig. 5 Comparison of gray histogram of mine image 1 under different algorithms
图 6 不同算法下矿井图像2增强效果对比Fig. 6 Comparison of enhancement effects of mine image 2 under different algorithms
从图5可看出,原始图像1的灰度级主要分布在0~100之间,经MSR算法增强后的图像直方图灰度级分布在100~250之间,经WGIF-Retinex算法和THWGIF-Retinex算法增强后的图像直方图灰度级分布在0~255之间,灰度级分布范围越广,表明图像对比度越高。从图7可看出,原始图像2的灰度级大多分布在在0~50之间;经MSR算法增强后的图像直方图灰度级分布在100~255之间,表明增强后图像亮度过强;经WGIF-Retinex和THWGIFRetinex算法增强后的图像直方图灰度级在0~250范围内均匀分布,表明增强后图像的对比度较高;经THWGIF-Retinex算法增强后图像在100~200灰度级范围内的像素点个数大于经WGIF-Retinex算法增强后的图像,表明THWGIF-Retinex算法对图像整体亮度增强效果优于WGIF-Retinex算法。
2.2 客观评价
采用信息熵[17]、平均梯度[18]、标准差[19]、无参考结构清晰度(No-Reference Structural Sharpness,NRSS)[20]作为图像质量客观评价指标。信息熵反映图像的信息量;平均梯度反映图像的清晰度;标准差反映图像的对比度;NRSS是衡量图像质量优劣的重要指标。上述指标的值越大,表明图像质量越好。
以图4、图6中图像为例,客观评价结果见表1、表2。
从表1可看出,对于无强光直射的矿井低照度图像,经MSR算法增强后的图像在NRSS方面略低于原始图像,而经WGIF-Retinex算法和THWGIFRetinex算法增强后的图像在各指标上均有明显提高;与原始图像相比,经THWGIF-Retinex算法增强后的图像信息熵提高了12.50%,平均梯度提高了109.07%,标准差提高了52.44%,NRSS提高了45.46%;与经WGIF-Retinex算法增强后的图像相比,经THWGIF-Retinex算法增强后的图像在平均梯度和NRSS上分别提高了40.73%和13.00%,但在信息熵和标准差方面略小。从表2可看出,对于有强光直射的矿井低照度图像,3种算法增强后的图像在各指标上均有不同程度的改善;与经MSR算法增强后的图像相比,经THWGIF-Retinex算法增强后的图像信息熵提高了1.24%,平均梯度提高了81.44%,标准差提高了18.23%,NRSS提高了36.67%;与WGIFRetinex算法相比,THWGIF-Retinex算法在信息熵方面有所降低,但在平均梯度和NRSS方面有较大改善,分别提高了72.34%和23.87%。
图 7 不同算法下矿井图像2灰度直方图对比Fig. 7 Comparison of gray histogram of mine image 2 under different algorithms
表 1 矿井图像1客观评价结果Table 1 Objective evaluation results of mine image 1
表 2 矿井图像2客观评价结果Table 2 Objective evaluation results of mine image 2
3 结语
针对矿井低照度图像增强,提出了一种THWGIFRetinex算法。首先,通过THWGIF算法提取图像光照分量,增强光照分量的边缘保持效果;其次,通过自适应Gamma校正函数增强图像光照分量和饱和度分量;然后,利用Retinex算法从增强后的光照分量中获取图像反射分量;最后,将色调分量、反射分量、校正后的饱和度分量合并,得到增强图像。实验结果表明:该算法能有效提高图像的亮度、清晰度和对比度,抑制亮度过饱和、光晕等现象,对抗色彩失真、边缘保持具有明显的作用;经该算法增强后的矿井图像在信息熵、平均梯度、标准差、NRSS方面均有明显提高,矿井图像增强效果好。