煤矿井下非均匀照度图像去噪研究

张旭辉， 麻兵， 杨文娟， 董征， 李语阳

（1.西安科技大学 机械工程学院，陕西 西安 710054；2.陕西省矿山机电装备智能检测与控制重点实验室，陕西 西安 710054）

0 引言

煤矿综采工作面环境恶劣，大雾、粉尘及光照对图像质量产生了较大干扰，影响视频信息的准确性[1]。煤矿井下图像的非均匀光照处理一直是行业研究热点。

当前非均匀光照图像的处理包括有参考的校正方法和无参考的校正方法2类[2]。有参考的校正方法需参照标样图像实施校正，实际应用过程中实现难度大。无参考的校正方法包括Retinex理论方法[3]、滤波法[4]、神经网络方法[5]、直方图均衡化方法[6]等。文献[7]提出了基于 Retinex 分解和多尺度调整的低光图像增强网络，以消除反射噪声、抑制颜色失真、保留图像细节并调整照明亮度，但其泛化能力难以适应所有复杂场景。文献[8]采用多尺度Retinex算法对V分量进行增强，有效调节了井下低照度图像光照信息，但在综采工作面亮度不均的情况下，仍存在过度增强及曝光的问题。文献[9]提出了改进同态滤波法来增强井下图像，虽可有效分离光照和细节分量，但对受到强光、高粉尘影响的图像中的噪声更加敏感，使用该方法会在一定程度上放大噪声，导致图像失真。文献[10]通过基于生成对抗网络的单张图像高光去除方法准确提取图像特征。文献[11]利用数据集提出联合高光检测和去除的多任务网络，实现高光检测和去除。文献[10-11]通过神经网络方法处理高光 ，但需大量数据用于学习图像特征，且太过依赖先验信息与假定设置、计算复杂、运行时间长，在煤矿井下很难找到相同场景下可供神经网络学习的高质量图像，人工标注往往会因个体差异导致模型学习差异，其结果不可避免地存在色彩失真、边缘不连续等问题[12]。文献[13]利用双直方图均衡校正的方法处理非均匀光照图像，有效增强了图像细节，但其作用范围是图像全局，存在色彩失真、噪声放大等问题[14]。

上述方法在一定程度上对非均匀光照图像进行了改善，但对煤矿井下工作场景的图像进行处理时，无法获取高质量对比图像或模型图像作为样本；难以对井下照明区域光照强度过大的图像进行有效的特征提取；因曝光、光照范围扩散、粉尘遮挡导致图像特征丢失和色彩失真等。因此，本文提出了一种融合整体光照抑制、入射光照去除及去雾的图像去噪算法。首先，根据图像的光照强度引入光照调节因子调节图像整体亮度；然后，采用Retinex算法分离光照分量并保留反射光照，以实现均衡光照；最后，采用基于引导滤波的暗通道先验算法去除图像粉尘、大雾，并引入伽马校正函数调节光照，实现非均匀照度图像的光照抑制和粉尘、大雾消除处理。

1 总体方案

煤矿井下非均匀照度图像去噪算法主要由整体光照抑制、入射光照去除和图像去雾3个模块组成如图1所示。首先，从视频中截取图像，判断图像是否需要进行光照抑制，将需要进行光照抑制的RGB图像拆分通道，并计算每个通道的光照调节因子，实现图像的整体光照抑制。然后，将未进行整体光照抑制的图像和经整体光照抑制的图像进行反射分量提取，即将输入图像转换为HSV空间图像，使用单尺度Retinex（Single Scale Retinex，SSR）算法对V分量进行单独处理，将V分量中的入射分量去除，保留反射分量，并对反射分量使用直方图均衡算法实现光照均衡化处理。最后，使用改进引导滤波的暗通道先验去雾算法对经过光照处理后的图像进行去雾处理，并使用伽马校正函数重新调节亮度不均的图像。

2 算法原理

2.1 整体光照抑制模块

受井下光照的影响，使得采集的图像整体亮度较高，容易出现反光、曝光等问题，导致有用特征丢失。为有效遏制该问题对后续图像使用的影响，对高照度图像进行抑制，光照调节流程如图2所示。

图2 光照调节流程Fig.2 Light adjustment flow

1） 将输入的RGB图像拆分为R，G，B通道。

2） 将图像的高光区域单独拆分，计算非高照度区域亮度均值，将结果作为阈值K。

3） 计算每个通道中所有像素的均值。

式中：µ为像素均值；w，h分别为图像的宽和高；i，j分别为图像的像素坐标索引；p为待计算的图像。

4） 将均值µ与阈值K进行比较，若µ>K，则计算调节因子。

式中：a(R)，a(G)，a(B)分别为R，G，B通道的调节因子；µ(R)，µ(G)，µ(B)分别为图像R，G，B通道的像素均值。

5） 根据调节因子的计算结果，将每个通道的调节因子反馈到对应的通道来调整每个通道的亮度。

6） 将调整后的R，G，B通道的图像重新合并成1张RGB图像。

2.2 入射光照去除模块

Retinex理论认为观测到的图像可分为入射分量和反射分量，入射分量描述了1幅图像所有像素点的动态范围大小，反射分量描述了物体自身固有不变的特性[15]。Retinex理论主要包含SSR、多尺度Retinex（Multi-Scale Retinex，MSR）及其他变种算法。SSR算法简单且计算效率高；MSR算法需处理多个尺度的图像并进行合成，计算复杂且合并权重难以控制；其他变种算法参数调整难、易受不同环境的干扰，导致适应性差。为有效提取光照分量、提高图像处理效率，本文使用SSR算法对经过光照抑制后的图像进行处理，最大程度保留反射特征R(x,y)，尽可能去除入射光图像L(x,y)，以保留原始图像的固有属性，有效观测图像的本来特性。

式中S(x,y)为原始图像。

V分量处理流程如图3所示。首先，将经过整体光照调整的图像转换到HSV空间，并对V分量进行分离。其次，使用SSR算法对V分量图像进行处理，保留反射分量，去除入射分量。然后，使用直方图均衡化算法对处理后的V分量进行处理，展开图像中像素个数多的灰度级，抑制图像中像素个数少的灰度级[16]，使图像整体亮度均匀化。最后，合并处理后的图像，并将图像重新转换到RGB空间。

图3 V分量处理流程Fig.3 V component processing flow

2.3 基于改进暗通道先验算法的去雾模块

暗通道先验算法指出在1幅RGB图像中，某些像素至少有1个通道的值会很低，在有雾图像中暗通道的值会随着接近大气光的方向逐步增加[17]。

式中：I(x)为待去雾的图像；J(x)为去雾后的图像；t（x）为透射率；A为全球大气光照。

暗通道先验算法在处理复杂场景中的大雾时，无法准确估计大雾分布，导致图像失真，因此，本文通过引入引导滤波保持图像边缘信息平滑，选取最小值作为大气光照值，并引入伽马校正调整光照来对暗通道先验算法进行改进，改进后的暗通道先验算法流程如图4所示。

图4 改进暗通道先验算法流程Fig.4 Improved dark channel prior algorithm flow

1） 计算输入有雾图像的初始暗通道图像，使用一个较小的窗口在整张图上滑动，并取窗口中最小的像素作为该位置的暗通道像素值。

2） 采用引导滤波降低原始暗通道图像中的噪声，并增强图像细节。

3） 对平滑后的暗通道图像进行全局亮度估计，并选取合适的全局大气光照A。

4） 为保证去雾的有效性和图像的质量，将缩放后的大气光照限定在一个合理的范围内（通常是[0，255]），以获取最终的大气光照估计值。

5） 根据大气光照估计值，计算出透射率t（x），最终求取无雾图像。

式中t0为t（x） 的下限阈值，t0=0.1。

6）为使图像光照均匀，引入伽马校正函数进一步调整去雾后图像的光照。

3 实验结果及分析

3.1 实验条件

实验使用的图像主要是从煤矿井下综采工作面的视频中截取，为使实验数据具有普遍性，避免样本数据不均匀导致算法适用性差等问题，本文在验证过程中采用的数据来源于多个矿井、6个不同时间段综采工作面的工作场景，验证图像总计3 637张，包含了分辨率为856×480、1 920×1 080 的图像，且普遍受残影、反光、曝光及粉尘遮挡等因素的影响，导致图像整体质量较低。

3.2 主观评价

为验证本文算法的可行性，本文选取标号为P1—P6的原始图像和经过本文算法处理后的图像作为验证图像，通过引入灰度直方图将两者之间的灰度级分布更加直观地进行对比，结果如图5所示。

图5 灰度分布对比Fig.5 Comparison of gray level distribution

从图5可看出，原图的灰度分布频数为50～255，且集中在150～255的灰度分布频数较高，而经过处理后图像的灰度分布频数为0～255，且集中在150～255的灰度分布频数明显降低。说明针对非均匀灰度等级照度图像，本文算法具有良好的抑制效果。

为了进一步验证本文算法对煤矿井下非均匀照度图像处理的效果，本文选取6组对比图像进行有效性验证，所选对比图像标号为P7—P12将本文算法与MSR算法[18]、基于颜色保持的多尺度视网膜增强（Multi-Scale Retinex with Color Preservation，MSRCP）算法[19]、带色彩恢复的多尺度视网膜增强（Multi-Scale Retinex with Color Restoration，MSRCR）算法[20]进行对比，效果如图6所示。 可看出经过MSR算法、MSRCR算法处理后的图像明显失真，部分图像经2种算法处理后严重曝光；经过MSRCP算法处理后的图像直观上难以分辨图像质量的好坏；而经过本文算法处理后的图像亮度明显降低、细节特征更加突出。

图6 算法对比Fig.6 Algorithms comparison

3.3 客观评价

计算对比图像的均值及标准差，结果见表1。

表1 均值、标准差对比Table 1 Comparison of mean and standard deviation

从表1可看出，原图的均值及标准差分别为144～150、54～59，经过处理后的图像均值、标准差分别为84～102、72～75。说明经过本文算法对图像处理后，有效抑制了因光照导致整体亮度较高的问题，且由于大雾、粉尘等因素导致原图模糊的部分更加清晰，图像的细节特征更加突出。

采用信息熵、均值 、标准差 、空间频率4种评价指标对经过各算法处理后的图像进行客观评价，结果见表2，指标对比如图7所示。其中，信息熵衡量图像中包含信息量的大小，值越大则图像包含的信息量越大[21]；均值为亮度评价指标；标准差为边缘信息清晰度评价指标，标准差越大则说明图像的边缘信息越好；空间频率用于对图像的清晰度进行评价，空间频率越大则表示图像越清晰。

表2 不同算法处理后图像指标比较Table 2 Comparison of image indexes after processed by different algorithms

图7 评价指标对比Fig.7 Comparison of evaluation indexs

由表2和图7可看出，在信息熵、均值 、标准差 、空间频率评价指标上，本文算法较MSR算法分别平均提升了21.87%，-56.06%，153.43%，294.45%，较MSRCP算法分别平均提升了1.18%，-39.56%，33.29%，-4.71%，较MSRCR算法分别平均提升了38.06%，-55.27%，462.10%，300.96%。信息熵的提升说明本文算法有效增加了图像信息量，均值的降低说明本文算法有效抑制了图像光照亮度，标准差的提升说明本文算法增强了图像的边缘信息，空间频率的提升说明本文算法有效增强了图像的清晰度。

4 结论

1） 通过分离RGB图像的3个通道，分别引入光照调节因子以自适应调节不同亮度的图像，并采用SSR算法保留图像反射分量及图像有效信息，有效缓解了矿灯、照明灯影响导致的图像整体亮度过高问题。采用基于引导滤波的暗通道先验算法处理图像粉尘、水雾问题，并对处理后的图像采用伽马校正，进一步调节因去雾导致的光照不均问题。

2） 实验结果表明，经过非均匀照度图像去噪算法对非均匀照度图像处理后，有效抑制了因光照导致整体亮度较高的问题，且由于大雾、粉尘等因素导致图像模糊的部分更加清晰，图像的细节特征更加突出。非均匀照度图像去噪算法在信息熵、均值 、标准差 、空间频率上较MSR算法分别平均提升了21.87%，-56.06%，153.43%，294.45%，较MSRCP算法分别平均提升了1.18%，-39.56%，33.29%，-4.71%，较MSRCR算法分别平均提升了38.06%，-55.27%，462.10%，300.96%。