基于去尘估计和多重曝光融合的煤矿井下图像增强方法

2023-12-06郝博南

工矿自动化 2023年11期

郝博南

（1.煤炭科学技术研究院有限公司，北京 100013；2.煤矿应急避险技术装备工程研究中心，北京 100013；3.北京市煤矿安全工程技术研究中心，北京 100013）

0 引言

煤矿视频监控系统是保证煤矿井下安全生产和人员监测管理的重要措施，而井下环境中高尘雾、暗光、复杂电磁干扰等环境因素给图像采集带来了巨大挑战，限制了矿井环境信息的准确观察和评估，严重影响智能视频分析和安全监测等领域技术应用[1-2]。

图像增强技术可有效降低煤矿井下环境因素对图像造成的影响并提升图像质量，已经被广泛使用[3-6]。纪平等[7]利用直方图均衡算法对图像整体的像素值进行平均分配，处理后图像的对比度明显增强，图像特征信息更容易读取，但该方法是对整体像素值的操作，可能会导致明亮区域饱和，造成增强结果的一些细节损失。Zhao Lijun 等[8]对图像进行裁剪后，结合归一化方差度量，使用图像平滑技术实现了对图像中噪声的消除，但在平滑过程中会导致图像的局部细节和特征信息变得不清晰。魏华良等[9]采用数字图像边缘锐化增强的方法，对图像中的局部细节和特征信息进行增强，解决了传统图像增强方法对细节信息保留不完整的问题，但在增强过程中会加入噪声。贺元恺[10]研究了适用于轻雾场景的局部直方图均衡化去雾算法，采用滑动窗口策略执行局部直方图均衡化，但该方法在去尘效果方面并不理想。

针对煤矿井下粉尘和暗光环境，本文提出了一种基于去尘估计和多重曝光融合的煤矿井下图像增强方法。该方法采用尘化图像简易模型对图像进行去尘操作，同时利用多重曝光融合算法去除图像中的暗光、过曝现象，可降低井下粉尘及暗光对图像质量造成的影响，实现对井下低质量图像的增强。

1 方法流程

基于去尘估计和多重曝光融合的煤矿井下图像增强方法流程如图1 所示。该方法主要包括图像去尘处理和暗光增强2 个部分。图像去尘处理：首先将图像划分成若干区域；其次根据暗原色先验理论，计算原始图像中像素值较低的颜色通道，同时根据光线在大气中衰减方程可得每个区域的自适应衰减系数（即粉尘程度），根据粉尘程度自适应赋予不同区域不同的权值比；然后通过尘化图像简易模型计算得到图像的透射率；最后根据透射率分布，通过尘化图像简易模型复原物体的原始图像。图像暗光增强：首先对于输入图像计算图像熵，获得一组最佳曝光比；然后对于每一个曝光比，使用多重曝光图像生成器中的亮度变换函数（Brightness Transform Function，BTF）进行计算，生成不同曝光比图像集合，对每一张图像使用模型无关局部可解释（Local Interpretable Model-Agnostic Explanations，LIME）方法进行微光光照估计，计算其权值矩阵；最后使用多重曝光图像融合器根据图像及其权值进行图像融合，对井下去尘后的图像暗部进行增强，生成最终增强图像。

图1 基于去尘估计和多重曝光融合的煤矿井下图像增强方法流程Fig.1 Process of coal mine underground image enhancement method based on dust removal estimation and multiple exposure fusion

2 图像去尘处理

2.1 深度图像通道获取

视觉领域中尘化图像简易模型可描述为[11]

式中：I(x)为原始尘化图像的光照强度，x为图像中的像素点；J(x)为复原后的图像；t(x)为透射率；d为光传播距离；A为尘化图像中的大气光照部分。

暗原色先验原理表明，在大部分图像的 3 个颜色通道（R，G，B）中，像素值较低的像素点至少存在于1 个通道中。而在尘化图像中，这些像素值较低的像素点能够反映图像的反射部分[12-13]。因此可通过处理尘化图像简易模型及像素值较低的像素点来达到去尘增强的效果。

暗原色先验理论可表示为

式中：Jdark(x)为原清晰图像的暗原色；Jc(y)为图像J(x)中的任一颜色通道；Ω(x)为以像素点x为中心的区域块。

研究表明，Jdark(x)的值无限趋近于0，并且假设J(x)为没有尘化的清晰图像，这样原清晰图像J(x)的暗原色就是Jdark(x)。假设大气光照部分是事先存在的，并且图像光照透射率在一定的区域内部不变，通过尘化图像简易模型及暗原色先验理论可估算出透射率：

2.2 粉尘程度判断

光在大气中传输会由于各种原因导致衰减，衰减过程可表示为

式中：φ(d)为经过光传播距离d之后的光能；τ为自适应衰减系数，主要用于表示井下高粉尘对于光传播的影响。

由于煤矿井下存在大量粉尘，导致井下摄像机获取的图像相对模糊，但如果将粉尘完全去除，图像会显得缺乏真实感。因此对透射率公式（式（3））进行改进，引入一个恒定的参数ω(0 ＜ω≤1)，同时加入自适应衰减系数，再加入待观测点与摄像机间的透射率信息传递，这样就可在去除图像中粉尘的情况下又不使图像失真。改进的透射率计算公式为

2.3 图像去尘处理

根据透射率分布，通过尘化图像简易模型复原物体的原始图像。为了避免直接复原得到的原始图像包含随机噪声，对透射率设定一个下限t0，最终复原图像为

式中n为生成图像的个数。

3 图像暗光增强

针对传统去尘算法处理后的图像仍存在白边、暗光、过曝等现象，本文提出一种多重曝光融合算法，如图2 所示。该算法包含2 个部分：模拟人眼来调整曝光，生成多重曝光图像集；模拟人脑融合多重曝光图像，得到图像增强结果。将多重曝光融合算法运用到基于观测的摄像机响应模型上，找到摄像机响应模型的最佳曝光，在原始图像曝光不足的区域生成曝光良好的合成图像，并利用权值矩阵将输入图像与合成图像进行融合，得到增强后的图像。

图2 多重曝光融合算法原理Fig.2 Principle of multiple exposure fusion algorithm

多重曝光融合算法主要由4 个模块组成：多重曝光图像采样器，确定需要的图像数量及每张图像的曝光率；多重曝光图像生成器，对合成的多重曝光图像使用摄像机响应模型和指定的曝光比；多重曝光图像评估器，确定融合时各图像的权值图；多重曝光图像融合器，用于将生成的图像融合到基于权值图的最终增强结果中。

3.1 多重曝光图像采样器

一个好的采样器可以通过选择适当曝光比，使用尽可能少的图像来显示场景中的所有信息。一些图像在多次曝光后不能提供额外的信息且会浪费计算资源，甚至可能会恶化融合结果。因此在生成多重曝光图像之前，要确定需要的图像数量及曝光比。采样器的输出是1 组曝光比。为了使用少量图像表示尽可能多的信息，需要找到一组较优的曝光比，使得合成图像在原始图像曝光不足的区域下曝光良好[14]。首先排除曝光良好的像素，获得全局曝光不足的图像，低亮度像素提取公式为

式中：L(x)为提取到的图像中低亮度的像素集合；P(x)为输入图像像素点集合；T(x)为场景光照图像像素点集合；H为像素亮度阈值，通过对大量煤矿井下图像的主观判断及亮度计算，本文将H设为0.5，高于该值代表曝光良好，否则代表曝光不足。

不同曝光下的图像亮度变化明显，但颜色基本相同。因此，在估计曝光比时，只考虑亮度分量[15]。亮度分量V定义为图像RGB 各通道中亮度分量的平均值：

式中LR，LG，LB分别为RGB 图像3 个通道像素值矩阵；◦为Hadamard 积运算符。

高曝光图像的可见性高于低曝光/过曝光图像的可见性，可为人类提供更丰富的信息。因此，最优曝光比应该使得图像提供最多的信息，本文使用图像熵HP(VE)作为衡量图像信息多少的指标。

式中：VE为曝光比为E时图像的亮度分量；pk为亮度分量VE的直方图的第k个数值。

图像熵越高，则代表图像信息越多，图像可见性越高，而最优曝光比能够使图像信息最大化，因此本文使用图像熵来确定最佳曝光率。但由于仅找到1 张最佳曝光比的图像是不够的，所以计算所有图像平均熵，选取图像熵在平均熵以上的图像曝光比作为1 组最优曝光比，即多重曝光图像采样器的输出。

式中：为最佳曝光比集合；为第i（i=1，2，···，l，l为新生成的曝光图像的数量）张图像的曝光比。

由于图像熵随着曝光率的增加而先增大后减小，所以可通过一维最小化器求解。为了提高计算效率，在优化曝光比时将输入图像大小调整为50×50。

3.2 多重曝光图像生成器

不同曝光的图像是相关的。多重曝光图像生成器通过设置指定的曝光比将输入图像映射到多重曝光图像上。多重曝光图像生成器的关键部分是摄像机响应模型，用于寻找合适的BTF 映射[16-17]。利用曝光比Ei生成的图像为

式中：α，β为摄像机的固定内参，取 α=-0.329 3，β=1.158；Q为多重曝光图像生成器输入图像。

最终得到1 组不同曝光比的图像。

3.3 多重曝光图像评估器

多重曝光图像评估器评估生成图像中每个像素的强度状况。多重曝光图像评估器接收1 张图像，并输出1 个表示每个像素强度状况的权值矩阵。对于同时输入到评估器中的所有图像，使用LIME 方法计算每张图像的权值矩阵[18]，权值矩阵大小和图像大小相同，所有图像同一像素点的所有权值的和为1。曝光好的像素权值很大，曝光差的像素权值很小。

3.4 多重曝光图像融合器

使用多重曝光图像融合器将不同曝光比的图像及其权值矩阵融合生成一张高动态范围的图像。

式中：M为最终融合结果；Wi为第i张图像的权值矩阵。

最终得到融合了不同曝光比的图像，能够捕捉和呈现场景中较宽亮度范围的细节。

4 实验结果与分析

本文实验主要选取直方图均衡法[19]、带色彩恢复的Retinex（Multi-Scale Retinex with Color Restoration，MSRCR）方法[20]、改进Retinex 方法[21]及本文方法对综采工作面、运输巷、转载点3 个具有粉尘及暗光环境场景图像进行处理，分别从主观及客观2 个方面对处理效果进行评价。

4.1 主观评价

主观评价主要通过人对图像细节及增强效果进行主观判断。通过直方图均衡法、MSRCR 方法、改进Retinex 方法及本文方法对井下3 种场景图像进行处理，增强效果如图3 所示。

图3 3 种场景下不同方法增强效果Fig.3 Enhancement effect of different methods in three scenarios

从图3（b）可看出，经过直方图均衡法处理后的图像增强效果相较于其他3 种方法偏弱，对粉尘大范围覆盖情况的处理能力一般，且在对综采工作面场景图像增强后，边缘处易出现白边现象。从图3（c）可看出，经过MSRCR 方法处理后的图像在某些场景中对粉尘现象有一定优化，但3 种场景处理后的图像显示，MSRCR 方法易导致较明显的过曝现象及颜色失真。从图3（d）可看出，经过改进Retinex 方法处理后的图像在去雾及抑制过曝等方面具有较好的效果，但在图像某些区域还是存在部分噪点及颜色失真（例如在综采工作面场景中轨道部分）。从图3（e）可看出，本文方法处理后图像虽仍存在个别颜色失真现象（例如转载点场景图像左上角部分），但图像的修复较为自然，去尘及暗光增强效果较好，且颜色还原度较高，不易出现白边、过曝等现象。

4.2 客观评价

为保证比较的公平性，代码均通过Matlab R2022b 平台实现，所有实验都在运行Windows 10 操作系统、64 GB RAM 和3.4 GHz CPU（不使用GPU加速）的PC 上进行，同时为了更好地评估本文方法的图像增强效果，在来自RESIDE，HazeRD，VV，MEF 4 个公共数据集的数千张由于粉尘、暗光等因素导致不清晰的图像上测试直方图均衡法、MSRCR方法及本文方法。

本文引入对比度、图像熵及亮度顺序误差（Lightness-Order-Error，LOE）3 个指标衡量增强后的图像质量：对比度越高则表明图像细节越清晰，图像质量越高；图像熵表示图像中信息的多少，熵越大则代表图像中信息越丰富；LOE 用来客观衡量增强结果的亮度失真，LOE 越小则代表增强效果越好。

为验证本文方法中图像去尘处理与图像暗光增强的有效性，随机选取4 个公共数据集内100 张原始图像进行消融实验，结果见表1。可看出分别采用去尘处理和暗光增强后的图像质量均比原图有一定提高，且提升幅度基本相近，而本文方法同时采用去尘处理和暗光增强，图像增强效果明显更好。

表1 消融实验结果Table 1 Results of ablation experiment

为验证本文方法的增强效果，在4 个公共数据集上与直方图均衡法、MSRCR 方法、改进Retinex方法进行对比，客观评价结果见表2。可看出本文方法在4 个数据集上的对比度和图像熵均为最高，LOE 均为最低，表明图像增强效果最佳。

表2 不同方法图像增强客观评价结果Table 2 Objective evaluation results of image enhancement by different methods

对表2 数据求平均值，结果见表3。可看出：在平均对比度方面，本文方法相较于直方图均衡法、MSRCR 方法、改进Retinex 方法分别提升了169.00%，42.50%，10.88%；在平均图像熵方面，本文方法相较于直方图均衡法、MSRCR 方法、Retinex 方法分别提升了51.80%，16.45%，8.99%；在平均LOE 方面，本文方法相较于直方图均衡法、MSRCR 方法、改进Retinex方法分别降低了31.01%，16.94%，7.83%。

表3 不同方法图像增强客观评价结果平均值Table 3 Objective evaluation average results of image enhancement by different methods

由于井下场所的视频监控对于实时性要求很高，所以对4 种方法的运算耗时进行比较，结果如图4所示。可看出采用直方图均衡法处理50 000 像素图像时，运算耗时就已达到10 ms；采用MSRCR 方法与改进Retinex 方法处理250 000 像素图像耗时分别为4 ms 与3 ms，而本文方法在处理250 000 像素图像时耗时最短，为0.9 ms。