矿井井下非均匀照度图像增强算法

苗作华，赵成诚，朱良建，刘代文，陈澳光

（1.武汉科技大学 资源与环境工程学院，湖北 武汉 430081；2.冶金矿产资源高效利用与造块湖北省重点实验室，湖北 武汉 430081）

0 引言

随着矿山智能化建设推进，视频监控等工具逐步成为辅助安全生产的必要设备[1-4]。由于矿井井下环境自然光照严重不足，主要依赖人工照明来辅助工作面照明。大量粉尘和水雾及复杂的光线，使监控视频图像存在对比度过低、光照不均匀、信息捕捉不足和细节模糊等问题[5]，严重制约了井下视频监控的实际应用。因此，针对矿井井下视频中存在的光照不均等问题进行图像增强具有现实意义。

目前，矿井井下图像增强算法可分为传统图像增强算法和基于深度学习的图像增强算法。传统图像增强算法主要包括基于直方图分布的图像增强算法和基于Retinex[6]理论的图像增强算法。基于直方图分布的图像增强算法是对图像像素直方图进行重分布，其中以限制性对比度增强（Contrast Limited Adaptive Histogram Equalization，CLAHE）[7]应用最为广泛。基于直方图分布的图像增强算法复杂度低，但在图像局部区域易引起色彩失真和过度增强[8-9]。Retinex 理论认为人眼观察到的图像由反射层和光照层2 个图像乘积构成。因此，基于Retinex 理论的图像增强算法与基于直方图分布的图像增强算法的主要区别在于对光照层的求解方式。现有的Retinex 算法主要对在单一自然光环境下的图像增强进行研究，当图像中存在人工光源时，在局部区域的光照层求解时易出现色彩失真、噪点过多和细节模糊等问题[10]。

随着深度学习和卷积神经网络技术的发展，基于Retinex 理论的Retinex-Net 网络结构应运而生[11]。基于卷积神经网络的方法对图像中的反射层和光照层进行有效估计，使网络模型获得学习反射层和光照层的拟合能力，该方法有效延展了Retinex 理论的应用范围。赵征鹏等[12]采用改进的去噪卷积神经网络对弱光环境下图像的反射分量进行去噪。武亚红[13]利用场景分割技术将图像分割聚类，并在颜色通道上通过比例系数对图像光照层进行初始估计，在边缘处对图像光照层进行非局部相似性约束。姜雪松[14]提出了一种基于稠密连接网络的图像增强方法，可恢复极低照度区域细节信息。

虽然在神经网络技术的推动下，基于Retinex 理论的图像增强算法取得了一定进步，但在处理矿井井下非均匀照度图像时，仍存在局部光线过曝、局部亮度不足、对比度低和边缘信息弱等问题。针对上述问题，本文提出了一种矿井井下非均匀照度图像增强算法。该算法在Retinex-Net 网络结构的基础上，新增了非均匀光照抑制模块（Non-uniform Light Suppression Module,NLSM）来剥离非均匀照度区域的光照层，并优化了光照分解模块（Light Decomposition Module,LDM）和图像增强模块（Image Enhancement Module,IEM），以增强图像中的细节信息。

1 相关理论

1.1 Retinex 理论

Retinex 理论是Land 等基于人类视觉系统提出的关于如何调整感知对象颜色和亮度的理论模型[6]。该理论指出，人类视觉感知到的颜色具有恒常性（同一个物体在不同光照情况下虽然会产生不同的反射光谱，但人类视觉系统会将一定范围内的不同光照条件下物体的颜色认为是恒定不变的）。基于Retinex 理论，一张图像可被分解为光照层和反射层，其中光照层包含了图像中的光照信息，反射层则包含了物体的颜色和形状轮廓等，最易被人眼所认为恒常的基本信息。因此，基于Retinex 理论的图像增强算法将图像分解为反射层和光照层的乘积[6]。

式中：S(x,y) 为原始图像；x和y为图像中像素位置；R(x,y)为反射层信息，即物体本身信息；I(x,y)为光照层信息，即环境光信息。

1.2 Retinex-Net

Retinex-Net[15]分为分解、调整和重构3 个部分，如图1 所示。首先通过Decom-Net 将输入图像分解为反射层R和光照层I。然后在Enhance-Net 中对光照层I进行多尺度照度调节，在Denoising Operation阶段对反射层R上的噪声进行去除。最后将R×I作为输出图像。

图1 Retinex-Net 网络结构Fig.1 Retinex-Net network structure

Retinex-Net 在Decom-Net 中对图像的梯度进行最小化，光照层会被过渡平滑变得模糊。因此，Retinex-Net 算法会在图像光照层变化区域产生明显的光晕和色彩失真。直接将Retinex-Net 算法应用于矿井井下图像的增强，其效果并不理想。

2 非均匀照度图像增强算法

2.1 整体网络结构

基于传统Retinex 理论构建Retinex-Net 网络，在估计光照层时，先验的认为光照层应在细节处保持平滑，即光照层整体分布相对均匀。但在人工光源环境下，Retinex-Net 网络估计的光照与真实环境的光照之间存在较大偏差，在光照不均匀的区域偏差显著。因此，当真实环境中的光照分布不均匀，Retinex-Net 的先验假设不再成立，Retinex-Net 图像增强算法也不再适用。

矿井井下光照可分为相对均匀但照度低的自然光源和若干个亮度变化剧烈且只存在于图像局部区域的照度不均匀的人工光源。因此，本文将图像分解为自然光照层、反射层和非均匀光照层，3 个图层之间的计算关系为

式中E(x,y)为非均匀光照层，即人工光源在图像中局部突出的光照图层。

基于式（2），本文设计了一种矿井井下非均匀照度图像增强算法，算法整体网络结构如图2 所示。

图2 非均匀照度图像增强算法整体网络结构Fig.2 Overall network structure of the non-uniform illumination image enhancement algorithm

以矿井井下图像作为非均匀照度图像增强算法网络的输入，以增强后图像为输出，整体结构分为NLSM，LDM，IEM 3 个主体部分。其中NLSM 为针对矿井井下非均匀光照而设计的模块，该模块对图像中存在的非均匀光照区进行剔除，将图像分解为非均匀光照层E(x,y) 和R(x,y)×I(x,y)。LDM 是以Retinex-Net 中分解模块为原型，依托Resnet[16]网络结构改进而来，主要作用是将NLSM 输出的R×I分解为反射层R和低照度下的光照层Il。IEM[15]由Retinex-Net 中原有光照增强结构结合伽马校正实现，该模块将低照度下的光照层Il增强为正常照度下的光照层Ih。将R与Ih相乘即可得到增强后图像。

2.2 NLSM

人工光源的存在会导致Retinex-Net 在估计光照层I时，极易在非均匀光照区域过度平滑，导致在该区域图像色彩失真和亮度过曝。为解决局部区域光照不均匀引起的过度增强问题，本文设计了NLSM，该模块主要作用在于估计和剥离非均匀光照层，避免在该区域LDM 的错误估计和IEM 的过度增强。

在NLSM 中共有7 个Layers，Layers 由4 个卷积层构成，如图3 所示。第1 层Layers 由大小为3×3 卷积核、通道数为8、Stride 为1、padding 为1、以ReLU 为激活函数的卷积层构成；第2 层Layers 由大小为3×3 卷积核、通道数为16、Stride 为1、padding 为1、以Sigmoid 为激活函数的卷积层构成；第3 层Layers 由大小为5×5 卷积核、通道数为32、Stride 为1、padding 为2、以ReLU 为激活函数的卷积层构成；第4 层Layers 由大小3×3 卷积核、通道数为64、Stride 为1、padding 为1、以ReLU 为激活函数的卷积层构成；第5 层Layers 由大小为5×5 卷积核、通道数为32、Stride 为1、padding 为2、以ReLU 为激活函数的卷积层构成；第6 层Layers 由大小为3×3 卷积核、通道数为16、Stride 为1、padding为1、以Sigmoid 为激活函数的卷积层构成；第7 层Layers 由大小为3×3 卷积核、通道数为3、Stride 为1、padding 为1、以ReLU 作为激活函数的卷积层构成。

图3 Layers 结构Fig.3 Layers structure

2.3 注意力机制

在NLSM 中，人工光源的特征不仅在空间分布上呈现局部突出的特征，在颜色通道上也呈现出相似的特征。因此，引入卷积块注意力模块（Convolutional Block Attention Module,CBAM）,增强网络结构对特征信息在空间和通道上分布特征的学习能力和泛化能力，有助于更快、更准确地定位人工光源特征，有利于加快引导网络正确聚焦于目标区域。CBAM 结构[17]如图4 所示。

图4 CBAM 结构Fig.4 CBAM structure

CBAM 由通道注意力模块（Channel Attention Module，CAM）和空间注意力模块（Spatial Attention Module，SAM）组成。CAM 旨在对输入的通道维度进行注意力权重计算，将注意力集中在重要的通道上，而非全局通道平均输入到下一层网络中。SAM 通过对输入的空间维度进行注意力权重计算，将注意力集中在重要的空间区域上。井下图像由于光照条件差，图像中边缘信息较弱，导致图像细节信息丢失和整体画面模糊。CBAM 注意力机制可通过CAM 和SAM 自适应地提升重要特征的权重，使模型能够更好地感知和强调图像中的细节信息，从而提高图像的可见度和清晰度。

2.4 LDM

LDM 输入部分为上一层网络结构剥离非均匀光照层E之后的三通道图像，输出结果为物体反射层R和低照度场景下的均匀光照层Il。LDM 中BasicBlock结构参考Resnet18[16]，如图5 所示。

图5 BasicBlock 结构Fig.5 BasicBlock structure

LDM 中Conv1 和Conv2 卷积核大小分别为5×5和3×3，通道数分别为8 和3，Stride 均为1，padding分别为2 和1，均以ReLU 为激活函数。

2.5 损失函数

本文使用的损失函数L主要包括NLSM 损失Lnlsm、LDM 损失Lldm和IEM 损失Liem3 个部分。

NLSM 主要功能在于剥离图像中存在的非均匀光照，因此，非均匀光照剥离前后图像整体结构损失应尽可能小且图像损失函数应对异常值具备一定鲁棒性。

式中：Lssim为结构相似性（Structural Similarity，SSIM）损失函数[18]；λe为超参数，取0.001；Le为非均匀光照剥离损失函数，计算方法与Retinex-Net 中不变反射率[15]一致。

3 实验及结果分析

3.1 实验条件

为验证本文算法的有效性，使用Pytorch 框架实现算法。配置环境：Ubuntu22.04 操作系统，32 GiB内存，CPU 为Intel（R）i7-10700F，GPU 为NVIDIA GTX 2080TI×2。网络训练采用分阶段策略，首先训练NLSM，然后训练LDM，最后训练IEM。训练批次大小为16，迭代轮次为300，初始化学习率为0.001，使用Adam 优化器自适应调整学习率。数据集为CUMT-CMUID 图像和自采井下图像，共计1 100 张图像，选取其中800 张作为训练和测试，其他300 张作为验证集，并对训练和测试数据进行k折交叉验证。

3.2 增强效果定性对比分析

为验证本文算法在非均匀光照场景下的有效性和在正常亮度环境下的鲁棒性，选取MBLLEN[18]，RUAS[19]，zeroDCE[20]，zeroDCE++[21]，Retinex-Net[15]，KinD++[22]及本文算法对多种场景（场景1 为井下运输环境、场景2 为单光源巷道、场景3 为多光源巷道、场景4 为矿石）图像进行增强处理及定性分析。井下场景中存在1 种或多种光源提供照明。

各算法增强结果如图6 所示。可看出MBLLEN算法在灯光照射区域易产生局部亮度过度增强，导致该区域整体偏白；对环境中光线变化不敏感，人员反光带出模糊现象（如场景2）。RUAS 算法在灯光照射区域会被增强为白色团块从而丢失原有图像信息，且当环境中灯光存在一定色差时，RUAS 算法会偏向于增强色差，丢失物体原有色彩信息，如场景4 中显示整体矿石色彩偏紫。zeroDCE 算法在图像色彩还原和控制局部过曝区域方面效果显著，但相比其他模型，zeroDCE 算法在提升整体画面亮度和暗部细节方面效果最弱。zeroDCE++算法光线边缘信息保留充分，相较于zeroDCE 算法画面清晰度有所提升，但在人工光源区域产生了物体纹理和物体色彩丢失现象，如场景4 中红色放大区域光线照射出岩壁纹理丢失和场景2 中反光带间隙缺失。Retinex-Net 算法增强图像整体色彩对比度过高、画面色彩与实际物体信息灯光色彩之间存在较大差异，且人工光源区域周围出现环形波纹及晕染现象，导致画面局部模糊。KinD++算法画面整体亮度增强程度适中，但在局部人工光源与Retinex-Net 算法近似，同样存在着晕染和模糊现象。本文算法能够避免人工光源区域的过度增强，未在光源区域产生晕染和模糊现象，不易产生色偏，对比度适中，画面视觉效果更真实。

图6 不同算法增强结果及局部放大图Fig.6 Enhancement results and local enlarged images of different algorithms

3.3 增强效果定量对比分析

采用图像信息熵（Information Entropy，IE）、平均梯度（Average Gradient，AG）、标准差（Standard Deviation，SD）、自然图像质量评价指标[23]（Naturalness Image Quality Evaluator，NIQE）、SSIM 和峰值信噪比[24]（Peak Signal-to-Noise Ratio，PSNR）作为评价指标，定量比较图像增强画面质量。IE 代表图像中包含有效信息的多少；AG 体现了图像中边缘细节的变化速率，一定范围内AG 越大，图像越清晰；SD 反映了图像对比度的大小；NIQE 更能准确反映图像质量与人眼感官之间的联系；SSIM 用来评估画面亮度、对比度和结构3 个方面的相似性；PSNR 是衡量图像噪声和有效信息之间关系的客观指标。上述指标除NIQE 外，数值越大，对应图像质量越好。选取上述4 种不同场景的图像作为算法输入，各算法在图像上的评价指标结果见表1。

表1 不同算法评价指标结果Table 1 Evaluation index results of different algorithms

上述场景1-4 图像数量占比分别为24.75%，27.75%，22.5%，25%。本文对4 个场景所有图像进行定量分析，结合场景占比与表1 数据可看出，本文算法与MBLLEN，RUAS，zeroDCE，zeroDCE++，RetinexNet，KinD++相比在IE 上分别提升了5.87%，32.68%，21.41%，19.49%，9.39%，14.64%，在AG 上分别提升了15.67%，32.39%，6.96%，3.94%，-21.99%，-16.46%，在SD 上分别提升了5.59%，-8.28%，6.70%，-1.96%，15.35%，4.22%，在NIQE 上分别降低了20.69%，19.56%，9.85%，10.84%，16.20%，12.52%，在SSIM 上分别提升了11.75%，-23.41%，-3.51%，6.05%，158.78%，5.10%，在PSNR 上分别提升了20.54%，5.54%，-2.24%，0.49%，26.85%，2.22%。因此，从NIQE 指标可看出，本文算法整体优于其他算法；在其他评价指标上，本文算法在多种场景下也处于相对领先地位。

3.4 消融实验

为进一步验证本文算法的有效性和稳定性，设计了消融实验，结果见表2。其中算法1 为Retinex-Net，算法2 在算法1 基础上引入Resnet，算法3 为算法2 加入CBAM，本文算法为算法3 加入NLSM。

表2 消融实验Table 2 Ablation experiment

由表2 可知，与原始Retinex-Net 结构相比，本文算法在改进后，IE，SD，NIQE，SSIM，PSNR 等指标整体得到提升，效果更优。在AG 指标上，原始算法的值过高，这与画面整体色彩异常有关。本文算法在NIQE，SSIM，PSNR 这3 个评价指标上均获得了最优结果。

4 结论

1）针对矿井井下图像的特点，提出了一种非均匀照度图像增强算法。该算法通过NLSM 可有效估计出图像中人工光源区域，并实现了对该区域非均匀光照层的去除。在Retinex-Net 网络结构基础上，分别引入了Resnet 和CBAM 注意力机制，增强了网络对图像光照层的特征学习能力。

2）在多种场景下采用MBLLEN，RUAS，zeroDCE，zeroDCE++，Retinex-Net，KinD++及非均匀照度图像增强算法对图像进行增强处理及定性分析，结果表明：非均匀照度图像增强算法能够避免人工光源区域的过度增强，未在光源区域产生晕染和模糊现象，不易产生色偏，对比度适中，画面视觉效果更真实。

3）实验选取IE，AG，SD，NIQE，SSIM，PSNR 作为评价指标，定量比较图像增强画面质量。结果表明，非均匀照度图像增强算法在IE，SD，NIQE，SSIM，PSNR 等指标上优于其他对比算法。

4）消融实验结果表明，非均匀照度图像增强算法在NIQE，SSIM，PSNR 这3 个评价指标上均获得了最优结果。