基于结构纹理分解的矿井图像增强方法

张红，索霆锋，宋婉莹

（西安科技大学 通信与信息工程学院，陕西 西安 710054）

0 引言

随着智能矿山的建设和发展，智能视觉识别技术已逐步应用到矿井工作的各个方面[1]。矿井存在光线不足、光线不均匀及粉尘等问题，严重影响智能视觉识别。因此，研究矿井图像增强方法变得尤为重要[2]。

Retinex 及其改进算法[3-5]是目前普遍用于矿井的图像增强方法。张立亚等[6]通过改进双边滤波并融合多尺度Retinex 算法，增强了图像亮度分量及饱和度分量，有效减少了图像的光晕伪影，但存在图像纹理细节模糊等问题。唐守锋等[7]提出了一种增强矿井低照度图像的方法，首先利用小波分解将图像分解为高频分量和低频分量，然后应用3 种阈值函数对高频分量进行去噪处理，对低频分量进行全局亮度校正并估计反射分量，最后通过离散小波反变换对图像的高频分量和低频分量进行小波重构，得到增强后的图像。该方法有效去除了图像的噪声，但小波分解会导致图像边缘模糊化，在图像分解重构过程中，可能会引入不自然振荡，影响图像的视觉效果。洪炎等[8]通过引入形态学变换算子Tophat改进加权引导滤波算子，使用改进加权引导滤波估计图像的光照分量，并对光照分量及饱和度分量做自适应伽马校正，将基于Retinex 理论得到的反射分量作为最终的亮度分量，解决了增强图像边缘模糊问题，但在图像灰度范围大时暗区域易出现伪影现象。龚云等[9]利用改进同态滤波方法对矿井图像进行增强，通过自适应伽马校正结合单参数同态滤波，有效缓解了同态滤波算法参数过多的问题，引入对比度受限的自适应直方图均衡化（Contrast Limited Adaptive Histogram Equalization，CLAHE）算法提高图像对比度，但CLAHE 算法在图像增强过程中易放大噪声，导致细节模糊，且产生的块效应会影响图像的视觉连续性。

针对现有矿井图像增强方法普遍存在图像纹理细节不清晰、视觉效果差的问题，本文提出了一种基于结构纹理分解的矿井图像增强方法，在提高图像亮度和对比度的同时，保证图像细节及图像边缘清晰，并减少噪声。首先，通过maxRGB 算法得到图像初始光照分量，并将初始光照分量划分为结构分量、纹理分量及噪声分量。然后，针对求解得到的结构纹理及噪声分量，基于Retinex 理论进行重构，得到光照分量和反射分量，进而得到初始增强后的亮度分量。最后，采用加权分布的自适应伽马校正（Adaptive Gamma Correction with Weight Distribution，AGCWD）算法进行亮度校正，避免图像过增强。

1 相关理论

Retinex 理论认为观测的图像可表示为光照分量和反射分量的乘积，去除图像外部光照的影响后，获得体现事物本身固有属性的反射分量，就能达到增强图像的目的。

式中：M为原始图像；R为反射分量；L为光照分量。

常见的估计图像光照分量的方法有传统滤波Retinex 方法及变分Retinex 方法。相比于传统滤波Retinex 方法，变分Retinex 方法得到的增强图像细节信息更丰富、质量更佳。变分Retinex 方法通过建立最小化目标函数将问题转化为最小二乘问题，依次求解得到光照分量L和反射分量R。原始优化目标函数为

式中：α，β 为正权重系数；∇为梯度算子。

式（2）中第1 项用来约束光照分量L与反射分量R的乘积和原始图像M之间的距离，第2 项和第3 项使用全变分形式（Total Variation，TV）来约束反射分量R和光照分量L。TV 可有效去除图像的高频噪声，但会损失反射分量R的细节纹理信息。

2 改进算法原理

为了避免增强图像的纹理细节模糊问题，减少光晕伪影，提高图像的视觉质量，本文提出了一种基于结构纹理分解的矿井图像增强算法，总体框架如图1 所示。

图1 基于结构纹理分解的矿井图像增强算法总体框架Fig.1 Overall framework of mine image enhancement algorithm based on structural texture decomposition

1）将原始图像M转换到HSV 空间，分别获得色调分量H、饱和度分量S、亮度分量V。利用maxRGB 算法估计原始图像M的初始光照分量。

3）重构得到光照分量L和反射分量R，基于Retinex 理论得到重构后的亮度分量Vj。

4）对重构后的亮度分量Vj进行AGCWD，得到增强后的亮度分量V0。AGCWD 算法通过引入截断标量来限制高亮度区域的累计分布函数值，以此限制高亮区域过曝光，改善图像质量。

5）将最终增强后的图像转换到RGB 颜色空间，得到增强图像O。

2.1 结构纹理分解

maxRGB 算法通过在RGB 颜色通道选择最大值进行像素混合，可保留图像的颜色信息和细节信息[10]。为使图像增强前后保持颜色信息一致，本文使用maxRGB 算法估计初始光照分量。

式中Mc为待增强的RGB 图像。

由于maxRGB 算法处理后得到的初始光照分量Lˆ包含较多细节信息，使用式（1）获得反射分量R时，纹理细节会在相除过程中被平滑，造成反射分量R细节模糊。故在此基础上，把初始光照分量进一步划分为结构分量Ls、纹理分量Lt及噪声分量N。

式中：Ps为结构先验信息；W为局部偏差函数；λ为正权重系数。

式（5）中第1 项是保真项，用于约束结构纹理及噪声信息与初始光照分量之间的距离。第2 项通过引入结构先验信息Ps约束结构分量的强度。第3 项通过构建局部偏差函数W作为约束纹理分量梯度信息的权重。第4 项约束噪声分量N的影响。

结构先验信息Ps通过加权引导滤波（Weight Guide Filter，WGIF）得到[11]，WGIF 继承了引导滤波的平滑性，且有较好的图像边缘保持能力。局部偏差函数W通过纹理分量Lt最大邻域差（Maximum Neighbor Difference，MND）与指数平均局部变分（Exponentiated Mean Local Variance，EMLV）[12]的比构建。

2.2 优化求解

将式（5）分解，按顺序依次优化求解结构分量Ls、纹理分量Lt和噪声分量N，求解步骤如图2所示。

图2 变分模型的求解步骤Fig.2 Solution steps of variational model

1）优化求解结构分量Ls。

对经过第i次迭代后的结构分量求偏导后置0 得

式中I为与初始光照分量大小一致的全1 矩阵，当（ω为收敛因子）时迭代完成，得到最终的结构分量。

2）优化求解纹理分量Lt。

对经过第i次迭代后的纹理分量求偏导后置0 得

式中D为具有前向差分的离散梯度算子，∇Lt=DLt。

从式（9）中可看出，当权重矩阵 |Wi|越小，纹理分量越大，即越有利于提取出图像的细节纹理。时迭代停止，得到纹理分量。

3）优化求解噪声分量N。

对经过第i次迭代后的噪声分量Ni求偏导后置0 得

根据上述提到的终止条件，得到更新完成的噪声分量Ni。

矿井图像的结构纹理分解如图3 所示，可看出结构分量Ls边缘清晰，纹理分量Lt有丰富的纹理细节，此外，噪声分量N中包含了图像的噪声信息。

2.3 分量重构

为了使反射分量R中包含更多纹理细节，并削弱噪声分量N对反射分量R的影响，利用Retinex 理论将纹理分量Lt去除，保证反射分量R中的纹理信息丰富。重构的光照分量L由结构分量Ls和纹理分量Lt组成，去除了初始光照分量的噪声信息，减少了噪声对光照分量L的影响。融合光照分量L和反射分量R，得到重构后的亮度分量Vj。

2.4 照度校正

经过以上变分重构得到的增强图像存在部分图像亮区域过增强。因此，需对得到的初始亮度分量Vj使用带有截断因子的AGCWD 算法进行光照校正。

首先计算校正指数 γ(Vj)，然后使用校正指数γ(Vj)对初始亮度分量Vj进行校正，得到最终增强后的亮度分量V0。

式中：τ为截断因子，τ=0.75；CDF（Vj）为累积分直方图函数（Cumulative Distribution Function,CDF）[13]；pdfw（Vj）为对原始灰度直方图pdf（Vj）进行指数加权归一化；pdfmax，pdfmin分别为重构后的亮度分量Vj灰度的最大值和最小值。

3 实验结果分析

本文实验平台为Windows 11，64 bit 操作系统，AMD Ryzen 75800H 处理器，16 GiB 内存，使用Matlab 2022b 软件进行仿真。

3.1 参数分析

在上述变分结构纹理分解的变分模型中，正权重系数 α，β，λ的相对大小决定了结构纹理及噪声分量的正则化强度。

为确定其合理值，参考文献[14-15]，并分析结构纹理分量之间的重要性占比，确定参数取值范围，α=0.5,α=0.05，β=0.7,β=0.07，λ=0.3,λ=0.03，即（α,β,λ）的参数组合共有8 种选择。

利用图像的视觉信息保证度指标（Visual Information Fidelity，VIF）[16]、信息熵（Entropy）及自然图像质量评价（Natural Image Quality Evaluator，NIQE）[17]作为衡量图像增强的标准，对变分模型进行评估。其中VIF 考虑了人眼感知系统的特性，通过建立与人眼感知相关的模型来评估图像的视觉质量。VIF 能够更好地捕捉和量化图像中视觉信息的保真度。VIF 的值越大，说明图像增强前后失真越小，图像的视觉质量越好[18]。Entropy 表示图像信息量的多少，Entropy 越大说明图像的融合效果越好，图像细节越丰富。NIQE 用来测量图像的视觉自然性，NIQE 的值越低，表明图像质量越好、越自然。

对在Flicker 网站收集的不同场景下低照度真实矿井下图像（图4）进行测试，并对VIF，Entropy，NIQE 3 种客观指标取平均。

图4 不同场景下的矿井低照度数据集Fig.4 Low lighting datasets for mines in different scenarios

α，β，λ的8 种组合在3 种客观指标下的平均值如图5 所示。当参数（α，β，λ）的取值为（0.5，0.07，0.3）时，3 个客观指标均能达到最佳。因此本文以α=0.5，β=0.07，λ=0.3 作为正则化参数，最佳正则化参数下矿井低照度图像增强结果如图6 所示，可看出图像增强后亮度更均衡，光晕伪影现象明显减弱，纹理细节增强效果明显。

图5 不同参数组合下的平均客观指标Fig.5 Average objective indicators under different parameter combinations

图6 矿井低照度图像增强结果Fig.6 Enhancement results of low lighting images in mines

3.2 算法验证

为进一步验证算法的有效性，对在西安科技大学煤炭中心实验室采集的矿井下不同场景图像进行实验验证，分别选取轨道、巷道、采矿工作面及运煤输送带4 种场景图像。与结构纹理感知Retinex（Structure and Texture Aware Retinex，STAR）算法[19]、联合内外先验（Joint intrinsic-extrinsic Prior，JieP）算法[20]、加权变分模型（Weighted Variational Model，WVM）[15]、半解耦分解（Semi-Decoupled Decomposition，SDD）算法[21]、带色彩恢复的多尺度Retinex（Multi-Scale Retinex with Color Restoration，MSRCR）算法[5]进行主客观比较。4 种场景下不同方法的增强结果如图7-图10 所示。可看出本文算法在保证图像边缘清晰的同时，极大改善了图像的视觉效果，STAR 算法、JieP 算法及WVM 对场景2、场景3 下图像暗处增强效果不明显，但WVM 改善了增强图像的边缘模糊问题，SDD 算法增强后的图像存在边缘模糊问题，MSRCR 算法则出现了颜色失真。

图7 场景1（采矿轨道）图像增强结果Fig.7 Enhancement results of image in scenario 1 (mining track)

图8 场景2（采矿巷道）图像增强结果Fig.8 Enhancement results of image in scenario 2 (mining roadway)

图9 场景3（采矿工作面）图像增强结果Fig.9 Enhancement results of image in scenario 3 (mining face)

图10 场景4（运煤输送带）图像增强结果Fig.10 Enhancement results of image in scenario 4 (coal conveyor belt)

场景1 下不同方法增强后的灰度直方图如图11所示，可看出本文算法增强后图像的灰度分布更加均衡，表明本文算法增强后的图像亮度分布均匀，对比度更高。

图11 场景1 下不同方法增强后的直方图Fig.11 Histograms enhanced by different methods in scenario 1

根据增强图像客观质量指标对这些方法进行定性和定量评价，评价结果见表1。

表1 不同算法的客观指标对比Table 1 Comparison of objective indicators of different algorithms

由表1 可看出，本文算法的NIQE 较STAR，JieP，WVM，SSD，MSRCR 分别下降了8.69%，29.05%，11.2%，29.53%，33.54%，说明增强后的图像视觉效果更加自然。本文算法的Entropy 较STAR，JieP，WVM，SSD，MSRCR 分别提高了3.20%，8.02%，4.07%，3.49%，22.68%，VIF 较STAR，JieP，WVM，SSD，MSRCR 分别提高了91.17%，117.86%，59.38%，48.78%，183.12%，说明增强前后图像的视觉质量有了显著提升，图像纹理细节也更加丰富，图像包含的信息更多。

不同算法在大小为881×660 的20 张图像上的平均运行时间见表2。可看出WVM 复杂度较高，MSRCR 算法处理的时间最短但增强效果最差，本文算法耗时较MSRCR 算法略长，但获得了更好的增强效果。

表2 平均运行时间Table 2 Average running times s

4 结论

1）针对矿井图像存在低照度，照度不均的问题，提出一种基于结构纹理分解的矿井图像增强方法。首先对图像采用maxRGB 算法提取原始图像的初始光照分量，保留图像亮度信息的同时，增强对比度。其次，构建变分优化目标函数，求得初始光照分量中的结构分量、纹理分量及噪声分量。然后，对初始光照分量进行加权引导滤波，再将其作为目标函数中约束结构分量的先验信息，保证了结构分量的边缘轮廓清晰。构建局部变化偏差函数并将其作为约束纹理分量的权重，得到了细节丰富的纹理分量。将迭代得到的结构、纹理及噪声分量进行Retinex 重构。最后引入改进AGCWD 算法来限制图像亮度过增强，改善了图像视觉效果。

2）实验结果表明，基于结构纹理分解的矿井图像增强算法对矿井低照度图像有较好的增强效果，能够提高图像的亮度和对比度，同时保持图像细节的丰富性及边缘纹理的清晰，有效地减少了增强过程中可能产生的光晕伪影和颜色失真问题。

3）相较于STAR，JieP，WVM，SDD 及MSRCR算法，基于结构纹理分解的矿井图像增强算法在客观指标NIQE 上分别下降了8.69%，29.05%，11.2%，29.53%，33.54%；Entropy 分别提高了3.20%，8.02%，4.07%，3.49%，22.68% ；VIF 分别提高了91.17%，117.86%，59.38%，48.78%，183.12%；客观指标均达到最佳，同时基于结构纹理分解的矿井图像增强算法的灰度直方图分布更加均衡。

4）基于结构纹理分解的矿井图像增强算法的平均运行时间仅长于MSRCR 算法，但得到了更好的图像增强效果。

5）后续研究将围绕优化目标函数进一步改进和优化，同时扩充矿井视频图像数据集，将图像增强算法应用到矿井目标检测、图像分割等智能视觉任务中。