基于多尺度局部直方图均衡化的矿井图像增强方法

涂毅晗 汪普庆

摘要：針对当前常用的直方图均衡化、基于Retinex理论、基于同态滤波、基于小波分析等矿井图像增强方法存在欠增强、过增强等问题，提出了一种基于多尺度局部直方图均衡化的矿井图像增强方法。根据 HSI颜色空间图像的颜色分量（色调分量、饱和度分量）与亮度分量相互独立特性，将矿井低照度 RGB 图像转换到 HSI 颜色空间；采用双边滤波将亮度分量分解为光照图像和反射图像；对光照图像进行小、中、大3个尺度分块，对图像块分别进行局部直方图均衡化处理，以提升图像亮度和对比度；对反射图像进行8方向梯度增强，以丰富图像的纹理边缘；将经多尺度局部直方图均衡化的光照图像和方向梯度增强的反射图像进行Retinex反变换，得到增强的亮度分量，将其与色调分量和饱和度分量转换至 RGB颜色空间，得到增强的矿井图像。采用煤矿井下实际监控图像对基于多尺度局部直方图均衡化的矿井图像增强方法进行实验验证，对其增强效果进行主客观评价。结果表明：该方法与现有图像增强方法相比，在图像亮度和对比度方面均有更大的提升，细节信息更丰富，信息熵提升7.23%以上，平均梯度均值提升31.6%以上，具有更好的图像增强效果。

关键词：矿井监控图像；低照度图像；图像增强；双边滤波；局部直方图均衡化；方向梯度算子中图分类号： TD67    文献标志码： A

Mine image enhancement method based on multi-scale local histogram equalization

TU Yihan， WANG Puqing

（School of Software and Blockchain， Jiangxi University of Applied Science， Nanchang 330100， China）

Abstract： There are problems of under-enhancement and over-enhancement in commonly mine image enhancement methods such as histogram equalization， Retinex theory， homomorphic filtering， wavelet analysis， etc. In order to solve the above problems， a mine image enhancement method based on multi-scale local histogram equalization is proposed. According to the independent features of color components （hue component and saturation component） and brightness component of image in HSI color space， the low-light RGB mine image is converted into the HSI color space. The method uses bilateral filtering to decompose the brightness component into lighted images and reflected images. The method divides the lighting image into small， medium， and large blocks， and performs local histogram equalization on each image block to improve image brightness and contrast. The method performs 8-direction gradient enhancement on the reflected image to enrich the texture edges of the image. The method performs Retinex inverse transformation on the light image after multi-scale local histogram equalization and reflection image after directional gradient enhancement to obtain the enhanced brightness component. Then the brightness， hue and saturation components are transformed into RGB color space to obtain an enhanced mine image. Experimental verification of the mine image enhancement method based on multi-scale local histogram equalization is conducted by using actual monitoring images of coal mines. The enhancementeffect is evaluated subjectively and objectively. The results show that compared with existing image enhancement methods， this method has a greater improvement in image brightness and contrast with richer detail information. The information entropy has increased by over 7.23%， and the mean average gradient has increased by over 31.6%. It has better image enhancement effects.

Key words： mine monitoring images; low-light images; image enhancement; bilateral filtering; local histogram equalization; directional gradient operator

0 引言

矿井环境中依靠人工照明，监控图像亮度和对比度往往均较低，部分图像亮度分布不均，近光源处较亮，远光源处较暗。因此，矿井图像增强对实现矿井智能视频监控非常重要[1]。当前常用的矿井图像增强方法主要有直方图均衡化[2]、基于Retinex理论方法[3]、基于同态滤波方法[4]、基于小波分析方法[5] 等。直方图均衡化往往导致局部图像欠增强和过增强问题。对此，S. F. Tan等[6]对图像直方图进行阈值分割，再分别进行直方图均衡化处理；D. Singh 等[7] 提出双平台直方图均衡化方法，在进行直方图均衡化之前，以阈值调整频次较小和较大的灰度級，具有较好的鲁棒性，但会产生部分颜色失真。在基于Retinex理论方法方面，Guo Xiaojie 等[8]采用三通道的最大值对光照图像进行估计，然后采用结构先验对估计值进行优化，以增强图像亮度和对比度，但效果仍有待提升；李晓宇等[9]针对Retinex算法存在的色彩失真和光晕模糊问题，采用自适应快速引导滤波将图像分解为照度分量和反射分量，采用 Sigmoid 函数对照度分量进行均衡化，对反射分量进行非线性拉伸，但在亮区产生过增强问题[10]。基于同态滤波方法对暗区的亮度提升不够，且图像细节容易丢失。对此，邵小强等[11]将经同态高通滤波和同态低通滤波的矿井图像加权融合，并采用对比度受限的直方图均衡化校正图像亮度。龚云等[12]针对同态滤波涉及参数较多、难以适用于不同矿井图像的问题，提出基于单一参数同态滤波的井下图像增强方法，对图像的亮度分量进行自适应 Gamma校正，提高同态滤波对高光区和阴影区的适用性。基于小波分析方法具有多分辨率分析能力，但对边缘保持和细节增强缺乏鲁棒性。对此，唐守锋等[13]将小波变换与基于多尺度引导滤波的Retinex算法结合，对图像的高频分量进行小波阈值去噪，对低频分量进行非线性校正以提升亮度。

为了在有效提升矿井图像亮度和对比度的同时，避免图像欠增强和过增强，本文在上述研究基础上，提出了基于多尺度局部直方图均衡化的矿井图像增强方法：将矿井低照度图像由 RGB 颜色空间转换到 HSI 颜色空间，采用双边滤波将亮度分量分解为光照图像和反射图像，对光照图像进行多尺度分块并分别进行局部直方图均衡化，对反射图像进行方向梯度增强。实验结果验证了该方法的有效性和实用性。

1 矿井图像增强方法

基于多尺度局部直方图均衡化的矿井图像增强流程如图1所示。将矿井低照度 RGB 图像转换到 HSI 颜色空间，得到色调分量、饱和度分量和亮度分量；采用双边滤波对亮度分量进行Retinex分解，得到光照图像和反射图像；对光照图像进行多尺度划分，并对划分出的各图像块分别进行直方图均衡化；采用方向梯度算子对反射图像进行边缘提取，并将提取到的边缘图像与反射图像融合；将增强后的光照图像和反射图像进行Retinex反变换，得到增强后的亮度分量，并将其联合色调分量和饱和度分量转换至 RGB 颜色空间，生成最终的增强图像。

1.1 颜色空间转换与Retinex分解

HSI 颜色空间中的亮度分量与色彩信息（色调分量和饱和度分量）相互独立，对亮度分量的处理不会影响颜色成分，因此将矿井 RGB 图像转换至 HSI 颜色空间更适于图像处理[14]。二者转换公式为[15]

式中：I，S，H 分别为 HSI 颜色空间的亮度、饱和度、色调分量；R，G，B 分别为 RGB 颜色空间的红、绿、蓝三原色分量。

Retinex理论认为，图像颜色不受光照条件的影响，而取决于物体对光照的反射特性，因此，可将图像看作是光照与物体对光照的反射相互作用的结果[16]，即

式中：L 为光照图像； F 为反射图像。

为了简化计算和方便提取反射图像 F，将式（5）转换到对数域，即

光照图像 L 可用滤波器f进行估计：

对式（6）进行恒等变换，得到反射图像：

传统的Retinex算法采用高斯滤波估计光照图像，但高斯滤波的各向同性难以表示图像的边缘信息。双边滤波能自动识别图像的平滑区域和细节区域，能更有效地保持图像的纹理边缘信息，使后续的图像增强效果更优。令gi为亮度分量图像中像素i的灰度，Ni（d）为以像素i为中心、大小为 d×d 的邻域，则双边滤波定义为[17]

式中 W（i，j）为加权系数，由基于空间邻近测度的权值和基于像素相似测度的权值组成。

式中：Di，j 为像素i和像素 j 的空间距离；σd，σr 分别为邻域像素在空间距离上的标准差和在灰度上的标准差。

高斯滤波与双边滤波效果对比如图2所示。可看出高斯滤波能平滑图像的边缘，而双边滤波能自动识别平滑区域和细节区域，实现平滑区域平滑处理和细节区域边缘保持的双重目标。

1.2 多尺度局部直方图均衡化

直接对图像进行直方图均衡化会合并部分频次较小的灰度级，而过度放大频次较大的灰度级，导致图像欠增强和过增强现象[18]。因此，提出多尺度局部直方图均衡化方法，对光照图像进行22k（k 为分解尺度）等分，然后分别进行直方图均衡化。参考文献[19]中多尺度小波分解思想，采用小、中、大3个尺度对图像进行划分，即 k=2，1，0，分别代表小、中、大尺度。这3个尺度足以表达图像的局部与全局特征，尺度过多，对增强效果的提升很微小，但会指数级地增加计算复杂度，尺度过少则不足以表达图像的细微特征。

假设光照图像为 n 位图像，共有2n 个灰度级，多尺度局部直方图均衡化方法步骤如下。

1）对光照图像 L 进行24等分，得到图像块 L1t（t=1，2，…，24），对 L1t 进行直方图均衡化。

获取图像块 L1t 的直方图：

式中 sum（L1t ＝r）为统计图像块 L1t 中灰度级为 r 的像素频次。

对直方图 h1t 进行归一化和均衡化：

式中：h1（′）t为 L1t 的直方图归一化结果；s1t 为 L1t 的直方图均衡化结果。

根据 s1t 进行灰度级映射，得到增强图像块：

式中 round（·）为四舍五入取整函数。

2）将上述增强的光照图像进行22等分，得到图像块 L2t（t=1，2，3，4），对 L2t 进行直方图均衡化。

获取图像块 L2t 的直方图：

对直方图 h2t 进行归一化和均衡化，得

式中：h2（′）t為 L2t 的直方图归一化结果；s1t 为 L2t 的直方图均衡化结果。

根据 s2t 进行灰度级映射，得到增强图像块：

3）对上述局部直方图均衡化的光照图像进行全局直方图均衡化，得到多尺度局部直方图均衡化的增强光照图像 Le。

对图像进行上述逐尺度的直方图均衡化操作，能够保护频次较小的灰度级不被合并，且对其进行灰度级空间的拉伸，同时对频次较大的灰度级进行控制，避免产生过增强和噪声放大。

1.3 方向梯度增强

井下光照不足，导致图像照度低，且部分暗处的细节信息不能正常获取。为了进一步提升图像对比度，丰富图像的纹理细节，提出8方向梯度算子，如图3所示，可基本识别和表示图像中所有的纹理方向。

分别用8个方向的梯度算子提取反射图像 F 的方向梯度，然后求其均值梯度，并与反射图像 F 融合，得到细节增强的反射图像 Fe。

式中：?为卷积运算符号；Om 为方向梯度算子，m=1，2，…，8，分别代表0，45，90，135，180，225，270，315°方向。

将经多尺度局部直方图均衡化的光照图像 Le 和经方向梯度增强的反射图像 Fe 转换到对数域并进行Retinex反变换，得到增强的亮度分量Ie。

将Ie与色调分量 H、饱和度分量 S 转换至 RGB 颜色空间，得到增强矿井图像。

2 实验与结果分析

为了验证本文方法的有效性和实用性，采用本文方法对矿井图像进行增强，并与文献[6]、文献[8]、文献[12]和文献[13]方法进行对比。实验硬件为 Intel（R）Core（TM）i9?10900 CPU 和16 GiB 内存，软件为 Windows 10和Matlab 2021a。以煤矿井下实际监控图像（图4）为素材，根据增强图像的视觉效果（亮度、对比度和清晰度）进行主观评价，以信息熵[20]和平均梯度[21]为指标进行客观评价。

式中：e 为图像的信息熵；PJ 为像素取值为 J的概率； Ag 为图像的平均梯度；l1，l2分别为图像的高度和宽度；Ac，x，Ac，y分别为通道图像 c 在 x 方向（水平方向）和 y 方向（垂直方向）的梯度。

信息熵度量图像的有效信息量，信息熵越大，表示图像的细节信息越丰富；平均梯度度量图像的局部灰度变化，平均梯度越大，表示局部灰度变化越大，图像的对比度越高。

2.1 主观评价

不同方法对矿井低照度图像的增强效果如图5所示。可看出各方法均能在一定程度上改善矿井图像的视觉效果，提升图像的亮度、对比度和清晰度。文献[6]方法对直方图均衡化进行了改进，但经该方法增强的图像强光部分仍产生过增强现象，部分暗处的细节信息未能清晰显示。经文献[8]方法增强的图像亮度不足，隐藏于暗处的部分细节信息未正常显示，同时出现颜色失真，色彩偏淡。文献[12]方法的图像增强效果相对较好，图像保真度较高，但个别区域的光照分布依然不均。经文献[13]方法增强的图像亮度较暗，对比度稍低，部分细节出现轻微的模糊现象。而本文方法一方面借助 HSI 颜色空间的颜色信息与亮度分量的独立性来保持图像颜色信息不变，另一方面通过小、中、大3个尺度的局部直方图均衡化提升图像亮度和对比度，通过方向梯度增强图像细节信息，使得增强图像亮度充足，避免了过增强问题，且隐藏于暗处的图像信息得以正常显示，对比度较高，细节信息较丰富。

2.2 客观评价

经不同方法增强的矿井低照度图像信息熵和平均梯度分别见表1和表2。

从表1可看出，经不同方法增强的矿井图像的信息熵均有所提升。经文献[6]方法增强的图像信息熵稍低，与该方法产生过增强、破坏部分图像信息相对应。经文献[8]和文献[13]方法增强的图像信息熵大致相同，均因亮度不足限制了信息熵的提高。经文献[12]方法增强的图像信息熵相对较高，增强图像的细节信息较丰富。经本文方法增强的图像信息熵较其他方法高，其中较文献[12]方法高7.23%，验证了本文方法能显著提升图像的有效信息量。

从表2可知，经不同方法增强的矿井图像平均梯度均有所提高。其中经文献[13]方法增强的图像平均梯度提升最小，结合图5可知该方法的增强图像亮度不足，且图像存在模糊问题，因此对比度较低。经本文方法增强的图像平均梯度提升最大，平均梯度均值较其他方法高31.6%以上，验证了本文方法可显著提升图像对比度和清晰度。

3 结论

1）基于多尺度局部直方图均衡化的矿井图像增强方法充分利用 HSI 颜色空间中颜色分量与亮度分量相互独立的特性，将亮度分量分解为光照图像和反射图像，分别对其进行多尺度局部直方图均衡化和多方向的梯度增强。

2）实验结果表明，该方法可在避免图像欠增强和过增强的同时，有效提升图像的亮度和对比度，丰富图像的细节信息，较现有图像增强方法具有更优的增强效果。

参考文献（References）：

[1] 程德强，郑珍，姜海龙.一种煤矿井下图像增强算法[J].工矿自动化，2015，41（12）：31-34.

CHENG Deqiang，ZHENG Zhen，JIANG Hailong. An image  enhancement  algorithm  for  coal  mineunderground[J]. Industry and Mine Automation，2015，41（12）：31-34.

[2] CHENG Hong，LONG Wei，LI Yanan，et al. Two low illuminance image enhancement algorithms based on grey level mapping[J]. Multimedia Tools and Applications，2021，80（5）：1-24.

[3] GU Zhihao，LI Fang，FANG Faming，et al. A novel Retinex-based fractional-order variational model for images with severely low light[J]. IEEE Transactions on Image Processing，2019，29：3239-3253.

[4] YUGANDER P，TEJASWINI C H，MEENAKSHI J. MR image enhancement using adaptive weighted mean filtering and homomorphic filtering[J]. Procedia Computer Science，2020，167：677-685.

[5] 范凌云，梁修荣.基于小波分解子带直方图匹配的矿井视频图像增强方法[J].金属矿山，2016（6）：130-133.

FAN Lingyun，LIANG Xiurong. Mine video images enhancement method based on the histogram matching method of the sub-bands of wavelet transform[J]. Metal Mine，2016（6）：130-133.

[6] TAN S F，MAT ISA N A. Exposure based multi- histogram equalization contrast enhancement for non- uniform illumination images[J]. IEEE Access，2019，7：70842-70861.

[7] SINGH D，KUMAR S. Infrared image enhancement using differential evolution based on double plateau histogram equalization[J]. Soft Computing for Problem Solving，2021，1392：757-770.

[8] GUO Xiaojie，LI Yu，LING Haibin. LIME：low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing，2017，26（2）：982-993.

[9] 李曉宇，吕进来，郝晓丽.一种改进的Retinex矿井图像增强算法[J].科学技术与工程，2020，20（29）：12028-12034.

LI Xiaoyu，LYU Jinlai，HAO Xiaoli. An improved enhancement algorithm of mine image based on Retinex[J]. Science Technology and Engineering，2020，20（29）：12028-12034.

[10] GUO Yanhui，KE Xue，MA Jie，et al. A pipeline neural network for low-light image enhancement[J]. IEEE Access，2019，7：13737-13744.

[11] 邵小强，杨涛，卫晋阳，等.改进同态滤波的矿井监控视频图像增强算法[J].西安科技大学学报，2022，42（6）：1205-1213.

SHAO Xiaoqiang，YANG Tao，WEI Jinyang，et al. Image enhancement algorithm of mine surveillance video using improved homomorphic filtering[J]. Journalof Xi'an University of Science and Technology，2022，42（6）：1205-1213.

[12] 龚云，颉昕宇.一种改进同态滤波的井下图像增强算法[J/OL].煤炭科学技术：1-8[2023-01-03]. https：//doi. org/10.13199/j.cnki.cst.2021-0774. DOI：10.13199/j.cnki. cst.2021-0774.

GONG Yun， XIE Xinyu. A downhole image enhancement  algorithm  based  on  improved homomorphic filtering[J/OL]. Coal Science and Technology：1-8[2023-01-03]. https：//doi.org/10.13199/j. cnki.cst.2021-0774. DOI：10.13199/j.cnki.cst.2021-0774.

[13] 唐守锋，史可，仝光明，等.一种矿井低照度图像增强算法[J].工矿自动化，2021，47（10）：32-36.

TANG Shoufeng，SHI Ke，TONG Guangming，et al. A mine low illumination image enhancement algorithm[J]. Industry and Mine Automation，2021，47（10）：32-36.

[14] KAMIYAMA M，TAGUCHI A. HSI color space with same gamut of RGB color space[J]. IEICE Transactions on Fundamentals of Electronics，Communications and Computer Sciences，2017，E100-A（1）：341-344.

[15] KAMIYAMA M， TAGUCHI A. Color conversion formula with saturation correction from HSI color space to RGB color space[J]. IEICE Transactions on Fundamentals of Electronics ，Communications and Computer Sciences，2021，E104-A（7）：1000-1005.

[16] JOBSON D，RAHMAN Z，WOODELL G. Properties and performance of a center/surround retinex[J]. IEEE Transactions on Image Processing，1997，6（3）：451-462.

[17] CHEN Bohao， TSENG Y S，YIN Jiali. Gaussian- adaptive bilateral filter[J]. IEEE Signal Processing Letters，2020，27：1670-1674.

[18] KRISHNA G，ARUNITA D，SWARNAJIT R，et al. Histogram  equalization variants  as optimization problems： a review[J]. Archives of Computational Methods in Engineering，2021，28（3）：1471-1496.

[19] KAR M，RAVICHANDRAN G，ELANGOVAN P， et al. Analysis of diagnostic features from fundus image using multiscale wavelet decomposition[J]. ICIC Express Letters，2019，10（2）：175-184.

[20] CHEN Jiayi，ZHAN Yinwei，CAO Huiying. Adaptive sequentially weighted median filter for image highly corrupted by impulse noise[J]. IEEE Access，2019，7：158545-158556.

[21] 喬佳伟，贾运红. Retinex算法在煤矿井下图像增强的应用研究[J].煤炭技术，2022，41（3）：193-195.

QIAO Jiawei，JIA Yunhong. Research on application of Retinex algorithm in image enhancement in coal mine[J]. Coal Technology，2022，41（3）：193-195.