基于幂律变换的MSRCR矿井图像增强算法

洪 炎,潘瑞贤,苏静明,庞 荣,许万秋,韦宇豪

(安徽理工大学电气与信息工程学院,安徽 淮南 232001)

随着5G智慧矿山的不断发展,在矿业生产过程中,图像技术发挥着越来越重要的作用[1]。由于光线不足、光照不均等问题,矿井内部存在很多难以观察的情况,这就需要对矿井下图像进行增强,使图像更加清晰,以便进行目标检测和识别。

针对矿井下亮度不足、光照不均现象,学者们提出了一些算法,如直方图均衡化[2]、小波变换[3]、双边滤波[4]、Retinex算法[5]等。其中,直方图均衡化是一种常用的低照度图像增强方法,它可以使图像的灰度值分布更加均匀,从而提高图像的对比度和亮度。其基本思想是,将图像中的灰度值分布映射到整个灰度级范围内,使亮度分布更加均匀,主要有自适应直方图均衡化(Adaptive Histgram Equalization,AHE)算法和限制对比度自适应直方图均衡化(Contrast Limited Adaptive Histogram Equalization,CLAHE)算法。Retinex是一种经典的图像增强算法,该算法基于人类视觉系统对物体的亮度、反射率和阴影的分离处理,可以对图像的亮度、颜色和对比度进行增强。Retinex算法主要分为单尺度Retinex (Single Scale Retinex,SSR)和多尺度Retinex (Multi-Scale Retinex,MSR)两种。SSR只考虑了图像的全局光照变化,而MSR[6]则在SSR的基础上引入了多个高斯滤波器,用于提取图像在不同尺度上的细节信息,可以更好地处理不同区域的光照变化。在MSR算法中,通过对不同尺度下的Retinex结果加权平均,得到最终的图像结果。MSR算法还有一个变种叫Multi-Scale Retinex with Color Restoration(MSRCR)[7],它在MSR的基础上增加了颜色恢复的步骤,以保留原图像中的颜色信息。在这些算法的基础上,文献[8]提出了一种基于HSV色彩空间的低照度图像增强算法,可以解决低照度图像色彩偏暗、整体亮度较低、光照不均等问题,但对亮度抑制和失真方面处理得不够细致;文献[9]在引导滤波的基础上提出了一种加权引导滤波(WGIF)算法,然而矿井图像大多表现出低照度特性,WGIF中基于图像局部方差的权重估计对于低照度图像的边缘增强效果并不明显;文献[10]结合同态滤波算法与CLAHE算法,增强了图像边缘细节信息,但对于图像的亮区域细节并没有增强 。

目前,图像增强作为计算机视觉领域的重要研究方向,虽然取得了重大进展,但仍存在一些关键问题亟待解决。首先,图像增强方法的主观性导致了评价标准的模糊性,需要寻找客观评估指标以确保算法性能的一致性。其次,许多方法在特定数据集上表现优异,但在不同领域或分布下的泛化性能仍有待提高,这涉及到算法的通用性设计。最后,算法复杂度与处理效率之间的平衡也是一个挑战,特别是在实时应用或大规模数据处理时。在涉及图像处理问题时,虽然传统方法在过去几十年中发挥了重要作用,为各种应用领域提供了可靠的解决方案。但是,近年来,随着深度学习技术的迅速崛起,图像处理领域也面临着深刻的变革。尽管深度学习方法在许多图像处理任务上取得了卓越的表现,但传统图像处理方法在某些情况下仍然具有不可忽视的优势。

本文以矿井下图像为研究对象,提出了Plt-MSRCR算法,主要对提取出的亮度分量进行处理,以实现对光照过低、光照较低和光照不均情况下的图像增强。这种方式通常只需要较少的数据量,就能达到在数据有限的情况下表现出色,而深度学习方法则通常需要大量的数据来训练其复杂的神经网络模型。

1 相关理论

1.1 MSRCR理论

MSRCR是一种图像增强方法,它使用多尺度分解来处理图像,并使用反射变换来增强图像的对比度。基本原理是利用多个尺度上的图像信息,通过对每个尺度的图像进行反射变换来增强对比度,将增强后的图像进行合并得到最终的增强图像。

MSRCR方法分为多尺度分解、反射变换、归一化和增强合成。其中,MSRCR的归一化原理是为了解决Retinex增强中可能出现的像素值越界问题。由于Retinex增强算法是在对数域中进行的,因此它可能会将某些像素值映射到负数或大于1的范围内。为了解决这个问题,MSRCR在Retinex增强后应用归一化函数缩放像素值范围,将其限制在0～1。常见的归一化函数包括简单线性拉伸、百分比截断等方法。

1.2 幂律变换理论

幂律变换[11]是一种非线性图像增强方法,可以改变图像像素值分布,以便突出显示图像中的细节和特征。它基于一个简单的数学原理,将原始像素值通过指数函数映射到一个新的像素值域,以改变原始像素值的分布形状。其关系式如下

(1)

式中,Iin和Iout分别表示输入和输出图像,γ为幂律变换的指数。当γ>1时,输出图像的像素值更加集中,细节更加突出;当0<γ<1时,输出图像的像素值更加分散,细节更加平滑;当γ=1时,幂律变换将不起任何作用。幂律变换的基本思想是通过调整幂律系数γ来改变图像像素值的分布形状,从而提高图像的视觉效果和信息传输效率。

2 算法设计

针对低照度情况下图像亮度不均匀或整体亮度不足,本文提出了一种幂律变换改进MSRCR图像增强算法,具体流程如图1所示。

图1 所提算法流程图

1)对图像进行自适应直方图均衡化处理,减少噪声的干扰,对图像进行初步增强。

基于ES 的校内全文搜索引擎平台在校园网域内运行稳定，成功解决了校内数字资源无法精准和快速的定位的问题，同时也满足了校内用户的搜索需求。本文的下一步工作是在搜索引擎的基础上，增加用户搜索热词的功能，全校园网域特定时间段内对特定数据的需求量，并动态更新检索结果的相关度权重排序，进一步提升校内用户的搜索体验。

2)将RGB三分量转换为HSV[12]三分量,HSV颜色空间更符合人类视觉系统的感知方式,也更方便进行颜色处理和分析。低照度图像处理需要提高亮度,而亮度信息储存在亮度分量V中。

3)对亮度分量进行OTSU分割,分为低灰度等级VL和高灰度等级VH。

4)对分割出来的VL进行局部自适应图像均衡化处理,拉伸VL的灰度等级,但拉伸的部分中局部灰度过大,导致拉伸后的VLnew与VH合并后的最终图像出现局部失真和亮度不均匀的现象。

5)为了解决4)中失真和亮度不均匀现象,对VH进行阈值分割(阈值分割的阈值选取为VLnew的最大灰度值),分为VHL和VHH,对VHL进行Plt-MSRCR算法处理,输出改进的VHLnew,将改进的VHnew和VLnew合并得到改进后的Vnew。图2为初始V分量和增强后V分量图,图2(a)是初始V分量,图2(b)是增强后V分量。

(a)V(b)Vnew

6)较低的色彩饱和度值会造成图像的色彩暗淡,逼真度较差,不符合主观视觉感受,所以对S分量进行伽马校正[13]得到Snew,为了保持图像的色调,对H分量不作处理,最后将H、Snew、Vnew合并重新组成新的HSVnew。

7)将HSVnew还原成RGB结果图像,得到最终图像如图3所示。

(a)原图(b)失真图像(c)增强后图像

MSRCR是一种常用的图像增强技术,它可以增强图像的细节和对比度,同时保留图像的边缘信息。其原理是,首先将图像分解成不同尺度的图像,然后通过局部对比度调整和增强,最后再进行重构得到增强后的图像。其中归一化公式用于实现强度映射,通过对Retinex分量进行归一化来缩放图像的强度范围,从而实现对图像整体对比度和亮度的调整,关系式如下

(Hclip-Lclip)+Lclip

(2)

式中,Iout为输出图像,Iretinex为MSRCR算法得到的增强后的图像,Lclip和Hclip分别表示灰度等级的下限和上限。

将幂律变换式(1)融入MSRCR归一化式(2),得到改进的MSRCR算法如下

(3)

式中,β为增强因子,用于调节输出图像的亮度级范围,其表达式如下

(4)

3 实验数据及结果对比评价

为了检验所提算法的处理效果,选取3种情况下的矿井图片进行测试,分别为光照过低、光照较低和光照不均情况。图4为3种情况下对应的直方图,由图4(a)可知,光照过低的直方图像素值基本上都在60以下;由图4(b)可知,光照较低的直方图像素值在110以下;由图4(c)可知,光照不均的图像同时存在过暗与过亮区域,其对应的直方图呈双峰状态。

(a)光照过低(b)光照较低(c)光照不均

选取4种对比算法,分别为SSR算法、CLAHE算法、改进小波亮度融合的低照度图像增强算法[14]62-65和基于HSV空间改进融合Retinex算法[15]532-536,并从主观和客观角度对增强图像的效果进行评价。

3.1 主观评价

对比结果如图5～图7所示,4种对比算法与本文算法都得到了较好的增强。文献[14]62所提算法整体亮度提升效果较好,增强了边缘信息和细节信息,光照过低时该算法只对亮度进行了局部增强(见图5),整体增强不明显;光照较低时该算法增强效果较好,细节和边缘信息得到了提升,但是色彩饱和度不够(见图6);光照不均时该算法对细节信息增强不够明显(见图7)。文献[15]534的算法对图像的整体亮度提升不明显,但是能够很好地保留图像的细节信息和颜色信息,局部及近景的亮度也一定程度地得到了提升。SSR和CLAHE算法在图5和图7中显示整体亮度提升不算突出,只实现了局部亮度的提升,增强效果不佳,但是在图6中整体提升较为明显。相对于SSR算法,CLAHE算法对图像的整体亮度提升较好,也能很好地提高图像的对比度,让物体细节更加清晰。由图5～图7可知,本文的算法因为对饱和度分量进行了校正处理,所以色彩更加饱满,更接近于原图的逼真度;由于对低亮度区域进行分割后的单独处理,所以整体亮度都得到了很好的提升,同时对拉伸的亮度也进行了一定的限制,使得增强后的图像不会出现失真等问题,其整体的增强效果相较于其他几种方式适应度更好,视觉效果更佳。

(a)原图(b)SSR(c)CLAHE

(a)原图(b)SSR(c)CLAHE

(a)原图(b)SSR(c)CLAHE

图8为光照过低、光照较低和光照不均下原图与本文算法处理后的图像的曲面对比图。曲面图x轴为图像的宽,y轴为图像的高,z轴代表0～250的灰度值,图像颜色越深代表亮度越暗,图像颜色越浅代表亮度越亮。由图8可知,原图在整体或者局部都有颜色较深的区域,代表图像的亮度不足,所提算法对图像处理后曲面图整体的颜色由深变浅,说明图像的亮度得到了增强,但每种情况的增强效果不同,光照过低和光照较低下图像亮度提升更加明显,增强效果更好。

(a)光照过低原图像曲面图(b)光照较低原图像曲面图(c)光照不均原图像曲面图

实验结果表明,本文所提出的算法与SSR、CLAHE、文献[14]62-65和文献[15]532-536的算法相比,整体亮度都得到了增强,解决了光照过低、光照较低和光照不均的问题,整体视觉效果好,增强结果符合主观视觉感受。

3.2 客观评价

本研究选取了3个客观评价指标对图像进行质量评价,分别为信息熵[16]、平均梯度[17]和标准差[18]。信息熵反映了图像的信息量,平均梯度反映图像对微小细节反差表达的能力,标准差表示图像像素值的变化程度,3个指标越大说明图像的质量越好。验证过程以原图、SSR算法、CLAHE算法、文献[14]62-65、文献[15]532-536和本文的Plt-MSRCR算法分别对3种情况下的图像进行信息熵、梯度均值和标准差测定。3种客观评价指标测定结果如表1～表3所示。

表1 信息熵

表2 平均梯度

表3 标准差

不同算法评价指标的平均值变化如图9所示。由图9可知,经所提出的算法处理后的低照度图像,其信息熵相对于原图平均值由6.08提升到7.31,说明图像的信息变得更加丰富、结构相似性更大;梯度均值相对于原图平均值由40.54提升到100.27,说明图像对微小细节反差表达的能力增强,图像的清晰度提高;标准差相对于原图平均值由38.38提升到45.22,说明图像细节和边缘得到了更好的提升,对比度得到了增强。以上结果说明所提算法处理效果好、可靠性高,能够有效地解决矿井下图像亮度不足和光照不均的问题,对暗区域亮度增强的同时保证了亮区域的均匀性和图像的清晰度。

图9 不同算法评价指标的平均值变化

4 结论与展望

本文针对矿井下低照度图像提出了一种幂律变换改进MSRCR图像增强算法,通过对不同照度的矿井图像进行处理,结果表明,本文所提算法可自适应增强矿井图像的局部和整体亮度,并更好地保留了图像的细节和结构相似性,证明了此算法的有效性。通过主观评价和客观评价进一步验证了所提算法性能优于其他算法。

幂律变换通过改变像素值的幂次,可以增加图像的动态范围,结合MSRCR可以进一步提高图像的对比度,使得细节更加突出,有助于提升图像的视觉感知。 MSRCR方法擅长于恢复图像中的光照信息,特别是在受到强烈光照变化或阴影影响的情况下,通过与幂律变换结合,可以更好地控制和增强图像的光照信息,使图像更加自然和清晰。

以上图像增强的研究取得了不错的实验效果,但在一些方面仍存在缺陷,比如在处理复杂背景、噪声或遮挡情况下表现不佳,难以处理大规模数据集。后期可以将本文的算法与深度学习进行结合,作为深度学习方法的前处理步骤,用于提高深度神经网络在图像识别、分割等,也可以将这种算法扩展到多模态数据(如多光谱图像、红外图像等)的增强上,或进一步拓展应用领域,如遥感、农业等领域。