基于灰度调节和直方图重构的图像增强

贾伟振，何秋生，卢 冉，梁慧慧

(太原科技大学 电子信息工程学院，太原 030024)

图像增强在提高数字图像的视觉质量方面起着重要作用，已广泛应用于安防监控、计算机视觉及模式识别等领域。导致图像质量低的因素很多，如光照环境不同(如光照过度、低光照和暗景)、采集图像仪器的性能和操作的专业性等。其中，光照环境对图像有着较为直接的影响。

目前，图像增强技术主要有基于像素的灰度变换法、基于人类颜色恒常性的Retinex算法、基于同态滤波的图像增强算法等算法。Rerinex算法是在对数域将乘性的照射分量与反射分量变为加性，然后估计并去除照射分量，得到反映图像本质的反射分量，最后进行对比度拉伸。如多尺度视网膜算法MSR(Multi-Scale Retinex)[1]在一定程度上增强图像对比度，但计算复杂度高，图像失真比较严重，而在该算法基础上改进算法，MSRCR(Multi-Scale Retinex with Color Restoration)[2-3]算法是将色彩恢复因子加入MSR，虽然有明显的增强效果，但仍存在失真问题，且图像对比度降低。同态滤波的增强算法[4]要求光照均匀，对于光照不均匀的图像增强效果不好，所以在实际中应用较少。基于像素的灰度变换法[5]是将图像原始灰度通过一定的数学关系进行映射，对图像进行拉伸变换，有伽马变换、对数变换、直方图均衡等。直方图均衡HE(Histogram Equalization)是最常用的图像增强算法之一，但是存在过度增强问题，且变换后的图像有些细节信息会丢失，因此针对直方图均衡做了许多研究。例如，有通过将直方图分割为几个子直方图来增强图像，有通过使用不同的阈值达到特定的效果，如增强图像信息熵，与原图亮度更加接近等。BBHE[6](Brightness Preserving Bi-Histogram Equalization)、DSIHE[7](Dualistic Sub-image Histogram Equalization)和MMBEBHE[8](Minimum Mean Brightness Error Bi-Histogram Equalization)三种算法就是最大程度保持原图像亮度，Singh et al.提出的ESIHE[9](Exposure based Sub Image Histogram Equalization)和MMSICHE(Median-Mean Based Sub-Image-Clipped Histogram Equalization)[10]是通过设置剪切点对图像直方图进行重构，达到图像增强，Khan et al.提出了SSDHE[11]和(Segment Selective Dynamic Histogram Equalization)SDDMHE[12](Segment Dependent Dynamic Multi-Histogram Equalization)是基于均值或中值将图像分为多个分段，采用不同策略对多个分段进行处理，最后合并得到增强后的直方图，他们实现了对图像的增强，但同时也增强了图像的噪声。自适应限制对比度直方图均衡CLAHE(Contrast Limited Adaptive Histogram Equalization)[13-14]是对图像进行分块，在每块内进行直方图重构来克服HE的过度增强问题，然而相比于HE，计算量较大。

Gamma变换是对图像进行非线性变换，有效的代表了人类视觉系统的特性，可以有效的改善暗图像，Huang et al.[15]提出将Gamma作为直方图累积分布函数的输入来改变直方图的权重分布，有效的增强了暗图像，Chang et al.[16]对CLAHE的裁剪峰值进行改进，并将Gamma作为局部直方图累积分布函数的输入引入到CLAHE算法中，增强了图像的整体对比度，但是对于极暗场景图像，他们并不能很好的调整图像的亮度。

针对上述图像增强算法容易造成颜色失真、对比度降低和亮度调节不佳的问题，研究了一种基于灰度调节和改进的Gamma校正直方图重构方法。首先，以灰度均值表示图像灰度水平，对图像灰度进行自适应调节，然后，对图像单通道进行处理，采用图像灰度直方图所有峰值的均值作为裁剪峰值对直方图进行重构，在重构过程中将累积分布函数作为Gamma函数的输入，而后对累积分布函数进行Gamma校正，得到增强的单通道图像，最后，通过三通道灰度值比例关系得到增强图像。

1 灰度调节

灰度图像表示图像明暗变化程度，在这里，采用灰度均值表示图像的灰度水平，对于灰度均值取值范围为[0，110)认为是低灰度图像，(140，255]认为是高灰度图像，[110，140]认为是正常水平灰度图像。

人类视觉系统可以近似为对数函数，因此将原始图像的灰度图像进行对数转换，求取图像在对数域下的灰度均值。

(1)

其中，ω是一个小常数，避免像素取值为零出现无穷，M是图像的行数，N是图像的列数，O(x，y) 是图像在实数域下每个像素的灰度值。

在朱德利等[17-19]提出的低照度调节方法中，只对低照度图像进行亮度调整，且调整后的图像整体偏暗，本文根据在对数域下当前值、平均值和最大值的关系，并引入比例调节系数构造调节函数，对不同灰度水平的图像进行灰度调节，用下式表示：

(2)

其中，δ是一个小常数，避免像素取值为零出现无穷，C0(x,y)是像素点(x,y)调节后的灰度值，Cm(x，y)是调节前的灰度值，m是灰度图像的最大值，P由式(4)表示，K为比例调节系数。定义预增强图像的增强系数E(x，y)=C0(x，y)/Cm(x，y)，然后在实数域下对图像三通道灰度值进行增强，得到预增强图像像素值。通过式(3)对原始图像进行灰度调节，相比于M et al.提出的图像增强算法，本文研究的算法减少了图像复杂的空间变换，引入比例调节系数，使得算法可以处理不同灰度水平的图像。

(3)

其中，R(x，y)、G(x，y)、B(x，y)分别为原始图像像素点在实数域的三通道灰度值。

2 彩色图像的Gamma校正直方图重构

对于彩色图像，单通道图像可以认为是一幅灰度图像，且三通道的灰度值有一定的比例关系，经过实验发现，对三通道进行相同处理最终期望效果一样，因此下面首先对彩色图像单通道进行Gamma校正直方图均衡处理，然后结合三通道灰度值关系得到增强图像。

2.1 改进的单通道Gamma校正直方图重构

对于传统直方图均衡化出现过度增强问题，在HE基础上，对直方图进行改进。首先，对单通道灰度图像的直方图进行峰值统计，使用直方图所有峰值的均值作为直方图的裁剪峰值，如下式所示：

q=(q1，q2，…，qN-1，qN)

(4)

(5)

其中，q是统计峰值的一维矩阵，N是统计峰值的数量，A为裁剪峰值。

然后，依据裁剪峰值对直方图进行裁剪，并将裁剪出的灰度级像素数量均匀分布在直方图的每个灰度级上，如下式所示：

(6)

(7)

其中，qn(i)为裁剪后第i灰度级的像素数量，Av是每个灰度级分布的像素数量，qnew(i)是修改以后的每个灰度级像素数量。对直方图修改后，其累积分布函数如下所示：

(8)

Gamma变换是一种非线性变换，本文对均衡化后直方图的累积分布函数(CDF)进行Gamma校正，通过调整累积分布函数实现改变每个灰度级的灰度值，达到增强图像区域信息的效果，校正公式为：

D(k)=CDFγt(k)t=1，2

(9)

GNk=255×D(k)

(10)

其中，D(k)是Gamma校正后的累积分布函数，GNk是最终增强图像单通道的映射函数。

D(k)=min(CDFγ1(k)，CDFγ2(k))

(11)

D(k)=CDFγ1(k)

(12)

在灰度调节和改进的直方图均衡的基础上，采用Gamma校正增强图像的暗区域。对于灰度比较低的图像，在增强图像暗区域的同时，要防止亮区域的过度增强，采用式(11)进行Gamma校正；对于灰度比较高图像，增强图像暗区域时，图像整体亮度增高，这里需要对亮区域进行减弱，采用式(12)对图像进行Gamma校正。

在Gamma校正过程中，因为Gamma取值的不确定可能会导致图像增强不足或增强过度，而选取合适的Gamma函数[17]可以避免该问题的出现，因此采用以下两种函数作为Gamma校正函数，如下所示：

γ1=0.3+CDF(k)

(13)

γ2=CDFCDF(k)(k)

(14)

2.2 三通道改进的Gamma校正直方图重构

通过2.1的单通道Gamma校正直方图重构方法得到增强的单通道图像，根据预增强图像三通道灰度值的比例关系得到剩余两条通道的灰度值，融合三通道得到最终的增强图像。

(15)

其中，EN(x，y)是增强图像的像素值，Re(x，y)、Ge(x，y)、Be(x，y)是增强图像的三通道灰度值。

3 实验结果

本文在Intel Core i3-4030U 1.90GHz、4GB RAM和Windows 7操作系统的电脑上进行实验，软件使用Matlab 2016b，对比了6种算法的实验结果，包括MMSICHE、HE、NPEA[20]、BIMEF[21]、LIME[22]以及本文提出的算法。

3.1 视觉比较

图1为6种算法的实验结果，可以发现，MMSICHE算法对高灰度图像有一定的增强效果，但增强后的低灰度图像整体偏暗，图像视觉效果不好。第三列HE算法对图像增强后部分图像亮度有极大的改善，但存在过度增强问题，第五行图像的人物和第六行图像的道路严重失真。 第四列是NPEA算法对各图像的增强结果图， 虽然整体上该算法对图像的灰度调整效果很好，但是其局部信息处理存在过度增强，如第一行的灯光出现光晕，最后一行图像处理后的右半部分视觉效果差。第五列和第六列分别为BIMEF和LIME两种算法的增强结果，两种算法增强了低灰度图像的亮度，但是BIMEF算法增强后的整体亮度偏暗，图像模糊，LIME算法的亮度较高，但是其存在过度增强，在第三行图像中可以发现，增强后的车辆锐化，且右半部分蓝色范围扩大；对于高灰度图像，有一定的增强效果。本文算法对不同灰度的图像增强后，视觉效果有了很大的提升，且局部信息也较为丰富。

图1 6种算法实验结果Fig.1 Experimental results of 6 algorithms

ExDark数据集是在2018年Computer Vision and Image Understant会议上提出的一种新的用于物体检测和图像增强的数据集，为了证明本文算法的性能，在ExDark数据集上进行实验，图2是本文算法在数据集ExDark上部分图像增强结果的区域放大效果图，第一行为输入图像，第二行为增强后的图像，第三行为区域增强对比图，可以看出本文算法对图像的亮度和局部区域都有很好的增强效果。

图2 ExDark数据集区域放大效果图Fig.2 ExDark dataset regional magnification effect map

3.2 性能分析

为了进一步分析实验结果，采用离散熵DE(Discrete Entropy)、饱和度[23](Saturation)、EME[24-26]、(Enhancement Measure by Entropy)和NIQE(Natural Image Quality Evaluator)对图像进行质量分析。

本文从图像的彩色空间和灰度空间两个方面度进行质量分析，即表1显示的6种算法在离散熵、饱和度、EME和NIQE的实验数据，其中饱和度和NIQE是从彩色空间对图像进行的分析，EME和离散熵则是从灰度空间对图像进行分析。对于图像的饱和度而言，饱和度越高，图像的视觉效果越好，但是饱和度过高，图像则会出现失真、黑化等问题，图1第二列的第一行和最后一行，尽管处理后饱和度很高，但是图像整体偏暗，图像局部出现失真，本文算法饱和度平均值为0.326 0，很好的保持了图像的自然色彩，而且，离散熵达到6.634 4，说明算法很好的保持了图像的信息。对于HE算法的DE为6.866 4，是因为图像的均衡化是将图像每个灰度的概率都均匀分布，平均信息增加，但是这会导致图像的噪声也被增强(如图1第三列第五行)。

表1 DE、EME、AG、Saturation和NIQE性能分析

对于一幅图像来说，其对比度越高，则图像视觉效果越好，但是对比度过高，图像则会呈现出两极化，直至失真，如图1第二列的一行和第二行，增强后的图像整体变暗，而对比度过低，图像则会模糊，本文算法对比度均值为34.090 4，在增强图像对比度的同时防止图像过度增强。NIQE是在没有标准图像的情况下对图像进行评估，取值越大图像增强效果越好，虽然MMSICHE和HE算法取值高，但是增强后的图像视觉效果差，NPEA算法则存在对光晕和图像局部处理不佳问题，因此，本文算法相对前5种算法，对图像的增强效果最好。

4 结论

本文研究了一种基于灰度调节和改进的Gamma校正直方图重构算法。首先，在对数域下得到灰度调节系数，对图像灰度进行自适应调节。其次，对彩色图像的单通道使用改进的直方图均衡算法对图像的全局进行增强，使用Gamma函数校正累积分布函数对图像局部区域进行增强，通过三通道灰度值关系得到增强图像。该方法很好的调节了图像的灰度，有效增强了图像的局部信息，且算法计算复杂度低。通过实验可以发现，本文算法有效增强了图像的视觉质量。