融合平均曲率与直方图分析的暗通道先验去雾算法

程浩桐 耿一鸣 张海龙 尤杨杨

DOI：10.19850/j.cnki.2096-4706.2024.01.004

收稿日期：2023-10-24

基金项目：济宁市重点研发计划（2021KJHZ013）；徐州市重点研发计划（社会发展）项目（KC22317）

摘  要：针对当前暗通道先验算法存在的边缘模糊、过饱和以及大气光值错估问题，提出一种融合平均曲率与直方图分析的暗通道先验去雾算法。首先，计算输入图像微观几何表面上所有像素点的平均曲率，并以归一化的平均曲率强度为权重融合小尺度与大尺度传输图；其次，分析存雾图像三个通道的直方图，确定是否存在过亮区域并估计全局大气光值；最后，利用大气散射模型得到清晰的去雾图像。与其他算法在HAZERD等公共数据集上的实验对比结果表明，该算法能够解决当前暗通道算法存在的问题，且具有更高的鲁棒性与实效性。

关键词：图像去雾；暗通道；平均曲率；大气散射；大气光

中图分类号：TP391.4    文献标识码：A 文章编号：2096-4706（2024）01-0017-06

A Dark Channel Prior Dehazing Algorithm Combining Mean Curvature and Histogram Analysis

CHENG Haotong1， GENG Yiming2， ZHANG Hailong2， YOU Yangyang3

（1.School of Bionic Science and Engineering， Jilin University， Changchun  130022， China; 2.School of Computer Science & Technology， China University of Mining and Technology， Xuzhou  221116， China; 3.School of Information and Control Engineering， China University of Mining and Technology， Xuzhou  221116， China）

Abstract： A dark channel prior dehazing algorithm that combines mean curvature and histogram analysis is proposed to address the issues of edge blur， oversaturation， and misestimation of atmospheric light values in current dark channel prior algorithms. Firstly， calculate the mean curvature of all pixels on the micro geometric surface of the input image， and fuse the small-scale and large-scale transmission maps with the normalized mean curvature intensity as the weight; secondly， analyze the histograms of the three channels of the foggy image to determine whether there are overly bright areas and estimate the global atmospheric light value; finally， a clear dehazing image is obtained using the atmospheric scattering model. The experimental comparison with other algorithms on public datasets such as HAZERD shows that this algorithm can solve the problems of current dark channel algorithms and has higher robustness and effectiveness.

Keywords： image dehazing; dark channel; mean curvature; atmospheric scattering; atmospheric light

0  引  言

大氣中存在许多细小颗粒物，当细小颗粒物在某一区域聚集过多时便会造成雾、霾等恶劣天气现象。去雾算法的研究始于大家对图像增强技术的思考，借助这种技术可实现将存在噪声的图像转变为高质量的图像。同样地，如果将存雾图像中的雾气当作噪声，就可以直接把图像增强技术应用到去雾当中。这类算法中比较有代表性的有：基于直方图均衡化（HE、AHE、CLAHE）[1]的去雾算法、基于Retinex[2]的去雾算法、基于小波变换[3]的去雾算法等。这类算法通过提高对比度、突出图像细节的方式使有雾图像更加清晰。近几年，随着机器学习与深度神经网络的兴起，基于机器学习和深度学习的去雾算法也屡被提及。例如利用机器学习方法的随机森林回归或是利用深度学习方法的卷积神经网络（CNNs）[4]、对抗神经网络（GAN）[5]等来学习估计去雾图。通过大气散射模型[6]来求解去雾图是一个计算未知量单模型的病态问题，需要附加先验信息。由此各种先验规律被提及出来，通过不同方式估计全局大气光和传输图，最后应用大气散射模型得到去雾图。较具代表性的有暗通道先验模型（Dark-Channel Prior， DCP）[7]、贝叶斯统计先验模型（Bayesian Statistical Prior， BCCR）[8]、颜色衰减先验模型（Color Attenuation Prior， CAP）[9]等。其中，以He[7]等人为代表提出的暗通道先验算法以其高有效性、低复杂性得到了诸多学者的认可，但此类方法仍存在两大基本问题：第一，求取暗通道传输图过程中尺度设置不准确将产生边缘模糊或过饱和现象；第二，图像中存在的过亮区域影响全局大气光值预估。

针对上述问题，本文提出一种融合平均曲率与直方图分析的暗通道先验去雾算法，以归一化后的平均曲率强度为权重对小尺度与大尺度暗通道传输图进行加权融合，抑制了边缘模糊或过饱和现象；分析存雾图像的三通道直方图，确定图像中是否存在过亮区域并对过亮区域进行降值处理，从而缓解了全局大气光值错估带来的色彩失真问题。

1  相关理论

1.1  暗通道去雾算法

大气散射模型具体分为两个部分：直接衰减部分和环境光部分。将该模型应用于图像去雾，具体的定义为：

（1）

其中，I（x，y）表示存雾图像，J（x，y）表示去雾图像，t（x，y）表示介质透射图，A表示全局大气光，（x，y）表示图像坐标。在利用上述大气散射模型进行图像去雾的过程中，式（1）中的去雾图像、传输图以及全局大气光A均为未知变量，因此亟须采用一種方法准确预估传输图t（x， y）以及全局大气光A作为附加信息代入上述模型进行反解。

He[7]等人在全面分析近5 000张彩色图像后发现：对于没有天空的无雾图像，总有一个通道的一些像素强度特别低，甚至接近于0。以一个固定尺度将这些像素对应的通道强度值提取出来，就可以形成一张暗通道图：

（2）

其中，DΩ（x，y）表示以Ω为尺度的图像暗通道，Ich表示图像的三个通道，（x，y）表示图像坐标。在暗通道去雾方法中，选取暗通道图中前0.1%像素点对应的强度作均值处理，将它用作全局大气光A。根据暗通道的先验理论，无雾图像J（x， y）在暗通道中的值特别低，甚至J（x， y）→0。对式（1）的两边求暗通道，则可得：

（3）

其中，tΩ（x，y）表示以Ω为尺度的粗传输图，α表示远景加雾参数，Ach表示各通道的全局大气光值。通过一种引导滤波器将粗传输图转变为细传输图tΩ_f （x，y），在平滑传输图的同时保留边缘信息。在基于暗通道先验规律得到全局大气光A及细传输图tΩ_f （x，y）之后，代入式（1）进行反解可得到去雾后的图像：

（4）

1.2  主曲率与平均曲率

在三维欧几里得空间中，曲率[10]是指所有经过可微曲面S上一点p的曲线Ci所伴随曲率Ki的集合，在此集合中至少存在一个极大值K1和一个极小值K2，这两个曲率K1和K2即可微曲面S的主曲率。平均曲率是指空间中某一点任意两个相互垂直正交曲率的平均值，而上述主曲率K1和K2相互垂直且正交，则平均曲率为：

（5）

其中，Kmea表示可微曲面S的平均曲率，K1和K2表示可微曲面S的主曲率。

2  本文算法

在利用暗通道去雾算法（DCP） 对图像进行去雾时，图像的边缘常会产生模糊现象，这主要是因为在对存雾图像求解暗通道传输图的过程中采取了过大的尺度。若要解决这个问题，最简单的办法就是降低求解传输图的尺度，但是对图像全局利用小尺度传输图又会导致去雾过饱和。鉴于此，在对图像求解暗通道传输图的过程中，可以在物体边缘位置采取小尺度而在其他位置采取大尺度。那么，如何提取图像中的边缘区域以及如何将边缘区域作为一种原则对暗通道进行尺度融合就显得十分重要。平均曲率信息作为主曲率信息的一种变形，反映了图像的宏观信息与微观信息，其中也包含了丰富的边缘信息。因此，本文采用归一化的平均曲率强度作为加权值对暗通道传输图进行多尺度融合，实现在图像边缘区域采用小尺度而在其他区域采用大尺度的目标。另外，若图像中存在过亮区域且过亮区域的尺度大于求解暗通道的尺度，则会造成全局大气光A的错误预估，导致去雾后的图像色彩严重失真。如果能够有效辨别图像中的过亮区域，并将该区域中每个通道的强度值进行降值处理，则可以解决上述问题。单通道直方图是有关该通道强度值分布的函数，其作用是在该通道中将图像中的所有像素按照强度值的大小，统计其出现的频率。通过分析每一个通道的直方图成分，确定该图像中是否存在过亮区域并对过亮区域进行降值处理。在得到融合传输图和大气光值后，利用大气散射模型反解得到去雾图。本文的算法框架如图1所示。

2.1  融合平均曲率的暗通道传输图预估

2.1.1  平均曲率信息的获取

根据曲率[10]的定义，存雾灰度化图像  在点（x，y）处的海森矩阵可表示为：

（6）

其中，*表示卷积，Gxx、Gxy、Gyy分别表示x、y、xy方向上二阶导数的卷积核。由于矩阵特征值之积等于矩阵的行列式，矩阵的特征值之和等于矩阵的迹：

（7）

其中，trHgray（x，y）表示海森矩阵的迹，detHgray（x，y）表示海森矩阵的行列式，则海森矩阵的2个特征值为：

（8）

其中，K1（x，y）和K2（x，y）表示点（x，y）处的海森矩阵特征值（PCs），也是存雾图像在该点的极大与极小曲率，所以该存雾图像的平均曲率可以表示为：

（9）

本文采用归一化后平均曲率信息的强度作为权重对两个尺度的传输图进行加权，以抑制单纯暗通道去雾算法出现的边缘模糊现象。

2.1.2  融合平均曲率信息的多尺度传输图

在得到平均曲率以后，首先对平均曲率的强度进行归一化操作；然后计算两个尺度的暗通道传输图，尺度大小分别为3以及?3×（m×n） / 2×1010?-1。其中，m、n表示存雾图像的大小，???表示向下取整；之后将归一化平均曲率强度作为加权值对两个尺度的暗通道传输图进行加权融合并通过引导滤波得到精细化的传输图：

（10）

其中，tcwm_f表示加权融合后的传输图，t1、t2表示两个不同尺度的暗通道传输图，Kmea表示存雾图像的平均曲率强度，???表示归一化操作，Gf（?）表示引导滤波器。融合的流程图如图2所示。

图2  多尺度传输图融合流程图

2.2  三通道直方图分析的全局大气光值预估

本文针对图像的三个通道分别分析其直方图成分，确定是否存在过亮区域，若存在过亮区域，则对该区域内的三通道强度值进行降值处理，该方法的流程图如图3所示。

首先对存雾图像的每个通道进行直方图成分分析，获取每个通道内强度的均值Mea、最大值Max、中位数Mid。如果图像中不存在过亮区域，最大值与均值之差应当接近于最大值与中位数之差；如果图像中存在过亮区域，最大值与均值之差应当大于最大值与中位数之差。由此，本文定义了一种亮度因子λ：

（11）

因此，图像中不存在过亮区域时λ≈1，而当图像中存在过亮区域时λ＜1。但是直接将λ与1进行比较会形成一定的误差。为了提高算法的鲁棒性，本文另外定义了一个阈值thrc = 0.9，將亮度因子λ与阈值thrc进行比较，确定图像中是否存在过亮区域。当亮度因子λ小于阈值thrc时，则认为图像中存在过亮区域。而过亮区域的位置由另一个阈值thr辅助确定，定义为该通道内大于Max×thr的所有像素点的集合Ov：

（12）

其中，X_I（x，y）表示图像的某一通道强度。若要找寻到更为准确的过亮区域Ov，只需确定最合适的阈值thr即可，本文通过实验测试最终将阈值thr确定为0.95。

然后，通过遍历通道内的每个像素点寻找这些集合内的像素点，把它们的强度值降为该通道内的均值Mea：

（13）

最后，将降值后的三通道图重新融合，找到三个通道中强度前0.1%的像素点，把其强度均值作为全局大气光值A。

3  实验结果与分析

为了验证本文算法的有效性，基于全图像质量评价标准（FRIQA），将本文算法以及其他具有代表性的算法在包含室内外样本的多个数据集上进行了测试。此外，本文比较了5个数据集中存雾样本图像相较于样本真值每种信息各自损失的信息熵，并且将传统梯度信息融合到本算法中用以与融合平均曲率信息的算法相比较。实验测试的数据集选用HAZERD[11]、O-HAZE[12]、I-HAZE[13]、SOTS-outdoor[14]、SOTS-indoor[14]5个公共标准数据集，挑选了1 120张存雾样本图像，包含室内和室外多个场景。

3.1  数据集设置

HAZERD数据集为合成的室外数据集，原始的真值图像共9张，通过后期的加雾算法，分别对每张真值图像模拟能见度，所以该数据集共有45张存雾样本图像。O-HAZE与I-HAZE数据集同样为合成的存雾数据集，其中O-HAZE数据集包含45张室外场景，I-HAZE数据集包含30张室内场景，上述两个数据集共有75张存雾样本图像。SOTS-outdoor与SOTS-indoor为RESIDE[14]数据集中的两组测试集，每组分别包含500张共计1 000张合成的存雾样本图像。

3.2  实验结果

在实验阶段，除了比较传统的DCP[7]算法和MOF[15]之外，还选取了同样基于大气散射模型的BCCR[8]和CAP[9]算法作为比较对象。

表1和表2分别为室外场景和室内场景数据集下，本文算法与其他算法根据FRIQA[16]图像评价标准进行对比的结果，其中CWM代表本文算法结果。图4和图5中红框为边缘模糊的抑制情况，橙框为过饱和现象的抑制情况，绿框为过亮区域造成色彩失真的抑制情况。

从表1和表2中可以看出，本文算法相较于DCP[7]算法，PSNR分别提升了11.17%和11.95%，SSIM分别提升了4.12%和8.02%，VIF[16]与FSIMc[17]也略有提升。相较于改进的MOF[15]算法，PSNR分别提升了7.29%和5.61%，SSIM分别提升了5.17%和1.07%，VIF与FSIMc也略有提升。与此同时，本文算法在与BCCR和CAP算法的对比中，在各项指标上也具有明显的优势。从图4和图5中可以看出，本文算法不仅有效抑制了DCP算法由于尺度设置不准确造成的边缘模糊现象或过饱和现象，同时也有效解决了图像存在过亮区域时去雾结果色彩失真的问题。相较于其他算法，去雾图像整体色彩、细节上也都有所改善。

4  结  论

本文提出一种融合平均曲率与直方图分析的暗通道先验去雾算法。首先，利用海森矩阵求取图像的平均曲率信息，将归一化后的平均曲率强度作为权重对两个尺度的暗通道传输图进行加权融合。其次，分析判断图像的三通道直方图是否存在过亮区域，若存在过亮区域则进行降值处理。针对本文算法在室内外有雾场景的五个数据集上进行了测试，并且与其他去雾算法进行了对比。结果表明，本文算法能够抑制DCP类算法边缘模糊及过饱和现象，有效解决了过亮区域造成的去雾结果色彩失真问题。

参考文献：

[1] KIM T K，PAIK J K. Contrast Enhancement System using Spatially Adaptive Histogram Equalization with Temporal Filtering [J].IEEE Transactions on Consumer Electronics，1998，44（1）：82-87.

[2] 方雪来，冯象初.基于Retinex的亮度-梯度协同引导色调映射算法 [J].吉林大学学报：理学版，2023，61（5）：1178-1186.

[3] SARKAR M，SARKAR P R，MONDAL U，et al. Empirical Wavelet Transform Based Fog Removal via Dark Channel Prior [J].IET Image Processing，2020，14（6）：1170-1179.

[4] 寇旗旗，黄绩，程德强，等.基于语义融合的域内相似性分组行人重识别 [J].通信学报，2022，43（7）：153-162.

[5] 刘万军，程裕茜，曲海成.基于生成对抗网络的图像自增强去雾算法 [J/OL].系统仿真学报：1-14[2023-11-29].https：//doi.org/10.16182/j.issn1004731x.joss.22-1551.

[6] 林雷.基于大气散射模型的去雾算法研究 [D].兰州：兰州交通大学，2023.

[7] HE K M，SUN J，TANG X O. Single Image Haze Removal Using Dark Channel Prior [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（12）：2341-2353.

[8] MENG G F，WANG Y，DUAN J Y，et al. Efficient Image Dehazing with Boundary Constraint and Contextual Regularization [C]//2013 IEEE International Conference on Computer Vision.Sydney：IEEE，2013：617-624.

[9] ZHU Q S，MAI J M，Shao L. A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior [J].IEEE transactions on image processing，2015，24（11）：3522-3533.

[10] KOU Q Q，CHENG D Q，ZHUANG H D，et al. Cross-Complementary Local Binary Pattern for Robust Texture Classification [J].IEEE Signal Processing Letters，2019，26（1）：129-133.

[11] ZHANG Y F，DING L，SHARMA G. HazeRD： An Outdoor Scene Dataset and Benchmark for Single Image Dehazing [C]//2017 IEEE International Conference on Image Processing （ICIP）.Beijing：IEEE，2017：3205-3209.

[12] ANCUTI C O，ANCUTI C，TIMOFTE R，et al. O-HAZE： A Dehazing Benchmark with Real Hazy and Haze-free Outdoor Images [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）.Salt Lake City：IEEE，2018：8675-8678.

[13] ANCUTI C O，ANCUTI C，RADU T，et al. I-HAZE： A Dehazing Benchmark with Real Hazy and Haze-free Indoor Images [J/OL].arXiv：1804.05091.[2023-08-30].https：//ui.adsabs.harvard.edu/abs/2018arXiv180405091A/abstract.

[14] LI B Y，REN W Q，FU D P，et al.Benchmarking Single Image Dehazing and Beyond [J].IEEE Transactions on Image Processing，2018，28（1）：492-505.

[15] ZHAO D，XU L，YAN Y H，et al. Multi-scale Optimal Fusion Model for Single Image Dehazing [J].Signal Processing-Image Communication，2019，74：253-265.

[16] WANG Z. Image Quality Assessment： From Error Visibility to Structural Similarity [J].IEEE Transactions on Image Processing，2004，13（4）：600-612.

[17] ZHANG L，ZHANG L，MOU X Q，et al. FSIM： A Feature Similarity index for image quality assessment [J].IEEE Transactions on Image Processing，2011，20：2378-2386.

作者簡介：程浩桐（2005—），男，汉族，江苏徐州人，本科在读，研究方向：智能信息处理；通讯作者：尤杨杨（1996—），男，汉族，江苏苏州人，工程师，硕士，研究方向：图像处理与模式识别。