基于图像分割和融合的图像去雾算法研究

段召蓬，彭文豪，李 岚

（西安石油大学理学院，陕西，西安 710065）

0 引言

在雾天获得的图像会出现对比度和清晰度较低等问题，会严重影响后续计算机视觉任务的精确性，如智能驾驶[1]、目标跟踪[2]、城市交通[3]和图像检测等[4]。对图像去雾可以提升雾天图像质量，因此具有重要研究意义。目前，图像去雾算法主要可分为基于图像增强的方法和基于图像复原的方法。基于图像增强的方法仅通过提升图像对比度突出局部特征，从而得到去雾结果。主要算法有：Retinex 算法[5-7]、直方图均衡算法[8]、同态滤波算法[9]等。

Retinex 理论将图像分解为反射率图像和光照图像的乘积，由于一个物体反射率是恒定的，因此只需将光照图恢复至近似正常状态，则可以得到清晰图像。代表算法有单尺度Retinex 算法（single scale Retinex,SSR）、多尺度Retinex 算法（multi scale Retinex, MSR）和带有彩色恢复因子的多尺度Retinex 算法（multi scale Retinex with color restoration,MSRCR）。

MSRCR 在MSR 算法的基础上，通过对图像的颜色分量进行处理，以获得更好的的视觉效果，但是在解决去雾时可能会引起颜色失真。文献[10]表明通过对MSRCR 反向强度增强技术可以解决颜色失真问题。文献[11]通过添加噪声项的鲁棒Retinex 算法（robust Retinex, RR）来处理图像去雾，图像的亮度有较好提升，但是去雾能力较弱。

基于图像复原的方法首先建立图像退化数学模型，并据此进行逆变换获取无雾图像。文献[12]提出了暗通道先验算法（dark channel prior，DCP)，通过图像的暗通道估计粗略的透射率，然后利用引导滤波进行优化，但由于在天空区域估计透射率的不准确，导致其结果会产生失真伪影和光晕，从而影响图像质量。

文献[13]在文献[12]的算法基础上，引入容差机制解决了在天空区域估计透射率不准确问题，从而克服原算法产生的色彩失真问题，但其计算量较大。文献[14]利用传输函数的边界约束和上下文正则化来建模，进而估计有雾图像的透射率和大气光，该算法在色彩恢复方面效果不佳，去雾后的图像易失真且色彩过于饱和。

文献[15]用线性颜色衰减先验估计透射率，对有雾图像的场景深度进行建模并使用监督方法学习模型参数，从而获得清晰图像。文献[16]提出一种端到端的图像去雾系统，通过输入有雾图像估计其透射率，最后利用大气散射模型进行去雾，该算法去雾效果较好，但图像亮度较低。文献[17]提出一种抑制图像和视频去雾中视觉伪影的新方法，通过在图像恢复过程中引入梯度残差和误差层，提高了去雾后视觉结果，但抑制伪影不全面。这些方法通常比较依赖于数据集，并且现在大多数数据集都是人工合成的，因此在处理真实雾图时表现较差。

文献[18]对初始带雾图像进行不同程度的曝光获得一组曝光序列图像，然后对该曝光序列图像采用多尺度融合方法得到清晰图像，但在其去雾结果中颜色较差。文献[19]提出一种基于补丁级的快速多尺度融合框架，用于真实图像去模糊则有较好的去雾能力，但亮度和对比度较低。文献[20]提出一种自适应的真实图像去雾方法，将雾图分成不同区域处理，将处理后的区域进行融合得到去雾图像，该方法有较好的视觉效果，但是对于一些浅色的图像，该方法可能会失效。

在上述基础上，本研究提出一种基于图像分割和融合的方法进行图像去雾。首先对输入图像预处理；然后将图像进行分割，在各具特性的区域采用不同的方法进行处理；最后将处理后的各个区域进行融合，得到最终输出结果。

1 相关工作

1.1 大气散射模型

大气中的雾气或微尘颗粒对光的吸收和散射是产生雾霾的主要原因，在雾天下拍摄的图像通常能见度较低，许多信息被隐藏。1999 年，Nayar等[21]建立了大气散射模型来解释雾天场景的成像机理，表示为：

其中，x为像素的坐标；I(x) 为雾天图像；J(x)为清晰图像；t(x) 为场景透射率；A为全局大气光值。

根据式(1)，在输入雾图I(x)，得到A和t(x)后，就可得到清晰图像J(x)：

设置透射率的下限值t0为0.1，目的是避免分母为0。

1.2 暗通道先验原理

暗通道先验原理认为，无雾图像（不包含明亮区域)的大多数局部区域中，在RGB 三通道中至少会有一个颜色通道的亮度趋向于零[12]。暗通道的数学表达式为：

从暗通道图按照亮度大小选取前0.1%的像素，在输入的有雾图像I(x) 中寻找对应值作为A：

其中，ω为雾浓度调节因子，为了使去雾后的图像更加真实，取ω= 0.95。

2 方法

本算法流程如图1 所示，首先对输入有雾图像使用亮度反转的MSRCR 进行预处理；然后用阈值分割法将图像分割为白色、灰色和黑色三个区域；对灰色区域使用暗通道先验方法提升图像去雾后的细节信息，黑色区域采用自适应Gamma 校正方法来获得更好的对比度和亮度；最后将处理后不同区域进行图像融合，得到最终去雾结果。

图1 本算法流程图Fig.1 A flow diagram of the proposed method

2.1 预处理

为了使去雾后图像有更好的颜色保真度，对输入图像经亮度反转后使用MSRCR 进行预处理。首先，将输入图像从RGB 空间转换到YCbCr 颜色空间，得到亮度分量Y 和颜色分量Cb 和Cr；对亮度分量Y 归一化后进行反转，再经MSRCR 处理得到Y'；表示为：

将处理后的亮度分量Y'与输入图像的颜色分量Cb 和Cr 相结合，转换为新的RGB 值。

2.2 区域分割

图像分割是指将图像按照不同的灰度、纹理、彩色等特征信息进行划分，可以更好的提取出感兴趣目标，有利于对图像后续的分析和利用等。阈值分割法因其计算简单、运算效率较高而被广泛应用。

由于户外真实图像的多样性，单一的图像去雾方法很难得到让人满意的结果，如对图像中白色或极浅色区域的处理很容易产生伪影和晕，为了提升图像的亮度并保留去雾后的细节，通常将图像按照阈值t1和t2分为三个区域，其数学表达式为：

其中，(x,y)为像素坐标，Y为灰度图像的亮度分量，L为区域掩模的标签图像，1、2 和3 分别代表白色、灰色和黑色区域。

图2 列举了几个不同阈值下得到的去雾结果和其相对应的区域掩膜图。在实验中取t1=0.61和t2=0.75，由于在该阈值下获得的图像的纹理细节相对较为丰富。

图2 不同阈值下得到的去雾结果Fig.2 defogging results of different thresholds

2.3 自适应Gamma 校正

Gamma 校正是一种图像处理技术，其基本原理是通过对图像的像素值进行幂函数变换来调整亮度和对比度，使得处理后的图像更加清晰和易于观察，其中幂函数的指数称为Gamma 值。固定参数的Gamma 校正可能会导致对比度增强不足或者过度增强。

为了避免去雾后的图像中出现增强不足和过度增强的问题，本法根据提取的特征信息设计一种自适应的Gamma 校正方法，不同的图像所包含的特征信息是不同的，因此要求所提方法具有自适应性。自适应的Gamma 表达式为：

其中，α为控制图像去雾程度的参数，一般取为0.8，r的不同取值可以体现自适应性，表示为：

其中，N为图像分割后黑色区域像素总数，m和n分别为输入图像的宽度和高度。如图3 中(b)和(c)为增强不足和过度增强，(d)为所提的自适应Gamma 参数校正结果。

图3 不同参数的Gamma 校正结果Fig.3 The Gamma correction results of different parameters

对分割后的黑色区域使用所提的自适应Gamma 校正方法以提高图像的对比度和亮度，得到黑色区域的所求清晰图Jblack。

2.4 暗通道先验

为了提高去雾后图像的清晰度和更好的保留细节，对分割后的灰色区域采用暗通道先验方法求得大气光和透射率，代入式(2)得：

其中，Jgray为灰色区域的所求清晰图，Igray为灰色区域的雾图，tgray为灰色区域透射率。图4 给出了一个雾图和其对应的暗通道图、透射率图和去雾结果。

图4 暗通道图先验结果Fig.4 The results of dark channel prior

2.5 图像融合

图像融合是指将两张或多张图像合并成一张图像的过程，以达到更好的视觉效果。对处理后的三个区域图像使用掩膜融合的方法进行图像融合。为了减少融合后不同区域边缘处的明显痕迹以及违和感，用平均滤波器对区域掩膜进行滤波处理。J1为黑色和灰色区域的融合图像：

3 实验结果与分析

为了验证本算法的有效性，通过搭建实验平台进行验证。硬件平台配置为Ⅰntel(R) Core(TM)i5-11320H @ 3.20 GHz，16.0 GB 内存，Windows 11 操作系统，软件平台为MATLAB R2022a。实验图片来自真实世界图像去雾数据集Utexas LⅠVE[22]。从定性和定量两个方面对算法复原结果进行比较分析。

3.1 定性比较

定性比较可以直观地反映出图像的复原效果。本法将所提方法与经典的几种图像去雾方法进行了对比，包括DCP[12]、CEEF[19]、BCCR[14]、CAP[15]、AMEF[18]、GRM[17]、RR[11]，对比结果如图5 所示。

图5 不同算法的去雾结果比较Fig.5 Comparison of defogging effects of different algorithms

在图5 中，(a)是雾图，(b)-(h)是不同算法去雾的结果，(i)是文中所提算法的去雾结果。从DCP算法的去雾结果可以看出，该算法能有效提高图像的对比度，并且可以去除图像中的部分雾，但是恢复的图像整体偏暗，部分细节信息被丢失，如image3 中下方的石头，特别在image5 天空区域失真。CEEF 的去雾效果显著，颜色保持较好，但是对比度和亮度偏低，如在image1 中部分商标较暗。BCCR 的去雾结果在颜色方面有严重失真，且存在明显的过度增强现象，效果难以令人满意，如image1 和image2 中颜色恢复失败，在image5天空区域过度增强，失去了天空原本的特征。CAP 方法的去雾效果相对明显，但是在细节和亮度方面表现得一般，如在image3 和image5 上的亮度较低，图像显示不自然。在AMEF 的结果中，部分图像表现较为自然，但在image2 的恢复结果中，船在水中的倒影出现颜色混乱并产生色差，且伴有少量失真现象。GRM 的结果图像有局部伪影，如在image2 和image3 观察到伪影放大现象，且在image3 中左边丢失树的部分轮廓，image4 中汽车玻璃反射的树枝表现得不明显，并且在image5 中亮度表现较暗。RR 算法的恢复结果在对比度方面效果较好，能有效突出图像的特征信息，极大保留了原始雾图的细节，但其去雾能力较差，恢复的图像中有明显的雾气残留。相比之下，本法中所提算法不仅有一定的去雾效果，且去雾后的图像有较好的色彩保真度，保留细节的同时也体现出原图的特征信息，恢复后的图像对比度得到明显改善，整体视觉效果良好。

3.2 定量分析

由于定性比较是以人的主观视觉为准，定量分析可以看出算法性能的表现好坏。本法用平均梯度(AG)衡量图像的纹理复杂程度，信息熵(ⅠE)衡量图像和标准差(σ)[23]反映图像细节信息的丰富程度。AG、ⅠE 和σ值越高，则图像清晰度越高，细节越多，则质量越好。用雾感知密度评估器(FADE)[22]作为图像中雾的可见程度指标，FADE值越小，表示该方法的去雾效果最好。

以图5 中的5 幅有雾图像作为实验样本，表1为图5 的客观评价表。

表1 去雾图像的定量分析Table 1 Quantitative Evaluation of dehazing images

在表1 中，红色表示最好的结果，绿色次之。从表中可以看出，在image2、3、4、5 中，本法所提方法都取得了最好的ⅠE 和σ值，仅在AG 值略低于image1 的CEEF，说明本方法在去雾后的结果有较高的清晰度，并突出原图的特征，并且最大化保留原始雾图的细节信息。在FADE 值上，本研究所提方法在image2 上表现突出，在其他几张图上也有较为不错的去雾效果。从平均值一栏可以看出，与其他去雾方法相比，所提方法测试图像中在FADE 值的性能仅次于CEEF 和AMEF，而AG、ⅠE 和σ值是最好的，表明本方法有较好的去雾效果，同时保留了更多的细节信息。综合分析各个指标和结合主观评价，本研究提出的算法具有一定的优越性。

4 小结

本研究提出了一种基于图像分割和融合的图像去雾算法研究，将雾图经预处理后，再通过图像分割技术将其分为不同区域，为避免白色区域产生光晕和伪影将其分离出来，通过暗通道先验和自适应Gamma 校正的方法来提升去雾图像细节和获得更高的对比度和亮度，最后将处理后的各个区域进行融合得到最终结果。仿真实验表明，本方法在去雾后可以有效地保留图像细节信息，去雾后的图像明亮适中且颜色自然。但是，本方法在时间复杂度上略有不足，将作为下一步工作进行改进，并且进一步设计针对白色（天空）区域的去雾算法有待被提出。